JP2020140320A - 情報処理システムおよびゴーグル装置 - Google Patents

情報処理システムおよびゴーグル装置 Download PDF

Info

Publication number
JP2020140320A
JP2020140320A JP2019033867A JP2019033867A JP2020140320A JP 2020140320 A JP2020140320 A JP 2020140320A JP 2019033867 A JP2019033867 A JP 2019033867A JP 2019033867 A JP2019033867 A JP 2019033867A JP 2020140320 A JP2020140320 A JP 2020140320A
Authority
JP
Japan
Prior art keywords
image
information processing
region
main body
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019033867A
Other languages
English (en)
Other versions
JP7253934B2 (ja
Inventor
翼 阪口
Tsubasa Sakaguchi
翼 阪口
龍平 松浦
Ryuhei Matsuura
龍平 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2019033867A priority Critical patent/JP7253934B2/ja
Priority to US16/782,175 priority patent/US11011142B2/en
Priority to US16/782,154 priority patent/US11043194B2/en
Priority to EP20157135.3A priority patent/EP3703365A1/en
Publication of JP2020140320A publication Critical patent/JP2020140320A/ja
Application granted granted Critical
Publication of JP7253934B2 publication Critical patent/JP7253934B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる情報処理システムおよびゴーグル装置を提供する。【解決手段】ゴーグル装置は、開口部が形成され、情報処理装置がゴーグル装置に取り付けられた状態で、タッチスクリーンにおける第1領域とも第2領域とも異なる第3領域にタッチ操作可能となる。そして、左目用画像をタッチスクリーンの第1領域に表示させ、当該左目用画像と視差のある右目用画像をタッチスクリーンの第2領域に少なくとも表示させ、タッチスクリーンにおける第3領域内の所定位置がタッチ操作された場合、所定の処理を実行する。【選択図】図9

Description

本発明は、立体視画像を表示可能な情報処理システムおよびゴーグル装置に関する。
従来、互いに視差のある2つの画像をユーザの左右の目でそれぞれ視認させることによって立体画像を表示する立体画像表示装置がある(例えば、特許文献1参照)。例えば、上記特許文献1には、ユーザが装着可能なゴーグル装置にスマートフォンを収納し、当該ゴーグル装置を介して当該スマートフォンの表示画面に表示された立体視画像をユーザが覗き込むことによって、立体視された画像を見ることが可能となる。
特開2018−198651号公報
しかしながら、上記特許文献1で開示された立体画像表示装置は、立体視画像を表示画面に表示する際にユーザのタッチ操作を受け付けるユーザインターフェイス画像を提示することについて考慮されていないため、ユーザインターフェイス画像の提示方法について、利便性を向上させる余地がある。
それ故に、本発明の目的は、ユーザインターフェイス画像の提示に関する利便性を向上させることが可能となる情報処理システムおよびゴーグル装置を提供することである。
上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。
本発明の情報処理システムの一構成例は、画像を表示するタッチスクリーンを有する情報処理装置と当該情報処理装置を着脱可能なゴーグル装置とを備える。ゴーグル装置は、第1レンズおよび第2レンズを備える。第1レンズは、情報処理装置がゴーグル装置に取り付けられた場合に、当該ゴーグル装置を着用するユーザの左目にタッチスクリーンにおける第1領域を視認させる。第2レンズは、情報処理装置がゴーグル装置に取り付けられた場合に、当該ゴーグル装置を着用するユーザの右目にタッチスクリーンにおける第1領域とは異なる第2領域を視認させる。ゴーグル装置は、さらに開口部が形成される。開口部は、情報処理装置がゴーグル装置に取り付けられた状態で、タッチスクリーンにおける第1領域とも第2領域とも異なるタッチスクリーンにおける第3領域にユーザがタッチ操作可能となる。情報処理装置は、画像表示制御手段および実行手段を備える。画像表示制御手段は、左目用画像をタッチスクリーンの第1領域に表示させ、当該左目用画像と視差のある右目用画像をタッチスクリーンの第2領域に少なくとも表示させる。実行手段は、タッチスクリーンにおける第3領域内の所定位置がタッチ操作された場合、所定の処理を実行する。
上記によれば、互いに視差のある左目用画像および右目用画像を表示する立体視表示において、開口部を介して、立体視画像が表示される第1領域とも第2領域とも異なる第3領域にタッチ操作が可能となるため、操作の利便性を向上させることができる。
また、上記開口部は、ゴーグル装置をユーザが着用する状態において、当該ゴーグル装置の下方となる位置に形成されてもよい。上記第3領域は、情報処理装置がゴーグル装置に取り付けられてユーザが着用する状態において、タッチスクリーンの下方に設定されてもよい。
上記によれば、タッチスクリーンをタッチ操作するための開口部がゴーグル装置の下方に形成されるため、タッチ操作する際の操作性がよくなる。
また、上記開口部は、ゴーグル装置をユーザが着用する状態において、当該ゴーグル装置の下方、かつ、左右における中央となる位置に形成されてもよい。上記第3領域は、情報処理装置がゴーグル装置に取り付けられてユーザが着用する状態において、タッチスクリーンの下方、かつ、左右における中央に設定されてもよい。
上記によれば、タッチスクリーンをタッチ操作するための開口部がゴーグル装置の下方中央に形成されるため、タッチ操作する際の操作性がよくなる。
また、上記開口部は、ゴーグル装置をユーザが着用する状態において、当該ユーザの鼻となる位置に形成されてもよい。
上記によれば、ゴーグル装置を着用する場合にユーザの鼻となる位置に開口部が形成され、当該開口部を介して、タッチ操作が可能となるため、ゴーグル装置のスペースを効率よく利用することができる。
また、上記開口部は、ゴーグル装置をユーザが着用しない状態において第3領域を当該ゴーグル装置の外部に露出させてもよい。
上記によれば、ゴーグル装置を覗くことなく第3領域をタッチ操作することが可能となり、操作の利便性を向上させることができる。
また、上記ゴーグル装置は、板状部材を、さらに備えてもよい。板状部材は、情報処理装置が当該ゴーグル装置に取り付けられた状態において、第3領域と第1領域との間および/または第3領域と第2領域との間に設置されることによって、第1領域および/または第2領域にユーザの指が進入することを防止する。
上記によれば、立体視画像が表示される第1領域および第2領域に触れることなくタッチ操作が可能となるとともに、板状部材によって第1領域および第2領域への指の侵入が防止されるため、ユーザの指が立体視画像の視界に侵入することが防止され、没入感を損なうことなく立体視画像をユーザに提示することができ、当該ユーザの指によって当該第1領域および当該第2領域や第1レンズおよび第2レンズが汚損することを防止することができる。
また、上記タッチスクリーンは、矩形状の表示画面を有してもよい。上記左目用画像は、表示画面の左側に円形または楕円形で表示されてもよい。上記右目用画像は、表示画面の右側に円形または楕円形で表示されてもよい。
上記によれば、矩形状の表示画面に複数の円形または楕円形の画像を表示することによって生じる空領域に第3領域を設定することができるため、表示画面を効率よく利用することができる。
また、上記画像表示制御手段は、少なくとも1つ以上のユーザインターフェイス画像をタッチスクリーンにおける第3領域内に表示させてもよい。上記実行手段は、ユーザインターフェイス画像のうちいずれか1つがタッチ操作された場合、当該ユーザインターフェイス画像に対応する処理を実行してもよい。
上記によれば、タッチ操作を受け付ける第3領域にユーザインターフェイス画像を表示することによって、タッチ操作による操作指示内容を明確にすることができる。
また、上記画像表示制御手段は、左目用画像に左目用ユーザインターフェイス画像を含めて第1領域に表示し、当該左目用ユーザインターフェイス画像に対応する右目用ユーザインターフェイス画像を右目用画像に含めて第2領域に表示してもよい。上記実行手段は、タッチスクリーンへのタッチ操作とは異なる所定の操作が情報処理装置に対して行われたことに応じて、当該ユーザインターフェイス画像に対応する処理を実行してもよい。
上記によれば、ユーザインターフェイス画像が立体視表示されるため、立体視画像を見ている状態でも当該ユーザインターフェイス画像に応じた操作が可能となる。
また、上記情報処理装置は、表示モード設定手段を、さらに備えてもよい。表示モード設定手段は、当該情報処理装置がゴーグル装置に取り付けられている場合に左目用画像および右目用画像を表示することによる立体視画像をタッチスクリーンに表示する立体視モードに設定し、当該情報処理装置がゴーグル装置に取り付けられていない場合に当該立体視画像に対応する非立体視画像をタッチスクリーンに表示する非立体視モードに設定する。上記画像表示制御手段は、非立体視モードにおいて、第3領域内の所定位置とは異なる位置に表示される第1ユーザインターフェイス画像と非立体視画像とをタッチスクリーンに表示させ、立体視モードにおいて、第3領域内の所定位置とは異なる位置に表示される第1ユーザインターフェイス画像を非表示にして立体視画像をタッチスクリーンに表示させるとともに、第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像を第3領域内の所定位置に表示させてもよい。
上記によれば、表示モードに応じて、適切な位置にユーザインターフェイス画像を表示することができる。
また、上記板状部材は、情報処理装置がゴーグル装置に取り付けられた状態において、第1領域と第2領域とを仕切る部材を含んでもよい。
上記によれば、第1領域と第2領域との間と、第3領域と第1領域との間および/または第3領域と第2領域との間を1つの部材によって仕切ることができるため、板状部材のコストを低減することができる。
また、本発明は、ゴーグル装置の形態で実施されてもよい。
本発明によれば、互いに視差のある左目用画像および右目用画像を表示する立体視表示において、開口部を介して、立体視画像が表示される第1領域とも第2領域とも異なる第3領域にタッチ操作が可能となるため、操作の利便性を向上させることができる。
本体装置2に左コントローラ3および右コントローラ4を装着した状態を示す図 本体装置2から左コントローラ3および右コントローラ4をそれぞれ外した状態の一例を示す図 本体装置2の一例を示す六面図 左コントローラ3の一例を示す六面図 右コントローラ4の一例を示す六面図 本体装置2の内部構成の一例を示すブロック図 本体装置2と左コントローラ3および右コントローラ4との内部構成の一例を示すブロック図 ゴーグル装置150の外観の一例を示す斜視図 本体装置2をゴーグル装置150に装着する状態の一例を示す正面図 ゴーグル装置150に装着された本体装置2の状態の一例を示す正面図 ゴーグル装置150の内部構造の一例を示す図 ゴーグル装置150に装着された本体装置2の状態の一例を示す側面図 画像表示システムに表示されている画像を見るユーザの様子の一例を示す図 画像表示システムを把持するユーザの様子の一例を示す図 立体視表示モードおよび非立体視表示モードにおいてそれぞれ本体装置2に表示される画像の一例を示す図 本体装置2のDRAM85に設定されるデータ領域の一例を示す図 ゲームシステム1で実行されるゲーム処理の一例を示すフローチャート
以下、本実施形態の一例に係る画像表示システムについて説明する。本実施形態における画像表示システムの一例は、ゲームシステム1(最小限の構成としては、ゲームシステム1に含まれる本体装置2)およびゴーグル装置150によって構成される。ゲームシステム1の一例は、本体装置(情報処理装置;本実施形態ではゲーム装置本体として機能する)2と左コントローラ3および右コントローラ4とを含む。本体装置2は、左コントローラ3および右コントローラ4がそれぞれ着脱可能である。つまり、ゲームシステム1は、左コントローラ3および右コントローラ4をそれぞれ本体装置2に装着して一体化された装置として利用できる。また、ゲームシステム1は、本体装置2と左コントローラ3および右コントローラ4とを別体として利用することもできる(図2参照)。以下では、本実施形態のゲームシステム1のハードウェア構成について説明し、その後に本実施形態のゲームシステム1の制御について説明する。
図1は、本体装置2に左コントローラ3および右コントローラ4を装着した状態の一例を示す図である。図1に示すように、左コントローラ3および右コントローラ4は、それぞれ本体装置2に装着されて一体化されている。本体装置2は、ゲームシステム1における各種の処理(例えば、ゲーム処理)を実行する装置である。本体装置2は、ディスプレイ12を備える。左コントローラ3および右コントローラ4は、ユーザが入力を行うための操作部を備える装置である。
図2は、本体装置2から左コントローラ3および右コントローラ4をそれぞれ外した状態の一例を示す図である。図1および図2に示すように、左コントローラ3および右コントローラ4は、本体装置2に着脱可能である。なお、以下において、左コントローラ3および右コントローラ4の総称として「コントローラ」と記載することがある。
図3は、本体装置2の一例を示す六面図である。図3に示すように、本体装置2は、略板状のハウジング11を備える。本実施形態において、ハウジング11の主面(換言すれば、表側の面、すなわち、ディスプレイ12が設けられる面)は、大略的には矩形形状である。
なお、ハウジング11の形状および大きさは、任意である。一例として、ハウジング11は、携帯可能な大きさであってよい。また、本体装置2単体または本体装置2に左コントローラ3および右コントローラ4が装着された一体型装置は、携帯型装置となってもよい。また、本体装置2または一体型装置が手持ち型の装置となってもよい。また、本体装置2または一体型装置が可搬型装置となってもよい。
図3に示すように、本体装置2は、ハウジング11の主面に設けられるディスプレイ12を備える。ディスプレイ12は、本体装置2が生成した画像を表示する。本実施形態においては、ディスプレイ12は、液晶表示装置(LCD)とする。ただし、ディスプレイ12は任意の種類の表示装置であってよい。
また、本体装置2は、ディスプレイ12の画面上にタッチパネル13を備える。本実施形態においては、タッチパネル13は、マルチタッチ入力が可能な方式(例えば、静電容量方式)のものである。ただし、タッチパネル13は、任意の種類のものであってよく、例えば、シングルタッチ入力が可能な方式(例えば、抵抗膜方式)のものであってもよい。なお、本実施例では、タッチスクリーンの一例としてディスプレイ12およびディスプレイ12の画面上に設けられたタッチパネル13を用いている。
本体装置2は、ハウジング11の内部においてスピーカ(すなわち、図6に示すスピーカ88)を備えている。図3に示すように、ハウジング11の主面には、スピーカ孔11aおよび11bが形成される。そして、スピーカ88の出力音は、これらのスピーカ孔11aおよび11bからそれぞれ出力される。
また、本体装置2は、本体装置2が左コントローラ3と有線通信を行うための端子である左側端子17と、本体装置2が右コントローラ4と有線通信を行うための右側端子21を備える。
図3に示すように、本体装置2は、スロット23を備える。スロット23は、ハウジング11の上側面に設けられる。スロット23は、所定の種類の記憶媒体を装着可能な形状を有する。所定の種類の記憶媒体は、例えば、ゲームシステム1およびそれと同種の情報処理装置に専用の記憶媒体(例えば、専用メモリカード)である。所定の種類の記憶媒体は、例えば、本体装置2で利用されるデータ(例えば、アプリケーションのセーブデータ等)、および/または、本体装置2で実行されるプログラム(例えば、アプリケーションのプログラム等)を記憶するために用いられる。また、本体装置2は、電源ボタン28を備える。
本体装置2は、下側端子27を備える。下側端子27は、本体装置2がクレードルと通信を行うための端子である。本実施形態において、下側端子27は、USBコネクタ(より具体的には、メス側コネクタ)である。上記一体型装置または本体装置2単体をクレードルに載置した場合、ゲームシステム1は、本体装置2が生成して出力する画像を据置型モニタに表示することができる。また、本実施形態においては、クレードルは、載置された上記一体型装置または本体装置2単体を充電する機能を有する。また、クレードルは、ハブ装置(具体的には、USBハブ)の機能を有する。
本体装置2は、照度センサ29を備える。本実施例においては、照度センサ29は、ハウジング11の主面下部に設けられ、ハウジング11の主面側から入射する光の照度(明るさ)を検出する。なお、照度センサ29によって検出された光の照度に応じて、ディスプレイ12を適切な明るさにして画像を表示することができるが、本実施例においては当該検出された照度に基づいて、本体装置2が後述するゴーグル装置150に装着されているか否かが判定される。
図4は、左コントローラ3の一例を示す六面図である。図4に示すように、左コントローラ3は、ハウジング31を備える。本実施形態においては、ハウジング31は、縦長の形状、すなわち、上下方向(すなわち、図1および図4に示すy軸方向)に長い形状である。左コントローラ3は、本体装置2から外された状態において、縦長となる向きで把持されることも可能である。ハウジング31は、縦長となる向きで把持される場合に片手、特に左手で把持可能な形状および大きさをしている。また、左コントローラ3は、横長となる向きで把持されることも可能である。左コントローラ3が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。
左コントローラ3は、アナログスティック32を備える。図4に示すように、アナログスティック32は、ハウジング31の主面に設けられる。アナログスティック32は、方向を入力することが可能な方向入力部として用いることができる。ユーザは、アナログスティック32を傾倒することによって傾倒方向に応じた方向の入力(および、傾倒した角度に応じた大きさの入力)が可能である。なお、左コントローラ3は、方向入力部として、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、本実施形態においては、アナログスティック32を押下する入力が可能である。
左コントローラ3は、各種操作ボタンを備える。左コントローラ3は、ハウジング31の主面上に4つの操作ボタン33〜36(具体的には、右方向ボタン33、下方向ボタン34、上方向ボタン35、および左方向ボタン36)を備える。さらに、左コントローラ3は、録画ボタン37および−(マイナス)ボタン47を備える。左コントローラ3は、ハウジング31の側面の左上に第1Lボタン38およびZLボタン39を備える。また、左コントローラ3は、ハウジング31の側面の、本体装置2に装着される際に装着される側の面に第2Lボタン43および第2Rボタン44を備える。これらの操作ボタンは、本体装置2で実行される各種プログラム(例えば、OSプログラムやアプリケーションプログラム)に応じた指示を行うために用いられる。
また、左コントローラ3は、左コントローラ3が本体装置2と有線通信を行うための端子42を備える。
図5は、右コントローラ4の一例を示す六面図である。図5に示すように、右コントローラ4は、ハウジング51を備える。本実施形態においては、ハウジング51は、縦長の形状、すなわち、上下方向に長い形状である。右コントローラ4は、本体装置2から外された状態において、縦長となる向きで把持されることも可能である。ハウジング51は、縦長となる向きで把持される場合に片手、特に右手で把持可能な形状および大きさをしている。また、右コントローラ4は、横長となる向きで把持されることも可能である。右コントローラ4が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。
右コントローラ4は、左コントローラ3と同様、方向入力部としてアナログスティック52を備える。本実施形態においては、アナログスティック52は、左コントローラ3のアナログスティック32と同じ構成である。また、右コントローラ4は、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、右コントローラ4は、左コントローラ3と同様、ハウジング51の主面上に4つの操作ボタン53〜56(具体的には、Aボタン53、Bボタン54、Xボタン55、およびYボタン56)を備える。さらに、右コントローラ4は、+(プラス)ボタン57およびホームボタン58を備える。また、右コントローラ4は、ハウジング51の側面の右上に第1Rボタン60およびZRボタン61を備える。また、右コントローラ4は、左コントローラ3と同様、第2Lボタン65および第2Rボタン66を備える。
また、右コントローラ4は、右コントローラ4が本体装置2と有線通信を行うための端子64を備える。
図6は、本体装置2の内部構成の一例を示すブロック図である。本体装置2は、図3に示す構成の他、図6に示す各構成要素81〜91、97、および98を備える。これらの構成要素81〜91、97、および98のいくつかは、電子部品として電子回路基板上に実装されてハウジング11内に収納されてもよい。
本体装置2は、プロセッサ81を備える。プロセッサ81は、本体装置2において実行される各種の情報処理を実行する情報処理部であって、例えば、CPU(Central Processing Unit)のみから構成されてもよいし、CPU機能、GPU(Graphics Processing Unit)機能等の複数の機能を含むSoC(System−on−a−chip)から構成されてもよい。プロセッサ81は、記憶部(具体的には、フラッシュメモリ84等の内部記憶媒体、あるいは、スロット23に装着される外部記憶媒体等)に記憶される情報処理プログラム(例えば、ゲームプログラム)を実行することによって、各種の情報処理を実行する。
本体装置2は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ84およびDRAM(Dynamic Random Access Memory)85を備える。フラッシュメモリ84およびDRAM85は、プロセッサ81に接続される。フラッシュメモリ84は、主に、本体装置2に保存される各種のデータ(プログラムであってもよい)を記憶するために用いられるメモリである。DRAM85は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。
本体装置2は、スロットインターフェース(以下、「I/F」と略記する。)91を備える。スロットI/F91は、プロセッサ81に接続される。スロットI/F91は、スロット23に接続され、スロット23に装着された所定の種類の記憶媒体(例えば、専用メモリカード)に対するデータの読み出しおよび書き込みを、プロセッサ81の指示に応じて行う。
プロセッサ81は、フラッシュメモリ84およびDRAM85、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。
本体装置2は、ネットワーク通信部82を備える。ネットワーク通信部82は、プロセッサ81に接続される。ネットワーク通信部82は、ネットワークを介して外部の装置と通信(具体的には、無線通信)を行う。本実施形態においては、ネットワーク通信部82は、第1の通信態様としてWi−Fiの規格に準拠した方式により、無線LANに接続して外部装置と通信を行う。また、ネットワーク通信部82は、第2の通信態様として所定の通信方式(例えば、独自プロトコルによる通信や、赤外線通信)により、同種の他の本体装置2との間で無線通信を行う。なお、上記第2の通信態様による無線通信は、閉ざされたローカルネットワークエリア内に配置された他の本体装置2との間で無線通信可能であり、複数の本体装置2の間で直接通信することによってデータが送受信される、いわゆる「ローカル通信」を可能とする機能を実現する。
本体装置2は、コントローラ通信部83を備える。コントローラ通信部83は、プロセッサ81に接続される。コントローラ通信部83は、左コントローラ3および/または右コントローラ4と無線通信を行う。本体装置2と左コントローラ3および右コントローラ4との通信方式は任意であるが、本実施形態においては、コントローラ通信部83は、左コントローラ3との間および右コントローラ4との間で、Bluetooth(登録商標)の規格に従った通信を行う。
プロセッサ81は、上述の左側端子17、右側端子21、および下側端子27に接続される。プロセッサ81は、左コントローラ3と有線通信を行う場合、左側端子17を介して左コントローラ3へデータを送信するとともに、左側端子17を介して左コントローラ3から操作データを受信する。また、プロセッサ81は、右コントローラ4と有線通信を行う場合、右側端子21を介して右コントローラ4へデータを送信するとともに、右側端子21を介して右コントローラ4から操作データを受信する。また、プロセッサ81は、クレードルと通信を行う場合、下側端子27を介してクレードルへデータを送信する。このように、本実施形態においては、本体装置2は、左コントローラ3および右コントローラ4との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ3および右コントローラ4が本体装置2に装着された一体型装置または本体装置2単体がクレードルに装着された場合、本体装置2は、クレードルを介してデータ(例えば、画像データや音声データ)を据置型モニタ等に出力することができる。
ここで、本体装置2は、複数の左コントローラ3と同時に(換言すれば、並行して)通信を行うことができる。また、本体装置2は、複数の右コントローラ4と同時に(換言すれば、並行して)通信を行うことができる。したがって、複数のユーザは、左コントローラ3および右コントローラ4のセットをそれぞれ用いて、本体装置2に対する入力を同時に行うことができる。一例として、第1ユーザが左コントローラ3および右コントローラ4の第1セットを用いて本体装置2に対して入力を行うと同時に、第2ユーザが左コントローラ3および右コントローラ4の第2セットを用いて本体装置2に対して入力を行うことが可能となる。
本体装置2は、タッチパネル13の制御を行う回路であるタッチパネルコントローラ86を備える。タッチパネルコントローラ86は、タッチパネル13とプロセッサ81との間に接続される。タッチパネルコントローラ86は、タッチパネル13からの信号に基づいて、例えばタッチ入力が行われた位置を示すデータを生成して、プロセッサ81へ出力する。
また、ディスプレイ12は、プロセッサ81に接続される。プロセッサ81は、(例えば、上記の情報処理の実行によって)生成した画像および/または外部から取得した画像をディスプレイ12に表示する。
本体装置2は、コーデック回路87およびスピーカ(具体的には、左スピーカおよび右スピーカ)88を備える。コーデック回路87は、スピーカ88および音声入出力端子25に接続されるとともに、プロセッサ81に接続される。コーデック回路87は、スピーカ88および音声入出力端子25に対する音声データの入出力を制御する回路である。
また、本体装置2は、加速度センサ89を備える。本実施形態においては、加速度センサ89は、所定の3軸(例えば、図1に示すxyz軸)方向に沿った加速度の大きさを検出する。なお、加速度センサ89は、1軸方向あるいは2軸方向の加速度を検出するものであってもよい。
また、本体装置2は、角速度センサ90を備える。本実施形態においては、角速度センサ90は、所定の3軸(例えば、図1に示すxyz軸)回りの角速度を検出する。なお、角速度センサ90は、1軸回りあるいは2軸回りの角速度を検出するものであってもよい。
加速度センサ89および角速度センサ90は、プロセッサ81に接続され、加速度センサ89および角速度センサ90の検出結果は、プロセッサ81へ出力される。プロセッサ81は、上記の加速度センサ89および角速度センサ90の検出結果に基づいて、本体装置2の動きおよび/または姿勢に関する情報を算出することが可能である。
照度センサ29は、プロセッサ81に接続され、照度センサ29の検出結果は、プロセッサ81へ出力される。プロセッサ81は、照度センサ29の検出結果に基づいて、本体装置2周辺の明るさに関する情報を算出することが可能である。
本体装置2は、電力制御部97およびバッテリ98を備える。電力制御部97は、バッテリ98およびプロセッサ81に接続される。また、図示しないが、電力制御部97は、本体装置2の各部(具体的には、バッテリ98の電力の給電を受ける各部、左側端子17、および右側端子21)に接続される。電力制御部97は、プロセッサ81からの指令に基づいて、バッテリ98から上記各部への電力供給を制御する。
また、バッテリ98は、下側端子27に接続される。外部の充電装置(例えば、クレードル)が下側端子27に接続され、下側端子27を介して本体装置2に電力が供給される場合、供給された電力がバッテリ98に充電される。
図7は、本体装置2と左コントローラ3および右コントローラ4との内部構成の一例を示すブロック図である。なお、本体装置2に関する内部構成の詳細については、図6で示しているため図7では省略している。
左コントローラ3は、本体装置2との間で通信を行う通信制御部101を備える。図7に示すように、通信制御部101は、端子42を含む各構成要素に接続される。本実施形態においては、通信制御部101は、端子42を介した有線通信と、端子42を介さない無線通信との両方で本体装置2と通信を行うことが可能である。通信制御部101は、左コントローラ3が本体装置2に対して行う通信方法を制御する。すなわち、左コントローラ3が本体装置2に装着されている場合、通信制御部101は、端子42を介して本体装置2と通信を行う。また、左コントローラ3が本体装置2から外されている場合、通信制御部101は、本体装置2(具体的には、コントローラ通信部83)との間で無線通信を行う。コントローラ通信部83と通信制御部101との間の無線通信は、例えばBluetooth(登録商標)の規格に従って行われる。
また、左コントローラ3は、例えばフラッシュメモリ等のメモリ102を備える。通信制御部101は、例えばマイコン(マイクロプロセッサとも言う)で構成され、メモリ102に記憶されるファームウェアを実行することによって各種の処理を実行する。
左コントローラ3は、各ボタン103(具体的には、ボタン33〜39、43、44、および47)を備える。また、左コントローラ3は、アナログスティック(図7では「スティック」と記載する)32を備える。各ボタン103およびアナログスティック32は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部101へ出力する。
通信制御部101は、各入力部(具体的には、各ボタン103、アナログスティック32、各センサ104および105)から、入力に関する情報(具体的には、操作に関する情報、またはセンサによる検出結果)を取得する。通信制御部101は、取得した情報(または取得した情報に所定の加工を行った情報)を含む操作データを本体装置2へ送信する。なお、操作データは、所定時間に1回の割合で繰り返し送信される。なお、入力に関する情報が本体装置2へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。
上記操作データが本体装置2へ送信されることによって、本体装置2は、左コントローラ3に対して行われた入力を得ることができる。すなわち、本体装置2は、各ボタン103およびアナログスティック32に対する操作を、操作データに基づいて判別することができる。
左コントローラ3は、電力供給部108を備える。本実施形態において、電力供給部108は、バッテリおよび電力制御回路を有する。図示しないが、電力制御回路は、バッテリに接続されるとともに、左コントローラ3の各部(具体的には、バッテリの電力の給電を受ける各部)に接続される。
図7に示すように、右コントローラ4は、本体装置2との間で通信を行う通信制御部111を備える。また、右コントローラ4は、通信制御部111に接続されるメモリ112を備える。通信制御部111は、端子64を含む各構成要素に接続される。通信制御部111およびメモリ112は、左コントローラ3の通信制御部101およびメモリ102と同様の機能を有する。したがって、通信制御部111は、端子64を介した有線通信と、端子64を介さない無線通信(具体的には、Bluetooth(登録商標)の規格に従った通信)との両方で本体装置2と通信を行うことが可能であり、右コントローラ4が本体装置2に対して行う通信方法を制御する。
右コントローラ4は、左コントローラ3の各入力部と同様の各入力部を備える。具体的には、各ボタン113、アナログスティック52、を備える。これらの各入力部については、左コントローラ3の各入力部と同様の機能を有し、同様に動作する。
右コントローラ4は、電力供給部118を備える。電力供給部118は、左コントローラ3の電力供給部108と同様の機能を有し、同様に動作する。
次に、図8〜図14を参照して、ゲームシステム1(具体的には、本体装置2)が装着されることによって画像表示システムを構成する装置の一例であるゴーグル装置150について説明する。なお、図8は、ゴーグル装置150の外観の一例を示す斜視図である。図9は、本体装置2をゴーグル装置150に装着する状態の一例を示す正面図である。図10は、ゴーグル装置150に装着された本体装置2の状態の一例を示す正面図である。図11は、ゴーグル装置150の内部構造の一例を示す図である。図12は、ゴーグル装置150に装着された本体装置2の状態の一例を示す側面図である。図13は、画像表示システムに表示されている画像を見るユーザの様子の一例を示す図である。図14は、画像表示システムを把持するユーザの様子の一例を示す図である。
図8〜図12において、ゴーグル装置150は、本体151、レンズ枠部材152、レンズ153、および板状部材154を有している。ここで、画像表示システムを構成する装置の一例であるゴーグル装置は、ユーザの左右の目を覆うように当該ユーザの顔にフィットして着用され、外光の少なくとも一部を遮る機能および一対のレンズによって当該ユーザにおける立体視をサポートする機能を有するものであれば、後述する構成に限られない。例えば、上記ゴーグル装置は、ユーザが把持することによって当該ユーザの顔にフィットされるタイプ(手持ち型ゴーグル)、ユーザの頭部に固定されることによって当該ユーザの顔にフィットされるタイプ、載置状態の装置をユーザが覗き込むタイプなど、様々な状態で用いられるものであってもよい。また、上記ゴーグル装置は、本体装置2が取り付けられた状態でユーザの頭部に着用されることによって、いわゆるヘッドマウントディスプレイとして機能するものであってもよく、ゴーグル型の他にヘルメット型の形状を有するものであってもよい。以下のゴーグル装置150の説明では、ユーザが把持して当該ユーザの顔にフィットするように着用するゴーグル型タイプの手持ち型ゴーグル装置を用いる。
本体151は、本体装置2の前面、背面、上面、および下面と接することによって本体装置2を着脱自在に固定する装着部を有している。装着部は、本体装置2の前面(ディスプレイ12が設けられている面)の一部と接面される前面当接部と、本体装置2の背面と接面される背面当接部と、本体装置2の上面と接面される上面当接部と、本体装置2の下面と接面される下面当接部とを有し、当該前面当接部、背面当接部、上面当接部、および下面当接部に囲まれて形成された空隙を有し左右両側面が開放された角筒状に形成される。装着部は、本体装置2の左側面側または右側面側から装着可能とするために、両側面(図示x軸正方向側の側面およびx軸負方向側の側面)が開口している。そして、図9に示すように本体装置2の右側面側の開口からゴーグル装置150に装着する場合、上記前面当接部が本体装置2の前面と接し、上記背面当接部が本体装置2の背面と接し、上記上面当接部が本体装置2の上面と接し、上記下面当接部が本体装置2の下面と接した状態となる。なお、本体151の前面当接部は、本体装置2が装着された際にディスプレイ12の表示画像(左目用画像および右目用画像)に対する視界を少なくとも妨げないように開口部が形成されている。
図9および図12に示すように、本体装置2は、本体装置2の左側面側または右側面側から上記装着部の前面当接部、背面当接部、上面当接部、および下面当接部に沿って、本体151の装着部の空隙内にスライド挿入させることによって、ゴーグル装置150に取り付けられる。また、本体装置2は、ゴーグル装置150に取り付けられた状態から上記装着部の前面当接部、背面当接部、上面当接部、および下面当接部に沿って、左または右にスライドさせることによって、ゴーグル装置150から取り外すことができる。このように、ゴーグル装置150は、本体装置2を着脱可能に装着することができる。
レンズ枠部材152は、本体151の前面部に形成された上記開口部側に固設される。レンズ枠部材152は、本体151に装着された本体装置2のディスプレイ12に表示される表示画像(左目用画像IMLおよび右目用画像IMR)に対する視界を妨げないように開口した、一対のレンズ枠を有している。また、レンズ枠部材152の上下左右に形成される外縁には、本体装置2に接合されるための接合面が形成されるとともに、当該下方に形成される外縁の中央部にゴーグル装置150を着用するユーザの鼻と接触するためのV字状の凹部が形成される。
画像表示システムを構成する第1レンズ、および、第2レンズの一例であるレンズ153は、一対の左目用レンズ153Lおよび右目用レンズ153Rによって構成され、例えば一対のフレネルレンズである。左目用レンズ153Lおよび右目用レンズ153Rは、それぞれレンズ枠部材152のレンズ枠に嵌め込まれている。具体的には、左目用レンズ153Lは、本体151に装着された本体装置2のディスプレイ12に表示された左目用画像IMLの視界を妨げないように開口されている一方のレンズ枠に嵌め込まれ、ユーザが左目で左目用レンズ153Lを覗いた場合に当該左目用画像IMLを見ることができる。また、右目用レンズ153Rは、本体151に装着された本体装置2のディスプレイ12に表示された右目用画像IMRの視界を妨げないように開口されている他方のレンズ枠に嵌め込まれ、ユーザが右目で右目用レンズ153Rを覗いた場合に当該右目用画像IMRを見ることができる。なお、左目用レンズ153Lおよび右目用レンズ153Rは、典型的には円形または楕円形の拡大レンズであればよく、画像を歪ませてユーザに視認させるレンズであればよい。例えば、左目用レンズ153Lが円形または楕円形に歪んで表示されている左目用画像IML(後述)を当該画像の歪みとは逆方向に歪ませて視認させ、右目用レンズ153Rが円形または楕円形に歪んで表示されている右目用画像IMR(後述)を当該画像の歪みとは逆方向に歪ませて視認させることによって、画像を立体視するものであってもよい。また、左目用レンズ153Lおよび右目用レンズ153Rは、一体化形成された構成であってもよい。
本体151は、レンズ枠部材152の外縁を角筒状に囲むように本体151の前面側から外側へ突出するように設けられた当接部を有している。上記当接部において前面側から外側へ突出している端面は、ゴーグル装置150の外側からレンズ153を見た場合に、当該レンズ153の手前側に配設され、本体装置2を装着した状態で当該端面がゴーグル装置150において最も手前側(z軸負方向側)に配置される。そして、本体151の当接部は、本体装置2が装着されたゴーグル装置150をユーザが覗く場合、ユーザの顔面(典型的には、ユーザの両目周辺)とフィットする端面形状を有しており、当該端面がユーザの顔面と当接することによって、ユーザの眼とレンズ153との位置関係を固定する機能を有している。
また、上記当接部は、画像表示システムを用いてディスプレイ12に表示された立体画像を見る場合に、左目用レンズ153Lおよび右目用レンズ153Rへの外光を遮ることができる。これによって、ディスプレイ12に表示された立体画像を見るユーザの没入感を向上させることができる。なお、上記当接部による遮光は、完全に外光を遮らなくてもよい。例えば、図14に示すように、筒状に構成される当接部の一部に凹みが形成されていてもよい。なお、図14に例示されている当接部の凹みは、左目用レンズ153Lおよび右目用レンズ153Rの中間点の下部となる位置に形成されているが、これはディスプレイ12に表示された立体画像を見るユーザの鼻が当接する位置である。すなわち、上記当接部の凹みによって、当接部とユーザの鼻とが強く当接することを避けることが可能となり、多少の遮光性が悪くなったとしても上記当接部と鼻との当接に対する不快感を軽減することができる。
図10に示すように、板状部材154は、本体装置2が本体151の装着部に装着されたされた場合に、レンズ枠部材152とディスプレイ12との間となる本体151の内部に固設される。例えば、板状部材154は、その一部がレンズ枠部材152におけるV字状の凹部に沿う形状で、当該凹部と装着された本体装置2のディスプレイ12との間を接続する壁(以下、第1壁部と記載する)のように配置される。そして、上記第1壁部によって囲まれる空間は、本体151に装着された本体装置2のディスプレイ12の一部を外部に露出させて、当該空間を介してユーザが当該一部をタッチ操作可能な操作窓として機能する開口部154hとなる。なお、板状部材154における第1壁部は、図11に示すようにその一部が開口していてもかまわない。
また、図11に示すように、板状部材154は、一例として、左目用レンズ153Lと右目用レンズ153Rとの間に縦方向に立設され、当該凹部と装着された本体装置2のディスプレイ12との間を接続する壁(以下、第2壁部と記載する)のように配置される。そして、上記第2壁部は、本体151に本体装置2が装着された状態では、ディスプレイ12に表示された左目用画像IMLと右目用画像IMRとの間に当該画像を区分けするように配設され、左目用画像IMLと右目用画像IMRとの間に設けられる隔壁として機能する。そして、上記第1壁部が上記第2壁部にまで延設されることによって板状部材154が設けられ、上記第1壁部と上記第2壁部とは一体化した部材によって形成される。このように、上記第1壁部と上記第2壁部とを一体化した部材によって構成することによって、板状部材154の製造コストを低減することが可能となる。
図10、図12、図13、および図14において、画像表示システムは、ゴーグル装置150に本体装置2を装着することによって構成される。ここで、本実施例においては、本体装置2は、ゴーグル装置150によって本体装置2全体が覆われるように装着される。そして、ゴーグル装置150に本体装置2が装着された場合、左目用レンズ153Lを介して、ディスプレイ12の左側領域に表示されている左目用画像IMLのみを見ることが可能であり、右目用レンズ153Rを介して、ディスプレイ12の右側領域に表示されている右目用画像IMRのみを見ることが可能となる。したがって、画像表示システムのユーザは、左目で左目用レンズ153Lを見て、右目で右目用レンズ153Rを見ることによって、左目用画像IMLおよび右目用画像IMRを視認することが可能となるため、視差のある左目用画像IMLおよび右目用画像IMRをディスプレイ12に表示することによって、ユーザにとって立体感のある立体画像を表示することができる。
図13および図14に示すように、ユーザがゴーグル装置150に本体装置2を装着した画像表示システムを把持して、ディスプレイ12に表示された立体画像を見る場合、本体装置2が装着されたゴーグル装置150の左側部を左手で把持し、ゴーグル装置150の右側部を右手で把持することができる。このようにユーザがゴーグル装置150の左右側部を把持することによって、本体装置2が安定して装着された状態を維持することができる。
また、画像表示システムは、本体装置2がゴーグル装置150に装着された状態であっても、板状部材154の上記第1壁部に囲まれて形成されている開口部154hを介して、ディスプレイ12の画面上に設けられたタッチパネル13の一部(後述する、ディスプレイ12の第3領域)をタッチ操作することが可能となる。また、画像表示システムは、本体装置2に設けられている加速度センサ89および/または角速度センサ90の検出結果に基づいて、本体装置2の動きおよび/または姿勢、すなわちゴーグル装置150を含む画像表示システムの動きおよび/または姿勢に関する情報を算出することが可能である。したがって、画像表示システムは、本体装置2が装着されたゴーグル装置150を覗くユーザ頭部の重力方向基準の姿勢を算出することができる。また、画像表示システムは、本体装置2が装着されたゴーグル装置150を覗くユーザの頭部の姿勢や方向が変化した場合、当該変化した方向や角度を算出することが可能となる。さらに、画像表示システムは、本体装置2が装着されたゴーグル装置150を覗くユーザが当該画像表示システムを叩くような振動与えた場合、当該振動を検出することが可能となる。したがって、ゴーグル装置150に本体装置2が装着された状態で左目用レンズ153Lおよび右目用レンズ153Rを介して、ディスプレイ12に表示された立体画像を見る場合、開口部154hを介したタッチ操作、画像表示システムの重力方向基準の姿勢に基づく操作、画像表示システムの姿勢を変化させる操作、画像表示システムに振動を与える操作が可能となるプレイスタイルが実現される。
なお、本実施例における画像表示システムを使用する際、本体装置2から取り外されている左コントローラ3および右コントローラ4の少なくとも一方を用いて操作してもよい。例えば、左コントローラ3を用いて、画像表示システムの操作を行う場合、ユーザは、本体装置2が装着されたゴーグル装置150を右手で把持しながらディスプレイ12に表示された立体画像を見るとともに、取り外されている左コントローラ3単体を左手で把持して操作を行う。この場合、本体装置2から取り外されている左コントローラ3および/または右コントローラ4に対して操作された操作情報は、本体装置2との間の無線通信によって本体装置2へ送信される。具体的には、左コントローラ3に対して操作された操作情報は、左コントローラ3の通信制御部101から無線送信され、本体装置2のコントローラ通信部83によって受信される。また、右コントローラ4に対して操作された操作情報は、右コントローラ4の通信制御部111から無線送信され、本体装置2のコントローラ通信部83によって受信される。
このように、本実施例においては、ゴーグル装置150に本体装置2を装着することによって、ユーザが把持して立体画像を見る可搬型の画像表示システムを構成することができる。また、本実施例の画像表示システムでは、ゴーグル装置150にユーザの顔を当接させながら本体装置2のディスプレイ12に表示された立体画像を見るため、本体装置2に設けられているステレオスピーカ(左スピーカ88Lおよび右スピーカ88R)とユーザの耳との位置関係も固定され、左右のスピーカがユーザの耳の近傍に配置されることになる。したがって、本体装置2は、イヤホンやスピーカの利用を強制することなく、音声出力装置と視聴者の耳との位置関係に基づいた音声を出力することが可能となる。例えば、本体装置2は、音声出力装置と視聴者の耳との位置関係に基づいて、いわゆる立体音響技術を用いた音源の制御が可能となる。
次に、図9、図10、および図15を参照して、本体装置2に表示される画像について説明する。なお、図15は、立体視表示モードおよび非立体視表示モードにおいてそれぞれ本体装置2に表示される画像の一例を示す図である。
本実施例における画像表示システムは、本体装置2がゴーグル装置150に装着されてディスプレイ12に表示される画像を立体視する際に用いられる立体視表示モードと、本体装置2がゴーグル装置150から取り外されてディスプレイ12に表示される画像を直接見ることによって非立体視する際に用いられる非立体視表示モードとの何れかに設定される。そして、画像表示システムは、設定されているモードに応じた画像を、本体装置2のディスプレイ12に表示させる。ここで、立体視するための立体視画像は、互いに視差のある右目用画像と左目用画像とをユーザが右目および左目で見ることによって、当該ユーザが立体視するものでもよい。この場合、非立体視される非立体視画像は、上記2画像表示(立体視表示)以外の画像であり、典型的には単一の画像をユーザが右目および左目で見るものでもよい。
立体視表示モードにおいて、画像表示システムは、表示対象となっているコンテンツ画像(例えば、仮想空間や現実空間の一部を表示するための画像)を、互いに視差のある左目用画像IMLおよび右目用画像IMRによって構成し、左目用画像IMLをディスプレイ12の左側領域に表示し、右目用画像IMLをディスプレイ12の右側領域に表示する。具体的には、図9に示すように、立体視表示モードにおいて、左目用画像IMLは、本体装置2がゴーグル装置150に装着された場合に、左目用レンズ153Lによって視認可能な略楕円形領域であり、ディスプレイ12の左側領域の一部となる第1領域に表示される。また、立体視表示モードにおいて、右目用画像IMRは、本体装置2がゴーグル装置150に装着された場合に、右目用レンズ153Rによって視認可能な略楕円形領域であり、ディスプレイ12の右側領域の一部となる第2領域に表示される。
ここで、上述したように、本体装置2がゴーグル装置150に装着された状態では、板状部材154の第2壁部がディスプレイ12の第1領域に表示される左目用画像IMLと第2領域に表示される右目用画像IMRとの間に配置される。したがって、左目用画像IMLと右目用画像IMRとは、板状部材154の第2壁部を隔壁として区分けされるため、左目用レンズ153Lを介して右目用画像IMRが視認されたり、右目用レンズ153Rを介して左目用画像IMLが視認されたりすることを防止することができる。
一例として、仮想空間に配置された互いに視差のある一対の仮想カメラ(左仮想カメラおよび右仮想カメラ)からそれぞれ見た当該仮想空間の画像が、それぞれ左目用画像IMLおよび右目用画像IMRとして生成される。上記一対の仮想カメラは、実空間における重力方向を基準とした本体装置2の姿勢と対応するように仮想空間内に配置される。そして、上記一対の仮想カメラは、実空間における本体装置2の姿勢変化と対応するように仮想空間内で姿勢を変化させ、本体装置2の姿勢に応じて仮想カメラの視線方向を制御する。これによって、画像表示システムを着用するユーザは、周囲を見渡すように本体装置2(画像表示システム)の姿勢を変化させる操作によって立体視する仮想空間の表示範囲を変更でき、立体視されている仮想空間を見渡すことができるので、仮想カメラの場所に実際にいるかのような体験をすることができる。なお、本実施例においては、本体装置2は、本体装置2に作用している重力加速度の方向と仮想カメラに作用している仮想空間の重力方向とを一致させるとともに、本体装置2の姿勢の変化量と仮想カメラの視線方向の変化量とを一致させる。これにより、本体装置2の姿勢によって立体視する仮想空間を見渡す操作のリアリティが増す。
また、画像表示システムは、本体装置2のタッチパネル13に対するタッチ操作を受け付けるためのユーザインターフェイス画像IMUをディスプレイ12に表示する。例えば、立体視表示モードにおいて表示されるユーザインターフェイス画像IMUaは、ゴーグル装置150の開口部154hを介してタッチ操作可能なディスプレイ12の表示領域に表示される。例えば、上述したように、開口部154hは、板状部材154の第1壁部に囲まれて形成され、ユーザの鼻と当接するレンズ枠部材152におけるV字状の凹部から、ゴーグル装置150に装着された本体装置2のディスプレイ12の一部(具体的には、ディスプレイ12下部中央付近となる領域)へのタッチ操作を可能とする。一例として、図9に示すように、開口部154hは、本体装置2がゴーグル装置150に装着されている状態であっても、ディスプレイ12における上記第1領域および上記第2領域によって挟まれるディスプレイ12の下方に設定される第3領域に対するタッチ操作を可能とする。
例えば、立体視表示モードにおいて、ディスプレイ12の第3領域には、2つのユーザインターフェイス画像IMUa1およびIMUa2が表示される。一例として、ユーザインターフェイス画像IMUa1は、タッチパネル13を介して表示位置がタッチ操作された場合に、ゲームを最初からリトライする操作指示となる操作アイコンである。また、ユーザインターフェイス画像IMUa2は、タッチパネル13を介して表示位置がタッチ操作された場合に、ゲームを終了する操作指示となる操作アイコンである。そして、2つのユーザインターフェイス画像IMUa1およびIMUa2は、上記第3領域の形状に合うようなサイズで並べてディスプレイ12の第3領域内に表示される。これにより、ユーザは、開口部154hを介して、2つのユーザインターフェイス画像IMUa1およびIMUa2の何れかをタッチ操作することによって、本体装置2がゴーグル装置150に装着された状態であっても、タッチ操作による複数の操作指示が可能となる。なお、2つのユーザインターフェイス画像IMUa1およびIMUa2は、ディスプレイ12の一部を外部に露出させることによってタッチ操作を可能とする上記第3領域付近に表示されてもよい。すなわち、2つのユーザインターフェイス画像IMUa1および/またはIMUa2の一部は、上記第3領域外に表示されていてもよい。
2つのユーザインターフェイス画像IMUa1およびIMUa2は、立体視表示モードで表示される画像であるが、ゴーグル装置150に装着された本体装置2のディスプレイ12において、ユーザの左目で見ることができる第1領域およびユーザの右目で見ることができる第2領域の外側となる第3領域に表示される。したがって、上記第3領域に表示されるユーザインターフェイス画像IMUa1およびIMUa2は、ゴーグル装置150を介して視認するユーザの視界外に表示され、また互いに視差のある2つの画像によって構成されていないため、立体視できない非立体視画像として表示されることになる。また、タッチ操作の対象となるユーザインターフェイス画像IMUa1およびIMUa2が、立体視画像を表示するための第1領域および第2領域の外に表示されるため、当該第1領域および第2領域がタッチ操作されることが少なくなる。したがって、ディスプレイ12がタッチ操作されることによって立体視画像を表示するための第1領域および第2領域が汚損することが防止することができるとともに、立体視画像を見ている状態においてタッチ操作するための指が視界に入るようなことを防止することができる。
なお、他の実施例においては、ユーザインターフェイス画像IMUa1およびIMUa2は、立体視表示モードにおいて立体視可能な立体視画像としてディスプレイ12に表示されてもかまわない。この場合、ユーザインターフェイス画像IMUa1およびIMUa2は、それぞれ互いに視差のある2つの画像によって構成されることによって立体視画像としてディスプレイ12に表示され、典型的には、上記第1領域の一部に立体視するための一方の画像が表示され、上記第2領域の一部に立体視するための他方の画像が表示される。
図15に示すように、非立体視表示モードにおいて、画像表示システムは、表示対象となっている上記コンテンツ画像を、非立体視画像である単一画像IMSによって構成し、一例としてディスプレイ12の表示領域全体に単一画像IMSを表示する。
一例として、仮想空間に配置された単一の仮想カメラから見た当該仮想空間の画像が、単一画像IMSとして生成される。上記単一の仮想カメラは、実空間における重力方向を基準とした本体装置2の姿勢と対応するように仮想空間内に配置される。そして、上記単一の仮想カメラは、実空間における本体装置2の姿勢変化と対応するように仮想空間内で姿勢を変化させ、本体装置2の姿勢に応じて仮想カメラの視線方向を制御する。これによって、ゴーグル装置150から取り外された本体装置2を把持するユーザは、周囲を見渡すように本体装置2の姿勢を変化させる操作によってディスプレイ12に表示される仮想空間の表示範囲を変更して仮想空間を見渡すことができるので、仮想カメラの場所に実際にいるかのような体験をすることができる。なお、本実施例においては、非立体視表示モードにおいても、本体装置2は、本体装置2に作用している重力加速度の方向と仮想カメラに作用している仮想空間の重力方向とを一致させるとともに、本体装置2の姿勢の変化量と仮想カメラの視線方向の変化量とを一致させる。これにより、本体装置2の姿勢によって非立体視の仮想空間を見渡す操作においてもリアリティが増す。なお、本実施例では、非立体視画像の一例として単一画像IMSを用いている。
また、非立体視表示モードにおいて表示されるユーザインターフェイス画像IMUbは、例えばディスプレイ12に表示されているコンテンツ画像(単一画像IMS)に重畳させてディスプレイ12に表示される。例えば、図15に示すように、非立体視表示モードにおいても、ディスプレイ12には、2つのユーザインターフェイス画像IMUb1およびIMUb2が表示される。一例として、ユーザインターフェイス画像IMUb1は、ユーザインターフェイス画像IMUa1に対応する画像であり、タッチパネル13を介して表示位置がタッチ操作された場合に、ゲームを最初からリトライする操作指示となる操作アイコンである。また、ユーザインターフェイス画像IMUb2は、ユーザインターフェイス画像IMUa2に対応する画像であり、タッチパネル13を介して表示位置がタッチ操作された場合に、ゲームを終了する操作指示となる操作アイコンである。ここで、ユーザインターフェイス画像IMUaに対応する画像とは、デザインおよび/またはサイズが異なるが機能がユーザインターフェイス画像IMUaと同じ(例えば、タッチ操作されることによる操作指示内容が同じ)であることを示している。なお、非立体視表示モードで表示されるユーザインターフェイス画像IMUaと立体視表示モードで表示されるユーザインターフェイス画像IMUbとは、機能だけでなくデザインおよびサイズが同じ、すなわち完全に同一であってもよい。
2つのユーザインターフェイス画像IMUb1およびIMUb2は、上記第3領域とは異なるディスプレイ12の隅部領域(例えば、左上隅部領域と右上隅部領域)にそれぞれ表示される。なお、2つのユーザインターフェイス画像IMUb1およびIMUb2は、タッチ操作が可能となる領域の制限を受けないため、立体視表示モードにおいて表示されるユーザインターフェイス画像IMUaより拡大表示が可能であり、ユーザによってタッチ操作しやすいサイズおよび形状で、タッチ操作によってコンテンツ画像(単一画像IMS)の視認性が損なわれにくい位置に表示することができる。
本実施例における画像表示システムは、本体装置2がゴーグル装置150に装着状態にあるか否かの検知結果に基づいて、上記立体視表示モードと上記非立体視表示モードとを自動切り替えすることができる。例えば、本体装置2には、ハウジング11の主面側から入射する光の照度(明るさ)を検出する照度センサ29が設けられており、照度センサ29による照度検出結果に基づいて、本体装置2がゴーグル装置150に装着状態にあるか否かを検出することができる。具体的には、本体装置2がゴーグル装置150に装着された場合、照度センサ29が検出する照度が暗くなるため、当該暗くなった照度を検出可能な閾値を設けて当該閾値以上か否かを検出することによって、本体装置2の装着状態を検出することが可能となる。ここで、照度センサ29による照度検出結果に基づいて、本体装置2が検出するゴーグル装置150における装着状態は、厳密には本体装置2が完全にゴーグル装置150に装着された状態になる前段階となる装着途中状態であってもよく、このような装着途中状態を含む概念である。
本実施例における画像表示システムは、本体装置2がゴーグル装置150に装着された状態にないと判定した場合、本体装置2における表示モードを非立体視表示モードに設定する。一方、非立体視表示モードに設定されている本体装置2において、本体装置2がゴーグル装置150に非装着状態から装着状態に変化したと判定された場合、本体装置2は、表示している非立体視画像のコンテンツ画像を立体視画像に変更することによって、同じコンテンツ画像をディスプレイ12に表示する。一例として、本体装置2は、非立体視表示モードにおいて単一画像IMSを表示するために仮想空間に単一の仮想カメラが設定されて仮想空間画像が生成されている場合、当該単一の仮想カメラの位置および視線方向を変えることなく互いに視差がある一対の仮想カメラ(左仮想カメラおよび右仮想カメラ)に変更して、左目用画像IMLおよび右目用画像IMRを表示するための仮想カメラを設定することによって、立体視表示モードにおける仮想空間画像の生成に切り替える。また、立体視表示モードに設定されている本体装置2において、本体装置2がゴーグル装置150に装着状態から非装着状態に変化したと判定された場合、本体装置2は、表示している立体視画像のコンテンツ画像を非立体視画像に変更することによって、立体視画像のコンテンツ画像に対応する同じコンテンツ画像を非立体視画像にしてディスプレイ12に表示する。一例として、本体装置2は、立体視表示モードにおいて左目用画像IMLおよび右目用画像IMRを表示するために仮想空間に一対の仮想カメラが設定されて仮想空間画像が生成されている場合、当該一対の仮想カメラの位置および視線方向を変えることなく単一の仮想カメラに変更して、単一画像IMSを表示するための仮想カメラを設定することによって、非立体視表示モードにおける仮想空間画像の生成に切り替える。このように、立体視画像のコンテンツ画像(仮想空間画像)に対応する非立体視画像のコンテンツ画像(仮想空間画像)、または非立体視画像のコンテンツ画像(仮想空間画像)に対応する立体視画像のコンテンツ画像(仮想空間画像)は、何れの場合も立体視画像か非立体視画像かの差異しかないことを示す。ただし、立体視画像のコンテンツ画像に対応する非立体視画像のコンテンツ画像、または非立体視画像のコンテンツ画像に対応する立体視画像のコンテンツ画像は、表示範囲が異なっていてもよく、典型的には立体視画像のコンテンツ画像の方が非立体視画像のコンテンツ画像よりも表示範囲が狭くなってもよい。
また、本実施例における画像表示システムは、表示モードが切り替わった場合、ユーザインターフェイス画像IMUのサイズ、形状、および位置を変えて、ディスプレイ12に表示する。例えば、非立体視表示モードに設定されている本体装置2において、本体装置2がゴーグル装置150に非装着状態から装着状態に変化したと判定された場合、本体装置2は、ディスプレイ12の隅部領域にコンテンツ画像と重複表示しているユーザインターフェイス画像IMUb1およびIMUb2を、ユーザインターフェイス画像IMUa1およびIMUa2に形状変化させるとともに、表示位置をディスプレイ12の第3領域内に移動させることによって、同機能のユーザインターフェイス画像IMUを表示させる。また、立体視表示モードに設定されている本体装置2において、本体装置2がゴーグル装置150に装着状態から非装着状態に変化したと判定された場合、本体装置2は、ディスプレイ12の第3領域に表示しているユーザインターフェイス画像IMUa1およびIMUa2を、ユーザインターフェイス画像IMUb1およびIMUb2に形状変化させるとともに、表示位置をディスプレイ12の隅部領域においてコンテンツ画像と重複表示するように移動させることによって、同機能のユーザインターフェイス画像IMUを表示させる。
なお、上述した実施例では、照度センサ29による照度検出結果に基づいて、本体装置2がゴーグル装置150に装着状態にあるか否かを検出する例を用いたが、他の検出結果に基づいて本体装置2がゴーグル装置150に装着状態にあるか否かを検出してもよい。一例として、本体装置2に設けられた接続端子とゴーグル装置150に設けられた接続端子とが上記装着状態になることによって電気的に接続されることによる検出結果や、本体装置2に設けられた所定のスイッチ機構が上記装着状態になることによってオンまたはオフされることによる検出結果に基づいて、本体装置2がゴーグル装置150に装着状態にあるか否かを検出してもよい。他の例として、本体装置2に設けられた撮像手段(撮像素子)による撮像結果に基づいて、所定の画像が撮像されているか否かを判定したり、撮像された輝度が閾値以上か否かを判定したりすることによって、本体装置2がゴーグル装置150に装着状態にあるか否かを検出してもよい。また、他の例として、本体装置2がゴーグル装置150に装着状態となった場合や表示モードを切り替える際に、ユーザに所定の操作を促すことにより、当該所定の操作が行われたことに基づいて、本体装置2がゴーグル装置150に装着状態にあるか否かや選択表示モードを判定してもよい。
また、上述した実施例では、上記第3領域をディスプレイ12における上記第1領域および上記第2領域によって挟まれるディスプレイ12の中心より下側となるディスプレイ12の下方に設定して、当該第3領域に対するタッチ操作を可能としているが、ディスプレイ12における他の領域に上記第3領域を設定してもかまわない。第1の例として、ディスプレイ12における上記第1領域および上記第2領域によって挟まれるディスプレイ12の中心より上側となるディスプレイ12の上方に、上記第3領域を設定してもよい。第2の例として、ディスプレイ12における上記第1領域とディスプレイ12の左端とに挟まれる上方(すなわち、ディスプレイ12の左上隅領域)や下方(すなわち、ディスプレイ12の左下隅領域)に、上記第3領域を設定してもよい。第3の例として、ディスプレイ12における上記第2領域とディスプレイ12の右端とに挟まれる上方(すなわち、ディスプレイ12の右上隅領域)や下方(すなわち、ディスプレイ12の右下隅領域)に、上記第3領域を設定してもよい。何れの領域に上記第3領域が設定される場合においても、当該第3領域の形状に合うようなユーザインターフェイス画像IMUaを当該第3領域内に表示するとともに、当該第3領域内をタッチ操作可能とする開口部154hをゴーグル装置150に形成することによって、上述した説明と同様の操作が可能となる。なお、第3領域は、上記第1領域および上記第2領域によって挟まれる当該第1領域および当該第2領域の間に設定される場合、当該第1領域および当該第2領域の中間位置から左右にずれていてもよい。
また、上述した実施例では、上記第3領域内にユーザインターフェイス画像を表示する例を用いたが、当該第3領域内にユーザインターフェイス画像が表示されなくてもかまわない。このように、立体視表示モードにおいて、上記第3領域内にユーザインターフェイス画像が表示されない場合であっても、開口部154hを介して当該第3領域内の所定位置や当該第3領域全域における何れかの位置がタッチ操作されることに応じて所定の処理(例えば、ゲームを最初からリトライする処理やゲームを終了する処理)が実行されることによって、当該第3領域内にユーザインターフェイス画像が表示される場合と同様の効果を得ることができる。
また、上述した実施例では、上記第3領域内にユーザインターフェイス画像を表示することによって、当該ユーザインターフェイス画像に対するタッチ操作を可能としているが、当該ユーザインターフェイス画像に関連するユーザインターフェイス画像を上記第1領域および上記第2領域にもさらに表示してもかまわない。ここで、上記第3領域内に表示するユーザインターフェイス画像に関連するユーザインターフェイス画像とは、上記第3領域内に表示するユーザインターフェイス画像の機能と同じ機能を有するユーザインターフェイス画像であり、上記第3領域内に表示するユーザインターフェイス画像と形状、サイズ、およびデザインの少なくとも1つが異なっていてもかまわない。このように、上記第1領域および上記第2領域に表示されるユーザインターフェイス画像は、ゴーグル装置150を介して見た場合に立体視されることになるが、例えば、立体視されている表示領域の中央に配置されたり設定されている標識と重複したりすることによって、当該ユーザインターフェイス画像を操作対象にすることができる。そして、立体視されているユーザインターフェイス画像が上記操作対象に設定された状態で、本体装置2が装着されたゴーグル装置150へ所定の大きさ以上の振動が与えられた場合、当該操作対象となっているユーザインターフェイス画像に対応する処理が実行される。例えば、加速度センサ89によって検出された本体装置2におけるxyz軸方向の加速度から重力加速度成分を除去して、本体装置2に所定の大きさ以上の振動が加えられていることを当該除去後の加速度が示している場合に、上記操作対象となっているユーザインターフェイス画像に対応する処理が実行される。なお、重力加速度を抽出する方法については任意の方法を用いればよく、例えば本体装置2に平均的に生じている加速度成分を算出して当該加速度成分を重力加速度として抽出してもよい。
また、左目用画像IMLおよび右目用画像IMRは、左目用レンズ153Lと右目用レンズ153Rとによって視認可能なディスプレイ12の表示領域外(典型的には、第1領域外および/または第2領域外)にも表示されてもよく、タッチ操作が可能となる上記第3領域内にもその一部が表示されてもよい。また、左目用画像IMLおよび右目用画像IMRは、左目用レンズ153Lと右目用レンズ153Rとによって視認可能なディスプレイ12の表示領域(典型的には、第1領域および/または第2領域)より小さな範囲に表示されてもよい。
次に、図16〜図17を参照して、本実施形態においてゲームシステム1で実行される具体的な処理の一例について説明する。図16は、本実施形態において本体装置2のDRAM85に設定されるデータ領域の一例を示す図である。なお、DRAM85には、図16に示すデータの他、他の処理で用いられるデータも記憶されるが、詳細な説明を省略する。
DRAM85のプログラム記憶領域には、ゲームシステム1で実行される各種プログラムPaが記憶される。本実施形態においては、各種プログラムPaは、上述した左コントローラ3および右コントローラ4との間で無線通信するための通信プログラムや、操作部(左コントローラ3、右コントローラ4、タッチパネル13、加速度センサ89、角速度センサ90)や照度センサ29等から取得したデータに基づいた情報処理(例えば、ゲーム処理)を行うためのアプリケーションプログラム等が記憶される。なお、各種プログラムPaは、フラッシュメモリ84に予め記憶されていてもよいし、ゲームシステム1に着脱可能な記憶媒体(例えば、スロット23に装着された所定の種類の記憶媒体)から取得されてDRAM85に記憶されてもよいし、インターネット等のネットワークを介して他の装置から取得されてDRAM85に記憶されてもよい。プロセッサ81は、DRAM85に記憶された各種プログラムPaを実行する。
また、DRAM85のデータ記憶領域には、ゲームシステム1において実行される通信処理や情報処理等の処理において用いられる各種のデータが記憶される。本実施形態においては、DRAM85には、操作データDa、角速度データDb、加速度データDc、照度データDd、姿勢データDe、操作オブジェクトデータDf、仮想カメラデータDg、左目用仮想空間画像データDh、右目用仮想空間画像データDi、立体視用UI(ユーザインターフェイス)画像データDj、非立体視用仮想空間画像データDk、非立体視用UI(ユーザインターフェイス)画像データDm、および画像データDn等が記憶される。
操作データDaは、左コントローラ3および/または右コントローラ4やタッチパネル13からそれぞれ適宜取得した操作データである。上述したように、左コントローラ3および/または右コントローラ4からそれぞれ送信される操作データには、各入力部(具体的には、各ボタン、アナログスティック、各センサ)からの入力に関する情報(具体的には、操作に関する情報や各センサによる検出結果)が含まれている。本実施形態では、無線通信によって左コントローラ3および/または右コントローラ4からそれぞれ所定周期で操作データが送信されており、当該受信した操作データを用いて操作データDaが適宜更新される。なお、操作データDaの更新周期は、後述するゲームシステム1で実行される処理の周期である1フレーム毎に更新されてもよいし、上記無線通信によって操作データが送信される周期毎に更新されてもよい。また、タッチパネル13を操作したことを示す操作データは、上記処理の周期毎に取得され、当該取得に応じて操作データDaに格納されて更新される。
角速度データDbは、角速度センサ90によって検出された本体装置2に生じている角速度を示すデータである。例えば、角速度データDbは、本体装置2に生じているxyz軸周りの角速度を示すデータ等を含んでいる。
加速度データDcは、加速度センサ89によって検出された本体装置2に生じている加速度を示すデータである。例えば、加速度データDcは、本体装置2に生じているxyz軸方向の加速度を示すデータ等を含んでいる。
照度データDdは、照度センサ29によって検出された本体装置2周辺の照度を示すデータである。
姿勢データDeは、実空間における本体装置2の姿勢を示すデータである。一例として、姿勢データDeは、本体装置2に生じている重力加速度を示す重力ベクトルの基準とする姿勢を示すデータや、本体装置2の姿勢変化を示すデータを含んでいる。
操作オブジェクトデータDfは、ユーザが操作するオブジェクトの仮想空間における位置、方向、姿勢、および動作等を示すデータである。
仮想カメラデータDgは、仮想空間において設定されている仮想カメラ(立体視表示モードにおける一対の左右仮想カメラ、非立体視表示モードにおける単一仮想カメラ)における位置、方向、視野角、倍率等を示すデータである。
左目用仮想空間画像データDhは、立体視表示モードにおける左目用画像IMLを生成するためのデータである。右目用仮想空間画像データDiは、立体視表示モードにおける右目用画像IMRを生成するためのデータである。立体視用UI画像データDjは、立体視表示モードにおけるユーザインターフェイス画像IMUaの位置、形状、サイズ等を示すデータである。
非立体視用仮想空間画像データDkは、非立体視表示モードにおける単一画像IMSを生成するためのデータである。非立体視用UI画像データDmは、非立体視表示モードにおけるユーザインターフェイス画像IMUbの位置、形状、サイズ等を示すデータである。
画像データDnは、ゲームの際に表示画面に画像(例えば、仮想オブジェクトの画像、ユーザインターフェイス画像、情報画像、フィールド画像、背景画像等)を表示するためのデータである。
次に、図17を参照して、本実施形態における情報処理(ゲーム処理)の詳細な一例を説明する。図17は、ゲームシステム1で実行されるゲーム処理の一例を示すフローチャートである。本実施形態においては、図17に示す一連の処理は、プロセッサ81が各種プログラムPaに含まれる通信プログラムや所定のアプリケーションプログラム(ゲームプログラム)を実行することによって行われる。また、図17に示すゲーム処理が開始されるタイミングは任意である。
なお、図17に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて(または代えて)別の処理が実行されてもよい。また、本実施形態では、上記フローチャートの各ステップの処理をプロセッサ81が実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、プロセッサ81以外のプロセッサや専用回路が実行するようにしてもよい。また、本体装置2において実行される処理の一部は、本体装置2と通信可能な他の情報処理装置(例えば、本体装置2とネットワークを介して通信可能なサーバ)によって実行されてもよい。すなわち、図17に示す各処理は、本体装置2を含む複数の情報処理装置が協働することによって実行されてもよい。
図17において、プロセッサ81は、ゲーム処理における初期設定を行い(ステップS200)、次のステップに処理を進める。例えば、上記初期設定では、プロセッサ81は、以下に説明する処理を行うためのパラメータを初期化する。一例として、プロセッサ81は、加速度データDcに格納されている加速度データを用いて、本体装置2に作用している重力加速度の重力ベクトルの方向を算出して、当該重力ベクトルの方向を基準とする本体装置2の初期姿勢を設定して姿勢データDeを更新する。また、プロセッサ81は、本体装置2に作用している重力加速度の重力ベクトルの方向と本体装置2のxyz軸方向との関係と同様の方向となるように、仮想空間における仮想カメラの初期姿勢を設定して仮想カメラデータDgを更新する。ここで、本体装置2のxyz軸と同様の方向になるとは、実空間における重力加速度方向を基準とするz軸正方向(画面奥行方向)が仮想空間における重力方向を基準とする仮想カメラの視線方向と同じとなり、実空間における重力加速度方向を基準とするx軸正方向(画面左方向)が仮想空間における重力方向を基準とする仮想カメラの左方向と同じとなるような配置関係となることである。
次に、プロセッサ81は、各種データを取得して操作データDa、角速度データDb、加速度データDc、および照度データDdをそれぞれ更新し(ステップS201)、次のステップに処理を進める。例えば、プロセッサ81は、左コントローラ3および/または右コントローラ4から操作データを取得して操作データDaを更新する。また、プロセッサ81は、タッチパネル13からタッチ操作データを取得して操作データDaを更新する。また、プロセッサ81は、本体装置2に設けられている慣性センサ(加速度センサ89および角速度センサ90)から慣性データ(加速度データおよび角速度データ)を取得して、加速度データDcおよび角速度データDbをそれぞれ更新する。さらに、プロセッサ81は、照度センサ29から照度データを取得して照度データDdを更新する。
次に、プロセッサ81は、本体装置2の姿勢を算出し(ステップS202)、次のステップに処理を進める。例えば、プロセッサ81は、角速度データDbおよび加速度データDcに格納されている加速度データおよび角速度データを用いて、本体装置2に作用している重力加速度の重力ベクトルの方向を算出して、姿勢データDeを更新する。また、プロセッサ81は、本体装置2における上記初期姿勢からの回転方向および回転量を算出して、姿勢データDeを更新する。例えば、プロセッサ81は、上記初期姿勢における本体装置2のxyz軸方向を軸とした回転方向および回転量をそれぞれ算出して、姿勢データDeを更新する。なお、回転方向は、回転量の正負により表すことができるので、姿勢データDeには回転量を示すデータのみ格納してもよい。例えば、プロセッサ81は、前回処理におけるステップS202において算出された回転量に、今回のステップS202で取得した角速度データに基づく回転量を加えて、新たな回転量として算出してもよい。
次に、プロセッサ81は、本体装置2がゴーグル装置150に装着されているか否かを判定する処理を行い(ステップS203)、次のステップに処理を進める。例えば、プロセッサ81は、本体装置2がゴーグル装置150に装着された際の照度を検出するための閾値に基づいて、照度データDdが示す照度が当該閾値未満の暗い照度を示す場合、上記ステップS203において本体装置2がゴーグル装置150に装着されていると判定する。なお、本体装置2がゴーグル装置150に装着状態となった場合に、ユーザが所定の操作を行う場合等、他の方式によって当該装着状態が区別される場合、上記ステップS203の処理を行わなくてもかまわない。
次に、プロセッサ81は、立体視表示モードであるか否かを判定する(ステップS204)。例えば、プロセッサ81は、上記ステップS203における装着判定処理において、本体装置2がゴーグル装置150に装着されていると判定されている場合、上記ステップS204において肯定判定して立体視表示モードで処理を行う。一方、プロセッサ81は、上記ステップS203における装着判定処理において、本体装置2がゴーグル装置150に装着されていないと判定されている場合、上記ステップS204において否定判定して非立体視表示モードで処理を行う。そして、プロセッサ81は、立体視表示モードで処理を行う場合、ステップS205に処理を進める。一方、プロセッサ81は、非立体視表示モードで処理を行う場合、ステップS213に処理を進める。なお、本体装置2がゴーグル装置150に装着状態となった場合や表示モードを切り替える際に、ユーザが所定の操作を行う場合等、他の方式によって当該装着状態や表示モードが区別される場合、当該方式に基づいた区別によって上記ステップS204の判定を行ってもかまわない。また、表示モード設定手段は、当該情報処理装置がゴーグル装置に取り付けられている場合に左目用画像および右目用画像を表示することによる立体視画像をタッチスクリーンに表示する立体視モードに設定し、当該情報処理装置がゴーグル装置に取り付けられていない場合に当該立体視画像に対応する非立体視画像をタッチスクリーンに表示する非立体視モードに設定するものであり、一例としてステップS204の処理を行うプロセッサ81に相当する。
ステップS205において、プロセッサ81は、オブジェクト動作処理を行い、次のステップに処理を進める。例えば、プロセッサ81は、操作データDaを参照して、仮想空間における操作オブジェクトを動作させる操作が行われている場合、当該操作に応じた操作オブジェクトの動きを設定する。そして、プロセッサ81は、設定された操作オブジェクトの動きに基づいて、当該操作オブジェクトの仮想空間における位置、方向、姿勢、および動作等を設定して、操作オブジェクトデータDfを更新する。
上記ステップS205におけるオブジェクト動作処理では、以下の様なオブジェクト動作制御が考えられる。第1の例として、予め定められた操作オブジェクトを操作対象として、当該操作オブジェクトを動作させる。この場合、左コントローラ3および/または右コントローラ4における各入力部への入力に基づいて、上記予め定められた操作オブジェクトを移動させたり、動作させたり、変形させたりする。第2の例として、操作に基づいて操作オブジェクトを操作対象として選択した上で、当該操作オブジェクトを動作させる。この場合、所定の表示位置に配置されている操作オブジェクト(例えば、表示画面の中央に表示された標識と重複表示されている操作オブジェクト)を操作対象として、左コントローラ3および/または右コントローラ4における各入力部への入力に基づいて、当該操作対象として選択された操作オブジェクトを移動させたり、動作させたり、変形させたりする。第3の例として、上記操作対象となった操作オブジェクトを、本体装置2が装着されたゴーグル装置150への振動に基づいて動作させる。例えば、加速度データDcが示す本体装置2におけるxyz軸方向の加速度から重力加速度成分を除去して、本体装置2に所定の大きさ以上の振動が加えられていることを当該除去後の加速度が示している場合に、上記操作対象となっている操作オブジェクトを当該振動に応じて動作させる。なお、重力加速度を抽出する方法については任意の方法を用いればよく、例えば本体装置2に平均的に生じている加速度成分を算出して当該加速度成分を重力加速度として抽出してもよい。
次に、プロセッサ81は、一対の左右仮想カメラを動作させる処理を行い(ステップS206)、次のステップに処理を進める。例えば、プロセッサ81は、一対の左右仮想カメラの仮想空間における姿勢を、上記初期姿勢からステップS202において算出された回転量だけ回転させて設定し、仮想カメラデータDgを更新する。例えば、プロセッサ81は、上記初期姿勢から一対の左右仮想カメラの位置関係を固定した状態で、ステップS202において算出された本体装置2の左右軸方向(x軸方向)を軸とした回転量と同じだけ当該仮想カメラの左右方向を軸として当該仮想カメラを回転させ、かつ、ステップS202において算出された本体装置2の上下軸方向(y軸方向)を軸とした回転量と同じだけ当該仮想カメラの上下方向を軸として当該仮想カメラを回転させ、かつ、ステップS202において算出された本体装置2の画面奥行軸方向(z軸方向)を軸とした回転量と同じだけ当該仮想カメラの視線方向を軸として当該仮想カメラを回転させることによって、一対の左右仮想カメラの仮想空間における姿勢を設定する。
次に、プロセッサ81は、左目用仮想空間画像を生成する処理を行い(ステップS207)、次のステップに処理を進める。例えば、プロセッサ81は、操作オブジェクトデータDfに基づいて、仮想空間に操作オブジェクトを配置する。そして、プロセッサ81は、仮想カメラデータDgによって設定されている一対の左右仮想カメラのうち、左仮想カメラから見た仮想空間画像を左目用仮想空間画像として生成し、左目用仮想空間画像データDhを更新する。
次に、プロセッサ81は、右目用仮想空間画像を生成する処理を行い(ステップS208)、次のステップに処理を進める。例えば、プロセッサ81は、仮想カメラデータDgによって設定されている一対の左右仮想カメラのうち、右仮想カメラから見た仮想空間画像を右目用仮想空間画像として生成し、右目用仮想空間画像データDiを更新する。
次に、プロセッサ81は、立体視用ユーザインターフェイス画像を生成する処理を行い(ステップS209)、次のステップに処理を進める。例えば、プロセッサ81は、ディスプレイ12の第3領域(図9参照)の形状に合うような立体視用のユーザインターフェイス画像を生成し、立体視用UI画像データDjを更新する。
次に、プロセッサ81は、左目用仮想空間画像をディスプレイ12の第1領域に表示する表示制御処理を行い(ステップS210)、次のステップに処理を進める。例えば、プロセッサ81は、左目用仮想空間画像データDhに設定されている左目用仮想空間画像を左目用画像IMLとして、ディスプレイ12の第1領域(図9参照)全体に表示する。
次に、プロセッサ81は、右目用仮想空間画像をディスプレイ12の第2領域に表示する表示制御処理を行い(ステップS211)、次のステップに処理を進める。例えば、プロセッサ81は、右目用仮想空間画像データDiに設定されている右目用仮想空間画像を右目用画像IMRとして、ディスプレイ12の第2領域(図9参照)全体に表示する。なお、画像表示制御手段は、左目用画像をタッチスクリーンの第1領域に表示し、当該左目用画像と視差のある右目用画像をタッチスクリーンの第2領域に少なくとも表示させるものであり、一例としてステップS210−ステップS211の処理を行うプロセッサ81に相当する。
次に、プロセッサ81は、立体視用UI画像をディスプレイ12の第3領域に表示する表示制御処理を行い(ステップS212)、ステップS219に処理を進める。例えば、プロセッサ81は、立体視用UI画像データDjに設定されているユーザインターフェイス画像をユーザインターフェイス画像IMUa(例えば、2つのユーザインターフェイス画像IMUa1およびIMUa2)として、ディスプレイ12の第3領域(図9参照)内の所定位置に表示する。
一方、上記ステップS204において非立体視表示モードであると判定された場合、ステップS213において、プロセッサ81は、オブジェクト動作処理を行い、次のステップに処理を進める。例えば、プロセッサ81は、操作データDaを参照して、仮想空間における操作オブジェクトを動作させる操作が行われている場合、当該操作に応じた操作オブジェクトの動きを設定する。そして、プロセッサ81は、設定された操作オブジェクトの動きに基づいて、当該操作オブジェクトの仮想空間における位置、方向、姿勢、および動作等を設定して、操作オブジェクトデータDfを更新する。なお、上記ステップS213におけるオブジェクト動作処理は、上述したステップS205におけるオブジェクト動作処理と同様であるため、詳細な説明を省略する。
次に、プロセッサ81は、単一の仮想カメラを動作させる処理を行い(ステップS214)、次のステップに処理を進める。例えば、プロセッサ81は、単一の仮想カメラの仮想空間における姿勢を、上記初期姿勢からステップS202において算出された回転量だけ回転させて設定し、仮想カメラデータDgを更新する。例えば、プロセッサ81は、上記初期姿勢から単一の仮想カメラを、ステップS202において算出された本体装置2の左右軸方向(x軸方向)を軸とした回転量と同じだけ当該仮想カメラの左右方向を軸として回転させ、かつ、ステップS202において算出された本体装置2の上下軸方向(y軸方向)を軸とした回転量と同じだけ当該仮想カメラの上下方向を軸として回転させ、かつ、ステップS202において算出された本体装置2の画面奥行軸方向(z軸方向)を軸とした回転量と同じだけ当該仮想カメラの視線方向を軸として回転させることによって、単一の仮想カメラの仮想空間における姿勢を設定する。
次に、プロセッサ81は、仮想空間画像を生成する処理を行い(ステップS215)、次のステップに処理を進める。例えば、プロセッサ81は、仮想カメラデータDgによって設定されている仮想カメラから見た仮想空間画像を生成し、非立体視用仮想空間画像データDkを更新する。
次に、プロセッサ81は、非立体視用ユーザインターフェイス画像を生成する処理を行い(ステップS216)、次のステップに処理を進める。例えば、プロセッサ81は、単一画像IMSに重畳させてディスプレイ12に表示する(図15参照)非立体視用のユーザインターフェイス画像を生成し、非立体視用UI画像データDmを更新する。
次に、プロセッサ81は、仮想空間画像をディスプレイ12の全体領域に表示する表示制御処理を行い(ステップS217)、次のステップに処理を進める。例えば、プロセッサ81は、非立体視用仮想空間画像データDkに設定されている仮想空間画像を単一画像IMSとして、ディスプレイ12の全体領域(図15参照)に表示する。
次に、プロセッサ81は、非立体視用UI画像を単一画像IMSに重畳表示する表示制御処理を行い(ステップS218)、ステップS219に処理を進める。例えば、プロセッサ81は、非立体視用UI画像データDmに設定されているユーザインターフェイス画像をユーザインターフェイス画像IMUb(例えば、2つのユーザインターフェイス画像IMUb1およびIMUb2)として、ディスプレイ12の左上隅領域および右上隅領域(図15参照)における単一画像IMSに重畳表示する。
ステップS219において、プロセッサ81は、ユーザインターフェイス操作処理を行い、次のステップに処理を進める。例えば、プロセッサ81は、操作データDaを参照して、タッチパネル13に対するタッチ操作が行われている場合、当該タッチ操作されている位置と重なるディスプレイ12に表示されたユーザインターフェイス画像に応じて、当該タッチ操作に応じたユーザ操作指示を設定する。そして、プロセッサ81は、設定されたユーザ操作指示に応じた処理を行う。なお、実行手段は、タッチスクリーンにおける第3領域内の所定位置がタッチ操作された場合、所定の処理を実行するものであり、一例としてステップS219の処理を行うプロセッサ81に相当する。
次に、プロセッサ81は、ゲームを終了するか否かを判定する(ステップS220)。上記ステップS220においてゲームを終了する条件としては、例えば、ゲームの結果が確定したことや、ユーザがゲームを終了する操作を行ったこと等がある。プロセッサ81は、ゲームを終了しない場合に上記ステップS201に戻って処理を繰り返し、ゲームを終了する場合に当該フローチャートによる処理を終了する。以降、ステップS201〜ステップS220の一連の処理は、ステップS220でゲームを終了すると判定されるまで繰り返し実行される。
このように、本実施例においては、立体視表示モードにおいて、開口部154hを介して、立体視画像が表示される第1領域および第2領域とは異なる第3領域にタッチ操作が可能となるため、ユーザは、ゴーグル装置150を覗くことなく当該第3領域をタッチ操作することが可能となり、操作の利便性を向上させることができる。また、ゴーグル装置150を着用する場合にユーザの鼻が当接する位置に形成された開口部154hを介して、上記タッチ操作が可能となるため、ゴーグル装置150のスペースを効率よく利用することができる。さらに、立体視画像が表示される第1領域および第2領域にタッチすることなく上記タッチ操作が可能となるとともに、板状部材154によって第1領域および第2領域への指の侵入が防止されるため、ユーザの指が立体視画像の視界に侵入することが防止され、没入感を損なうことなく立体視画像をユーザに提示することができ、当該ユーザの指によって当該第1領域および当該第2領域や左目用レンズ153Lおよび右目用レンズ153Rが汚損することを防止することができる。
なお、上述した実施例では、情報処理機能を有する本体装置2をゴーグル装置150に装着することによって画像表示システムを構成しているが、他の態様によって画像表示システムを構成してもよい。第1の例として、上記情報処理(ゲーム処理)を行って画像を生成する制御部をゴーグル装置150に設け、画像を表示する機能を有する表示装置をゴーグル装置150に装着することによって、立体視画像を表示する画像表示システムを構成してもよい。この場合、ゴーグル装置150の設けられた制御部から表示装置へ、当該表示装置に立体視画像およびユーザインターフェイス画像を表示するための画像データを出力することによって、当該表示装置に立体視画像およびユーザインターフェイス画像が表示されることになる。なお、上記第1の例の態様では、表示装置の装着状況を検出する機構、画像表示システムの姿勢を検出する機構、ユーザ操作を受け付ける機構などは、上記表示装置およびゴーグル装置150に何れに設けられていてもかまわない。第2の例として、表示装置が装着されたゴーグル装置150とは別に当該表示装置と無線または有線接続された制御装置を設け、表示装置、ゴーグル装置150、および当該制御装置によって画像表示システムが構成されてもよい。この場合、操作データ、加速度データ、角速度データ、および照度データ等が表示装置から制御装置へ出力され、当該照度データに基づいた表示モードのコンテンツ画像およびユーザインターフェイス画像が当該制御装置から当該表示装置に出力される。なお、上記第2の例の態様でも、表示装置の装着状況を検出する機構、画像表示システムの姿勢を検出する機構、ユーザ操作を受け付ける機構などは、上記表示装置およびゴーグル装置150に何れに設けられていてもかまわない。そして、上記制御装置は、表示装置および/またはゴーグル装置150から取得した操作データ、加速度データ、および角速度データに応じて、表示するコンテンツ画像の表示範囲を制御して、当該表示装置に出力する。なお、本実施例では、タッチスクリーンを有する情報処理装置の一例として本体装置2を用いている。
なお、上述した実施例において、本体装置2の姿勢を検出する方法については、単なる一例であって、他の方法や他のデータを用いて本体装置2の姿勢を検出してもよい。また、操作オブジェクトの動作を制御するためのコントローラは、左コントローラ3または右コントローラ4だけでなく、他のコントローラでもよい。
また、ゲームシステム1および/または本体装置2は、どのような装置であってもよく、携帯型のゲーム装置、任意の携帯型電子機器(PDA(Personal Digital Assistant)、携帯電話、パーソナルコンピュータ、カメラ、タブレット等)等であってもよい。
また、上述した実施例では、互いに視差のある左目用画像および右目用画像が、ディスプレイ12の左側画面および右側画面にそれぞれ表示されることによって、立体視画像が表示される例を用いたが、左目用画像および右目用画像がそれぞれ別の画面に表示されてもよい。例えば、本体装置2に設けられたディスプレイ12が複数の表示画面によって構成される場合、左目用画像を当該複数の表示画面の1つに表示し、右目用画像を当該複数の表示画面の他の1つに表示する。この場合、ユーザは、左目用レンズ153Lを介して複数の表示画面の1つに表示された左目用画像を左目で見るとともに、右目用レンズ153Rを介して複数の表示画面の他の1つに表示された右目用画像を右目で見ることによって、ゴーグル装置150を介して立体視画像を見ることができる。
また、本体装置2に表示される立体視画像および非立体視画像は、ユーザ操作に応じてプロセッサ81が情報処理(ゲーム処理)を実行することによるゲーム画像として表示されたり、ユーザ操作に応じてプロセッサ81が動画再生や静止画再生を行うことによる動画像や静止画像として表示されたりする。つまり、情報処理(例えば、ゲーム処理、動画再生処理、静止画再生処理)を本体装置2のプロセッサ81が行うことによって、本体装置2に表示される立体視画像および非立体視画像が生成されるが、当該立体視画像および非立体視画像を生成する処理の少なくとも一部を他の装置で行ってもかまわない。例えば、本体装置2がさらに他の装置(例えば、サーバ、他の画像表示装置、他のゲーム装置、他の携帯端末、他の情報処理装置)と通信可能に構成されている場合、上記処理は、さらに当該他の装置が協働することによって実行してもよい。このように、上記処理の少なくとも一部を他の装置で行うことによって、上述した処理と同様の処理が可能となる。また、上述した情報処理は、少なくとも1つの情報処理装置により構成される情報処理システムに含まれる1つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、本体装置2のプロセッサ81が所定のプログラムを実行することによって情報処理を行うことが可能であるが、本体装置2が備える専用回路によって上記処理の一部または全部が行われてもよい。
ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置(据置型のゲーム装置)と携帯型の情報処理装置(携帯型のゲーム装置)との間で上記処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。
また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。
また、上記プログラムは、外部メモリ等の外部記憶媒体を通じてゲームシステム1に供給されるだけでなく、有線または無線の通信回線を通じて当該装置に供給されてもよい。また、上記プログラムは、当該装置内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、CD−ROM、DVD、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書(定義を含めて)が優先する。
以上のように、本発明は、ユーザインターフェイス画像の提示に関する利便性等を向上させることが可能となる情報処理システムおよびゴーグル装置等として利用することができる。
1…ゲームシステム
2…本体装置
3…左コントローラ
4…右コントローラ
11…ハウジング
12…ディスプレイ
29…照度センサ
81…プロセッサ
83…コントローラ通信部
85…DRAM
150…ゴーグル装置
151…本体
152…レンズ枠部材
153…レンズ
154…板状部材

Claims (13)

  1. 画像を表示するタッチスクリーンを有する情報処理装置と、当該情報処理装置を着脱可能なゴーグル装置とを備える情報処理システムであって、
    前記ゴーグル装置は、
    前記情報処理装置が前記ゴーグル装置に取り付けられた場合に、当該ゴーグル装置を着用するユーザの左目に前記タッチスクリーンにおける第1領域を視認させる第1レンズと、
    前記情報処理装置が前記ゴーグル装置に取り付けられた場合に、当該ゴーグル装置を着用するユーザの右目に前記タッチスクリーンにおける前記第1領域とは異なる第2領域を視認させる第2レンズとを備え、さらに
    前記情報処理装置が前記ゴーグル装置に取り付けられた状態で、前記タッチスクリーンにおける前記第1領域とも前記第2領域とも異なる第3領域にユーザがタッチ操作可能となる開口部が形成され、
    前記情報処理装置は、
    左目用画像を前記タッチスクリーンの前記第1領域に表示させ、当該左目用画像と視差のある右目用画像を前記タッチスクリーンの前記第2領域に少なくとも表示させる画像表示制御手段と、
    前記タッチスクリーンにおける前記第3領域内の所定位置がタッチ操作された場合、所定の処理を実行する実行手段とを備える、情報処理システム。
  2. 前記開口部は、前記ゴーグル装置をユーザが着用する状態において、当該ゴーグル装置の下方となる位置に形成され、
    前記第3領域は、前記情報処理装置が前記ゴーグル装置に取り付けられてユーザが着用する状態において、前記タッチスクリーンの下方に設定される、請求項1に記載の情報処理システム。
  3. 前記開口部は、前記ゴーグル装置をユーザが着用する状態において、当該ゴーグル装置の下方、かつ、左右における中央となる位置に形成され、
    前記第3領域は、前記情報処理装置が前記ゴーグル装置に取り付けられてユーザが着用する状態において、前記タッチスクリーンの下方、かつ、左右における中央に設定される、請求項2に記載の情報処理システム。
  4. 前記開口部は、前記ゴーグル装置をユーザが着用する状態において、当該ユーザの鼻となる位置に形成される、請求項1乃至3の何れか1つに記載の情報処理システム。
  5. 前記開口部は、前記ゴーグル装置をユーザが着用しない状態において前記第3領域を当該ゴーグル装置の外部に露出させる、請求項1乃至4の何れか1つに記載の情報処理システム。
  6. 前記ゴーグル装置は、前記情報処理装置が当該ゴーグル装置に取り付けられた状態において、前記第3領域と前記第1領域との間および/または前記第3領域と前記第2領域との間に設置されることによって、前記第1領域および/または前記第2領域にユーザの指が進入することを防止するための板状部材を、さらに備える、請求項1乃至5の何れか1つに記載の情報処理システム。
  7. 前記タッチスクリーンは、矩形状の表示画面を有し、
    前記左目用画像は、前記表示画面の左側に円形または楕円形で表示され、
    前記右目用画像は、前記表示画面の右側に円形または楕円形で表示される、請求項1乃至6の何れか1つに記載の情報処理システム。
  8. 前記画像表示制御手段は、少なくとも1つ以上のユーザインターフェイス画像を前記タッチスクリーンにおける前記第3領域内に表示させ、
    前記実行手段は、前記ユーザインターフェイス画像のうちいずれか1つがタッチ操作された場合、当該ユーザインターフェイス画像に対応する処理を実行する、請求項1乃至7の何れか1つに記載の情報処理システム。
  9. 前記画像表示制御手段は、前記左目用画像に左目用ユーザインターフェイス画像を含めて前記第1領域に表示し、当該左目用ユーザインターフェイス画像に対応する右目用ユーザインターフェイス画像を前記右目用画像に含めて前記第2領域に表示し、
    前記実行手段は、前記タッチスクリーンへのタッチ操作とは異なる所定の操作が前記情報処理装置に対して行われたことに応じて、当該ユーザインターフェイス画像に対応する処理を実行する、請求項1乃至7の何れか1つに記載の情報処理システム。
  10. 前記情報処理装置は、当該情報処理装置が前記ゴーグル装置に取り付けられている場合に前記左目用画像および前記右目用画像を表示することによる立体視画像を前記タッチスクリーンに表示する立体視モードに設定し、当該情報処理装置が前記ゴーグル装置に取り付けられていない場合に当該立体視画像に対応する非立体視画像を前記タッチスクリーンに表示する非立体視モードに設定する表示モード設定手段を、さらに備え、
    前記画像表示制御手段は、
    前記非立体視モードにおいて、前記第3領域内の所定位置とは異なる位置に表示される第1ユーザインターフェイス画像と前記非立体視画像とを前記タッチスクリーンに表示させ、
    前記立体視モードにおいて、前記第3領域内の所定位置とは異なる位置に表示される前記第1ユーザインターフェイス画像を非表示にして前記立体視画像を前記タッチスクリーンに表示させるとともに、前記第1ユーザインターフェイス画像に対応する第2ユーザインターフェイス画像を前記第3領域内の所定位置に表示させる、請求項1乃至7の何れか1つに記載の情報処理システム。
  11. 前記板状部材は、前記情報処理装置が前記ゴーグル装置に取り付けられた状態において、前記第1領域と前記第2領域とを仕切る部材を含む、請求項6に記載の情報処理システム。
  12. 画像を表示するタッチスクリーンを有する情報処理装置を着脱可能であり、着用するユーザに立体視画像を提供するゴーグル装置であって、
    前記情報処理装置が前記ゴーグル装置に取り付けられた場合に、左目用画像が表示される前記タッチスクリーンにおける第1領域を、前記ユーザの左目に視認させる第1レンズと、
    前記情報処理装置が前記ゴーグル装置に取り付けられた場合に、前記左目用画像と視差のある右目用画像が表示される前記タッチスクリーンにおける第2領域を、前記ユーザの右目に視認させる第2レンズとを備え、さらに
    前記情報処理装置が前記ゴーグル装置に取り付けられた状態で前記タッチスクリーンにおける前記第1領域とも前記第2領域とも異なる第3領域へユーザがタッチ操作可能となる開口部が形成され、
    前記情報処理装置が前記ゴーグル装置に取り付けられた状態において、前記第3領域と前記第1領域との間および/または前記第3領域と前記第2領域との間に設置されることによって、前記開口部から差し込まれるユーザの指が前記第1領域および/または前記第2領域に進入することを防止するための板状部材を備える、ゴーグル装置。
  13. 前記開口部は、前記ゴーグル装置をユーザが着用した場合に当該ユーザの鼻となる位置に形成される、請求項12に記載のゴーグル装置。
JP2019033867A 2019-02-27 2019-02-27 情報処理システムおよびゴーグル装置 Active JP7253934B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019033867A JP7253934B2 (ja) 2019-02-27 2019-02-27 情報処理システムおよびゴーグル装置
US16/782,175 US11011142B2 (en) 2019-02-27 2020-02-05 Information processing system and goggle apparatus
US16/782,154 US11043194B2 (en) 2019-02-27 2020-02-05 Image display system, storage medium having stored therein image display program, image display method, and display device
EP20157135.3A EP3703365A1 (en) 2019-02-27 2020-02-13 Image display system, image display program, image display method, and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019033867A JP7253934B2 (ja) 2019-02-27 2019-02-27 情報処理システムおよびゴーグル装置

Publications (2)

Publication Number Publication Date
JP2020140320A true JP2020140320A (ja) 2020-09-03
JP7253934B2 JP7253934B2 (ja) 2023-04-07

Family

ID=72280362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019033867A Active JP7253934B2 (ja) 2019-02-27 2019-02-27 情報処理システムおよびゴーグル装置

Country Status (1)

Country Link
JP (1) JP7253934B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191384A (ja) * 2010-03-12 2011-09-29 Panasonic Corp 表示装置
WO2014057557A1 (ja) * 2012-10-11 2014-04-17 Tahara Hirofumi 映像観察システム
US20140267637A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Hybrid stereoscopic viewing device
US20160224176A1 (en) * 2015-01-30 2016-08-04 Samsung Electronics Co., Ltd. Electronic device and method of processing screen area of electronic device
US20170153672A1 (en) * 2015-11-30 2017-06-01 Samsung Electronics Co., Ltd. Head-mounted display device with detachable device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191384A (ja) * 2010-03-12 2011-09-29 Panasonic Corp 表示装置
WO2014057557A1 (ja) * 2012-10-11 2014-04-17 Tahara Hirofumi 映像観察システム
US20140267637A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Hybrid stereoscopic viewing device
US20160224176A1 (en) * 2015-01-30 2016-08-04 Samsung Electronics Co., Ltd. Electronic device and method of processing screen area of electronic device
US20170153672A1 (en) * 2015-11-30 2017-06-01 Samsung Electronics Co., Ltd. Head-mounted display device with detachable device

Also Published As

Publication number Publication date
JP7253934B2 (ja) 2023-04-07

Similar Documents

Publication Publication Date Title
EP3072010B1 (en) Systems and methods for performing multi-touch operations on a head-mountable device
US10845869B2 (en) HMD device and control method therefor
US20120207308A1 (en) Interactive sound playback device
WO2018212912A1 (en) Volume adjustment on hinged multi-screen device
JP5392863B2 (ja) 周辺装置、情報処理システム、および、周辺装置の接続方法
US20120162204A1 (en) Tightly Coupled Interactive Stereo Display
US11011142B2 (en) Information processing system and goggle apparatus
WO2011148544A1 (ja) 携帯型電子機器
US10687051B1 (en) Movable display for viewing and interacting with computer generated environments
US20220011853A1 (en) Display control apparatus, display apparatus, display control method, and program
EP2963479B1 (en) Glasses-type head mounted display
JP2016067024A (ja) 携帯型電子機器
CN106067833B (zh) 移动终端及其控制方法
JP6613429B2 (ja) 映像音響再生装置
JP5876983B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
JP6638392B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP5785732B2 (ja) 情報処理プログラム、撮像装置、撮像方法及び撮像システム
CN106371206A (zh) 一种广视角虚拟现实装置
JP5926773B2 (ja) 周辺装置、情報処理システム、および、周辺装置の接続方法
JP7253934B2 (ja) 情報処理システムおよびゴーグル装置
JP7285657B2 (ja) 画像表示システム、画像表示プログラム、画像表示方法、および表示装置
JP5770018B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
JP2020025275A (ja) 映像音響再生装置およびその方法
WO2023157332A1 (ja) 情報処理装置および調整画面表示方法
JP5571840B2 (ja) 周辺装置、情報処理システム、および、周辺装置の接続方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230328

R150 Certificate of patent or registration of utility model

Ref document number: 7253934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150