JP2016167217A - ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム - Google Patents

Abstract

【課題】ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラムを提供する。【解決手段】ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムは、ヘッドマウントディスプレイの表示領域１１２に表示オブジェクトを表示するために、タッチパネル式装置のタッチセンサ１３２に対するユーザによる接触開始位置からの接触変位量を検出する接触変位量算出部２０４と、タッチパネル式装置の傾きの変化を検出する傾き変化算出部２０６と、検出された操作開始位置からの接触変位量と、タッチパネル式装置の傾きの変化とに基づいて、表示領域に表示する仮想空間内の表示オブジェクトを表示制御する表示制御部２１０と、を備える。【選択図】図２

Description

本発明は、ユーザの頭部に装着して、ユーザ視野内に仮想空間における画像を表示し、タッチパネル式装置による操作で該画像に表示される表示オブジェクトを操作可能なヘッドマウントディスプレイシステムにおいて、表示オブジェクトを表示するための方法及びプログラムに関する。

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能な非透過型のヘッドマウントディスプレイ（ＨＭＤ）が知られている。また、近年、ディスプレイとタッチパネルとが一体となった携帯端末が知られている。このような携帯端末のタッチパネルを用いて、携帯端末のディスプレイに表示された表示オブジェクトの操作を直感的に実現するための技術が種々提案されている。（例えば、特許文献１）

特開２０１４−１４９６５３号公報

上記背景技術に係る非透過型ヘッドマウントディスプレイを装着した場合、ユーザは仮想空間に完全に没入しているため手元を観察することができない。
また、上記特許文献１に記載された技術は、ディスプレイがタッチパネル式である携帯端末を用いて該ディスプレイに表示された表示オブジェクトを操作する。この場合、ユーザは保持している端末のディスプレイを見ながら、該ディスプレイと一体化したタッチパネルを用いて表示オブジェクトを操作する。しかしながら、ディスプレイがタッチパネルと一体化しているため、タッチパネルに対するユーザの指などによりディスプレイの一部が隠れてしまうことがあった。さらに、非透過型ＨＭＤを装着する場合、ユーザはディスプレイを観察しながら、ディスプレイと一体型のタッチパネル上で表示オブジェクトの操作を行うことができない。

（１）本発明は、ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、ヘッドマウントディスプレイの表示領域に表示オブジェクトを表示するユーザインタフェース表示方法であって、
タッチパネル式装置のタッチパネルに対するユーザによる接触開始位置からの接触変位量を検出するステップと、
タッチパネル式装置の傾きの変化を検出するステップと、
検出された操作開始位置からの接触変位量と、タッチパネル式装置の傾きの変化とに基づいて、表示領域に表示する仮想空間内の表示オブジェクトを表示制御するステップと、を備えることを特徴とする、ユーザインタフェース表示方法に関する。
（２）また、本発明は、表示制御するステップが、
検出されたタッチパネルに対する接触開始位置からの接触変位量に基づいて、表示領域に表示される第１のオブジェクトの向きを表示制御するステップと、
検出されたタッチパネル式装置の傾き変化に基づいて、表示領域に表示される第２のオブジェクトの向きを表示制御するステップと、
を備えることを特徴とする。
（３）また、本発明は、
接触変位量を検出するステップがさらにタッチパネルに対するユーザによる接触開始位置からの接触変位方向を検出するステップを含み、
表示制御するステップが、
検出されたタッチパネルに対する接触開始位置からの接触変位量及び接触変位方向に基づいて、表示領域に表示される第１のオブジェクトの移動量及び進行方向を表示制御するステップと、
検出されたタッチパネル式装置の傾き変化に基づいて、ヘッドマウントディスプレイの表示領域に表示される第１のオブジェクトの傾きを表示制御するステップと、
を備えることを特徴とする。
（４）また、本発明は、上記（３）において、表示領域表示される第１のオブジェクトの仮想空間内の位置は、接触変位量、接触変位方向に傾き変化を合成した位置を３次元仮想得空間内の座標に変換した位置であることを特徴とする。
（５）また、本発明は、ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、ヘッドマウントディスプレイの表示領域に表示オブジェクトを表示するユーザインタフェース表示方法であって、
タッチパネル式装置のタッチパネルに対するユーザによる接触開始位置からの接触変位量を検出するステップと、
タッチパネル式装置の実空間における装置変位量を検出するステップと、
検出された操作開始位置からの接触変位量と、タッチパネル式装置の装置変位量とに基づいて、表示領域に表示する仮想空間内の表示オブジェクトを表示制御するステップと、を備えることを特徴とする、ユーザインタフェース表示方法に関する。
（６）また、本発明は、表示制御ステップが、
検出されたタッチパネルに対する操作開始位置からの接触変位量に基づいて、表示領域に表示される第１のオブジェクトの移動量を表示制御するステップと、
検出されたタッチパネル式装置の実空間における装置変位量に基づいて、表示領域に表示される第１のオブジェクトの動作を表示制御するステップと、
を備えることを特徴とする。
（７）また、本発明は、上記（６）において、表示領域表示される第１のオブジェクトの仮想空間内の位置は、接触変位量に装置変位量を合成した位置を３次元仮想空間内の座標に変換した位置である、ことを特徴とする。
（８）また、本発明は、表示制御するステップが、
検出されたタッチパネル式装置の実空間における装置変位量及び、タッチパネルに対するスワイプ回転数に基づいて、ヘッドマウントディスプレイの表示領域に表示される第１のオブジェクトに関するパラメータを算出し、該算出されたパラメータに基づいて表示オブジェクトを表示制御するステップと、
を備えることを特徴とする。
（９）また、本発明は、スワイプ回転数が、タッチパネルに対する操作開始位置からの接触変位量、接触変位方向、に基ついて算出されることを特徴とする。
（１０）また、本発明は、タッチパネル式装置はスマートフォンである、上記（１）から（９）に記載のユーザインタフェース表示方法に関する。
（１１）また、本発明は、上記（１）から（１０）のいずれかにおいて、表示領域に表示オブジェクトを表示するユーザインタフェース表示方法を、ヘッドマウントディスプレイシステムに搭載されたプロセッサに実行させるためのインタフェースプログラムに関する。

この発明の上記の、及び他の特徴及び利点は、この発明の実施形態の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。

本発明によれば、タッチパネル式装置を用いて、タッチパネル式装置と通信可能に接続されたＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトを容易にかつ直感的に指示することができる。

本発明の一実施形態に従った、ＨＭＤシステムの概略図を示す。 本発明の一実施形態に従った、ＨＭＤシステムの表示処理を実現するための機能的構成を示す。 本発明の一実施形態に従った、タッチパネル式装置の３次元実空間の直交座標系、及びタッチパネル平面の直交座標系、及びこれら座標系において用いられる各種パラメータを示す。 本発明の一実施形態に従った、３次元仮想空間内で宇宙船及び大砲を操作する場合の、（イ）宇宙船及び大砲の操作開始状態、（ロ）タッチパネル式装置に対する操作開始状態、（ハ）（ロ）に示されるタッチパネル式装置を破線ａで切断した断面の概略図を示す。 本発明の一実施形態に従った、３次元仮想空間内で宇宙船及び大砲を操作する場合の、（イ）宇宙船及び大砲の操作中の状態、（ロ）タッチパネル式装置に対する操作中の状態、（ハ）（ロ）に示されるタッチパネル式装置を破線ａで切断した断面の概略図を示す。 本発明の一実施形態に従った、３次元仮想空間内で宇宙船及び大砲を操作する場合の、ＨＭＤを装着しているユーザが観察することのできる表示領域に表示される３次元仮想空間内の画像を示す。 本発明の一実施形態に従った、３次元仮想空間内で飛行機を操作する場合の、（イ）飛行機の操作開始状態、（ロ）タッチパネル式装置に対する操作開始状態、（ハ）（ロ）に示されるタッチパネル式装置を破線ａで切断した断面の概略図を示す。 本発明の一実施形態に従った、３次元仮想空間内で飛行機を操作する場合の、（イ）飛行機の操作中の状態、（ロ）タッチパネル式装置に対する操作中の状態、（ハ）（ロ）に示されるタッチパネル式装置を破線ａで切断した断面の概略図を示す。 本発明の一実施形態に従った、３次元仮想空間内で竜を操作する場合の、（イ）竜の操作開始状態、（ロ）タッチパネル式装置に対する操作開始状態、（ハ）（ロ）に示されるタッチパネル式装置を破線ａで切断した断面の概略図を示す。 本発明の一実施形態に従った、３次元仮想空間内で竜を操作する場合の、（イ）竜の操作中の状態、（ロ）タッチパネル式装置に対する操作中の状態、（ハ）（ロ）に示されるタッチパネル式装置を破線ａで切断した断面の概略図を示す。 本発明の一実施形態に従った、３次元仮想空間内で釣り竿を操作する場合の、（イ）釣り竿の操作開始状態、（ロ）タッチパネル式装置に対する操作開始状態、（ハ）（ロ）に示されるタッチパネル式装置を破線ａで切断した断面の概略図を示す。 本発明の一実施形態に従った、３次元仮想空間内で釣り竿を操作する場合の、（イ）釣り竿の操作中の状態、（ロ）タッチパネル式装置に対する操作中の状態、（ハ）（ロ）に示されるタッチパネル式装置を破線ａで切断した断面の概略図を示す。 本発明の一実施形態に従った、ＨＭＤシステムにおける表示を制御するための処理の流れを示す。

以下、本実施形態について説明する。図１は、一実施形態に係るシステムの構成図である。このシステムでは、タッチパネル式装置１３０と本体装置１２０が無線又は有線で通信可能に接続され、本体装置１２０とＨＭＤ１１０が無線又は有線で通信可能に接続されている。ＨＭＤ１１０は、表示領域１１２を備えており、ＨＭＤを装着したユーザは表示領域１１２に表示される画像のみを観察することができる。
＜本体装置のハードウェア構成＞
本体装置１２０は、プロセッサ、メモリ、通信部（図示せず）を備えることができる。さらに、本体装置１２０は、当該本体装置１２０に対して交換可能に用いられる情報記憶媒体（例えば光ディスク）が着脱可能に挿入することができる。光ディスクに、本体装置で実行されるアプリケーションプログラムを記憶することができる。

本体装置１２０のプロセッサは、メモリ又は光ディスクに記憶されたアプリケーションプログラムを実行することによって、アプリケーション処理（ゲーム処理）を実行するものである。

本体装置１２０のメモリはプロセッサによって実行される各種アプリケーションプログラムや、各種アプリケーションプログラムの実行に伴い生じる各種データ（ゲームの結果データ又は途中データ等）を格納することができる。例えば、大砲を備えた宇宙船が敵機を攻撃するためのゲームアプリケーションプログラムを格納することができる。

本体装置の通信部は、タッチパネル式装置１３０から出力された各種データを受信したり、ＨＭＤ１１０の表示領域１１２に対し生成した表示画像を送信したりすることができる。

本体装置１２０は、公知のパーソナルコンピュータ、据え置き型ゲーム機等により実現されうる。本体装置１２０は、図２に示される機能を実現するための装置である。図１において、本体装置１２０はタッチパネル式装置１３０、ＨＭＤ１１０とは別個に構成されているが、本体装置１２０により実現される図２に示される機能の一部又は全部を、機能を実現するために必要とされるハードウェアを備えたタッチパネル式装置１３０又はＨＭＤ１１０に搭載することができる。この場合、本体装置１２０をタッチパネル式装置１３０及び／又はＨＭＤ１１０と一体化することもできる。
＜タッチパネル式装置のハードウェア構成＞
タッチパネル式装置１３０は、タッチパネルに配設されたタッチセンサ１３２と、傾き検出センサ１３４、３軸加速度センサ１３６、送信部、メモリ）、プロセッサ（図示せず）を備えることができる。タッチパネル式装置１３０はユーザにより保持され、ＨＭＤのコントローラとして使用することができる。タッチパネル式装置１３０は、公知のスマートフォン、タブレット端末、ＰＤＡにより実現され得る。

タッチパネル式装置のタッチセンサ１３２はユーザによるタッチパネルに対するタッチ入力が行われた位置（接触位置）を検出する。ユーザがタッチパネル式装置のタッチパネルに対して指やスタイラスペンを用いてタッチ操作を行うと、タッチセンサ１３２は該操作に関する各種データ（タッチパネルへの接触位置）を検出することができる。なお、接触変位量算出部２０４は検出された接触位置情報を用いて、スワイプ操作を行う際の、タッチパネルへの接触開始位置からのタッチパネルへの連続した接触の変位量（接触変位量）、接触開始位置からの接触変位方向、接触変位速度、接触回数、スワイプ回転数などを算出することができる。非透過型のＨＭＤを装着している場合、ユーザは保持しているタッチパネル式装置１３０の表示面を観察することはできない。その代わりに、ＨＭＤの表示領域を観察することができる。従って、タッチパネルは、タッチセンサ１３２機能を有していれば良く、表示機能を有していなくても良い。なお、本実施形態において、スワイプ操作とは、ユーザ指やタッチペンによってタッチパネル上をタッチし、タッチしたまま線を描くようにタッチ位置をタッチパネル上で動かす操作を意味する。

タッチパネル式装置の傾き検出センサ１３４は、タッチパネル式装置１３０の３次元実空間でのＸＹＺ軸回りのそれぞれの角速度を検出するためのものであり、ジャイロセンサにより実現され得る。

タッチパネル式装置の３軸加速度センサ１３６は、タッチパネル式装置の３次元実空間でのＸＹＺ軸方向の加速度を検出するためのものである。加速度センサ１３６が検出した加速度は、タッチパネル式装置１３０の筐体の傾き（傾斜角度）や動きに応じて変化するので、取得された加速度データを用いて、タッチパネル式装置１２０の筐体の傾きや動き、３次元実空間における装置変位量を算出することができる。例えば、この３軸加速度センサからの加速度出力をモニタリングすることにより、重力加速度を基準として、タッチパネル式装置の姿勢、姿勢変化、例えばタッチパネル式装置１３０の筐体の一方の端をあおり上げるような姿勢変化があった場合に、その方向と度合いとを検出することができる。

タッチパネル式装置のメモリは、各センサより出力されたタッチパネル式装置に対して行われた所定の操作に関する操作入力情報、即ち、タッチセンサへの接触位置、タッチパネル式装置１３０の３次元実空間での筐体のＸＹＺ軸回りの角速度、３次元実空間での筐体のＸＹＺ軸方向の加速度を操作入力情報として格納する。

タッチパネル式装置の送信部は、タッチパネル式装置のメモリに格納された、タッチパネル式装置に対して行われたユーザ操作に関する操作入力情報を、本体装置１２０のアプリケーション進行部２０２からのリクエストに応じて出力データとして送信することができる。アプリケーション進行部２０２がアプリケーションプログラムの実行に必要な操作入力情報をリクエストすることで、タッチパネル式装置１３０は検出された全ての操作入力情報を本体装置１２０へ送信することなく、必要な情報のみを出力データとして送信することができる。従って、本体装置１２０とタッチパネル式装置１３０との間の通信負荷を低減することができる。

図２は、本発明の一実施形態に係るＨＭＤシステムの表示処理を実現するための機能的構成図である。本体装置１２０は、プロセッサなどの演算部に組み込まれたプログラムで制御された、アプリケーション進行部２０２と、接触変位量算出部２０４と、傾き変化算出部２０６と、装置変位量算出部２０８を備えている。

アプリケーション進行部２０２は、まず、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が何かを決定する。また、アプリケーション進行部２０２は、実行中のアプリケーションプログラムの内容に基づいて出力データを取得する期間（所定の期間）を決定する。求められるユーザ操作とは、実行中のアプリケーションプログラムの内容、実行中のアプリケーションプログラムにおいてユーザが現在操作している状況に基づいて定められ、実行中のアプリケーションプログラムが入力を許可する、コントローラに対するユーザ操作のことである。例えば、ユーザが仮想空間内で宇宙船を操作するゲームを行い、敵と戦闘中の操作状態では、その操作状態に対応する求められるユーザ操作は例えば、「宇宙船の進行方向を操作する」、「大砲の向きを操作する」である。このように、アプリケーションプログラムの内容に基づいて求められるユーザ操作を決定することで、アプリケーション実行中にユーザが意図しない操作を排除することができる。ユーザは意図しないで、タッチパネル式装置の姿勢操作や移動操作を行ってしまうことがある。特にＨＭＤを装着しているユーザは、自身が保持しているタッチパネル式装置を観察することができないため、意図しない操作を行う可能性がある。

次に、アプリケーション進行部２０２は、求められるユーザ操作に関する情報に対応する操作入力情報を出力データとしてタッチパネル式装置１３０へリクエストするとともに、出力データを取得する期間（所定の期間）をタッチパネル式装置１３０へ送信する。例えば、求められるユーザ操作が「宇宙船の進行方向を操作する」、「大砲の向きを操作する」場合に、該求められるユーザ操作に対応する操作入力情報は、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置）、傾き検出センサ１３４からのタッチパネル装置１３０の傾きの変化に関する情報（ロール角速度））である。アプリケーション進行部２０２は、求められるユーザ操作に対応しない操作入力情報、例えば、タッチパネル式装置のピッチ角速度、ヨー角速度、タッチパネル装置１３０の３次元実空間における加速度をリクエストしないことができる。必要な情報のみをリクエストすることで、本体装置１２０とタッチパネル式装置１３０との間の通信負荷を低減することができる。

次に、タッチパネル式装置１３０の送信部は、アプリケーション進行部２０２からのリクエストに応じて、所定の期間に亘って、メモリに格納されたタッチセンサ、傾き検出センサ、３軸加速度センサから得られた各種操作入力情報に関する情報のうち、求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。

接触変位量算出部２０４は、出力データがユーザのタッチパネルに対するタッチ操作に関する情報である場合に、該タッチ操作に関する情報に基づいて、タッチ操作のタッチパネルに対する連続した接触の接触開始位置からの接触変位量、接触開始位置からの接触変位方向、接触変位速度、接触回数、スワイプ回転数、接触時間など、又はこれらの一部を操作データとして算出する。接触変位量算出部２０４は、所定期間に亘って、タッチパネルに対し連続した入力が行われる間、これらの操作データの算出を繰り返し実行する。

傾き変化算出部２０６は、出力データがユーザのタッチパネル装置１３０に対する３次元実空間での傾き操作に関する情報（角速度）である場合に、該傾き操作に関する情報に基づいて、タッチパネル装置１３０の筐体の３次元実空間での３軸回りの角度変化、角加速度など又はこれらの一部を操作データとして算出する。傾き変化算出部２０６は、所定期間に亘って、これらの操作データの算出を繰り返し実行する。

装置変位量算出部２０８は、出力データがタッチパネル装置１３０に対する３次元実空間での変位操作に関する情報である場合に、該変位操作に関する情報（加速度）に基づいて、タッチパネル装置１３０の３次元実空間内でのＸＹＺ軸方向の装置速度、装置変位量など、又はこれらの一部を操作データとして算出する。装置変位量算出部２０８は、所定期間に亘って、これらの操作データの算出を繰り返し実行する。

表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データに基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。例えば、アプリケーション進行部２０２により決定された求められるユーザ操作が「宇宙船の進行方向を操作する」、「大砲の向きを操作する」である場合に、表示オブジェクトである「宇宙船」、「大砲」に対し、それぞれ「宇宙船」の進行方向の変更を操作データである「タッチパネル式装置１３０の３次元実空間内でのロール角変化、ロール角速度」の一部、又は全てに基づいて表示演算し、「大砲」の向きの変更を操作データである「タッチパネルに対する接触変位量、接触変位方向、接触変位速度」の一部、又は全てに基づいて表示演算する。表示制御部２１０は表示オブジェクトの表示演算に基づいて、表示オブジェクトの画像を生成し、表示領域１１２へ出力する。いわゆる３次元の画像を生成する場合には、表示オブジェクトの各頂点のデータ（頂点のワールド座標系での位置座標、色データ）を含む表示パラメータを演算し、演算された表示パラメータに基づいて、表示オブジェクトの画像をフレーム毎に順次生成する。

本発明によると、ユーザは、タッチパネル式装置を用いて３次元仮想空間内で表示オブジェクトに行わせる操作を容易にかつ直感的に指示することができる。特に非透過型のＨＭＤを装着しているユーザにとって、手元を観察することができないため、タッチパネル式装置のタッチパネルを観察しながら表示オブジェクトに対して指示できない。さらに、タッチパネルのタッチセンサのみを用いて指示する場合、画面上の２次元位置しか指示することができず、３次元仮想空間内の方向、速度を指示することはできなかった。本発明によると、ジャイロセンサ、加速度センサ、タッチセンサを備えたタッチパネル式装置を用いて、ユーザは手元を観察することなく、ＨＭＤの表示領域に表示される３次元仮想空間内の表示オブジェクトの方向を容易にかつ直感的に指示することができる。

また、タッチパネルのタッチセンサを用いて、該タッチパネルに表示される表示オブジェクトに対する指示を行う場合、操作を行う指などに表示オブジェクトが隠れて見えなくなってしまうことがあった。本発明によると、タッチ操作を行うタッチパネルと、表示領域とが別個に構成される。従って、ユーザは表示オブジェクトが操作により隠れてしまうことを気にすることなく表示オブジェクトの操作を行うことができる。

図３は、本発明の一実施形態に従った、タッチパネル式装置１３０の筐体の３次元実空間での直交座標系（Ｘ，Ｙ，Ｚ）、及びタッチパネル式装置のタッチパネル平面の２次元直交座標系（ｘ，ｙ）、及びこれら座標系において用いられる各種パラメータを示す。θｒ、θｐ、θｙはそれぞれ、タッチパネル式装置の筐体の３次元実空間での直交座標系（Ｘ，Ｙ，Ｚ）において、タッチパネル式装置の前後を軸とした回転を示すロール角（θｒ）、左右を軸とした回転を示すピッチ角（θｐ）、上下を軸とした回転を示すヨー角（θｙ）を示す。Ｐ０（ｘｐ０，ｙｐ０）、Ｐ１（ｘｐ１，ｙｐ１）はそれぞれ、タッチパネル平面の２次元座標系（ｘ，ｙ）上の座標値を示し、Ｐ０（ｘｐ０，ｙｐ０）はユーザのタッチ操作による接触開始位置、Ｐ１（ｘｐ１，ｙｐ１）はタッチ操作による接触終了位置を示す。

次に、タッチパネル式装置１３０の操作によりＨＭＤの表示領域に表示される３次元仮想空間内に表示される表示オブジェクトを操作する処理を図に基づき説明する。
なお、表示領域に表示される表示オブジェクトの操作に関し、アプリケーションで設定された内容に従って次の４実施形態、
＜第１の実施形態＞ タッチパネル及びジャイロセンサを用いて２つの表示オブジェクトを別個に操作する。
＜第２の実施形態＞ タッチパネル及びジャイロセンサを用いて１つの表示オブジェクトの傾きと進行方向を別個に操作する。
＜第３の実施形態＞ タッチパネル及び加速度センサを用いて１つの表示オブジェクトの動作と進行方向とを別個に操作する。
＜第４の実施形態＞ タッチパネル及び加速度センサを用いて１つの表示オブジェクトに関する１つの動作を操作する。
のうちから１つを選択して操作を行うものとする。
＜第１の実施形態＞
まず、第１の実施形態における操作の概要について図４に基づいて説明する。第１の実施形態は、タッチパネル式装置に対するユーザ操作によって、３次元仮想空間内において２つの表示オブジェクト（宇宙船、大砲）の向きを操作するゲームに関する。ユーザはタッチパネル式装置１３０のタッチパネル１３２上をスワイプ操作し、タッチパネル式装置１３０の筐体の姿勢を操作することによって、３次元仮想空間内において２つの表示オブジェクトを別個に操作することができる。図４Ａ、図４Ｂは第１の実施形態に基づく宇宙船４０２及び大砲４０４を操作する場合の３次元仮想空間内の状態の遷移（イ）、及びタッチパネル式装置の状態の遷移（ロ、ハ）を例示する図である。図４Ｃは、第１の実施形態に基づく３次元仮想空間内で宇宙船３０２及び大砲３０４を操作する場合のＨＭＤを装着しているユーザが観察することのできる表示領域に表示される３次元仮想空間内の画像を例示する図である。

まず、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が、「宇宙船の進行方向（又は向き）を操作する」及び「大砲の向きを操作する」であると決定する。ユーザは、タッチパネル式装置１３０の筐体の傾き（ロール角）を変化させることで、ＨＭＤの表示領域１１２に表示される宇宙船４０２の進行方向（ヨー角）を指示することができ、タッチパネル式装置のタッチパネル１３２上をスワイプ操作することによって、ＨＭＤの表示領域１１２に表示される宇宙船４０２に搭載されている大砲の向き（ヨー角）を指示することができる。

次に、タッチパネル式装置１３０は、アプリケーション進行部２０２からのリクエストに応じて、タッチパネル式装置１３０のメモリに格納された操作入力情報のうち、入力が求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ所定の期間に亘って逐次出力する。本実施態様においては、出力データは、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置）、傾き検出センサ１３４からのタッチパネル装置１３０の傾き操作に関する情報（前後方向を軸とした角速度（ロール角速度））である。

次に、タッチパネル式装置１３０の送信部は、所定の期間に亘って求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。そして、接触変位量算出部２０４は、ユーザのタッチ操作に関する情報に基づいて、接触開始位置からの接触変位量などを操作データとして算出する。また、傾き変化算出部２０６は、タッチパネル装置１３０の傾き操作に関する情報（角速度）に基づいて、タッチパネル装置１３０の３次元実空間でのＹ軸回りのロール角変化などを操作データとして算出する。

次に、表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データ（接触変位量、ロール角変化など）に基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。

図４Ａ（イ）は、３次元仮想空間内において操作される宇宙船４０２及び大砲４０４の操作開始状態を例示する図である。図４Ａ（イ）に示される画像をＨＭＤの表示領域１１２に表示することもできる。図４Ａ（イ）は、３次元仮想空間内における宇宙船４０２及び大砲４０４の操作開始状態を上から見た図を示しており、宇宙船４０２は３次元仮想空間内でψｙ０、大砲４０４はψ'ｙ０に対応する操作開始角度（ヨー角）を有する。図４Ａ（ロ）に示すタッチパネル式装置の操作開始状態は、図４Ａ（イ）に示す３次元仮想空間内における宇宙船４０２、大砲４０４の操作開始状態に対応する。図４Ａ（ロ）においてＰ０（ｘｐ０，ｙｐ０）はユーザによるタッチパネル平面上の接触開始位置（黒丸）を示す。θｒ０はユーザが保持しているタッチパネル式装置の前後方向を軸とした操作開始角度（ロール角）を示す。図４Ａ（ハ）は、図４Ａ（ロ）に示されるタッチパネル式装置を破線ａで切断したタッチパネル式装置の断面の概略図を示す。なお、図４Ａ（ロ）には、操作開始位置を黒丸で表しているが、この黒丸は実際には表示されなくても良い。

図４Ｂは、３次元仮想空間内において操作される宇宙船４０２及び大砲４０４の操作中の状態を例示する図である。宇宙船４０２の進行方向は、タッチパネル式装置の前後方向を軸とした回転角（ロール角）に基づいて決定され、大砲４０４の向きはタッチパネルに対する接触開始位置からの接触変位量に基づいて決定される。即ち、大砲４０４の向きは、タッチパネル式装置のタッチパネルに入力される線（入力軌跡４０６）に基づいて算出される。

図４Ｂ（イ）は、３次元仮想空間内における宇宙船４０２及び大砲４０４の操作中の状態を上から見た図を示しており、宇宙船４０２は３次元仮想空間内でΔψｙに対応する操作角度だけ反時計方向に進行方向が変化し、大砲４０４はΔψ'ｙに対応する操作角度だけ時計方向に傾きが変化している。図４Ｂ（イ）に示す３次元仮想空間内における宇宙船４０２、大砲４０４の操作中の状態は、図４Ｂ（ロ）に示すタッチパネル式装置の操作中の状態に対応する。

図４Ｂ（ロ）は、タッチパネル式装置のタッチパネル上を接触開始位置Ｐ０（ｘｐ０，ｙｐ０）から接触終了位置Ｐ１（ｘｐ１，ｙｐ１）までスワイプ操作する際の入力軌跡４０６、及び実空間における操作開始角度θｒ０からΔθｒだけ反時計方向に傾いたタッチパネル式装置を示す。ユーザは、図４Ｂ（ロ）に示すように、タッチパネルに対して線を描く操作を行うことで大砲の向きを操作する。図４Ｂ（ロ）において、スワイプ操作する際の入力軌跡４０６は、直線で描かれているが、入力軌跡は曲線であっても往復線であっても良い。また、図４Ｂ（ロ）において、タッチパネル式装置１３０に対する傾き操作はΔθｒだけ反時計方向に傾けるものであるが、所定期間内であれば連続してさらに傾きを時計方向に傾けることもできる。さらに、所定期間内であれば、一旦タッチ操作が接触終了位置Ｐ１において終了しても、新たに接触開始位置Ｐ０を設定してスワイプ操作を行うことができる。また、表示制御部２１０は、タッチパネルに対する接触の変位速度に基づいて、大砲４０４の向きの変化速度を変えることができる。また、表示制御部２１０は、タッチパネル式装置の角度変化、及び角速度に基づいて、宇宙船の進行方向の変化速度を変えることができる。なお、図４Ｂ（ロ）には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。また、図４Ｂ（ロ）に表される点線矢印、（ロ）、（ハ）に表される黒塗り矢印は、それぞれ図４Ｂ（イ）に表される点線矢印、黒塗り矢印に対応している。

図４Ｂ（ハ）は、図４Ｂ（ロ）に示されるタッチパネル式装置を破線ａで切断したタッチパネル式装置の断面の概略図を示す。
非透過型ＨＭＤを装着しているユーザは、タッチパネルを観察しながらタッチパネルに対する操作をすることができない。本実施形態においては、ユーザはタッチパネル式装置を傾ける、タッチパネル上にタッチ操作を行うといった直感的な操作でＨＭＤの表示領域に表示される表示オブジェクトを操作することができるため、ＨＭＤを装着しているユーザにとって極めて操作性が良い。

また、このようなユーザにとって、タッチパネルに対して直線を一定の方向（例えば真横）に描く操作を行うことが困難な場合がある。本実施形態においては、例えば、接触開始位置Ｐ０から接触終了位置Ｐ１のｙ軸方向の接触変位を考慮せず、ｘ軸方向の接触変位のみに着目して大砲の向きを操作することもできる。

なお、図４Ｂ（イ）は、図４Ｂ（ロ）において接触終了位置が（ｘｐ１，ｙｐ１）、操作終了角度がθｒ１である場合の、宇宙船４０２と大砲４０４の操作終了状態を示しているが、接触終了位置が（ｘｐ１，ｙｐ１）、操作終了角度をθｒ０のままとすることもできる。タッチパネルに対するタッチ操作と、タッチパネル式装置の姿勢操作を独立して行うことができるためである。この場合、大砲４０４の操作角度はψ'ｙ０からΔψ'ｙだけ変化するが、宇宙船４０２の進行方向はψｙ０のまま変化しない。

図４Ｃは、３次元仮想空間内で宇宙船４０２及び大砲４０４を操作する場合の、ＨＭＤを装着しているユーザが観察することのできる表示領域に表示される３次元仮想空間内の例示的な画像である。ユーザは、あたかも宇宙船４０２の司令室にいるかのような画像を観察することができる。
＜第２の実施形態＞
次に、第２の実施形態における操作の概要について図５に基づいて説明する。第２の実施形態は、タッチパネル式装置に対するユーザ操作によって、３次元仮想空間内において１つの表示オブジェクト（飛行機）の進行方向、傾きを操作するゲームに関する。ユーザはタッチパネル式装置１３０のタッチパネル１３２上をスワイプ操作し、タッチパネル式装置１３０の筐体の姿勢を操作することによって、３次元仮想空間内において１つの表示オブジェクトの傾きと進行方向を別個に操作することができる。図５Ａ、図５Ｂは第２の実施形態に基づく飛行機５０２を操作する場合の３次元仮想空間内の状態の遷移（イ）、及びタッチパネル式装置の状態の遷移（ロ、ハ）を例示する図である。

まず、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が、「飛行機の進行方向、移動量を操作する」及び「飛行機の傾きを操作する」であると決定する。このとき、ユーザは、タッチパネル式装置１３０の筐体の傾き（ピッチ角）を変化させることで、ＨＭＤの表示領域１１２に表示される飛行機の傾き（ピッチ角）を指示することができ、タッチパネル１３２に対して図５Ｂ（ロ）に示すように、線を描くスワイプ操作することによって、ＨＭＤの表示領域１１２に表示される飛行機５０２の進行方向、移動量を指示することができる。ユーザは飛行機のピッチ角及び進行方向、移動量を指示することにより、仮想空間内で飛行機を離発着、飛行操作をすることができる。

次に、タッチパネル式装置１３０は、アプリケーション進行部２０２からのリクエストに応じて、タッチパネル式装置１３０のメモリに格納された操作入力情報のうち、入力が求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ所定の期間に亘って逐次出力する。本実施態様においては、出力データは、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置）、傾き検出センサ１３４からのタッチパネル装置１３０の傾き操作に関する情報（左右方向を軸とした角速度（ピッチ角速度））である。

図５Ａ（イ）は、３次元仮想空間内において操作される飛行機５０２の操作開始状態を例示する図である。図５Ａ（イ）に示される画像をＨＭＤの表示領域１１２に表示することもできる。図５Ａ（イ）は、３次元仮想空間内における飛行機５０２の操作開始状態を横から見た図を示しており、飛行機５０２は３次元仮想空間内で、（ｘｖ０，ｙｖ０，ｚｖ０）に対応する操作開始位置、及びψｐ０に対応する操作開始角度（ピッチ角）を有する。図５Ａ（ロ）に示すタッチパネル式装置の操作開始状態は、図５Ａ（イ）に示す３次元仮想空間内における飛行機５０２の操作開始状態に対応する。図５Ａ（ロ）において、Ｐ０（ｘｐ０，ｙｐ０）はユーザによるタッチパネル平面上の接触開始位置（黒丸）を示す。θｐ０はユーザが保持しているタッチパネル式装置の左右方向を軸とした操作開始角度（ピッチ角）を示す。

図５Ａ（ハ）は、図５Ａ（ロ）に示されるタッチパネル式装置を破線ａで切断したタッチパネル式装置の断面の概略図を示す。なお、図５Ａ（ロ）には、操作開始位置を黒丸で表しているが、この黒丸は実際には表示されなくても良い。

図５Ｂは、３次元仮想空間内において操作される飛行機５０２の操作中の状態を例示する図である。飛行機５０２の左右方向を軸とした傾きは、タッチパネル式装置の左右方向を軸とした回転角（ピッチ角）に基づいて決定され、飛行機５０２の進行方向、移動量はタッチパネルに対する接触開始位置からの接触変位方向、接触変位量に基づいて決定される。ここで、飛行機５０２の進行方向は、タッチパネル式装置のタッチパネルに入力される線（入力軌跡５０６）に基づいて算出される。

図５Ｂ（イ）は、３次元仮想空間内における飛行機５０２の操作終了後の状態を横から見た図を示しており、飛行機５０２は３次元仮想空間内で、（ｘｖ１，ｙｖ１，ｚｖ１）に対応する操作中の位置を有しており、Δψｐに対応する角度だけ傾きが変化している。ここで、３次元仮想空間内の操作終了位置（ｘｖ１，ｙｖ１，ｚｖ１）は、操作開始位置（ｘｖ０，ｙｖ０，ｚｖ０）に対し、タッチパネルに対する操作開始位置からの接触変位量、変位方向（Ｐ０→Ｐ１）に加えて、タッチパネル式装置の左右方向を軸とした傾きの変化（θｐ０→θｐ１）を加えた位置を３次元仮想空間内の座標に変換した位置となる。従って、ユーザはタッチパネル式装置を用いてより詳細に表示オブジェクトを制御することができる。なお、タッチパネルに対する操作開始位置からの接触変位方向を用いずに、接触変位量と傾き変化のみを用いて、３次元仮想空間内の座標に変換することもできる。図５Ｂ（イ）に示す３次元仮想空間内における飛行機５０２の操作中の状態は、図４Ｂ（ロ）に示すタッチパネル式装置の操作中の状態に対応する。

図５Ｂ（ロ）は、タッチパネル式装置のタッチパネル上を接触開始位置Ｐ０（ｘｐ０，ｙｐ０）から接触終了位置Ｐ１（ｘｐ１，ｙｐ１）までスワイプ操作する際の入力軌跡、及び実空間における操作開始角度θｐ０からΔθｐだけ傾いたタッチパネル式装置を示す。本実施形態においては、タッチパネルに対するタッチ操作と、タッチパネル式装置の姿勢操作を独立して行うことができる。例えば、飛行機５０２の進行方向のみを変化させ、飛行機５０２のピッチ角は変化させないでおくことができる。図５Ｂ（ロ）には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。

図５Ｂ（ハ）は、図５Ｂ（ロ）に示されるタッチパネル式装置を破線ａで切断したタッチパネル式装置の断面の概略図を示す。
＜第３の実施形態＞
次に、第３の実施形態における操作の概要について図６に基づいて説明する。第３の実施形態は、タッチパネル式装置に対するユーザ操作によって、３次元仮想空間内において表示オブジェクト（竜）の移動量、動作を操作するゲームに関する。ユーザはタッチパネル式装置１３０のタッチパネル１３２上をスワイプ操作し、タッチパネル式装置１３０の筐体の実空間（Ｘ，Ｙ，Ｚ）内における位置を操作することによって、３次元仮想空間内において１つの表示オブジェクトの動作と移動量を別個に操作することができる。図６Ａ、図６Ｂは第３の実施形態に基づく竜６０２を操作する場合の３次元仮想空間内の状態の遷移（イ）、及びタッチパネル式装置の状態の遷移（ロ、ハ）を例示する図である。

まず、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が、「竜の移動量の操作」及び「竜のジャンプ動作」であると決定する。このとき、ユーザは、タッチパネル式装置１３０の筐体の実空間における位置（高さＺ）を短期間に変化させることで、ＨＭＤの表示領域１１２に表示される竜にジャンプを指示することができ、タッチパネル１３２に対して図６Ｂ（ロ）に示すように、線を描くスワイプ操作することによって、ＨＭＤの表示領域１１２に表示される竜６０２の移動量を指示することができる。
なお、本実施形態において、筐体の実空間における位置（高さＺ）を短期間に変化させる操作は、例えば、短期間に筐体を持ち上げる操作や、短期間に筐体を持ち上げた直後に下げる操作を意味する。このような筐体の実空間における高さを操作することより、ユーザはＨＭＤの表示領域に表示された竜６０２を直感的にジャンプさせることができる。

次に、タッチパネル式装置１３０は、アプリケーション進行部２０２からのリクエストに応じて、タッチパネル式装置１３０のメモリに格納された操作入力情報のうち、入力が求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ所定の期間に亘って逐次出力する。本実施態様においては、出力データは、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置）、３軸加速度センサ１３６からのタッチパネル装置１３０の変位操作に関する情報（実空間におけるＺ軸方向の加速度）である。

次に、タッチパネル式装置１３０の送信部は、所定の期間に亘って求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。そして、接触変位量算出部２０４は、ユーザのタッチ操作に関する情報に基づいて、接触開始位置からの接触変位量などを操作データとして算出する。また、装置変位量算出部２０８は、タッチパネル装置１３０の変位操作に関する情報に基づいて、タッチパネル装置１３０の３次元実空間内でのＸＹＺ軸方向の装置変位量などを操作データとして算出する。

次に、表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データ（接触変位量、装置変位量など）に基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。

図６Ａ（イ）は、３次元仮想空間内において操作される竜６０２の操作開始状態を例示する図である。図６Ａ（イ）に示される画像をＨＭＤの表示領域１１２に表示することもできる。図６Ａ（イ）は、３次元仮想空間内における竜６０２の操作開始状態を横から見た図を示しており、竜６０２は３次元仮想空間内で、（ｘｖ０，ｙｖ０、ｚｖ０）に対応する操作開始位置を有する。図６Ａ（ロ）に示すタッチパネル式装置の操作開始状態は、図６（イ）に示す３次元仮想空間における竜６０２の状態に対応する。図６Ａ（ロ）において、Ｐ０（ｘｐ０，ｙｐ０）はユーザによるタッチパネル平面上の接触開始位置（黒丸）を示す。

図６Ａ（ハ）は、図６Ａ（ロ）に示されるタッチパネル式装置を破線ａで切断したタッチパネル式装置の断面の概略図を示す。なお、図４Ａ（ロ）には、操作開始位置を黒丸で表しているが、この黒丸は実際には表示されなくても良い。

図６Ｂは、３次元仮想空間内において操作される竜６０２の操作中の状態を例示する図である。竜６０２にジャンプさせる操作は、タッチパネル式装置の実空間におけるＺ軸方向の短期間における変位（ΔＺ）に基づいて決定され、竜６０２の進行方向はタッチパネルに対する接触開始位置からの接触変位量に基づいて決定される。ここで、竜６０２の進行方向は、タッチパネル式装置のタッチパネルに入力される線（入力軌跡６０６）に基づいて算出される。

図６Ｂ（イ）は、３次元仮想空間内における竜６０２の操作終了後の状態を横から見た図を示しており、竜６０２は３次元仮想空間内で、（ｘｖ１，ｙｖ１、ｚｖ１）に対応する操作中の位置を一旦有し、その直後に着地（ｘｖ１，ｙｖ１、０）する。図６Ｂ（イ）に示す３次元仮想空間内における竜６０２の操作中の状態は、図６Ｂ（ロ）に示すタッチパネル式装置の操作中の状態に対応する。

図６Ｂ（ロ）は、タッチパネル式装置のタッチパネル上を接触開始位置Ｐ０（ｘｐ０，ｙｐ０）から接触終了位置Ｐ１（ｘｐ１，ｙｐ１）までスワイプ操作する際の入力軌跡、及び実空間においてＺ軸方向にΔＺだけ移動したタッチパネル式装置を示す。図６Ｂ（ロ）には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。

図６Ｂ（ハ）は、図６Ｂ（ロ）に示されるタッチパネル式装置を破線ａで切断したタッチパネル式装置の断面の概略図を示す。
＜第４の実施形態＞
次に、第４の実施形態における操作の概要について図７に基づいて説明する。第４の実施形態は、タッチパネル式装置に対するユーザ操作によって、３次元仮想空間内において表示オブジェクト（釣り竿）の釣り糸にかかる張力（パラメータ）を算出し、該張力に基づいて釣り竿を操作するゲームに関する。ユーザはタッチパネル式装置１３０のタッチパネル１３２上をスワイプ操作し、タッチパネル式装置１３０の筐体の実空間（Ｘ，Ｙ，Ｚ）内における位置を操作することによって、３次元仮想空間内において１つの表示オブジェクトの１つのパラメータ（釣り糸にかかる張力）を算出し、該算出されたパラメータに基づいて釣り竿７０２を操作することができる。図７Ａ、図７Ｂは第４の実施形態に基づく３次元仮想空間内で釣り竿７０２を操作する場合の３次元仮想空間内の状態の遷移（イ）、及びタッチパネル式装置の状態の遷移（ロ、ハ）を例示する図である。

まず、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作が、「釣り竿のリール操作（釣り糸を巻く操作）」及び「釣り竿の上げ操作」であると決定する。このとき、ユーザは、タッチパネル式装置１３０の筐体の実空間における位置（高さＺ）を変化させることで、ＨＭＤの表示領域１１２に表示される釣り竿の上げ操作（釣り竿を持ち上げる量）を指示することができ、タッチパネル１３２に対して図７Ｂ（ロ）に示すように、円を描くスワイプ回転操作することによって、ＨＭＤの表示領域１１２に表示される釣り竿のリール操作量（リールによる釣り糸の巻き取り量）を指示することができる。ここでスワイプ回転操作とは、指やタッチペンによってタッチパネル上をタッチし、タッチしたまま周期的な線（円、楕円、往復線）を描くようにタッチ位置をタッチパネル上で動かす操作を意味する。本実施形態においては、タッチパネル式装置は、３次元実空間のＺ軸がタッチパネル式装置の左右軸に対応するよう配置、すなわち、タッチ面がユーザの右手側に向くよう配置されている。これにより、ユーザはあたかもタッチパネルを釣り竿のリール（釣り糸を巻き取る道具）に見立てて、直感的にリールによる巻き取り操作ができる。

次に、タッチパネル式装置１３０は、アプリケーション進行部２０２からのリクエストに応じて、タッチパネル式装置１３０のメモリに格納された操作入力情報のうち、入力が求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ所定の期間に亘って逐次出力する。本実施態様においては、出力データは、アプリケーション進行部２０２は、タッチセンサ１３２からのユーザのタッチ操作に関する情報（接触位置））、３軸加速度センサ１３６からのタッチパネル装置１３０の変位操作に関する情報（実空間におけるＺ軸方向の加速度）である。

次に、タッチパネル式装置１３０の送信部は、所定の期間に亘って求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。そして、接触変位量算出部２０４は、ユーザのタッチ操作に関する情報に基づいて、接触開始位置からの接触変位量、接触変位方向、接触変位速度、スワイプ回転数などを操作データとして算出する。また、装置変位量算出部２０８は、タッチパネル装置１３０の変位操作に関する情報に基づいて、タッチパネル装置１３０の３次元実空間内でのＸＹＺ軸方向の装置速度、装置変位量などを操作データとして算出する。

次に、表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、表示オブジェクトに行わせる動作と操作データとを対応付けする。そして、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データ（接触変位量、接触変位方向、接触変位速度、スワイプ回転数、装置変位量など）に基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。

図７Ａ（イ）は、３次元仮想空間内において操作される釣り竿７０２の操作開始状態を例示する図である。図７Ａ（イ）に示される画像をＨＭＤの表示領域１１２に表示することもできる。図７Ａ（イ）は、３次元仮想空間内における釣り竿７０２の操作開始状態を横から見た図を示しており、釣り竿７０２は３次元仮想空間内で、巻き取り回数ｔ０、釣り竿の先端位置の高さｚｖ０に対応する操作開始状態を有する。図７Ａ（ロ）に示すタッチパネル式装置の操作開始状態は、図７Ａ（イ）に示す３次元仮想空間における釣り竿７０２の操作開始状態に対応する。図７Ａ（ロ）において、Ｐ０（ｘｐ０，ｙｐ０）はユーザによるタッチパネル平面上の接触開始位置（黒丸）を示す。

図７Ａ（ハ）は、図７Ａ（ロ）に示されるタッチパネル式装置を破線ａで切断したタッチパネル式装置の断面の概略図を示す。なお、図７Ａ（ロ）には、操作開始位置を黒丸で表しているが、この黒丸は実際には表示されなくても良い。

図７Ｂは、３次元仮想空間内において操作される釣り竿７０２の操作中の状態を例示する図である。釣り竿７０２のリール操作による釣り糸巻き取り量は、タッチパネルに対する接触開始位置からのスワイプ回数数に基づいて決定され、釣り竿７０２の上げ操作は、タッチパネル式装置の実空間におけるＺ軸方向の変位（ΔＺ）に基づいて決定される。釣り糸にかかる張力（パラメータ）はスワイプ回転数及びタッチパネル式装置の実空間におけるＺ軸方向の変位に基づいて決定される。ユーザは、例えば釣り糸にかかる張力（パラメータ）が大きい場合、釣り竿が大きくしなっている様子をＨＭＤの表示領域に観察することができる。なお、スワイプ回転数は、タッチパネルに入力される線（入力軌跡７０６）に基づいて接触変位量算出部２０４により算出される。

図７Ｂ（イ）は、３次元仮想空間内における釣り竿７０２の操作終了後の状態を横から見た図を示しており、釣り竿０２は３次元仮想空間内で、巻き取り回数ｔ１、釣り竿の先端位置の高さｚｖ１に対応する操作中の状態を有する。図７Ｂ（ロ）に示すタッチパネル式装置の操作中の状態は、図７Ａ（イ）に示す３次元仮想空間における釣り竿７０２の操作中の状態に対応する。

図７Ｂ（ロ）は、タッチパネル式装置のタッチパネル上を接触開始位置Ｐ０（ｘｐ０，ｙｐ０）から接触終了位置Ｐ１（ｘｐ１，ｙｐ１）までスワイプ回転操作する際の入力軌跡７０６、及び実空間においてＺ軸方向にΔＺだけ移動したタッチパネル式装置を示す。図７Ｂ（ロ）には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。

図７Ｂ（ハ）は、図６Ｂ（ロ）に示されるタッチパネル式装置を破線ａで切断したタッチパネル式装置の断面の概略図を示す。なお、図７Ｂ（ロ）には、操作開始位置を点線丸、操作終了位置を黒丸、ユーザによって描かれた線を点線矢印で表しているが、これらは実際には表示されなくても良い。
＜ＨＭＤシステムの表示制御処理の流れ＞
図８を参照してＨＭＤシステムの表示を制御するための処理の流れを説明する。なお、図８に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理の順序を入れ替えても良い。

まず、ステップＳ１において、初期処理を実行する。アプリケーション処理部２０２は、本体装置１２０においてアプリケーションプログラムを起動し、各種パラメータの初期値を設定し、３次元仮想空間を構築し、仮想空間に登場する表示オブジェクトを初期位置に配置する。アプリケーション処理部２０２は、これら構築された３次元仮想空間、初期位置に配置された表示オブジェクトをＨＭＤの表示領域へ出力する。初期処理においては、例えば第１の実施形態において宇宙船の司令室から観察することのできる陸地や海などで構成される３次元仮想空間を、第２の実施形態において飛行機のコックピットから観察することのできる空や雲などで構成される３次元仮想空間を、第３の実施形態においては、平面に存在する竜を斜め上から観察することのできる陸地や海などで構成される３次元仮想空間を、第４の実施形態においては、ユーザがタッチパネル式装置１３０をあたかも釣り竿のように保持したときに観察することのできる海と空などで構成される３次元仮想空間を構築することができる。

ステップＳ２においては、タッチパネル式装置１３０は、タッチセンサ１３２、傾き検出センサ１３４、３軸加速度センサから出力される各情報をユーザ操作に関する操作入力情報として取得しメモリへ格納する。すなわち、タッチセンサ１３２からはユーザによるタッチパネルに対するタッチ操作に関する情報（接触位置）を、傾き検出センサ１３４からは、ユーザによるタッチパネル式装置１３０に対する傾き操作に関する情報（３次元実空間でのＸＹＺの３軸回りの角速度）を、３軸加速度センサ１３６からは、ユーザによるタッチパネル式装置に対する変位操作に関する情報（３次元実空間での３軸方向の加速度）を取得する。そして、タッチパネル式装置はこれら取得された情報を操作入力情報としてメモリに逐次格納する。

次に、ステップＳ３において、アプリケーション進行部２０２は、本体装置１２０で実行中のアプリケーションプログラムの内容に基づいて、アプリケーションプログラムにより入力が求められるユーザ操作を決定する。また、アプリケーション進行部２０２は、実行中のアプリケーションプログラムの内容に基づいて、操作入力情報に基づく出力データを取得する期間（所定の期間）を決定する。

次に、ステップＳ４において、アプリケーション進行部２０２は、求められるユーザ操作に関する情報に対応する操作入力情報をタッチパネル式装置１３０へリクエストするとともに、出力データを取得する期間（所定の期間）をタッチパネル式装置１３０へ送信する。

次に、ステップＳ５において、タッチパネル式装置１３０の送信部は、アプリケーション進行部２０２からのリクエストに応じて、所定の期間に亘って、メモリに格納された各種操作入力情報のうち、求められるユーザ操作に対応する情報を出力データとして本体装置１２０へ逐次出力する。

そして、ステップＳ６において、本体装置１２０はタッチパネル式装置１３０より送信された出力データの種類を判定する。
次に、ステップＳ７において、出力データがユーザのタッチパネルに対するタッチ操作に関する情報である場合に、接触変位量算出部２０４は、該タッチ操作に関する情報（接触位置）に基づいて、タッチ操作のタッチパネルに対する接触開始位置からの接触変位量、接触変位方向、接触変位速度、スワイプ回転数などを操作データとして算出する。

次に、ステップＳ８において、出力データがユーザのタッチパネル装置１３０に対する３次元実空間での傾き操作に関する情報である場合に、傾き変化算出部２０６は、該傾き操作に関する情報（角速度）に基づいて、タッチパネル装置１３０の３次元実空間内での３軸回りの角度変化、角加速度などを操作データとして算出する。

次に、ステップＳ９において、出力データがタッチパネル装置１３０に対する３次元実空間での変位操作に関する情報である場合に、装置変位量算出部２０８は、該変位操作に関する情報（加速度）に基づいて、タッチパネル装置１３０の３次元実空間内でのＸＹＺ軸の装置速度、装置変位量を操作データとして算出する。

次に、ステップＳ１０において、表示制御部２１０は、アプリケーション進行部２０２により決定されたアプリケーションプログラムにより入力が求められるユーザ操作に基づいて、算出された操作データを表示オブジェクトに行わせる動作に対応付けする。そして、表示制御部２１０は、表示オブジェクトの動作に対応付けられた操作データに基づいて、表示オブジェクトの表示演算を行い、これにより表示オブジェクトの画像をフレーム毎に生成する。

次に、ステップＳ１１において、表示制御部２１０は、生成された表示オブジェクトの画像を逐次表示領域へ出力する。ＨＭＤは表示制御部２１０により出力された表示オブジェクトの画像を表示領域１１２に表示される３次元仮想空間へ表示する。

以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされうることを当業者は理解するであろう。

Claims (11)

1. ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、前記ヘッドマウントディスプレイの表示領域に表示オブジェクトを表示するユーザインタフェース表示方法であって、
   前記タッチパネル式装置のタッチパネルに対するユーザによる接触開始位置からの接触変位量を検出するステップと、
   前記タッチパネル式装置の傾きの変化を検出するステップと、
   検出された前記操作開始位置からの接触変位量と、前記タッチパネル式装置の傾きの変化とに基づいて、前記表示領域に表示する仮想空間内の表示オブジェクトを表示制御するステップと、を備えることを特徴とする、ユーザインタフェース表示方法。
2. 前記表示制御するステップは、
   検出された前記タッチパネルに対する接触開始位置からの接触変位量に基づいて、前記表示領域に表示される第１のオブジェクトの向きを表示制御するステップと、
   検出された前記タッチパネル式装置の傾き変化に基づいて、前記表示領域に表示される第２のオブジェクトの向きを表示制御するステップと、
   を備えることを特徴とする、請求項１に記載のユーザインタフェース表示方法。
3. 前記接触変位量を検出するステップはさらに前記タッチパネルに対するユーザによる接触開始位置からの接触変位方向を検出するステップを含み、
   前記表示制御するステップは、
   検出された前記タッチパネルに対する接触開始位置からの接触変位量及び前記接触変位方向に基づいて、前記表示領域に表示される第１のオブジェクトの移動量及び進行方向を表示制御するステップと、
   検出された前記タッチパネル式装置の傾き変化に基づいて、ヘッドマウントディスプレイの表示領域に表示される第１のオブジェクトの傾きを表示制御するステップと、
   を備えることを特徴とする、請求項１に記載のインタフェースプログラム。
4. 請求項３に記載のインタフェースプログラムにおいて、前記表示領域表示される第１のオブジェクトの仮想空間内の位置は、前記接触変位量、接触変位方向に前記傾き変化を合成した位置を３次元仮想得空間内の座標に変換した位置であることを特徴とするインタフェースプログラム。
5. ヘッドマウントディスプレイと該ヘッドマウントディスプレイに通信可能に接続されているタッチパネル式装置とを備えたヘッドマウントディスプレイシステムにおいて、前記ヘッドマウントディスプレイの表示領域に表示オブジェクトを表示するユーザインタフェース表示方法であって、
   前記タッチパネル式装置のタッチパネルに対するユーザによる接触開始位置からの接触変位量を検出するステップと、
   前記タッチパネル式装置の実空間における装置変位量を検出するステップと、
   検出された前記操作開始位置からの接触変位量と、前記タッチパネル式装置の装置変位量とに基づいて、前記表示領域に表示する仮想空間内の表示オブジェクトを表示制御するステップと、を備えることを特徴とする、ユーザインタフェース表示方法。
6. 前記表示制御するステップは、
   検出された前記タッチパネルに対する操作開始位置からの接触変位量に基づいて、前記表示領域に表示される第１のオブジェクトの移動量を表示制御するステップと、
   検出された前記タッチパネル式装置の実空間における装置変位量に基づいて、前記表示領域に表示される第１のオブジェクトの動作を表示制御するステップと、
   を備えることを特徴とする、請求項５に記載のユーザインタフェース表示方法。
7. 請求項６に記載のインタフェースプログラムにおいて、前記表示領域表示される第１のオブジェクトの仮想空間内の位置は、前記接触変位量に前記装置変位量を合成した位置を３次元仮想空間内の座標に変換した位置である、ことを特徴とするインタフェースプログラム。
8. 前記表示制御するステップは、
   検出された前記タッチパネル式装置の実空間における装置変位量及び、前記タッチパネルに対するスワイプ回転数に基づいて、ヘッドマウントディスプレイの表示領域に表示される第１のオブジェクトに関するパラメータを算出し、該算出されたパラメータに基づいて表示オブジェクトを表示制御するステップと、
   を備えることを特徴とする、請求項５に記載のユーザインタフェース表示方法。
9. 前記スワイプ回転数は、前記タッチパネルに対する操作開始位置からの接触変位量、接触変位方向、に基ついて算出される、請求項８に記載のユーザインタフェース表示方法。
10. 前記タッチパネル式装置はスマートフォンである、請求項１から９に記載のユーザインタフェース表示方法。
11. 請求項１から１０のいずれか１項に記載の、前記表示領域に表示オブジェクトを表示するユーザインタフェース表示方法を、ヘッドマウントディスプレイシステムに搭載されたプロセッサに実行させるためのインタフェースプログラム。

Images