JP2017220032A - 情報処理装置、情報処理方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】ヘッドマウントディスプレイを装着したユーザに対して好適な操作入力方法を提供する。【解決手段】情報処理装置１０は、ＨＭＤ１００を装着したユーザによるＨＭＤ１００の筐体外面に対する所定の接触行為に起因してＨＭＤ１００で検出される振動のパターンと、ＨＭＤ１００に関するデータ処理の種類との対応関係を記憶する。情報処理装置１０は、ＨＭＤ１００で検出された振動に関する情報を取得し、上記対応関係にしたがって、ＨＭＤ１００で検出された振動に対応する種類のデータ処理を実行する。【選択図】図１

Description

この発明は、データ処理技術に関し、特に情報処理装置、情報処理方法、およびコンピュータプログラムに関する。

ヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）はユーザの頭部に装着されて仮想現実（ＶＲ）の世界をユーザに提供する。最近ではユーザがＨＭＤに表示された画面を見ながらゲームをプレイできるアプリケーションも登場している。テレビなどの従来型の据え置き型のディスプレイでは画面外側にもユーザの視野範囲が広がるため、ユーザが画面に集中できなかったり、ゲームへの没入感を欠くことがある。その点、ＨＭＤを装着すると、ＨＭＤに表示される映像しかユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

両目を覆う非透過型のＨＭＤを装着すると、ユーザは外界を見ることがほぼできなくなる。そのため、ＨＭＤを装着したユーザは、把持するコントローラを介して、ＨＭＤのシステムに対して操作を入力することが困難になることがあると本発明者は考えた。

本発明は、本発明者の上記課題認識に基づいてなされたものであり、主たる目的は、ヘッドマウントディスプレイを装着したユーザに対して好適な操作入力方法を提供する技術を提供することである。

上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイを装着したユーザによるヘッドマウントディスプレイの筐体外面に対する所定の接触行為に起因してヘッドマウントディスプレイで検出される振動のパターンと、ヘッドマウントディスプレイに関するデータ処理の種類との対応関係、および／または、ヘッドマウントディスプレイを装着したユーザによるヘッドマウントディスプレイ近傍での所定のジェスチャー行為に起因してヘッドマウントディスプレイを撮像する装置から出力される画像のパターンと、ヘッドマウントディスプレイに関するデータ処理の種類との対応関係を保持する記憶部と、ヘッドマウントディスプレイで検出された振動に関する情報を取得し、および／または、撮像する装置から出力された画像を取得する取得部と、記憶部に保持された対応関係にしたがって、ヘッドマウントディスプレイで検出された振動に対応する種類のデータ処理を実行し、および／または、撮像する装置から出力された画像に対応する種類のデータ処理を実行するデータ処理部と、を備える。

本発明の別の態様は、情報処理方法である。この方法は、ヘッドマウントディスプレイで検出された振動に関する情報を取得し、および／または、ヘッドマウントディスプレイを撮像する装置から出力された画像を取得するステップと、ヘッドマウントディスプレイを装着したユーザによるヘッドマウントディスプレイの筐体外面に対する所定の接触行為に起因してヘッドマウントディスプレイで検出される振動のパターンと、ヘッドマウントディスプレイに関するデータ処理の種類とを予め対応付けたデータにしたがって、取得するステップで取得された情報が示す振動に対応する種類のデータ処理を実行し、および／または、ヘッドマウントディスプレイを装着したユーザによるヘッドマウントディスプレイ近傍での所定のジェスチャー行為に起因して撮像する装置から出力される画像のパターンと、ヘッドマウントディスプレイに関するデータ処理の種類とを予め対応付けたデータにしたがって、取得するステップで取得された画像に対応する種類のデータ処理を実行するステップと、をコンピュータが実行する。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイを装着したユーザに対して好適な操作入力方法を提供することができる。

実施例における情報処理システムの構成例を示す図である。 情報処理装置におけるレンダリング処理の説明図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 画像記憶部に記憶されるパノラマ画像データを説明するための図である。 表示画像を示す図である。 表示画像を示す図である。 表示画像を示す図である。 入力装置の上面、奥側側面を示す図である。 第１実施例のＨＭＤの機能ブロックを示す図である。 画像生成部の詳細な機能ブロックを示す図である。 表示画像を示す図である。 表示画像を示す図である。 第２実施例の情報処理装置の機能ブロックを示す図である。 第３実施例の情報処理装置の機能ブロックを示す図である。 第４実施例の情報処理装置の機能ブロックを示す図である。 ジェスチャーの例を示す図である。 表示画像を示す図である。 表示画像を示す図である。

（前提技術）
図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は、情報処理装置１０と、ユーザが頭部に装着するヘッドマウントディスプレイ装置（ＨＭＤ）１００と、ユーザが手指で操作する入力装置６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置７と、画像を表示する出力装置４とを備える。

実施例において情報処理装置１０は、処理装置１２、出力制御装置１４を備える。ここで処理装置１２は、ユーザにより操作された入力装置６の操作情報を受けて、ゲームなど様々なアプリケーションを実行する端末装置である。処理装置１２と入力装置６とはケーブルで接続されても、既知の無線通信技術により接続されてもよい。出力制御装置１４はＨＭＤ１００に対して画像データを出力する処理ユニットである。出力制御装置１４とＨＭＤ１００とはケーブルで接続されても、既知の無線通信技術により接続されてもよい。

撮像装置７はＨＭＤ１００を装着したユーザを撮影して、処理装置１２に提供する。撮像装置７はステレオカメラであってよい。後述するがＨＭＤ１００には、ユーザ頭部のトラッキングを実現するためのマーカ（トラッキング用ＬＥＤ）が搭載されており、処理装置１２は、撮影したマーカの位置にもとづいて、ＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサ、ジャイロセンサ）も搭載され、処理装置１２は、姿勢センサで検出されたセンサ情報をＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実現する。

情報処理システム１において、ユーザはＨＭＤ１００に表示された画像を見るため、出力装置４は必ずしも必要ではないが、出力制御装置１４または処理装置１２は、ＨＭＤ１００に表示させる画像と同じ画像を、出力装置４から出力させてもよい。これによりユーザがＨＭＤ１００で見ている画像を、別のユーザが出力装置４で見ることができる。なお後述するがＨＭＤ１００に表示させる画像には、光学レンズの歪み補正が施されているため、歪み補正を行っていない画像が出力装置４から出力される必要がある。

情報処理システム１において、処理装置１２、出力装置４、入力装置６および撮像装置７は、従来型のゲームシステムを構築してよい。この場合、処理装置１２は、ゲームなどのアプリケーションを実行するゲーム装置であり、入力装置６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１２にユーザの操作情報を供給する機器であってよい。このゲームシステムの構成要素に、出力制御装置１４およびＨＭＤ１００を追加することで、仮想現実（ＶＲ）アプリケーションを実行する情報処理システム１が構成される。

なお出力制御装置１４による機能は、ＶＲアプリケーションの一部の機能として処理装置１２に組み込まれてもよい。つまり情報処理装置１０は、１台の処理装置１２から構成されても、また処理装置１２および出力制御装置１４から構成されてもよい。以下においては、ＶＲアプリケーションの実現に必要な処理装置１２、出力制御装置１４の機能をまとめて、情報処理装置１０の機能として説明する。

情報処理装置１０はＨＭＤ１００に表示させる画像データを生成する。実施例において情報処理装置１０は、全天球カメラで撮影された上下左右全方位の３６０度パノラマ画像を用意し、ユーザの頭部に装着されたＨＭＤ１００の姿勢から定まる視線方向にもとづいて生成した画像をＨＭＤ１００に表示させる。なお表示コンテンツは、静止画または動画のいずれであってもよい。また実撮影された画像に限るものでもなく、ゲームアプリケーションによりリアルタイムで描画されたものであってもよい。

ＨＭＤ１００は、ユーザが頭に装着することによりその眼前に位置する表示パネルに、光学レンズを通して画像を表示する表示装置である。ＨＭＤ１００は、表示パネルの左半分には左目用の画像を、右半分には右目用の画像をそれぞれ独立して表示する。これらの画像は、左右の視点から見た視差画像を形成し、表示パネルを２分割してなる左右の領域にそれぞれ表示させることで、画像を立体視させることができる。なおユーザは光学レンズを通して表示パネルを見るために、情報処理装置１０は、予めレンズによる光学歪みを補正した画像データをＨＭＤ１００に供給する。情報処理装置１０において、この光学歪みの補正処理は、処理装置１２、出力制御装置１４のいずれが行ってもよい。

図２は、情報処理装置１０におけるレンダリング処理の説明図である。実施例のＶＲアプリケーションでは、ユーザが球体の中心に位置し、視線の方向を変更することで、見える画像が変更される仮想環境を実現する。画像素材であるコンテンツ画像は、ユーザが位置する中心点９を中心とする仮想球体の内周面に貼り付けられている。ここでコンテンツ画像は、全天球カメラで撮影された上下左右全方位の３６０度パノラマ画像であり、コンテンツ画像の天地と仮想球体の天地とが一致するように仮想球体の内周面に貼り付けられる。これによりユーザの実世界の天地と、ＨＭＤ１００に提供される映像世界の天地とが揃えられ、リアルな映像世界を再現するＶＲアプリケーションが実現される。

情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の回転角度および傾きを検出する。ここでＨＭＤ１００の回転角度とは、水平面の基準方向に対する回転角度であり、基準方向は、たとえばＨＭＤ１００の電源がオンされたときに向いている方向として設定されてよい。またＨＭＤ１００の傾きとは、水平面に対する傾斜角度である。ヘッドトラッキング処理として既知の技術が利用されてよく、情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサ情報のみから、ＨＭＤ１００の回転角度および傾きを検出でき、さらに撮像装置７で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の回転角度および傾きを検出できる。

情報処理装置１０は、検出したＨＭＤ１００の回転角度および傾きにしたがって、仮想球体における仮想カメラ８の姿勢を定める。仮想カメラ８は、仮想球体の中心点９から仮想球体の内周面を撮影するように配置されており、情報処理装置１０は、検出した回転角度および傾きと、仮想球体における仮想カメラ８の光軸の回転角度および傾きを一致させる。情報処理装置１０は、仮想カメラ８の撮影画像５を取得し、つまりレンダリング処理を行って、光学レンズ用の光学歪み補正を施し、ＨＭＤ１００に画像データを供給する。なお図２においては１つの仮想カメラ８が示されているが、実際には左目用と右目用の２つの仮想カメラ８が配置されて、それぞれの画像データが生成される。

図３は、ＨＭＤ１００の外観形状の例を示す。この例においてＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する位置に表示パネルを備える。表示パネルは、ＶＲ画像をユーザの視野に提示する表示部である。表示パネルは、既知のディスプレイ装置であってよく、例えば液晶パネルや有機ＥＬパネルなどで実現してもよい。筐体１０８内部にはさらに、ＨＭＤ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置７により撮影されて、情報処理装置１０が画像解析可能なものであればよい。発光マーカ１１０の数や配置は特に限定されないが、撮影されて画像解析されることで、ＨＭＤ１００の姿勢（回転角度および傾き）が検出されるような数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置７に対して背を向けたときにも撮像できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信技術により接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサ情報を情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、表示パネルに表示する。

なお図３に示すＨＭＤ１００は、両目を完全に覆う没入型（非透過型）のディスプレイ装置を示すが、透過型のディスプレイ装置であってもよい。また形状としては、図示されるような帽子型であってもよいが、眼鏡型であってもよい。

図４は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサ情報などの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の回転角度や傾きなどの姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。発光マーカ１１０は、ＬＥＤであって、ＨＭＤ１００の装着バンド１０６や筐体１０８に複数取り付けられる。

マイク１２６は、音（すなわち空気振動）を検出し、検出した音を電気信号に変換するマイクロホンである。マイク１２６は、ＨＭＤ１００を装着したユーザが他のユーザとボイスチャットを行うために搭載されたものであり、ユーザの声を電気信号に変換した音声データを出力する。図３には不図示だが、マイク１２６は、筐体１０８における発光マーカ１１０ｃと発光マーカ１１０ｄの間に内蔵される。マイク１２６は、ステレオマイクであることが好ましいが、モノラルマイクでもよい。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から入力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。また制御部１２０は、姿勢センサ１２４からのセンサ情報や、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

図５は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入力インタフェースとして、センサ情報取得部２０、撮影画像取得部２２、指示取得部２４、音声取得部４２を備える。

センサ情報取得部２０は、ＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサ情報を取得する。撮影画像取得部２２は、撮像装置７から所定の周期でＨＭＤ１００を撮像した撮影画像を取得する。たとえば撮像装置７は（１／１２０）秒ごとに撮影し、撮影画像取得部２２は、（１／１２０）秒ごとに撮影画像を取得する。指示取得部２４は、入力装置６から、ユーザが入力した指示を取得する。

音声取得部４２は、ＨＭＤ１００から出力された音声データ（ＨＭＤ１００のマイク１２６で検出された音声に基づく信号）を取得する。また、音声取得部４２は、不図示の通信部および通信網（インターネット等）を介して、他の情報処理装置（典型的にはＨＭＤを装着した他のユーザにより操作される情報処理装置）から送信された音声データも取得する。

情報処理装置１０は、ＨＭＤ１００に出力させる画像データおよび音声データを生成するデータ処理であり、また、生成した画像データおよび音声データをＨＭＤ１００へ送信するデータ処理を実行するデータ処理部４８をさらに備える。データ処理部４８は、動き検出部３０、視線方向決定部３２、画像生成部３４、画像提供部３６、音声転送部４４、音声提供部４６を備える。

動き検出部３０は、ユーザの頭部に装着されたＨＭＤ１００の姿勢を検出する。視線方向決定部３２は、動き検出部３０により検出されたＨＭＤ１００の姿勢に応じて視線方向を定める。画像生成部３４は、検出されたＨＭＤ１００の姿勢に応じて画像を生成し、具体的には、視線方向決定部３２が定めた視線方向にもとづく画像を生成する。画像提供部３６は、生成した画像をＨＭＤ１００に提供する。

音声転送部４４は、音声取得部４２で取得された音声データのうち、ＨＭＤ１００から入力された音声データを他の情報処理装置へ送信する。音声提供部４６は、音声取得部４２で取得された音声データのうち、他の情報処理装置から入力された音声データをＨＭＤ１００へ送信する。これにより、ＨＭＤ１００を装着したユーザと、他のユーザとのボイスチャットを実現する。

図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像記憶部４０は、予め撮影された３６０度パノラマ画像データを記憶する。画像記憶部４０は複数のコンテンツ画像を記憶してよく、コンテンツ画像は静止画像であっても、動画像であってもよい。実施例の画像記憶部４０は、上下左右全方位のパノラマ画像データを記憶しており、情報処理装置１０は、ＨＭＤ１００を装着したユーザに、全方位のパノラマ画像を提供する。したがってユーザが首を左または右に回し（ユーザが体ごと左回りまたは右回りに回転してもよい）水平方向の視線を左または右に回転させることで、左方向または右方向のパノラマ画像がＨＭＤ１００の表示パネル１３０に表示され、またユーザが首を上または下に傾けて、垂直方向に視線を傾けることで、上方向または下方向のパノラマ画像がＨＭＤ１００の表示パネル１３０に表示されるようになる。

図６は、画像記憶部４０に記憶されるパノラマ画像データを説明するための図である。なお説明の便宜上、図６は、上下左右全方位のパノラマ画像データの一部を示し、水平面から下向きの画像の一部、および左右方向の画像の一部を省略している。図２に関して説明したように、ＨＭＤ１００の表示パネル１３０には、仮想球体の内周面に貼り付けられたパノラマ画像をレンダリングした画像が表示され、ユーザがＨＭＤ１００の回転角度および傾きを動かして視線方向を変化させることで、表示されるパノラマ画像が視線方向に応じて動かされる。

ＨＭＤ１００において通信制御部１２８は、所定の周期で、姿勢センサ１２４により取得したセンサ情報を情報処理装置１０に送信する。また撮像装置７は、ＨＭＤ１００を所定の周期で撮像し、撮影画像を情報処理装置１０に送信する。図５を参照して、センサ情報取得部２０は、姿勢センサ１２４のセンサ情報を取得し、動き検出部３０に供給する。また撮影画像取得部２２は、撮影画像を取得し、動き検出部３０に供給する。

動き検出部３０は、ＨＭＤ１００の姿勢を検出することで、ＨＭＤ１００を装着したユーザの頭部の姿勢を検出するヘッドトラッキング処理を行う。このヘッドトラッキング処理は、ユーザの頭部の姿勢に、ＨＭＤ１００の表示パネル１３０に表示する視野を連動させるために行われる。実施例のヘッドトラッキング処理では、ＨＭＤ１００の水平基準方向に対する回転角度と、水平面に対する傾き角度とが検出される。水平基準方向は、たとえばＨＭＤ１００の電源がオンされたときに向いている方向として設定されてよい。水平基準方向は、パノラマ画像データにより形成される仮想現実空間（以下「ＶＲ空間」とも呼ぶ。）の原点位置、原点方向とも言える。

このヘッドトラッキング処理は既知の手法を利用し、動き検出部３０は、姿勢センサ１２４のセンサ情報のみからＨＭＤ１００の水平基準方向に対する回転角度と、水平面に対する傾き角度とを検出してよいが、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、検出精度を高めることが好ましい。動き検出部３０は、所定の周期で回転角度および傾き角度を検出する。たとえばＨＭＤ１００に供給する画像が１２０ｆｐｓであれば、動き検出部３０の検出処理も（１／１２０）秒の周期で実行されることが好ましい。

視線方向決定部３２は、動き検出部３０により検出されたＨＭＤ１００の姿勢に応じて、視線方向を定める。この視線方向は、ユーザの視線方向であり、ひいては仮想球体の中心点９に配置される仮想カメラ８の視線方向（光軸方向）である（図２参照）。ここで視線方向決定部３２は、動き検出部３０により検出された回転角度および傾き角度を、そのまま仮想カメラ８の視線方向（光軸方向）として決定してもよく、また何らかの補正処理を行って仮想カメラ８の視線方向を決定してもよい。たとえばセンサ情報にノイズがのるなどして、安定したセンサ情報が動き検出部３０に提供されない場合、動き検出部３０は、ユーザ頭部が動いてないにもかかわらず、振動するような動きを検出する可能性がある。そのような場合、視線方向決定部３２は、動き検出部３０により検出された動きを平滑補正して、視線方向を定めてもよい。

また人間の視野は上下が非対称で、視線の上側より下側が若干広くなっている。そのため視線方向決定部３２は、動き検出部３０により検出された傾き角度を若干下側に傾けて、仮想カメラ８の視線方向を定めてもよい。

画像生成部３４は、動き検出部３０が検出したＨＭＤ１００の姿勢に応じて画像を生成し、具体的には視線方向決定部３２が定めた仮想カメラ８の視線方向にもとづく画像を生成する。画像生成部３４は、視線方向により特定される左目用の視野と右目用の視野とを画定し、左目用と右目用の画像をそれぞれレンダリングして生成する。このとき画像生成部３４は、表示パネルからの画像光が光学レンズを通過することによる歪みを補正したパノラマ画像を生成する。

実施例のＨＭＤ１００は、水平方向に約１００度、垂直方向に約１００度の視野をユーザに提供する。図２を参照して、仮想球体において撮影画像５は、水平方向に約１００度、垂直方向に約１００度の画角で撮影され、ＨＭＤ１００の表示パネル１３０に表示される。なお上記したように人間の視野は、視線の上側より下側が若干広くなっていることから、ＨＭＤ１００において光学レンズおよび表示パネル１３０は、目の正対方向に対して５度傾けられて、上側４５度、下側５５度の垂直視野を、光学レンズおよび表示パネル１３０の配置により実現してもよい。

図７は、画像生成部３４により生成される表示画像２００ａを示す。なお以下の図面においては、パノラマ画像全体の中での表示画像の位置関係の理解を容易にするために、表示画像をパノラマ画像において切り出す画像として表現している。

画像生成部３４は、視線方向決定部３２が定めた視線方向２０２ａにもとづく画像を生成する。なお実際には画像生成部３４は、左目用の表示画像と右目用の表示画像をそれぞれレンダリングして生成し、これらの表示画像は互いに視差を含む異なる画像であるが、以下では両目用の画像をそれぞれ生成することについて特に説明しない。画像提供部３６は、画像生成部３４が生成した表示画像２００ａをＨＭＤ１００に提供する。ＨＭＤ１００において制御部１２０は表示画像２００ａを表示パネル１３０に表示させ、これによりユーザは、表示パネル１３０に表示される表示画像２００ａを見ることができる。

図８は、画像生成部３４により生成される表示画像２００ｂを示す。視線方向決定部３２はＨＭＤ１００の姿勢に応じて視線方向を定め、画像生成部３４は、定めた視線方向にもとづいて画像を生成する。この例では、ユーザが水平方向に首を左回りに回して、視線が視線方向２０２ａから視線方向２０２ｂに連続して変化した様子を示す。ここではユーザが頭部を左回りに約６０度回転し、この回転動作により、画像生成部３４は、表示画像２００ａから左回り方向に連続してパノラマ画像を動かす画像を（１／１２０）秒の周期で生成する。画像提供部３６は、生成された画像を（１／１２０）秒の周期でＨＭＤ１００に提供する。

図８の視線方向２０２ａは、ＶＲ空間における水平基準方向であってもよい。すなわち、ユーザの頭部の向きが初期値（傾きおよび回転がない）のときに真正面となる方向であり、言わば原点位置であってもよい。この場合、画像生成部３４は、ＶＲ空間における水平基準方向（言い換えれば原点）に対するＨＭＤ１００の姿勢（回転角度および傾き角度）に応じた画像を生成する。

図９は、画像生成部３４により生成される表示画像２００ｃを示す。視線方向決定部３２はＨＭＤ１００の姿勢に応じて視線方向を定め、画像生成部３４は、定めた視線方向にもとづいて画像を生成する。この例では、表示画像２００ａが表示パネル１３０に表示された状態からユーザが上向きに首を傾けて、視線が視線方向２０２ａから視線方向２０２ｃに連続して変化した様子を示す。ここではユーザが頭部を上向きに約３０度傾け、この傾斜動作により、画像生成部３４は、表示画像２００ａから上向き方向に連続してパノラマ画像を動かす画像を（１／１２０）秒の周期で生成する。画像提供部３６は、生成された画像を（１／１２０）秒の周期でＨＭＤ１００に提供する。

このようにユーザは頭部を動かすことで視線方向を変化させ、情報処理装置１０が、見たい方向のパノラマ画像をＨＭＤ１００に提供して、表示パネル１３０に表示させる。頭部を動かすことで視線方向を変化させることは現実世界の動作と同じであり、ユーザの感覚に合致する。このときＨＭＤ１００がユーザに広視野角を提供することで、パノラマ画像に対する没入感をさらに高められる。

図１０（ａ）は、入力装置６の上面を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向ボタン７１、アナログスティック７７ａ、７７ｂと、操作ボタン７６が設けられている。方向ボタン７１は、上ボタン７１ａ、左ボタン７１ｂ、下ボタン７１ｃおよび右ボタン７１ｄを含む。右アナログスティック７７ａおよび左アナログスティック７７ｂは、傾動されて方向および傾動量を入力するために用いられる。なお右アナログスティック７７ａおよび左アナログスティック７７ｂは、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。筐体上面上において、方向ボタン７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

右アナログスティック７７ａおよび左アナログスティック７７ｂの間にはホームボタン８０が設けられる。ホームボタン８０は入力装置６の電源をオンし、同時に情報処理装置１０と無線接続する通信機能をアクティブにするために使用される。ＳＨＡＲＥボタン８１は、タッチパッド７９の左側に設けられる。ＳＨＡＲＥボタン８１は、情報処理装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。ＯＰＴＩＯＮＳボタン８２は、タッチパッド７９の右側に設けられる。ＯＰＴＩＯＮＳボタン８２は、情報処理装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。

図１０（ｂ）は、入力装置６の奥側側面を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から折れ曲がって延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、情報処理装置１０から送信される発光色情報にしたがって点灯する。上側のＲ１ボタン８３ａ、Ｌ１ボタン８３ｂはプッシュ式ボタンとして構成され、下側のＲ２ボタン８４ａ、Ｌ２ボタン８４ｂは回動支持されたトリガー式のボタンとして構成されてよい。

例えば、入力装置６の操作部材のうち、左アナログスティック７７ｂを、視線方向の切替指示の入力に使用してもよい。左アナログスティック７７ｂを左に傾けると、視線方向を左に動かし、また右に傾けると視線方向を右に動かしてもよい。このように左アナログスティック７７ｂは、ユーザが直観的に視線方向を変更するのに適している。なお、他の操作部材、たとえば右アナログスティック７７ａ、方向ボタン７１などが、視線方向の切替指示の入力に使用されてもよい。

（第１実施例〜第４実施例に関する共通説明）
ＨＭＤ１００を装着したユーザは、外界がほぼ見えなくなり手元の確認も困難になる。そのため、ＨＭＤ１００にて映像等のコンテンツを視聴するユーザが、多くの入力部（ボタン、スティック等）を備える入力装置６を介して、情報処理装置１０やＨＭＤ１００へ適切な操作を入力することは困難なことがある。その一方、コンテンツの中には、限られた種類の操作しか必要としないものもある。例えば、映画やドラマ等のコンテンツでは再生開始と再生停止の操作ができればよい。

このような課題を解決するために、第１実施例〜第４実施例に亘り、操作用の新たなデバイスを設けることなく、ＨＭＤ１００を装着したユーザが簡易な操作を手軽に入力可能な仕組みを提案する。第１実施例〜第４実施例の情報処理システム１の構成は前提技術（図１）と同様であり、以下、前提技術で説明済みの内容は適宜省略する。

具体的には、第１実施例〜第３実施例では、ＨＭＤ１００を装着したユーザは、情報処理システム１に対する操作入力として、ＨＭＤ１００の筐体１０８の外面を叩く、なでる等の接触行為を行う。また、第４実施例では、ＨＭＤ１００を装着したユーザが、情報処理システム１に対する操作入力として、ＨＭＤ１００の近傍において手を広げる等のジェスチャーを行う。情報処理システム１は、このようなユーザの行為を前提技術で説明した既存のデバイスを用いて検出し、ユーザの行為に応じたデータ処理を実行する。

（第１実施例）
第１実施例では、ユーザによる接触行為を検知する手段として、ＨＭＤ１００が備えるマイク１２６を活用する。マイク１２６は、ユーザの接触行為に起因して生じた振動であり、具体的には空気の振動である音声を検出する。言い換えれば、マイク１２６は、ユーザの接触行為に起因して生じた振動を音声として検出する。マイク１２６により検出された音声のデータは、通信制御部１２８を介して情報処理装置１０へ送信される。情報処理装置１０は、ＨＭＤ１００から通知された音声データに基づいて、ユーザによる操作入力を検出する。

図１１は、第１実施例の情報処理装置１０の機能ブロックを示す図である。第１実施例のＨＭＤ１００は、前提技術の機能ブロックに加えて、音声パターン記憶部５０と操作識別部５２をさらに備える。

音声パターン記憶部５０は、ＨＭＤ１００の筐体１０８（出力機構部１０２、装着バンド１０６、装着機構部１０４を含む）の外面に対するユーザの接触行為に起因してＨＭＤ１００のマイク１２６で検出される音声のパターンと、ＨＭＤ１００に関するデータ処理の種類との対応関係を保持する。音声パターン記憶部５０に保持される音声のパターンは、空気振動のパターンとも言え、以下「操作音声パターン」と呼ぶ。

操作音声パターンは、音声取得部４２で取得される音声データと比較する基準データである。操作音声パターンは、ＨＭＤ１００の筐体１０８の外面に対する特定の接触行為（例えば筐体１０８の前方左側を叩くこと）により生じる音声の波形に関するデータであってもよい。例えば、振幅のピーク、継続時間等の特性を示すデータであってもよい。また、操作音声パターンは、周波数の特性に関するデータであってもよく、例えばパワースペクトルのデータであってもよい。

操作識別部５２は、ＨＭＤ１００から送信された音声データを音声取得部４２から取得する。音声取得部４２は、音声データを取得した場合に、その音声データを音声転送部４４と操作識別部５２の両方へ出力してもよい。操作識別部５２は、音声パターン記憶部５０に保持された対応関係にしたがって、ＨＭＤ１００で検出された音声に対応するデータ処理の種類を識別する。操作識別部５２は、識別したデータ処理の種類を示す情報を画像生成部３４へ通知する。画像生成部３４は、操作識別部５２により識別された種類のデータ処理を実行し、すなわち、ＨＭＤ１００で検出された音声に対応する種類のデータ処理を実行する。

例えば、操作識別部５２は、公知の音声認識処理を実行して、音声取得部４２で取得された音声データに操作音声パターンの成分が含まれるか否かを判定する。言い換えれば、操作識別部５２は、ＨＭＤ１００から出力された音声データと操作音声パターンとが一致するか否かを判定する。操作識別部５２は、音声取得部４２で取得された音声データに操作音声パターンの成分が含まれる場合、言い換えれば、音声データと操作音声パターンとが一致する場合、その操作音声パターンに対応づけられたデータ処理の種類を識別する。

本実施例では、音声パターン記憶部５０は、操作音声パターンと、情報処理装置１０またはＨＭＤ１００におけるデータ処理を指示する操作の種類とを対応付けて保持する。操作識別部５２は、ＨＭＤ１００で検出された音声に対応する操作の種類を識別する。画像生成部３４は、操作識別部５２により識別された操作が入力されたと判定し、その操作に応じたデータ処理を実行する。

音声パターン記憶部５０は、複数種類の操作音声パターンと、複数種類の操作とを対応づけて保持してもよい。操作識別部５２は、ＨＭＤ１００から出力された音声データに応じて、複数種類の操作の中からいずれかを識別してもよい。具体的には、音声パターン記憶部５０は、ＨＭＤ１００の筐体１０８の外面の異なる位置に対する接触行為に起因してＨＭＤ１００のマイク１２６で検出されることが想定される複数種類の操作音声パターンと、複数種類の操作とを対応付けて保持してもよい。

例えば、筐体１０８の前面右側を叩く操作により生じる操作音声パターンと、決定操作（または「はい」の入力操作）とを対応づけて保持してもよい。また、筐体１０８の前面左側を叩く操作により生じる操作音声パターンと、キャンセル操作（または「いいえ」の入力操作）とを対応づけて保持してもよい。また、装着機構部１０４（筐体１０８後面）を叩く操作により生じる操作音声パターンと、オプション表示操作（または「戻る」操作）とを対応づけて保持してもよい。

また、音声パターン記憶部５０は、ＨＭＤ１００の筐体１０８の外面の同じ位置に対する互いに異なる複数種類の接触行為に起因してＨＭＤ１００のマイク１２６で検出されることが想定される複数種類の操作音声パターンと、複数種類の操作とを対応づけて保持してもよい。例えば、筐体１０８の前面右側を指の腹で叩く操作により生じる操作音声パターンと決定操作とを対応づけて保持してもよい。また、筐体１０８の前面右側を指の爪で叩く操作により生じる操作音声パターンとキャンセル操作とを対応づけて保持してもよい。また、筐体１０８の前面の右側を指でなでる操作（またはフリック操作）により生じる操作音声パターンとオプション表示操作とを対応づけて保持してもよい。

情報処理システム１では、筐体１０８の外面に対するユーザの接触行為（例えば叩く）に対して、ただ１つの操作を割り当てることも可能である。例えば、表示開始と表示終了、再生開始と再生停止、またはＯＫ等の単一操作（言わばブーリアン値）を割り当ててもよい。また、上記のように、ＨＭＤ１００の筐体１０８の外面に対するユーザの接触位置と接触態様の組み合わせにより、複数種類の操作入力が可能になる。例えば、２種類の操作入力として、「決定」「キャンセル」の選択操作や二者択一操作が可能になる。また、３種類の操作入力として、「はい」「いいえ」「キャンセル」の選択操作や、「位置シーク（順方向）」「位置シーク（逆方向）」「再生開始および再生停止」の選択操作が可能になる。

ＨＭＤ１００の筐体１０８の外面においてユーザが選択的に接触すべき複数の位置は、マイク１２６により異なる音声が検出される位置に定めることが好ましい。例えば、複数の位置は、（１）マイク１２６との距離が異なる位置、（２）筐体１０８の材質が異なる位置、（３）ステレオマイクであれば複数のマイクで異なる音声が検出される位置を含んでもよい。さらに具体的には、筐体１０８の前面右側（例えば図３の発光マーカ１１０ａと発光マーカ１１０ｃの間）と、筐体１０８の前面中央と、筐体１０８の前面左側（例えば図３の発光マーカ１１０ｂと発光マーカ１１０ｄの間）と、装着機構部１０４（筐体１０８の後面）を含んでもよい。音声パターン記憶部５０は、各位置で発生する音に対応する操作音声パターンと操作との組み合わせを保持すればよい。

また、ＨＭＤ１００の筐体１０８外面に対するユーザによる複数種類の接触行為は、マイク１２６により異なる音声が検出される行為であることが望ましい。例えば、接触行為の種類として、指の腹で叩く、指の爪で叩く、指の腹でゆっくりなでる、指の腹で素早くなでる（フリック）等を許容してもよい。また、指１本で叩く、指２本で叩くといった行為を許容してもよい。音声パターン記憶部５０は、各種類の接触行為に対応する操作音声パターンと操作との組み合わせを保持すればよい。

次に、本実施例の操作入力方法の使用例として、ＨＭＤ１００の姿勢調整に関する構成を説明する。
音声パターン記憶部５０は、所定の操作音声パターン（ここでは「姿勢変更用パターン」と呼ぶ。）と、姿勢変更操作とを対応づけて保持する。姿勢変更操作は、ＨＭＤ１００における表示画像を回転させる操作とも言え、ＶＲ空間における視線方向を回転させる操作とも言える。操作識別部５２は、ＨＭＤ１００から出力された音声データが、姿勢変更用パターンの成分を含む場合、姿勢変更操作が入力されたことを検出する。

前提技術にて既述したように、画像生成部３４は、ＨＭＤ１００の姿勢に応じて、ＨＭＤ１００に表示させるＶＲ空間の画像を生成する。第１実施例の画像生成部３４は、操作識別部５２から姿勢変更操作が入力されると、ＨＭＤ１００の姿勢が変更されたこととして、ＶＲ空間の画像を変化させる。具体的には、前提技術の図８で示したように、画像生成部３４は、姿勢変更操作が示す方向へ視線方向が変化したと判定し、変化後の視線方向に基づいてＶＲ空間の新たな表示画像を生成する。例えば、姿勢変更操作が入力される都度、その操作が示す向きに姿勢を３０°回転させてもよい。

音声パターン記憶部５０は、姿勢変更用パターンを、振り返り用姿勢変更操作と対応づけて保持してもよい。振り返り用姿勢変更操作は、視線方向を１８０°回転させる操作であり、言い換えれば、後ろを見ることを指示する操作である。画像生成部３４は、操作識別部５２から振り返り用姿勢変更操作が入力されると、ＨＭＤ１００の姿勢（言い換えればＶＲ空間における視線方向）が１８０°回転したと認識し、ＶＲ空間の画像を変化させる。例えば、仮想球体における仮想カメラ８の向きを１８０°回転させ、それまでの背面にあたる位置の画像を生成し、表示させてもよい。

また、音声パターン記憶部５０は、姿勢変更用パターンを、姿勢リセット操作と対応づけて保持してもよい。姿勢リセット操作は、ＨＭＤ１００の姿勢（ＶＲ空間における視線方向）を原点位置と正対する向きへ戻す操作である。画像生成部３４は、操作識別部５２から姿勢リセット操作が入力されると、ＨＭＤ１００の姿勢（ＶＲ空間における視線方向）を、ＶＲ空間で予め定められた原点位置に戻し、原点位置と正対した視線方向に基づいてＶＲ空間の新たな表示画像を生成する。

例えば、音声パターン記憶部５０では、ＨＭＤ１００の筐体１０８の前面左側を１回叩く行為に起因する音声を定めた操作音声パターンが、姿勢変更操作（左回転）に対応付けられてもよい。また、ＨＭＤ１００の筐体１０８の前面右側を１回叩く行為に起因する音声を定めた操作音声パターンが、姿勢変更操作（右回転）に対応付けられてもよい。また、ＨＭＤ１００の装着機構部１０４を１回叩く行為に起因する音声を定めた操作音声パターンが、振り返り用姿勢変更操作に対応付けられてもよい。また、ＨＭＤ１００の装着機構部１０４を２回叩く行為に起因する音声を定めた操作音声パターンが、姿勢リセット操作に対応付けられてもよい。

ユーザは、筐体１０８の前面左側、筐体１０８の前面右側、または装着機構部１０４を１回叩くことで、実際に自身の首を動かすことなく、ＶＲ空間における視線方向を回転させ、所望の方向の空間画像を手軽に見ることができる。その後、ユーザは、装着機構部１０４を２回叩くことで、視線方向をＶＲ空間内の原点方向へ戻し、言い換えれば、ＶＲ空間において真正面を見つめた状態へ手軽に戻すことができる。

また、音声パターン記憶部５０は、所定の操作音声パターン（ここでは「原点リセット用パターン」と呼ぶ。）と、原点リセット操作とを対応づけて保持する。この原点は、ＶＲ空間の原点を意味し、ＨＭＤ１００の姿勢が初期状態（回転、傾きがない状態）である場合の視線方向に正対する位置と言える、また、図２の仮想球体において初期姿勢の仮想カメラ８の真正面に当たる位置とも言える。操作識別部５２は、ＨＭＤ１００から出力された音声データが、原点リセット用パターンの成分を含む場合、原点リセット操作が入力されたことを検出する。

前提技術にて既述したように、画像生成部３４は、ＶＲ空間において予め定められた原点位置（例えば図８の視線方向２０２ａ）に対するＨＭＤ１００の姿勢（回転角度および傾き角度）に応じてＶＲ空間の画像を生成する。第１実施例の画像生成部３４は、操作識別部５２から原点リセット操作が入力されると、ＶＲ空間の原点を、ＨＭＤ１００の現在の姿勢へリセットし、言い換えれば、ＶＲ空間における現在の視線方向に正対する位置へリセットする。

例えば、音声パターン記憶部５０は、ＨＭＤ１００の装着機構部１０４を１回叩く行為に起因する音声を定めた操作音声パターンと、原点リセット操作とを対応付けてもよい。情報処理システム１では、ＨＭＤ１００に描画するＶＲ空間の原点が、ユーザの真正面の位置から徐々にずれていくことがあるが、ユーザは、装着機構部１０４を１回叩くことで、ＶＲ空間の原点をリセットできる。この態様によると、ユーザは手軽な操作でＶＲ空間の原点を正しい位置に調整することができる。

次に、本実施例の操作入力方法の使用例として、ＶＲ空間（仮想的な３次元空間）におけるポインティングデバイス（言わば３次元マウス）を実現する構成を説明する。
音声パターン記憶部５０は、所定の操作音声パターンと、ＶＲ空間に存在する（描画された）仮想的なオブジェクトに対する操作（以下「オブジェクト操作」と呼ぶ。）の種類とを対応づけて保持する。操作対象となるオブジェクトは、例えば、ゲームのキャラクタ、アイテム、建造物、またはギミックであってもよい。オブジェクト操作の種類は、選択操作、決定操作、キャンセル操作、またはオプション表示操作であってもよく、また、ＶＲ空間におけるオブジェクトの表示態様を変化させる操作であってよい。

例えば、筐体１０８の前面右側を１回叩く行為により生じる音声を定めた操作音声パターンが選択操作に対応付けられてもよい。また、筐体１０８の前面右側を２回叩く行為が、決定操作に対応付けられてもよい。また、筐体１０８の前面左側を１回叩く行為が、オプション表示操作に対応付けられてもよい。

操作識別部５２は、ＨＭＤ１００から入力された音声データが操作音声パターンに整合する場合、その操作音声パターンに対応付けられたオブジェクト操作を識別し、画像生成部３４へ通知する。

前提技術に記載したように、画像生成部３４は、視線方向決定部３２により定められた視線方向に応じて、ＨＭＤ１００に表示させるＶＲ空間の画像を生成する。第１実施例の画像生成部３４は、操作識別部５２からオブジェクト操作が通知されると、そのときＶＲ空間において視線方向に存在するオブジェクトを識別する。言い換えれば、ポインティングデバイスとしてのポインタが指す方向に存在するオブジェクトを識別する。画像生成部３４は、識別したオブジェクトに対して、操作識別部５２から通知されたオブジェクト操作を実行し、ＶＲ空間の画像を更新する。例えば、画像生成部３４は、視線方向に存在するキャラクタを選択した状態を示す画像、そのキャラクタに対して決定操作を行った結果を示す画像等を生成し、すなわち視線方向に存在するキャラクタの表示態様を変化させる。

この態様によると、ＶＲ空間における３次元マウスを実現でき、ＶＲ空間に存在する各種オブジェクトに対する直観的な操作入力環境をユーザへ提供できる。例えば、ユーザは、ＶＲ空間において操作したいオブジェクトの方を見て、ＨＭＤ１００の筐体１０８を叩くことにより、そのオブジェクトに対する所望の操作を入力できる。

次に、本実施例の操作入力方法の使用例として、情報処理装置１０にインストールされたシステムソフトウェアに対する操作と、アプリケーションソフトウェアに対する操作を実現する構成を説明する。
システムソフトウェアは、情報処理装置１０とＨＭＤ１００の稼働や使用そのものをサポートするソフトウェアであり、例えば情報処理装置１０のカーネルやシェル（情報処理装置１０のホーム画面の表示等）を含む。アプリケーションソフトウェアは、システムソフトウェア上で動作するゲームソフトウェアやメディアプレーヤー等であり、ＨＭＤ１００に表示されるエンターテインメントコンテンツの描画処理等を実行する。

音声パターン記憶部５０は、複数の操作音声パターンと複数種類の操作とを対応づけて保持し、複数種類の操作は、システムソフトウェアに対する操作（以下「システム操作」と呼ぶ。）と、アプリケーションソフトウェアに対する操作（以下「Ａｐｐ操作」と呼ぶ。）の両方を含む。システム操作は、例えば、情報処理装置１０のホーム画面に対する操作や、アプリケーションソフトウェアの実行開始操作、実行中のアプリケーションソフトウェアの強制終了操作を含む。Ａｐｐ操作は、例えば、ゲーム等の実行中のコンテンツに対する決定操作、キャンセル操作、姿勢調整操作を含む。

図１２は、画像生成部３４の詳細な機能ブロックを示す図である。画像生成部３４は、システム画像生成部９０とＡｐｐ画像生成部９２を含む。システム画像生成部９０は、情報処理装置１０のＣＰＵまたはＧＰＵがシステムソフトウェアを実行することにより実現される。Ａｐｐ画像生成部９２は、情報処理装置１０のＣＰＵまたはＧＰＵがアプリケーションソフトウェアを実行することにより実現される。

システム画像生成部９０は、操作識別部５２がＨＭＤ１００から入力された音声データに基づいて入力操作としてシステム操作を識別した場合に、そのシステム操作に応じたシステム画面の画像を生成する。例えば、操作識別部５２により識別されたシステム操作を反映した情報処理装置１０のホーム画面の画像を生成する。Ａｐｐ画像生成部９２は、操作識別部５２がＨＭＤ１００から入力された音声データに基づいて入力操作としてＡｐｐ操作を識別した場合に、そのＡｐｐ操作に応じたアプリケーション画面の画像を生成する。例えば、操作識別部５２により識別されたＡｐｐ操作を反映したアプリケーション画面の画像（ゲームのＶＲ空間画像等）を生成する。

例えば、音声パターン記憶部５０は、ＨＭＤ１００の筐体１０８の前方部（出力機構部１０２側）を叩くことに起因する音声のパターンをＡｐｐ操作に対応付け、ＨＭＤ１００の筐体１０８の後方部（装着機構部１０４側）を叩くことに起因する音声のパターンをシステム操作に対応付けてもよい。これにより、ユーザは、視界が制限された状態でも、直観的な操作によりシステム操作とＡｐｐ操作を区別して入力でき、誤操作を抑制することができる。

また、音声パターン記憶部５０は、所定の操作音声パターンに対応付けるシステム操作として、アプリケーションソフトウェアの実行を中断させる操作（言わば強制終了操作）を対応付けてもよい。また、所定の操作音声パターンと、ＶＲ空間画像の表示を中断させる操作とを対応付けてもよい。システム画像生成部９０は、操作識別部５２がＨＭＤ１００から入力された音声データに基づいて入力操作として上記の実行中断操作を識別した場合に、ＨＭＤ１００におけるアプリケーション画面の画像（例えばＶＲ空間画像）の表示を中断させてもよい。それとともにシステム画像生成部９０は、システム画面の画像（例えばホーム画面の画像）を生成し、画像提供部３６は、それまでのアプリケーション画面の画像に代えて、システム画面の画像をＨＭＤ１００に表示させてもよい。

この態様によると、ＨＭＤ１００の筐体１０８を叩く等の所定操作に基づいて緊急アクションを実現できる。例えば、ＨＭＤ１００を装着したユーザがＶＲ空間画像を見て酔った場合に、ＨＭＤ１００の筐体１０８を叩くことで、ＶＲ空間画像の表示を中断させることができる。

図１１に戻り、ＨＭＤ１００を装着したユーザが適切な操作を入力できるように支援するためのガイドをユーザへ提示する構成を説明する。
音声パターン記憶部５０は、操作音声パターンとユーザ操作の組に対して、その操作音声パターンがＨＭＤ１００の筐体１０８上のどの位置に対する操作（接触行為）かを示すデータ（以下「操作位置データ」と呼ぶ。）をさらに対応づけて保持する。操作識別部５２は、ＨＭＤ１００から入力された音声データに基づいて、ある操作音声パターンに対応付けられた操作種類を識別した場合に、その操作音声パターンに対応付けられた操作位置データをさらに識別し、操作種類を示す情報と操作位置データとを画像生成部３４へ出力する。

画像生成部３４は、操作識別部５２により識別された操作種類に該当するデータ処理を実行する際に、その操作種類を示すメッセージを含む表示画像２００ａを生成する。また画像生成部３４は、操作識別部５２から入力された操作位置データに基づいて、ＨＭＤ１００の筐体１０８上でのユーザの操作位置を示す情報を含む表示画像２００ａを生成する。これにより、適切な操作が入力できたか否かをユーザに把握させることができ、ユーザから情報処理装置１０またはＨＭＤ１００への操作入力を支援できる。

図１３は、表示画像２００ａを示す図である。ここでは、ユーザが筐体１０８の左前面を叩いたこととし、また、その行為はキャンセル操作に対応付けられていることとする。この場合、画像生成部３４は、ＨＭＤ１００の外観を示すＨＭＤ画像２１０を表示画像２００ａに設定し、ＨＭＤ画像２１０においてユーザが叩いた位置（操作位置データが示す位置）に、操作入力の位置を報知する操作位置画像２１２を設定する。さらに画像生成部３４は、ユーザの接触行為に基づいて入力が検出された操作を示すメッセージであり、言い換えれば、ユーザの接触行為に基づいて実行されるデータ処理の内容を示すメッセージである操作メッセージ２１４を表示画像２００ａに設定する。

図１４も、表示画像２００ａを示す図である。ここでは、ユーザが筐体１０８の後方部（すなわち装着機構部１０４）を２回叩いたこととし、また、その行為は姿勢リセット操作に対応付けられていることとする。この場合、画像生成部３４は、ＨＭＤ１００の姿勢情報をリセットし、ＶＲ空間画像の内容を変化させる際に、ＨＭＤ画像２１０、操作位置画像２１２、操作メッセージ２１４を表示画像２００ａに設定する。なお、同図の操作位置画像２１２は、ユーザによる操作入力位置（叩いた位置）を矢印で示し、また、ユーザの操作入力態様（叩いた回数）を示す情報を含む。

以上の構成による第１実施例の情報処理装置１０の動作を説明する。前提技術で記載したように、センサ情報取得部２０は、ＨＭＤ１００から出力されたセンサ情報を取得し、撮影画像取得部２２は、撮像装置７から出力された撮影画像を取得する。動き検出部３０は、センサ情報と撮影画像に基づいてＨＭＤ１００の姿勢を検出し、視線方向決定部３２は、ＨＭＤ１００の姿勢に応じてＶＲ空間におけるユーザの視線方向を定める。画像生成部３４は、視線方向決定部３２が定めた視線方向に基づくＶＲ空間画像を生成する。画像提供部３６は、生成した画像をＨＭＤ１００へ提供して、ＨＭＤ１００の出力機構部１０２で表示させる。

ＨＭＤ１００を装着してＶＲ空間画像を視聴中のユーザは、情報処理装置１０のシステムを操作したい場合、または、情報処理装置１０で実行中のアプリケーションを操作したい場合に、予め定められた態様でＨＭＤ１００の筐体１０８の外面に接触する（典型的には叩く）。ＨＭＤ１００のマイク１２６は、そのユーザの行為に起因して生じた音を検出し、その音声データを情報処理装置１０へ送信する。

音声取得部４２は、ＨＭＤ１００から出力された音声データを取得する。操作識別部５２は、取得された音声データと予め定められた操作音声パターンとが一致する場合に、その操作音声パターンに対応付けられた操作種類を識別する。画像生成部３４は、操作識別部５２により識別された種類の操作を、ユーザにより入力された操作として認識し、その操作に応じたデータ処理を実行する。そして画像生成部３４は、データ処理の実行結果を反映した画像（例えばシステム画面やＶＲ空間画像）を生成する。画像提供部３６は、生成した画像をＨＭＤ１００へ提供する。これにより、ＨＭＤ１００の筐体１０８を叩くというユーザの操作入力を反映した画像がＨＭＤ１００に表示される。

第１実施例の情報処理システム１によると、ユーザがＨＭＤ１００の筐体１０８の外面に接触するという行為により生じた音をマイクにより検出して、ユーザの接触行為の態様（接触位置、接触の仕方等）に応じた種類のデータ処理を実行する。これにより、外界が見えないため入力装置６の操作が困難なユーザに対して、直観的で、かつ、シンプルな操作入力環境を提供できる。

（第２実施例）
第２実施例では、ユーザの接触行為を検知する手段として、ＨＭＤ１００が備える姿勢センサ１２４（具体的には加速度センサおよびジャイロセンサ）を活用する。姿勢センサ１２４は、ユーザの接触行為に起因して生じた振動（ＨＭＤ１００自体の振動）を検出し、言い換えれば、ユーザの接触行為に起因するＨＭＤ１００の動きを検出する。姿勢センサ１２４は、ＨＭＤ１００に生じた振動を検知する振動センサとも言える。ＨＭＤ１００の通信制御部１２８は、姿勢センサ１２４により取得したセンサ情報を情報処理装置１０へ送信する。情報処理装置１０は、ＨＭＤ１００から入力されたセンサ情報に基づいて、ユーザによる操作入力を検知する。ＨＭＤ１００から入力されるセンサ情報は、姿勢センサ１２４が検出した振動・動きを示す電気信号を含み、以下「振動データ」と呼ぶ。

図１５は、第２実施例の情報処理装置１０の機能ブロックを示す図である。第２実施例のＨＭＤ１００は、前提技術の機能ブロックに加えて、振動パターン記憶部５４と操作識別部５６をさらに備える。振動パターン記憶部５４は、第１実施例の音声パターン記憶部５０に対応し、操作識別部５６は、第１実施例の操作識別部５２に対応する。

振動パターン記憶部５４は、ＨＭＤ１００の筐体１０８（出力機構部１０２、装着バンド１０６、装着機構部１０４を含む）の外面に対するユーザの接触行為に起因してＨＭＤ１００の姿勢センサ１２４で検出される振動のパターンと、ＨＭＤ１００に関するデータ処理の種類との対応関係を保持する。

振動パターン記憶部５４に保持される振動のパターンを、以下「操作振動パターン」と呼ぶ。操作振動パターンは、センサ情報取得部２０で取得される振動データと比較する基準データである。操作振動パターンは、ＨＭＤ１００の筐体１０８の外面に対する特定の接触行為（例えば筐体１０８の前方左側を叩くこと）により生じる振動の特徴を示すデータであってもよい。例えば、操作振動パターンは、振動の波形に関するデータ（振幅のピーク、継続時間等の特性を示すデータ）であってもよい。また、振動の周波数の特性に関するデータ（パワースペクトルのデータ）であってもよい。

操作識別部５６は、ＨＭＤ１００から送信された振動データをセンサ情報取得部２０から取得する。センサ情報取得部２０は、振動データを取得した場合に、その振動データを動き検出部３０と操作識別部５６の両方へ出力してもよい。操作識別部５６は、振動パターン記憶部５４に保持された対応関係にしたがって、ＨＭＤ１００で検出された振動に対応するデータ処理の種類を識別する。

例えば、操作識別部５６は、公知のパターンマッチング処理を実行して、センサ情報取得部２０で取得された振動データに操作振動パターンの成分が含まれるか否かを判定してもよい。言い換えれば、操作識別部５６は、公知のパターンマッチング処理を実行して、ＨＭＤ１００から出力された振動データと操作振動パターンとが一致するか否かを判定してもよい。操作識別部５６は、センサ情報取得部２０で取得された振動データに操作振動パターンの成分が含まれる場合、言い換えれば、振動データと操作振動パターンとが一致する場合、その操作振動パターンに対応づけられたデータ処理の種類を識別する。

操作識別部５６は、識別したデータ処理の種類を示す情報を画像生成部３４へ通知する。画像生成部３４は、操作識別部５６により識別された種類のデータ処理を実行し、すなわち、ＨＭＤ１００で検出された振動に対応する種類のデータ処理を実行する。

第１実施例の情報処理装置１０は、ＨＭＤ１００のマイク１２６で検出された音（空気振動）に基づいてユーザの操作を検知する一方、第２実施例の情報処理装置１０は、ＨＭＤ１００の姿勢センサ１２４で検出された振動に基づいてユーザの操作を検知する点で異なるが、その余の構成は同様である。したがって、第１実施例の音声データを第２実施例では振動データに置き換え、第１実施例の操作音声パターンを第２実施例では操作振動パターンに置き換えることで、第１実施例に記載の構成および動作を第２実施例に当てはめることができる。また、第２実施例においても第１実施例と同様の効果を奏する。

（第３実施例）
第３実施例では、ユーザの接触行為を検知する手段として、ＨＭＤ１００が備えるマイク１２６と姿勢センサ１２４（具体的には加速度センサおよびジャイロセンサ）の両方を活用する。

図１６は、第３実施例の情報処理装置１０の機能ブロックを示す図である。第３実施例のＨＭＤ１００は、前提技術の機能ブロックに加えて、音声パターン記憶部５０、振動パターン記憶部５４、第１操作識別部５８、第２操作識別部６０、照合部６２をさらに備える。第３実施例の音声パターン記憶部５０、第１操作識別部５８は、第１実施例の音声パターン記憶部５０、操作識別部５２と同じである。第３実施例の振動パターン記憶部５４、第２操作識別部６０は、第２実施例の振動パターン記憶部５４、操作識別部５６と同じである。

照合部６２は、ＨＭＤ１００から入力された音声データに基づき第１操作識別部５８が識別した操作種類（ここでは「第１の操作種類」と呼ぶ。）と、ＨＭＤ１００から入力された振動データに基づいて第２操作識別部６０が識別した操作種類（ここでは「第２の操作種類」）とを照合し、両者が一致するか否かを判定する。第１の操作種類と第２の操作種類とが一致する場合、照合部６２は、第１の操作種類（または第２の操作種類）を示す情報を画像生成部３４へ入力する。画像生成部３４は、第１の操作種類（または第２の操作種類）に応じたデータ処理を実行し、そのデータ処理を反映した画像を生成する。

その一方、第１の操作種類と第２の操作種類が不一致の場合、または、第１の操作種類と第２の操作種類の少なくとも一方が未入力である場合、照合部６２は、第１の操作種類（または第２の操作種類）を示す情報を画像生成部３４へ入力することを抑制する。すなわち、ＨＭＤ１００から入力された音声データと振動データを、操作入力のデータとしては無効なものとして扱う。

このように第３実施例では、ＨＭＤ１００で検知された音声に基づいて識別した操作と、ＨＭＤ１００で検知された振動に基づいて識別した操作とが一致することを条件として、識別した操作に基づくデータ処理を実行する。その余の構成は、第１実施例および第２実施例と同様であり、第１実施例および第２実施例に記載の構成および動作を第３実施例に当てはめることができることはもちろんである。第３実施例によると、第１実施例の効果に加えて、ユーザによるＨＭＤ１００への接触行為を正しい操作入力にマッピングする正確度を高めることができる。言い換えれば、ユーザが意図しない操作を情報処理装置１０が検出し、実行してしまうことを抑制できる。

（第４実施例）
第４実施例では、ユーザによるＨＭＤ１００の近傍位置でのジェスチャー行為を検知する手段として撮像装置７を活用する。撮像装置７は、ユーザのジェスチャー行為を反映した撮影画像を情報処理装置１０へ出力する。情報処理装置１０は、撮像装置７から入力された撮影画像により特定されるＨＭＤ１００とユーザのジェスチャー行為（典型的にはユーザの手）との位置関係に基づいて、ユーザによる操作入力を検出する。

図１７は、第４実施例の情報処理装置１０の機能ブロックを示す図である。第４実施例の情報処理装置１０は、前提技術の機能ブロックに加えて、画像パターン記憶部６４と操作識別部６６をさらに備える。

画像パターン記憶部６４は、ＨＭＤ１００の近傍位置でのユーザのジェスチャー行為に起因して撮像装置７から出力される撮影画像のパターン（以下「操作画像パターン」と呼ぶ。）と、ＨＭＤ１００に関するデータ処理の種類との対応関係を保持する。本実施例では、画像パターン記憶部６４は、操作画像パターンと、情報処理装置１０またはＨＭＤ１００におけるデータ処理を指示する操作の種類とを対応付けて保持する。

ジェスチャー行為は、（１）ＨＭＤ１００の上方で片手を広げること、（２）ＨＭＤ１００の左側面で片手を広げることであってもよい。またジェスチャー行為は、（３）ＨＭＤ１００の前面左側を手で覆う（発光マーカ１１０ｂと１１０ｄを隠すように覆う）こと、（４）ＨＭＤ１００の前面右側を手で覆う（発光マーカ１１０ａと１１０ｃを隠すように覆う）こと、（５）ＨＭＤ１００の前面全体を手で覆う（発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄの全てを隠すように覆う）ことであってもよい。

操作画像パターンは、撮影画像取得部２２で取得される撮影画像と比較する基準データである。操作画像パターンは、ＨＭＤ１００の近傍で特定のジェスチャーがなされた場合のＨＭＤ１００の外観を示す画像であり、そのジェスチャー行為時に撮像装置７から出力されることが想定される画像データであってもよい。また、操作画像パターンは、特定のジェスチャー行為がなされた場合の撮影画像の外観上の特徴を定めたデータであってもよい。

具体的には、操作画像パターンは、ＨＭＤ１００とジェスチャーとの位置関係を定めたデータであってもよい。また、操作画像パターンは、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄに対するオブジェクト（典型的にはユーザの手であり、以下「操作オブジェクト」と呼ぶ。）との位置関係を示すデータであってもよい。また、操作画像パターンは、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが検出されたか否かを示すデータであってもよく、さらに各発光マーカの検出状態と操作オブジェクトとの位置関係とを組み合わせたデータであってもよい。

操作識別部６６は、撮像装置７から送信された撮影画像を撮影画像取得部２２から取得する。撮影画像取得部２２は、撮影画像を取得した場合に、その撮影画像を動き検出部３０と操作識別部６６の両方へ出力してもよい。操作識別部６６は、画像パターン記憶部６４に保持された対応関係にしたがって、撮影画像に対応するデータ処理の種類を識別する。本実施例では、操作識別部６６は、撮像装置７から出力された撮影画像に対応付けられた操作の種類を識別する。操作識別部６６は、識別したデータ処理の種類（本実施例では操作の種類）を示す情報を画像生成部３４へ通知する。

操作識別部５２は、公知のテンプレートマッチング処理を実行して、撮影画像取得部２２で取得された撮影画像に操作画像パターンの成分が含まれるか否かを判定し、言い換えれば、撮影画像と操作画像パターンとが一致するか否かを判定してもよい。また、操作識別部６６は、撮影画像取得部２２で取得された撮影画像に操作画像パターンの成分が含まれる場合、言い換えれば、撮影画像と操作画像パターンとが一致する場合、その操作画像パターンに対応づけられたデータ処理の種類を識別してもよい。

さらにまた、操作識別部６６は、撮像装置７から出力された撮影画像が示すＨＭＤ１００とジェスチャーとの位置関係に対応するデータ処理の種類を識別してもよい。例えば、操作識別部６６は、ＨＭＤ１００の位置を発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄの位置に基づいて特定し、撮像装置７からの距離が撮像装置７から発光マーカへの距離に近似する物体を操作オブジェクトとして識別し、ＨＭＤ１００と操作オブジェクトとの位置関係を特定してもよい。さらにまた、操作識別部６６は、ＨＭＤ１００からの距離、言い換えれば、少なくとも１つの発光マーカからの距離が所定の範囲内に存在する物体を操作オブジェクトとして識別してもよい。さらにまた、操作識別部６６は、ＨＭＤ１００を装着したユーザの輪郭を撮影画像から検出し、ユーザの輪郭と連結された物体を操作オブジェクトとして識別してもよい。

さらにまた、操作識別部６６は、撮像装置７から出力された撮影画像が示す発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄそれぞれの検出状態（検出有無）に合致する操作画像パターンを識別し、その操作画像パターンに対応付けられた操作種類を実行対象の操作として識別してもよい。また、操作識別部６６は、各発光マーカの検出状態と、ＨＭＤ１００と操作オブジェクトとの位置関係との組み合わせを撮影画像から特定して、その組み合わせに合致する操作画像パターンに対応付けられた操作種類を実行対象の操作として識別してもよい。

画像生成部３４は、操作識別部６６により識別された種類のデータ処理を実行し、すなわち、撮像装置７から出力された撮影画像に対応する種類のデータ処理を実行する。本実施例では、画像生成部３４は、操作識別部６６により識別された操作が入力されたと判定し、その操作に応じたデータ処理を実行する。

第１実施例の情報処理装置１０は、ＨＭＤ１００のマイク１２６で検出された音（空気振動）に基づいてユーザの操作を検知する一方、第４実施例の情報処理装置１０は、撮像装置７により撮影された画像に基づいてユーザの操作を検知する点で異なるが、その余の構成は同様である。したがって、第１実施例の音声データを第４実施例では撮影画像に置き換え、第１実施例の操作音声パターンを第４実施例では操作画像パターンに置き換えることで、第１実施例に記載の構成を第４実施例に当てはめることができる。

例えば、画像パターン記憶部６４は、複数種類の操作画像パターンと、ＨＭＤ１００に関する複数種類のデータ処理（ＨＭＤ１００または情報処理装置１０に対する操作）の識別情報とを対応づけて保持してもよい。操作識別部６６は、撮像装置７から出力された撮影画像と操作画像パターンとの照合結果に応じて、複数種類のデータ処理の中からいずれかを識別してもよい。画像生成部３４は、操作識別部６６により識別された種類のデータ処理を実行して、その実行結果を反映したＶＲ空間画像を生成してもよい。

また、画像パターン記憶部６４は、所定の操作画像パターンに対応付けるシステム操作として、実行中のアプリケーションソフトウェアの強制中断操作を対応付けてもよい。画像生成部３４（図１２のシステム画像生成部９０）は、撮像装置７から所定の操作画像パターンの撮影画像が出力され、操作識別部６６が上記の強制中断操作を識別した場合に、ＨＭＤ１００におけるアプリケーション画面の画像（例えばＶＲ空間画像）の表示を中断させてもよい。そして画像生成部３４は、システム画面の画像（例えばホーム画面の画像）を生成し、画像提供部３６は、それまでのアプリケーション画面の画像に代えて、システム画面の画像をＨＭＤ１００に表示させてもよい。

図１８は、ジェスチャーの例を示す。同図に示す、ＨＭＤ１００の出力機構部１０２の前面全体を覆うようなジェスチャー（言い換えれば４つの発光マーカを全て覆い隠すようなジェスチャー）が上記の強制中断操作と対応付けられてもよい。例えば、画像パターン記憶部６４は、４つの発光マーカ全ての発光が未検出であることを示す操作画像パターンと、上記の強制中断操作とを対応付けて保持してもよい。

図１７に戻り、第４実施例においても適切な操作入力を支援するガイドを表示させてもよい。具体的には、画像パターン記憶部６４は、操作音声パターンと操作種類の組に対して、ＨＭＤ１００とジェスチャーとの位置関係を示すデータ（以下「ジェスチャー位置データ」と呼ぶ。）をさらに対応づけて保持する。ジェスチャー位置データは、撮影画像を基に検出された操作オブジェクト（例えばユーザの手）の位置を示すデータでもよく、ＨＭＤ１００を基準とした場合の操作オブジェクトの相対位置を示すデータででもよい。

操作識別部６６は、撮像装置７から入力された撮影画像に基づいて、ある操作画像パターンに対応付けられた操作種類を識別した場合に、その操作画像パターンに対応付けられたジェスチャー位置データをさらに識別する。操作識別部６６は、操作種類の情報とジェスチャー位置データとを画像生成部３４へ出力する。

画像生成部３４は、操作識別部６６により識別された操作種類に基づくデータ処理を実行する際に、その操作種類を示すメッセージを含む表示画像２００ａを生成する。また画像生成部３４は、操作識別部６６から入力されたジェスチャー位置データに基づいて、ＨＭＤ１００に対するジェスチャー位置を示す情報を含む表示画像２００ａを生成する。これにより、適切な操作が入力できたか否かをユーザに把握させることができ、ユーザから情報処理装置１０またはＨＭＤ１００への操作入力を支援できる。

図１９は、表示画像２００ａを示す図である。ここでは、ユーザがＨＭＤ１００の左前方部を手で覆ったこととし、また、そのジェスチャーはキャンセル操作に対応付けられていることとする。この場合、画像生成部３４は、ＨＭＤ１００の外観を示すＨＭＤ画像２１０を表示画像２００ａに設定し、ＨＭＤ画像２１０において操作オブジェクトが検出された位置（ジェスチャー位置データが示す位置）にジェスチャー位置画像２１６を設定する。さらに画像生成部３４は、ユーザのジェスチャーに基づいて入力が検出された操作を示すメッセージであり、言い換えれば、ユーザのジェスチャーに基づいて実行されるデータ処理の内容を示す操作メッセージ２１４を表示画像２００ａに設定する。

図２０も、表示画像２００ａを示す図である。ここでは、図１８で示したように、ユーザがＨＭＤ１００の前面全体を手で覆ったこととし、また、そのジェスチャーはアプリケーションの実行を強制的に中断させる操作に対応付けられていることとする。この場合、画像生成部３４は、アプリケーションが描画したＶＲ空間の表示からシステム画面の表示へ戻す際に、ＨＭＤ画像２１０、ジェスチャー位置画像２１６、操作メッセージ２１４を表示画像２００ａに設定する。

なお、第１実施例に記載の姿勢調整処理、３次元マウス用のデータ処理、システム操作およびＡｐｐ操作についても、それらの操作やデータ処理を操作画像パターンと対応付けることで、それらの操作やデータ処理をユーザのジェスチャーを契機として実行できる。

第４実施例の情報処理システム１によると、ユーザがＨＭＤ１００の近傍で所定のジェスチャーを行ったことを撮像装置７の撮影画像で検出し、ユーザのジェスチャーの態様（ジェスチャーの位置や形態、ＨＭＤ１００の発光マーカの検出状況等）に応じた種類のデータ処理を実行する。これにより、外界の確認が困難なユーザに対して、直観的で、かつ、シンプルな操作入力環境を提供できる。また、第４実施例の操作入力方法によると、ユーザはＨＭＤ１００に直接触れる必要がなく、ＨＭＤ１００のずれが生じないというメリットがある。

以上、本発明を第１実施例〜第４実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施例では言及していないが、各実施例における操作音声パターン、操作振動パターン、操作画像パターンは、既存の入力装置６において入力可能な操作種類と対応付けて記憶されてもよい。例えば、第１実施例の音声パターン記憶部５０は、複数種類の操作音声パターンを、入力装置６における複数種類の入力部の操作と対応付けて記憶してもよい。複数種類の入力部の操作は、例えば、上ボタン７１ａの押下操作、△ボタン７５の押下操作、右アナログスティック７７ａを右に倒す操作を含む。

操作識別部５２は、ＨＭＤ１００から入力された音声データに整合する操作音声パターンを識別し、その操作音声パターンに対応する入力装置６の操作種類を画像生成部３４へ渡す。この場合、画像生成部３４は、操作識別部５２から入力された入力装置６の操作種類を、指示取得部２４からの入力と同様に取り扱って、入力された操作種類に応じたデータ処理を実行してもよい。

例えば、ＨＭＤ１００の装着機構部１０４を２回叩くことに対応する操作音声パターンに、アプリケーション画面からシステムのホーム画面へ戻すことを指示する入力装置６の所定ボタン（ホームボタン８０とする）の押下操作が対応付けられてもよい。この場合、操作識別部５２は、ＨＭＤ１００から入力された音声データに整合する操作音声パターンを識別し、ホームボタン８０の押下操作を画像生成部３４に指示してもよい。画像生成部３４は、ホームボタン８０の押下操作が入力されたと認識し、それまでのアプリケーション画面に代えて、システムのホーム画面を生成し、表示させてもよい。

また、上記実施例では、ＨＭＤ１００に対するユーザの接触またはジェスチャーに応じたデータ処理を、ＨＭＤ１００とは別の情報処理装置１０が実行した。変形例として、ＨＭＤ１００に対するユーザの接触またはジェスチャーに応じたデータ処理をＨＭＤ１００が実行してもよい。例えば、上記実施例における情報処理装置１０の機能ブロックを含むチップまたはコンピュータプログラムがＨＭＤ１００に組み込まれてもよい。

また、上記実施例では、ＨＭＤ１００を装着したユーザが、ＨＭＤ１００または情報処理装置１０に対する操作を入力するために、ＨＭＤ１００に対して所定の接触行為やジェスチャーを行った。上記実施例に記載の技術の対象はＨＭＤ１００に制限されない。例えば、マイクおよび／または姿勢センサ（加速度センサ、ジャイロセンサ）を備える携帯情報端末（携帯型ゲーム機等）にも適用可能である。また、カメラを備える携帯情報端末にも適用可能である。これらの携帯情報端末に、各実施例で記載した情報処理装置１０の機能が実装されればよい。

ユーザは、携帯情報端末を予め定められた態様で叩く、またはなでるという直観的な操作で、所望のデータ処理を携帯情報端末に実行させることができる。同様に、ユーザは、携帯情報端末の近傍（カメラの画角内）で予め定められたジェスチャーを行うという直観的な操作で、所望のデータ処理を携帯情報端末に実行させることができる。

上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。

例えば、第１実施例（または第２実施例、第３実施例）と第４実施例との組み合わせもまた本発明の実施の形態として有用である。具体的には、情報処理装置１０は、第１実施例の機能ブロック（図１１）に加えて、画像パターン記憶部６４、操作識別部６６（図１７）をさらに備えてもよい。この場合、情報処理装置１０は、ＨＭＤ１００のマイク１２６で検出された音声に基づいて実行対象のデータ処理の種類を識別し、そのデータ処理操作を実行することと、撮像装置７から出力された撮影画像に基づいて実行対象のデータ処理の種類を識別し、そのデータ処理操作を実行することとを並行実行してもよい。すなわち、情報処理装置１０は、第１実施例に記載した操作検出およびデータ処理と、第４実施例に記載した操作検出およびデータ処理とを別個に独立して実行してもよい。

また、音声（または振動）と画像をアンド条件としてデータ処理を実行してもよい。例えば、情報処理装置１０は、ＨＭＤ１００のマイク１２６で検出された音声に基づいて識別したデータ処理の種類と、撮像装置７から出力された撮影画像に基づいて識別したデータ処理の種類とが一致する場合に、当該データ処理を実行してもよい。その一方、音声に基づいて識別したデータ処理の種類と、撮影画像に基づいて識別したデータ処理の種類とが不一致の場合、いずれのデータ処理の実行も抑制してもよい。すなわち、情報処理装置１０は、第１実施例の方法で入力を検出した操作と、第４実施例の方法で入力を検出した操作とが一致することを条件に、その操作入力に対応するデータ処理を実行してもよい。ここでの第１実施例の処理は、第２実施例の処理または第３実施例の処理に置き換え可能である。

請求項に記載の各構成要件が果たすべき機能は、上述した実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１０ 情報処理装置、 ２０ センサ情報取得部、 ２２ 撮影画像取得部、 ３０ 動き検出部、 ３２ 視線方向決定部、 ４２ 音声取得部、 ４８ データ処理部、 １００ ＨＭＤ、 １０８ 筐体、 １２６ マイク。

Claims (12)

1. ヘッドマウントディスプレイを装着したユーザによる前記ヘッドマウントディスプレイの筐体外面に対する所定の接触行為に起因して前記ヘッドマウントディスプレイで検出される振動のパターンと、前記ヘッドマウントディスプレイに関するデータ処理の種類との対応関係、および／または、前記ヘッドマウントディスプレイを装着したユーザによる前記ヘッドマウントディスプレイ近傍での所定のジェスチャー行為に起因して前記ヘッドマウントディスプレイを撮像する装置から出力される画像のパターンと、前記ヘッドマウントディスプレイに関するデータ処理の種類との対応関係を保持する記憶部と、
   前記ヘッドマウントディスプレイで検出された振動に関する情報を取得し、および／または、前記撮像する装置から出力された画像を取得する取得部と、
   前記記憶部に保持された対応関係にしたがって、前記ヘッドマウントディスプレイで検出された振動に対応する種類のデータ処理を実行し、および／または、前記撮像する装置から出力された画像に対応する種類のデータ処理を実行するデータ処理部と、
   を備えることを特徴とする情報処理装置。
2. 前記記憶部は、前記ヘッドマウントディスプレイの筐体外面の異なる位置に対する接触行為に起因して前記ヘッドマウントディスプレイで検出される複数種類の振動のパターンと、前記ヘッドマウントディスプレイに関する複数種類のデータ処理との対応関係を保持し、
   前記データ処理部は、前記ヘッドマウントディスプレイで検出された振動に応じて、前記複数種類のデータ処理の中からいずれかを実行することを特徴とする請求項１に記載の情報処理装置。
3. 前記記憶部は、前記ヘッドマウントディスプレイの筐体外面の同じ位置に対する複数種類の接触行為に起因して前記ヘッドマウントディスプレイで検出される複数種類の振動のパターンと、前記ヘッドマウントディスプレイに関する複数種類のデータ処理との対応関係を保持し、
   前記データ処理部は、前記ヘッドマウントディスプレイで検出された振動に応じて、前記複数種類のデータ処理の中からいずれかを実行することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記ヘッドマウントディスプレイの姿勢を検出する検出部をさらに備え、
   前記データ処理部は、前記ヘッドマウントディスプレイの姿勢に応じて、前記ヘッドマウントディスプレイに表示させる仮想空間の画像を生成し、前記ヘッドマウントディスプレイで所定パターンの振動が検出された場合、前記ヘッドマウントディスプレイの姿勢が変化したこととして前記仮想空間の画像を変化させることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記ヘッドマウントディスプレイで表示される仮想空間の原点に対する前記ヘッドマウントディスプレイの姿勢を検出する検出部をさらに備え、
   前記データ処理部は、前記ヘッドマウントディスプレイの姿勢に応じて前記仮想空間の画像を生成し、前記ヘッドマウントディスプレイで所定パターンの振動が検出された場合、前記仮想空間の原点をリセットすることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
6. 前記ヘッドマウントディスプレイの姿勢を検出する検出部と、
   前記検出部により検出されたヘッドマウントディスプレイの姿勢に応じて、視線方向を定める視線方向決定部と、をさらに備え、
   前記データ処理部は、
   前記視線方向決定部により定められた視線方向に応じて、前記ヘッドマウントディスプレイに表示させる仮想空間の画像を生成し、
   前記ヘッドマウントディスプレイで所定パターンの振動が検出された場合、前記仮想空間において視線方向に存在するオブジェクトに関する所定のデータ処理を実行することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
7. 前記記憶部は、前記所定の接触行為に起因して前記ヘッドマウントディスプレイで検出される振動のパターンとして、前記ヘッドマウントディスプレイのマイクで検出される音声のパターンを保持し、
   前記取得部は、前記ヘッドマウントディスプレイのマイクで検出された音声に関する情報を取得し、
   前記データ処理部は、前記ヘッドマウントディスプレイのマイクで検出された音声に対応する種類のデータ処理を実行することを特徴とする請求項１から６のいずれかに記載の情報処理装置。
8. 前記記憶部は、前記画像のパターンとして、前記ジェスチャー行為と前記ヘッドマウントディスプレイとの位置関係を定めたデータを保持し、
   前記データ処理部は、前記撮像する装置から出力された画像が示す前記ジェスチャー行為と前記ヘッドマウントディスプレイとの位置関係に対応する種類のデータ処理を実行することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
9. 前記記憶部は、前記ヘッドマウントディスプレイ近傍における複数種類のジェスチャー行為に起因して前記撮像する装置から出力される複数種類の画像のパターンと、前記ヘッドマウントディスプレイに関する複数種類のデータ処理との対応関係を保持し、
   前記データ処理部は、前記撮像する装置から出力された画像に応じて、前記複数種類のデータ処理の中からいずれかを実行することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
10. 前記データ処理部は、仮想空間の画像を前記ヘッドマウントディスプレイに表示させ、前記撮像する装置から所定パターンの画像が出力された場合、前記ヘッドマウントディスプレイにおける前記仮想空間の画像の表示を中断させることを特徴とする請求項１から９のいずれかに記載の情報処理装置。
11. ヘッドマウントディスプレイで検出された振動に関する情報を取得し、および／または、前記ヘッドマウントディスプレイを撮像する装置から出力された画像を取得するステップと、
    前記ヘッドマウントディスプレイを装着したユーザによる前記ヘッドマウントディスプレイの筐体外面に対する所定の接触行為に起因して前記ヘッドマウントディスプレイで検出される振動のパターンと、前記ヘッドマウントディスプレイに関するデータ処理の種類とを予め対応付けたデータにしたがって、前記取得するステップで取得された情報が示す振動に対応する種類のデータ処理を実行し、および／または、前記ヘッドマウントディスプレイを装着したユーザによる前記ヘッドマウントディスプレイ近傍での所定のジェスチャー行為に起因して前記撮像する装置から出力される画像のパターンと、前記ヘッドマウントディスプレイに関するデータ処理の種類とを予め対応付けたデータにしたがって、前記取得するステップで取得された画像に対応する種類のデータ処理を実行するステップと、
    をコンピュータが実行することを特徴とする情報処理方法。
12. ヘッドマウントディスプレイで検出された振動に関する情報を取得し、および／または、前記ヘッドマウントディスプレイを撮像する装置から出力された画像を取得する機能と、
    前記ヘッドマウントディスプレイを装着したユーザによる前記ヘッドマウントディスプレイの筐体外面に対する所定の接触行為に起因して前記ヘッドマウントディスプレイで検出される振動のパターンと、前記ヘッドマウントディスプレイに関するデータ処理の種類とを予め対応付けたデータにしたがって、前記取得する機能により取得された情報が示す振動に対応する種類のデータ処理を実行し、および／または、前記ヘッドマウントディスプレイを装着したユーザによる前記ヘッドマウントディスプレイ近傍での所定のジェスチャー行為に起因して前記撮像する装置から出力される画像のパターンと、前記ヘッドマウントディスプレイに関するデータ処理の種類とを予め対応付けたデータにしたがって、前記取得する機能により取得された画像に対応する種類のデータ処理を実行する機能と、
    をコンピュータに実現させるためのコンピュータプログラム。

Images