JP2020042369A - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

Abstract

【課題】光学系を利用した技術におけるユーザの空間の認識性を向上させることができる情報処理装置、情報処理方法及び記録媒体を提供する。【解決手段】本開示に係る情報処理装置は、実空間上においてユーザによって操作される第１のオブジェクトと、表示部に表示された第２のオブジェクトとの間の距離の変化を取得する取得部と、取得された距離の変化に基づいて、振動出力装置からの振動出力を連続的に変化させる第１の制御を行う出力制御部とを有する。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及び記録媒体に関する。詳しくは、ユーザの動作に応じた出力信号の制御処理に関する。

ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）、ＶＲ（Virtual Reality）技術等において、仮想オブジェクトを表示する画像処理や、センシングに基づく認識によって機器の操作を可能とする技術が用いられている。

例えば、オブジェクトの合成において、撮像画像に含まれる被写体の深度情報を取得してエフェクト処理を実行することにより、被写体が適切な範囲内に存在するか否かを分かり易く伝えることのできる技術が知られている。また、ＨＭＤ（Head Mounted Display）等を装着したユーザの手を高精度に認識することのできる技術が知られている。

特開２０１３−１１８４６８号公報 国際公開第２０１７／１０４２７２号

ここで、上記の従来技術には改善の余地がある。例えば、ＡＲやＭＲ技術において、ユーザは、実空間上に重畳された仮想オブジェクトに対して手で触れるなどの何らかのインタラクション（interaction）を求められることがある。

しかし、人間の視覚の特性上、ユーザは、近距離に表示された仮想オブジェクトへの距離感を認識し辛いため、手で触れようと思っても手が届いていなかったり、逆に仮想オブジェクトよりも奥に手を出してしまったりすることがある。すなわち、従来技術では、実空間上に重畳される仮想オブジェクトに対するユーザの認識性を向上させることが困難であった。

そこで、本開示では、光学系を利用した技術におけるユーザの空間の認識性を向上させることができる情報処理装置、情報処理方法及び記録媒体を提案する。

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、実空間上においてユーザによって操作される第１のオブジェクトと、表示部に表示された第２のオブジェクトとの間の距離の変化を取得する取得部と、前記取得された距離の変化に基づいて、振動出力装置からの振動出力を連続的に変化させる第１の制御を行う出力制御部と、を具備する。

本開示に係る情報処理装置、情報処理方法及び記録媒体によれば、光学系を利用した技術におけるユーザの空間の認識性を向上させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の第１の実施形態に係る情報処理の概要を示す図である。 本開示の第１の実施形態に係る情報処理装置の外観を示す図である。 本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第１の実施形態に係る出力定義データの一例を示す図である。 本開示の第１の実施形態に係る情報処理を説明するための図（１）である。 本開示の第１の実施形態に係る情報処理を説明するための図（２）である。 本開示の第１の実施形態に係る情報処理を説明するための図（３）である。 本開示の第１の実施形態に係る処理の流れを示すフローチャート（１）である。 本開示の第１の実施形態に係る処理の流れを示すフローチャート（２）である。 本開示の第１の実施形態に係る処理の流れを示すフローチャート（３）である。 本開示の第２の実施形態に係る情報処理を説明するための図（１）である。 本開示の第２の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第２の実施形態に係る出力定義データの一例を示す図である。 本開示の第２の実施形態に係る情報処理を説明するための図（２）である。 本開示の第２の実施形態に係る情報処理を説明するための図（３）である。 本開示の第２の実施形態に係る処理の流れを示すフローチャート（１）である。 本開示の第２の実施形態に係る処理の流れを示すフローチャート（２）である。 本開示の第２の実施形態に係る処理の流れを示すフローチャート（３）である。 本開示の第３の実施形態に係る情報処理システムの構成例を示す図である。 本開示の第４の実施形態に係る情報処理システムの構成例を示す図である。 本開示の第４の実施形態に係る情報処理を説明するための図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

（１．第１の実施形態）
［１−１．第１の実施形態に係る情報処理の概要］
図１は、本開示の第１の実施形態に係る情報処理の概要を示す図である。本開示の第１の実施形態に係る情報処理は、図１に示す情報処理装置１００によって実行される。

情報処理装置１００は、いわゆるＡＲ技術等を実現するための情報処理端末である。第１の実施形態では、情報処理装置１００は、ユーザＵ０１の頭部に装着されて利用されるウェアラブルコンピュータ（wearable computer）であり、具体的にはＡＲグラス（AR glass）である。

情報処理装置１００は、透過型のディスプレイである表示部６１を有する。例えば、情報処理装置１００は、現実の実空間上に重畳させて、ＣＧ（Computer Graphics）等で表現される重畳物を表示部６１に表示する。図１の例では、情報処理装置１００は、重畳物として仮想オブジェクトＶ０１を表示する。また、情報処理装置１００は、所定の出力信号を出力するための構成を有する。例えば、情報処理装置１００は、自装置が備えるスピーカーや、ユーザＵ０１が装着するイヤホン等に音声信号を出力する制御部を有する。なお、図１の例では、スピーカーやイヤホン等の図示は省略する。また、本開示において音声信号とは、人間や動物の声等のみならず、効果音やＢＧＭ等、種々の音を含むものとする。

ＡＲ技術によれば、ユーザＵ０１は、実空間上における任意の入力手段を用いて、仮想オブジェクトＶ０１に触れたり、仮想オブジェクトＶ０１を手に取ったりといった、インタラクションを実行することができる。任意の入力手段とは、ユーザが操作するオブジェクトであって、情報処理装置１００が空間上において認識可能なオブジェクトである。例えば、任意の入力手段は、ユーザの手や足などの体の一部や、ユーザが手に持ったコントローラ等である。第１の実施形態では、ユーザＵ０１は、入力手段として自身の手Ｈ０１を用いる。この場合、仮想オブジェクトＶ０１に手Ｈ０１が触れるとは、例えば、ユーザＵ０１が仮想オブジェクトＶ０１に触れたと情報処理装置１００が認識する所定の座標空間内に手Ｈ０１が存在することをいう。

ユーザＵ０１は、表示部６１を透過して視認する実空間と、実空間に重畳された仮想オブジェクトＶ０１とを視認可能である。そして、ユーザＵ０１は、手Ｈ０１を用いて、仮想オブジェクトＶ０１に触れるインタラクションを実行する。

しかしながら、人間の視覚の特性上、ユーザＵ０１は、近距離（例えば視点から５０ｃｍ程の範囲）に表示された仮想オブジェクトＶ０１への距離感を認識し辛い。これは、人間の目の構造上、表示部６１の光学的な焦点距離および左右の輻輳の角度が固定されていると、仮想オブジェクトＶ０１の両眼視差（ステレオ視）で提示される距離感と、輻輳と調節が矛盾するために生じうる。このため、ユーザＵ０１は、触れたと思っても仮想オブジェクトＶ０１に手Ｈ０１が届いていなかったり、逆に仮想オブジェクトＶ０１よりも奥に手Ｈ０１を出してしまったりすることがある。また、ユーザＵ０１は、仮想オブジェクトＶ０１に対するインタラクションがＡＲ機器に認識されていない場合に、どこに手Ｈ０１を動かせばインタラクションが認識されるかを判断することが難しく、位置の修正が難しい。

そこで、本開示に係る情報処理装置１００は、光学系を利用したＡＲ等の技術における認識性を向上させるため、下記に説明する情報処理を実行する。具体的には、情報処理装置１００は、実空間上においてユーザＵ０１によって操作される第１のオブジェクト（図１の例では手Ｈ０１）と、表示部６１に表示された第２のオブジェクト（図１の例では仮想オブジェクトＶ０１）との間の距離の変化を取得する。そして、情報処理装置１００は、取得した距離の変化に基づいて、出力信号の態様を連続的に変化させる制御（以下、「第１の制御」と称する場合がある）を行う。より具体的には、情報処理装置１００は、手Ｈ０１と仮想オブジェクトＶ０１の間の距離の変化に応じて、振動出力装置（例えばスピーカー）による振動出力（例えば、音の出力）を連続的に変化させる。これにより、ユーザＵ０１は、音に応じて手Ｈ０１を出す位置を修正することができるようになり、仮想オブジェクトＶ０１の位置が手Ｈ０１からまだ遠いか、あるいは、手Ｈ０１の近くにあるのかを判断し易くなる。すなわち、本開示に係る情報処理によれば、ＡＲ技術等におけるユーザＵ０１の空間の認識性を向上させることができる。なお、詳細は後述するが、振動出力装置による振動出力には、音による出力のほか、振動による出力を含む。以下、図１を用いて、本開示に係る情報処理を流れに沿って説明する。

図１に示す例では、ユーザＵ０１は、実空間上に重畳された仮想オブジェクトＶ０１を手Ｈ０１で触れるというインタラクションを実行する。このとき、情報処理装置１００は、ユーザＵ０１が掲げた手Ｈ０１の空間上の位置を取得する。詳細は後述するが、情報処理装置１００は、ユーザＵ０１の視線方向をカバーする認識カメラ等のセンサを用いて、表示部６１を透過してユーザＵ０１が視認する実空間に存在する手Ｈ０１を認識し、手Ｈ０１の位置を取得する。また、情報処理装置１００は、表示部６１内に表示する実空間を座標空間として認識することで、実空間に重畳させた仮想オブジェクトＶ０１の位置を取得する。

さらに、情報処理装置１００は、ユーザＵ０１が仮想オブジェクトＶ０１の方向に手Ｈ０１を伸ばす間に、手Ｈ０１と仮想オブジェクトＶ０１との間の距離を取得する。そして、情報処理装置１００は、手Ｈ０１と仮想オブジェクトＶ０１との間の距離に応じて、音声信号の出力を制御する。

図１の例では、情報処理装置１００は、一定の周期で繰り返される効果音のような音声信号を連続的に出力する。例えば、情報処理装置１００は、手Ｈ０１と仮想オブジェクトＶ０１との間の距離に応じて所定の区間に領域を分類し、分類した領域ごとに異なる態様で音声信号を出力し続ける。なお、情報処理装置１００は、いわゆる立体音響技術を用いて、手Ｈ０１の方角から音声が出力されているようにユーザＵ０１に知覚させる制御を行ってもよい。

図１に示すように、情報処理装置１００は、例えば手Ｈ０１と仮想オブジェクトＶ０１との距離が距離Ｌ０２以上（例えば５０ｃｍ以上）である領域Ａ０１では、音声Ｆ０１を出力する。また、情報処理装置１００は、手Ｈ０１と仮想オブジェクトＶ０１との距離が距離Ｌ０２未満、距離Ｌ０１以上（例えば５０ｃｍ未満２０ｃｍ以上）である領域Ａ０２内では、音声Ｆ０２を出力する。また、情報処理装置１００は、手Ｈ０１と仮想オブジェクトＶ０１との距離が距離Ｌ０１未満（例えば２０ｃｍ未満）である領域Ａ０３では、音声Ｆ０２を出力する。

例えば、情報処理装置１００は、音声Ｆ０１から音声Ｆ０２への変化、音声Ｆ０２から音声Ｆ０３への変化において、音声出力の態様が連続的に変化するよう制御する。具体的には、情報処理装置１００は、音声Ｆ０１よりも音声Ｆ０２における音量が大きくなるよう制御する。あるいは、情報処理装置１００は、音声Ｆ０１よりも音声Ｆ０２における周期が短く（すなわち、効果音の再生の繰り返しの周期が短く）なるよう制御してもよい。あるいは、情報処理装置１００は、音声Ｆ０１よりも音声Ｆ０２における音声の周波数が高く（あるいは低く）なるよう制御してもよい。

一例として、情報処理装置１００は、領域Ａ０１に手Ｈ０１が存在する場合、周期０．５Ｈｚで効果音を出力する。また、情報処理装置１００は、領域Ａ０２に手Ｈ０１が存在する場合、領域Ａ０１において出力した音量よりも２割増しの音量で、領域Ａ０１において出力した音声よりも高音で、さらに、周期を１Ｈｚとした効果音を再生する。また、情報処理装置１００は、領域Ａ０３に手Ｈ０１が存在する場合、領域Ａ０２において出力した音量よりも２割増しの音量で、領域Ａ０２において出力した音声よりも高音で、さらに、周期を２Ｈｚとした効果音を再生する。

このように、情報処理装置１００は、手Ｈ０１と仮想オブジェクトＶ０１との距離に応じて連続的に態様が変化する音声を出力する。すなわち、情報処理装置１００は、手Ｈ０１の動きに応じた音響的なフィードバック（以下、「音響フィードバック」と称する）をユーザＵ０１に提供する。これにより、ユーザＵ０１は、手Ｈ０１が仮想オブジェクトＶ０１に近づくほど音量が大きくなっていたり、音声の繰り返しの周期が増加していたりするといった連続的な変化を知覚できる。すなわち、ユーザＵ０１は、音響フィードバックを受けることで、手Ｈ０１が仮想オブジェクトＶ０１に近づいているか、あるいは遠ざかっているかを正確に認識することができる。

そして、情報処理装置１００は、手Ｈ０１と仮想オブジェクトＶ０１との距離が０未満となった場合、すなわち、「仮想オブジェクトＶ０１に手Ｈ０１が触れた」と認識される領域Ａ０４に手Ｈ０１が存在する場合には、領域Ａ０３で出力した音声よりもさらに大きな音量や高い周波数や大きな周期で音声を出力してもよい。

なお、情報処理装置１００は、領域Ａ０４に手Ｈ０１が存在する場合には、出力態様の連続的な変化を一度停止し、仮想オブジェクトＶ０１に触れたことを示す他の効果音を出力してもよい。これにより、ユーザＵ０１は、手Ｈ０１が仮想オブジェクトＶ０１に到達したことを正確に認識できる。すなわち、情報処理装置１００は、領域Ａ０３から領域Ａ０４に手が到達した場合には、音声の連続的な変化を維持してもよいし、音声の連続的な変化を一度停止してもよい。

このように、第１の実施形態に係る情報処理装置１００は、実空間上においてユーザＵ０１によって操作される手Ｈ０１と、表示部６１に表示された仮想オブジェクトＶ０１との間の距離の変化を取得する。さらに、情報処理装置１００は、取得した距離の変化に基づいて、音声信号の態様を連続的に変化させる制御を行う。

すなわち、情報処理装置１００は、距離に応じて態様が連続的に変化する音声を出力することで、視覚のみならず、聴覚によって仮想オブジェクトＶ０１との距離をユーザＵ０１が認識することを可能にする。これにより、第１の実施形態に係る情報処理装置１００は、視覚のみでは認識し辛い、実空間上に重畳された仮想オブジェクトＶ０１に対するユーザＵ０１の認識性を向上させることができる。また、本開示の情報処理によれば、ユーザＵ０１は、視覚のみに頼らずにインタラクションを実行することができるので、上述した輻輳と調節の矛盾により生じうる眼精疲労等を軽減することができる。すなわち、情報処理装置１００は、ＡＲ等の光学系を利用した技術におけるユーザビリティを向上させることもできる。

以下、上記の情報処理を実現する情報処理装置１００の構成等について、図を用いて詳細に説明する。

［１−２．第１の実施形態に係る情報処理装置の外観］
まず、図２を用いて、情報処理装置１００の外観を説明する。図２は、本開示の第１の実施形態に係る情報処理装置１００の外観を示す図である。図２に示すように、情報処理装置１００は、センサ２０と、表示部６１と、保持部７０を有する。

保持部７０は、メガネフレームに相当する構成である。また、表示部６１は、メガネレンズに相当する構成である。保持部７０は、情報処理装置１００がユーザに装着された場合に、表示部６１がユーザの眼前に位置するように、表示部６１を保持する。

センサ２０は、種々の環境情報を検知するセンサである。例えば、センサ２０は、ユーザの眼前の空間を認識するための認識カメラとしての機能を有する。図２の例では、センサ２０を一つのみ図示しているが、センサ２０は、表示部６１の各々に備えられた、いわゆるステレオカメラであってもよい。

センサ２０は、ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部７０により保持される。かかる構成に基づき、センサ２０は、情報処理装置１００の前方に位置する被写体（すなわち、実空間に位置する実オブジェクト）を認識する。また、センサ２０は、ユーザの前方に位置する被写体の画像を取得するとともに、ステレオカメラで撮像された画像間の視差に基づき、情報処理装置１００（言い換えれば、ユーザの視点の位置）から被写体までの距離を算出することが可能となる。

なお、情報処理装置１００と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の方式に基づき、情報処理装置１００と被写体との間の距離が測定されてもよい。ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、測定結果に基づき被写体までの距離（深度）を含めた画像（いわゆる距離画像）を得る方式である。また、Structured Lightとは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られるパターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、いわゆる単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、センサ２０の方式（例えば、単眼カメラ、ステレオカメラ等）は、適宜変更されてもよい。

また、センサ２０は、ユーザの前方のみならず、ユーザ自身の情報を検知してもよい。例えば、センサ２０は、情報処理装置１００がユーザの頭部に装着されたときに、撮像範囲内にユーザの眼球が位置するように保持部７０により保持される。そして、センサ２０は、撮像したユーザの右眼の眼球の画像と、右眼との間の位置関係とに基づき、右眼の視線が向いている方向を認識する。同様に、センサ２０は、撮像したユーザの左眼の眼球の画像と、左眼との間の位置関係とに基づき、左眼の視線が向いている方向を認識する。

また、センサ２０は、認識カメラとしての機能のほか、ユーザの身体の向き、傾き、動きや移動速度等、ユーザの動作に関する各種情報を検知する機能を有してもよい。具体的には、センサ２０は、ユーザの動作に関する情報として、ユーザの頭部や姿勢に関する情報、ユーザの頭部や身体の動き（加速度や角速度）、視野の方向や視点移動の速度等を検知する。例えば、センサ２０は、３軸加速度センサや、ジャイロセンサや、速度センサ等の各種モーションセンサとして機能し、ユーザの動作に関する情報を検知する。より具体的には、センサ２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を検知する。なお、センサ２０は、必ずしも情報処理装置１００に備えられることを要せず、例えば、情報処理装置１００と有線もしくは無線で接続される外部センサであってもよい。

また、図２では図示を省略するが、情報処理装置１００は、ユーザからの入力を受け付ける操作部を有してもよい。例えば、操作部は、タッチパネルやボタン等のような入力デバイスにより構成される。例えば、操作部は、メガネのテンプルに相当する位置に保持されてもよい。また、情報処理装置１００は、音声等の信号を出力する振動出力装置（スピーカー等）を外観に備えてもよい。なお、本開示に係る振動出力装置とは、情報処理装置１００に内蔵された出力部（内蔵スピーカー等）であってもよい。また、情報処理装置１００は、本開示に係る情報処理を実行する制御部３０（図３を参照）等を内蔵する。

以上のような構成に基づき、本実施形態に係る情報処理装置１００は、ユーザの頭部の動きに応じた、実空間上におけるユーザ自身の位置や姿勢の変化を認識する。また、情報処理装置１００は、認識した情報に基づき、いわゆるＡＲ技術を利用して、実空間上に位置する実オブジェクトに対して仮想的なコンテンツ（すなわち仮想オブジェクト）が重畳するように、表示部６１にコンテンツを表示する。

このとき、情報処理装置１００は、例えば、ＳＬＡＭ（simultaneous localization and mapping）と称される技術等に基づき、実空間上における自装置の位置及び姿勢を推定してもよく、かかる推定結果を仮想オブジェクトの表示処理に利用してもよい。

ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像された動画像に基づき、撮像されたシーン（または被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、環境における撮像部（図２の例ではセンサ２０、言い換えれば情報処理装置１００）の位置及び姿勢の推定とが行われる。なお、情報処理装置１００の位置及び姿勢については、上述のように、センサ２０が有する加速度センサや角速度センサ等の各種センサ機能を利用して各種情報を検出し、検出結果に基づき相対的な変化を示す情報として推定することが可能である。なお、情報処理装置１００の位置及び姿勢を推定可能であれば、その手法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみに限定されない。

また、情報処理装置１００として適用可能な頭部装着型の表示装置（ＨＭＤ）の例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。

シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。かかる構成により、シースルー型ＨＭＤは、例えばＡＲ技術に基づき、シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることができる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、いわゆるメガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した情報処理装置１００は、シースルー型ＨＭＤの一例に相当する。

また、ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。かかる構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することができる。また、ビデオシースルー型ＨＭＤは、例えばＡＲ技術に基づき、ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。

網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように画像が投影される。具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、画像が網膜上で結像する。かかる構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。かかる構成により、網膜投射型ＨＭＤは、例えばＡＲ技術に基づき、網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることができる。

上記では、ＡＲ技術を適用することを前提として、第１の実施形態に係る情報処理装置１００の外観構成の一例について説明したが、情報処理装置１００の外観構成は、上記した例に限られない。例えば、ＶＲ技術を適用することを想定した場合には、情報処理装置１００は、没入型ＨＭＤと呼ばれるＨＭＤとして構成されていてもよい。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（すなわち実空間）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。この場合、没入型ＨＭＤでは、撮像した実空間と、重畳した仮想オブジェクトの双方とを表示部に表示する制御を行う。すなわち、没入型ＨＭＤでは、透過した実空間に仮想オブジェクトを重畳するのではなく、撮像した実空間に仮想オブジェクトを重畳させ、実空間及び仮想オブジェクトの双方をディスプレイに表示する。かかる構成によっても、本開示に係る情報処理は実現可能である。

［１−３．第１の実施形態に係る情報処理装置の構成］
次に、図３を用いて、本開示に係る情報処理を実行する情報処理システム１について説明する。第１の実施形態では、情報処理システム１は、情報処理装置１００を含む。図３は、本開示の第１の実施形態に係る情報処理装置１００の構成例を示す図である。

図３に示すように、情報処理装置１００は、センサ２０と、制御部３０と、記憶部５０と、出力部６０とを含む。

センサ２０は、図２で説明したように、情報処理装置１００に関する各種情報を検知する装置や素子である。

制御部３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部に記憶されたプログラム（例えば、本開示に係る情報処理プログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図３に示すように、制御部３０は、認識部３１と、取得部３２と、出力制御部３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、制御部３０は、例えばＮＩＣ（Network Interface Card）等を用いて所定のネットワークと有線又は無線で接続し、ネットワークを介して、種々の情報を外部サーバ等から受信してもよい。

認識部３１は、各種情報の認識処理を行う。例えば、認識部３１は、センサ２０を制御し、センサ２０を用いて種々の情報を検知する。そして、認識部３１は、センサ２０が検知した情報に基づいて、種々の情報の認識処理を行う。

例えば、認識部３１は、ユーザの手が空間上のどの位置にあるかを認識する。具体的には、認識部３１は、センサ２０の一例である認識カメラによって撮像される映像に基づいて、ユーザの手の位置を認識する。かかる手認識処理については、認識部３１は、種々の既知のセンシングに係る技術を用いてもよい。

例えば、認識部３１は、センサ２０に含まれるカメラによって取得される撮像画像を解析し、実空間上に存在する実オブジェクトの認識処理を行う。認識部３１は、例えば撮像画像から抽出される画像特徴量を、記憶部５０に記憶される既知の実オブジェクト（具体的にはユーザの手など、ユーザに操作されるオブジェクト）の画像特徴量と照合する。そして、認識部３１は、撮像画像中の実オブジェクトを識別し、撮像画像における位置を認識する。また、認識部３１は、センサ２０に含まれるカメラによって取得される撮像画像を解析し、実空間の三次元形状情報を取得する。例えば、認識部３１は、同時に取得された複数画像に対するステレオマッチング法や、時系列的に取得された複数画像に対するＳｆＭ（Structure from Motion）法、ＳＬＡＭ法等を行うことで、実空間の三次元形状を認識し、三次元形状情報を取得してもよい。また、認識部３１が実空間の三次元形状情報を取得可能な場合、認識部３１は、実オブジェクトの三次元的な位置、形状、サイズ、及び姿勢を認識してもよい。

また、認識部３１は、実オブジェクトの認識に限らず、センサ２０により検知されたセンシングデータに基づいて、ユーザに関するユーザ情報、及びユーザの置かれた環境に関する環境情報を認識してもよい。

ユーザ情報とは、例えば、ユーザの行動を示す行動情報、ユーザの動きを示す動き情報、生体情報、注視情報等を含む。行動情報は、例えば、静止中、歩行中、走行中、自動車運転中、階段昇降中等ユーザの現在の行動を示す情報であり、センサ２０により取得された加速度等のセンシングデータを解析することで認識される。また、動き情報は、移動速度、移動方向、移動加速度、コンテンツの位置への接近等の情報であり、センサ２０により取得された加速度、ＧＰＳデータ等のセンシングデータ等から認識される。また、生体情報は、ユーザの心拍数、体温発汗、血圧、脈拍、呼吸、瞬目、眼球運動、脳波等の情報であり、センサ２０に含まれる生体センサによるセンシングデータに基づいて認識される。また、注視情報は、視線、注視点、焦点、両眼の輻輳等のユーザの注視に関する情報であり、センサ２０に含まれる視覚センサによるセンシングデータに基づいて認識される。

また、環境情報とは、例えば、周辺状況、場所、照度、高度、気温、風向き、風量、時刻等の情報を含む。周辺状況の情報は、センサ２０に含まれるカメラやマイクによるセンシングデータを解析することで認識される。また、場所の情報は、例えば、屋内、屋外、水中、危険な場所等、ユーザがいる場所の特性を示す情報でもよいし、自宅、会社、慣れた場所、初めて訪れる場所等、当該場所のユーザにとっての意味を示す情報でもよい。場所の情報は、センサ２０に含まれるカメラやマイク、ＧＰＳセンサ、照度センサ等によるセンシングデータを解析することで認識される。また、照度、高度、気温、風向き、風量、時刻（例えばＧＰＳ時刻）の情報も同様に、センサ２０に含まれる各種センサにより取得されるセンシングデータに基づいて認識されてもよい。

取得部３２は、実空間上においてユーザによって操作される第１のオブジェクトと、表示部６１に表示された第２のオブジェクトとの間の距離の変化を取得する。

取得部３２は、実空間上に重畳される仮想オブジェクトとして表示部６１に表示された第２のオブジェクトと、第１のオブジェクトの間の距離の変化を取得する。すなわち、第２のオブジェクトとは、ＡＲ技術等によって表示部６１内に重畳される仮想オブジェクトである。

取得部３２は、第１のオブジェクトとして、センサ２０によって検出されるユーザの手に関する情報を取得する。すなわち、取得部３２は、認識部３１によって認識されたユーザの手の空間座標位置と、表示部６１に表示された仮想オブジェクトの空間座標位置に基づいて、ユーザの手と仮想オブジェクトとの距離の変化を取得する。

取得部３２が取得する情報について、図５を用いて説明する。図５は、本開示の第１の実施形態に係る情報処理を説明するための図（１）である。図５に示す例では、ユーザの手Ｈ０１と、取得部３２が取得する距離Ｌと、仮想オブジェクトＶ０１との関係を模式的に示す。

取得部３２は、認識部３１によって手Ｈ０１が認識された場合、認識された手Ｈ０１に含まれる任意の座標ＨＰ０１を設定する。例えば、座標ＨＰ０１は、認識された手Ｈ０１の略中心等に設定される。また、取得部３２は、仮想オブジェクトＶ０１において、仮想オブジェクトＶ０１にユーザの手が触れたと認識される座標を設定する。この場合、取得部３２は、１点のみの座標ではなく、ある程度の空間の広がりを有するために複数の座標を設定する。これは、ユーザが正確に仮想オブジェクトＶ０１内の１点の座標に手で触れることは困難であるため、ある程度の空間範囲を設定し、ユーザが仮想オブジェクトＶ０１に「触れる」ことをある程度容易にするためである。

そして、取得部３２は、座標ＨＰ０１と、仮想オブジェクトＶ０１に設定された任意の座標（いずれか特定の座標でもよいし、複数の座標の中心点や重心等であってもよい）との距離Ｌを取得する。

続いて、図６及び図７を用いて、取得部３２が手Ｈ０１と仮想オブジェクトＶ０１との距離を取得する際に行われる処理について説明する。図６は、本開示の第１の実施形態に係る情報処理を説明するための図（２）である。図６では、ユーザの頭部の位置から見た、情報処理装置１００がオブジェクトを認識する画角を示している。領域ＦＶ０１は、センサ２０（認識カメラ）がオブジェクトを認識可能な範囲を示している。すなわち、情報処理装置１００は、領域ＦＶ０１に含まれるオブジェクトであれば、その空間座標を認識することができる。

続けて、図７を用いて、情報処理装置１００が認識可能な画角について説明する。図７は、本開示の第１の実施形態に係る情報処理を説明するための図（３）である。図７では、認識カメラがカバーする画角を示した領域ＦＶ０１、ディスプレイ（表示部６１）の表示領域である領域ＦＶ０２、ユーザの視野画角を示した領域ＦＶ０３の各々の関係を模式的に示している。

認識カメラが領域ＦＶ０１をカバーする場合、取得部３２は、領域ＦＶ０１の内側に手Ｈ０１が存在する場合に、手Ｈ０１と仮想オブジェクトＶ０１との距離を取得可能となる。一方、取得部３２は、領域ＦＶ０１の外側に手Ｈ０１が存在する場合には手Ｈ０１を認識できないため、手Ｈ０１と仮想オブジェクトＶ０１との距離が取得できない。なお、後述するように、領域ＦＶ０１に外側に手Ｈ０１が存在する場合と、内側に手Ｈ０１が存在する場合とでは、ユーザは、異なる音響フィードバックを受けることができるため、手Ｈ０１が情報処理装置１００に認識されているか否かを判断することができる。

出力制御部３３は、取得部３２によって取得された距離の変化に基づいて、出力信号の態様を連続的に変化させる第１の制御を行う。

例えば、出力制御部３３は、出力信号として、振動出力装置に音声を出力させるための信号を出力する。振動出力装置とは、例えば、情報処理装置１００が有する音響出力部６２や、ユーザが装着するイヤホンや、情報処理装置１００と通信可能なワイヤレススピーカー等である。

出力制御部３３は、第１の制御として、取得部３２によって取得された距離の変化に基づいて出力する音声信号の態様を連続的に変化させる制御を行う。具体的には、出力制御部３３は、取得部３２によって取得された距離の変化に基づいて、出力する音声の音量、周期もしくは周波数の少なくともいずれか一つを連続的に変化させる。すなわち、出力制御部３３は、ユーザの手と仮想オブジェクトとの距離の変化に応じて大きな音量を出力したり、短い周期で効果音を出力したりする等の音響フィードバックを行う。なお、連続的な変化とは、図１で示したように、ユーザの手が仮想オブジェクトへ近づくことに伴う一方向の変化（図１の例では音量の上昇や周期の増加など）をいう。連続的な変化には、図１で示したように、所定の距離ごとに段階的に音量が増加することや、周期が増加していくこと等を含む。

なお、出力制御部３３は、第１のオブジェクトと第２のオブジェクトとの間の距離が所定閾値以下となった場合、第１の制御を停止してもよい。例えば、出力制御部３３は、ユーザの手と仮想オブジェクトとが触れたと認識される距離まで到達した際には、連続的に出力を変化させる音響フィードバックを停止し、例えば、ユーザの手と仮想オブジェクトとが触れたことを示す特定の効果音を出力してもよい。

出力制御部３３は、例えば、予め定義された距離の変化に基づいて、出力する音量や周期等を決定してもよい。すなわち、出力制御部３３は、手と仮想オブジェクトとの距離が短くなるにつれて、連続的に音量等が変化するに設定を行う定義ファイルを読み込み、出力する音声信号を調整してもよい。例えば、出力制御部３３は、記憶部５０に記憶された定義ファイルを参照して出力を制御する。より具体的には、出力制御部３３は、記憶部５０に記憶された定義ファイルの定義（設定情報）を変数として参照し、出力する音声信号の音量や周期を制御する。

ここで、記憶部５０について説明する。記憶部５０は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部５０は、各種データを一時的または恒常的に記憶するための記憶領域である。例えば、記憶部５０には、情報処理装置１００が各種機能を実行するためのデータ（例えば、本開示に係る情報処理プログラム）が記憶されていてもよい。また、記憶部５０には、各種アプリケーションを実行するためのデータ（例えば、ライブラリ）や各種設定等を管理するための管理データ等が記憶されていてもよい。例えば、第１の実施形態に係る記憶部５０は、データテーブルとして出力定義データ５１を有する。

ここで、図４に、第１の実施形態に係る出力定義データ５１について説明する。図４は、本開示の第１の実施形態に係る出力定義データ５１の一例を示す図である。図４に示した例では、出力定義データ５１は、「出力定義ＩＤ」、「出力信号」、「出力態様」といった項目を有する。また、「出力態様」は、「状態ＩＤ」、「距離」、「音量」、「周期」、「音色」といった小項目を有する。

「出力定義ＩＤ」は、出力信号の態様の定義を記憶したデータを識別する識別情報である。「出力信号」は、出力制御部３３が出力する信号の種別である。「出力態様」は、具体的な出力の態様である。

「状態ＩＤ」は、第１のオブジェクトと第２のオブジェクトとの関係性がどのような状態にあるかを示した情報である。「距離」は、第１のオブジェクトと第２のオブジェクトとの具体的な距離である。なお、距離が「認識不可能」とは、例えば、ユーザの手がセンサ２０に検知されない位置にあり、オブジェクト間の距離が取得されない状態を示す。言い換えれば、距離が「認識不可能」とは、第１のオブジェクトが図７で示した領域ＦＶ０１の外側に存在する状態である。

また、図４に示すように、「状態＃２」は、第１のオブジェクトと第２のオブジェクトとの距離が「５０ｃｍ以上」であり、この状態とは、図１に示した領域Ａ０１に第１のオブジェクト（ユーザの手）が存在する状態であることを示す。同様に、「状態＃３」は、図１に示した領域Ａ０２に第１のオブジェクトが存在する状態であることを示し、「状態＃４」は、図１に示した領域Ａ０３に第１のオブジェクトが存在する状態であることを示し、「状態＃５」は、図１に示した領域Ａ０４に第１のオブジェクトが存在する状態であることを示す。

「音量」は、対応する状態において、どのような音量で信号を出力するかを示す情報である。なお、図４の例では、音量の項目に「音量＃１」といった概念的な情報が記憶される例を示しているが、実際には、音量の項目には、出力する音量を示した具体的な数値等が記憶される。これは、後述する周期や音色の項目も同様である。「周期」は、対応する状態において、どのような周期で信号を出力するかを示す情報である。「音色」は、対応する状態において、どのような音色（言い換えれば波形）で信号を出力するかを示す情報である。なお、図４での図示は省略しているが、出力定義データ５１には、音量や周期や音色以外の音声を構成しうる要素に関する情報が記憶されていてもよい。

すなわち、図４に示した例では、出力定義ＩＤ「Ｃ０１」で定義されるデータは、出力信号が「音声」に関するものであることを示している。また、状態ＩＤが「状態＃１」、すなわち、第１のオブジェクトと第２のオブジェクトとの距離が「認識不可能」な状態である場合、その出力態様は、音量が「音量＃１」であり、周期が「周期＃１」であり、音色が「音色＃１」であることを示している。なお、「状態＃１」は、第１のオブジェクトが認識されていない状態であるため、情報処理装置１００は、音声信号を出力しなくてもよい。この場合、「音量＃１」や「周期＃１」といった項目には、音量や周期を発生させないことを示す情報が記憶される。

また、図４に示した例では、音声の出力態様として、５段階の状態に基づいて音量等が連続的に変化する例を示したが、音声の出力態様はこの例に限られない。すなわち、出力制御部３３は、第１のオブジェクトと第２のオブジェクトとの距離と、出力する音量等が連動して連続的に変化するような出力制御を行ってもよい。

出力部６０は、表示部６１と、音響出力部６２とを有し、出力制御部３３の制御を受けて、種々の情報を出力する。例えば、表示部６１は、透過した実空間に重畳させた仮想オブジェクトを表示する。また、音響出力部６２は、音声信号を出力する。

［１−４．第１の実施形態に係る情報処理の手順］
次に、図８乃至図１０を用いて、第１の実施形態に係る情報処理の手順について説明する。図８は、本開示の第１の実施形態に係る処理の流れを示すフローチャート（１）である。

図８に示すように、情報処理装置１００は、まず、「前フレームの状態」という変数に対して、「状態＃１」を入力することで、音響フィードバックの初期化を行う（ステップＳ１０１）。図８の例では、「状態＃１」である場合、情報処理装置１００は、一旦、音響フィードバックの再生を停止させる（ステップＳ１０２）。

次に、図９を用いて、情報処理装置１００が音響フィードバックを実行する際の情報処理の手順について説明する。図９は、本開示の第１の実施形態に係る処理の流れを示すフローチャート（２）である。

まず、情報処理装置１００は、センサ２０を用いて、ユーザの手の位置が取得可能か否かを判定する（ステップＳ２０１）。ユーザの手の位置を取得できない場合（ステップＳ２０１；Ｎｏ）、情報処理装置１００は、記憶部５０内の出力定義データ５１を参照し、ユーザの手の位置を取得可能できないという状況に対応する状態である「状態＃１」を、変数「現フレームの状態」に代入する（ステップＳ２０２）。

一方、ユーザの手の位置を取得できた場合（ステップＳ２０１；Ｙｅｓ）、情報処理装置１００は、重畳物の表面（例えば、図５で示した仮想オブジェクトＶ０１に手Ｈ０１が触れたと認識される範囲）と手の位置との距離Ｌを求める（ステップＳ２０３）。さらに、情報処理装置１００は、距離Ｌが５０ｃｍ以上であるか否かを判定する（ステップＳ２０３）。

距離Ｌが５０ｃｍ以上である場合（ステップＳ２０４；Ｙｅｓ）、情報処理装置１００は、出力定義データ５１を参照し、距離Ｌが５０ｃｍ以上であるという状況に対応する状態である「状態＃２」を、変数「現フレームの状態」に代入する（ステップＳ２０５）。

一方、距離Ｌが５０ｃｍ以上でない場合（ステップＳ２０４；Ｎｏ）、情報処理装置１００は、さらに、距離Ｌが２０ｃｍ以上であるか否かを判定する（ステップＳ２０６）。距離Ｌが２０ｃｍ以上である場合（ステップＳ２０６；Ｙｅｓ）、情報処理装置１００は、出力定義データ５１を参照し、距離Ｌが２０ｃｍ以上であるという状況に対応する状態である「状態＃３」を、変数「現フレームの状態」に代入する（ステップＳ２０７）。

一方、距離Ｌが２０ｃｍ以上でない場合（ステップＳ２０６；Ｎｏ）、情報処理装置１００は、さらに、重畳物と手が接触している（すなわち、距離Ｌが０である）か否かを判定する（ステップＳ２０８）。重畳物と手が接触していない場合（ステップＳ２０８；Ｎｏ）、情報処理装置１００は、出力定義データ５１を参照し、距離Ｌが２０ｃｍ未満で重畳物と手が接触していないという状況に対応する状態である「状態＃４」を、変数「現フレームの状態」に代入する（ステップＳ２０９）。

一方、重畳物と手が接触している場合（ステップＳ２０８；Ｙｅｓ）、情報処理装置１００は、出力定義データ５１を参照し、重畳物と手が接触しているという状況に対応する状態である「状態＃５」を、変数「現フレームの状態」に代入する（ステップＳ２１０）。

そして、情報処理装置１００は、「現フレームの状態」と、「前フレームの状態」とが異なるか否かを判定する。情報処理装置１００は、かかる判定の結果に応じて、音響フィードバックを行う。音響フィードバックの実行について、図１０を用いて説明する。

図１０は、本開示の第１の実施形態に係る処理の流れを示すフローチャート（３）である。図９のステップＳ２１１において、「現フレームの状態」と「前フレームの状態」とが異なると判定した場合（ステップＳ２１１；Ｙｅｓ）、情報処理装置１００は、変数「前フレームの状態」に「現フレームの状態」を代入する（ステップＳ３０１）。

なお、図９のステップＳ２１１において、「現フレームの状態」と「前フレームの状態」とが同じと判定した場合（ステップＳ２１１；Ｎｏ）、情報処理装置１００は、ステップＳ３０１の処理をスキップする。

そして、情報処理装置１００は、各状態に対応した音響フィードバックのリピート再生を開始する（ステップＳ３０２）。リピート再生とは、例えば、継続的な周期で効果音を出力し続けることをいう。情報処理装置１００は、上記図９及び図１０の処理を、センサ２０が撮像するフレーム（例えば、毎秒３０回や毎秒６０回）ごとに繰り返す。

（２．第２の実施形態）
［２−１．第２の実施形態に係る情報処理の概要］
次に、第２の実施形態について説明する。第１の実施形態では、情報処理装置１００が、センサ２０（認識カメラ）が認識可能な画角範囲内に存在するユーザの手と、実空間上の重畳された物体との距離を取得し、取得した距離に応じた音響フィードバックを行う例を示した。第２の実施形態では、認識カメラが認識可能な画角範囲外に存在するユーザの手が、新たに画角に入り込むような状況に対して音響フィードバックが行われる例を示す。

図１１は、本開示の第２の実施形態に係る情報処理を説明するための図（１）である。図１１は、図７と同様、情報処理装置１００が認識可能な画角を概念的に示す図である。

ここで、第２の実施形態では、ユーザの視野画角を示した領域ＦＶ０３よりも、認識カメラのカバーする領域ＦＶ０４が広いものとする。なお、図１１で示す領域ＦＶ０５は、第２の実施形態に係るディスプレイの表示領域である。

図１１に示すように、ユーザの視野画角である領域ＦＶ０３よりも、認識カメラのカバーする領域ＦＶ０４が広い場合、ユーザは、自身の手が見えないにもかかわらず、情報処理装置１００に手の存在が認識される可能性がある。一方、図７のように、領域ＦＶ０３よりも、認識カメラのカバーする領域ＦＶ０２が狭い場合、ユーザは、自身の手が見えているにもかかわらず、情報処理装置１００に手の存在が認識されない可能性がある。すなわち、ＡＲ技術等のように実空間に存在するオブジェクトを認識する技術においては、ユーザの知覚と、情報処理装置１００の認識とに齟齬が生じる場合がある。このため、ユーザは、自身の手が認識されているか否かを不安に感じたり、せっかく操作を行っても認識が行われていなかったりするなど、体験を損なう場合がある。

そこで、第２の実施形態に係る情報処理では、ユーザの手と実空間上に重畳された物体との距離に基づく音響フィードバックのみならず、ユーザの手の認識に応じて、音響フィードバックを行う。これにより、ユーザは、自身の手がどのように情報処理装置１００に認識されているかを音響的に判断できるので、ＡＲ技術等において正確な操作を行うことができる。以下、第２の実施形態に係る情報処理を行う情報処理システム２について説明する。

［２−２．第２の実施形態に係る情報処理装置の構成］
図１２を用いて、本開示に係る情報処理を実行する情報処理システム２について説明する。第２の実施形態では、情報処理システム２は、情報処理装置１００ａを含む。図１２は、本開示の第２の実施形態に係る情報処理装置１００ａの構成例を示す図である。なお、第１の実施形態と共通する構成については、説明を省略する。

第２の実施形態に係る情報処理装置１００ａは、記憶部５０Ａ内に出力定義データ５１Ａを有する。図１３に、第２の実施形態に係る出力定義データ５１Ａについて説明する。図１３は、本開示の第２の実施形態に係る出力定義データ５１Ａの一例を示す図である。図１３に示した例では、出力定義データ５１は、「出力定義ＩＤ」、「出力信号」、「出力態様」といった項目を有する。また、「出力態様」は、「状態ＩＤ」、「認識状態」、「音量」、「周期」、「音色」といった小項目を有する。

「認識状態」は、ユーザによって操作される第１のオブジェクト（例えばユーザの手）が、どのように情報処理装置１００ａに認識されているかを示す。例えば、「認識不可能」とは、第１のオブジェクトが情報処理装置１００ａから認識されていない状態を示す。また、「カメラ範囲外」とは、認識カメラの画角外に第１のオブジェクトが存在する場合を示す。なお、「カメラ範囲外」であり、かつ、情報処理装置１００ａが第１のオブジェクトを認識できている場合とは、例えば、第１のオブジェクトが何らかの信号（ペアリングに係る通信など）を発することにより、カメラでは認識できていないものの、他のセンサによって第１のオブジェクトが検知されている状態をいう。

また、「カメラ範囲内」とは、認識カメラの画角内に第１のオブジェクトが存在する場合を示す。また、「ユーザの視線範囲内」とは、ユーザの視覚に相当する画角で第１のオブジェクトを認識できている場合を示す。なお、ユーザの視覚に相当する画角とは、例えば、予め定義された、一般的に想定される人間の平均的な視界の画角等であってもよい。また、「ディスプレイ画角内」とは、情報処理装置１００ａの表示部６１に表示される範囲の画角内に第１のオブジェクトが存在する場合を示す。

すなわち、第２の実施形態に係る情報処理では、情報処理装置１００ａが第１のオブジェクトを認識した状態（言い換えれば、オブジェクトの位置情報）に応じて、音声信号の出力を制御する。かかる処理を、第１の実施形態と区別するため「第２の制御」と称する。

例えば、第２の実施形態に係る取得部３２は、表示部６１の画角を超える検出範囲を有するセンサ２０を用いて、第１のオブジェクトの位置を示す位置情報を取得する。具体的には、取得部３２は、ユーザから見て表示部６１の画角より広い検出範囲を有するセンサ２０を用いて、第１のオブジェクトの位置を示す位置情報を取得する。より具体的には、取得部３２は、表示部６１のような透過ディスプレイに表示される画角（言い換えれば、ユーザの視野角）より広い検出範囲を有するセンサ２０を用いる。すなわち、取得部３２は、ディスプレイに表示されておらず、ユーザが認識しにくいユーザの手の動き等を取得する。そして、第２の実施形態に係る出力制御部３３は、取得部３２によって取得された位置情報に基づいて、出力信号の態様を変化させる第２の制御を行う。言い換えれば、出力制御部３３は、取得された位置情報に基づいて、振動出力装置からの振動出力を変化させる。

例えば、出力制御部３３は、第２の制御として、センサ２０の検出範囲の境界への第１のオブジェクトの接近に応じて出力信号の態様を連続的に変化させる。すなわち、出力制御部３３は、センサ２０の検出範囲の境界への第１のオブジェクトの接近に応じて、振動出力装置からの振動出力を変化させる。これにより、ユーザは、センサ２０から手が検出されなくなりそうな状態であること等を知覚することができる。

詳細は後述するが、出力制御部３３は、第１のオブジェクトが、表示部６１の画角外からセンサ２０の検出範囲の境界へ接近する場合と、表示部６１の画角内からセンサの検出範囲の境界へ接近する場合とで、異なる態様の出力信号を出力するよう制御する。言い換えれば、出力制御部３３は、表示部６１の画角外からセンサ２０の検出範囲の境界へ接近する場合の振動出力と、表示部６１の画角内からセンサ２０の検出範囲の境界へ接近する場合の振動出力を異ならせる。

また、取得部３２は、第１のオブジェクトのみならず、第２のオブジェクトの表示部６１における位置情報を取得してもよい。この場合、出力制御部３３は、表示部６１の画角内から、表示部６１の画角内と画角外との境界の近傍への第２のオブジェクトの接近に応じて、出力信号の態様を変化させる。

また、取得部３２は、第１のオブジェクトがセンサ２０によって検出不可能な状態から、センサ２０によって検出可能な状態に遷移したことを示す情報を取得してもよい。そして、出力制御部３３は、第１のオブジェクトがセンサ２０によって検出可能な状態に遷移したことを示す情報が取得された場合に、振動出力装置からの振動出力（出力信号の態様）を変化させてもよい。具体的には、出力制御部３３は、センサ２０がユーザの手を新たに検知した場合に、その旨を示す効果音を出力してもよい。これにより、ユーザは、自身の手が認識されているか否かという不安な状態を払拭することができる。

なお、後述するように、出力制御部３３は、第１の制御では音声信号を出力し、第２の制御では異なる種別の信号（例えば、振動に係る信号）を出力することで、第１の制御と第２の制御とを併用した場合であっても、双方の制御をユーザに別々に知覚させることができる。また、出力制御部３３は、第１の制御における音声信号の音色と、第２の制御における音声信号の音色とを異なるものにするなどの制御を行ってもよい。

上記のように、出力制御部３３は、第１のオブジェクトや第２のオブジェクトの位置情報を取得することで、例えば、ディスプレイ画角内やカメラ画角内から第１のオブジェクトが外れてしまいそうな状態をユーザに通知することができる。この点について、図１４及び図１５を用いて説明する。

図１４は、本開示の第２の実施形態に係る情報処理を説明するための図（２）である。図１４は、ディスプレイ画角である領域ＦＶ０５に、ユーザの手Ｈ０１と、仮想オブジェクトＶ０２が表示されている状態を示す。図１４の例では、ユーザは、ＡＲ空間において、ユーザの手Ｈ０１を利用して移動可能な仮想オブジェクトＶ０２を保持しているものとする。すなわち、ユーザは、表示部６１内において、自身の手Ｈ０１を動かすことで、仮想オブジェクトＶ０２を動かすことができる。

ユーザが仮想オブジェクトＶ０２を画面外近傍に動かした状態を図１５に示す。図１５は、本開示の第２の実施形態に係る情報処理を説明するための図（３）である。図１５では、ユーザが仮想オブジェクトＶ０２を画面外近傍に動かしたことにより、仮想オブジェクトＶ０２が領域ＦＶ０５外に移動されようとする状態を示す。

仮想オブジェクトＶ０２は、表示部６１内においてのみ実空間上に重畳されるため、領域ＦＶ０５外に移動された場合、表示が消えてしまう。このため、情報処理装置１００ａは、ユーザによる仮想オブジェクトＶ０２の移動に伴い、音響信号を出力するように制御してもよい。例えば、情報処理装置１００ａは、仮想オブジェクトＶ０２の認識状態（言い換えれば、ユーザの手Ｈ０１の認識状態）に応じて、画面外に近づいたことを示す警告音のような音声を出力してもよい。これにより、ユーザは、仮想オブジェクトＶ０２が画面外に外れようとしている状態を容易に把握することができる。このように、情報処理装置１００ａは、オブジェクトの認識状態に応じて音声の出力を制御することで、ユーザの空間の認識性を向上させることができる。

［２−３．第２の実施形態に係る情報処理の手順］
次に、図１６乃至図１８を用いて、第２の実施形態に係る情報処理の手順について説明する。図１６は、本開示の第２の実施形態に係る処理の流れを示すフローチャート（１）である。

図１６に示すように、情報処理装置１００ａは、まず、「前フレームの状態」という変数に対して、「状態＃６」を入力することで、音響フィードバックの初期化を行う（ステップＳ４０１）。図１６の例では、情報処理装置１００ａは、「状態＃６」に対応した音響フィードバックのリピート再生を開始する（ステップＳ４０２）。なお、情報処理装置１００ａは、定義された内容によっては、図８と同様に、音響フィードバックを停止させてもよい。

次に、図１７を用いて、情報処理装置１００ａが音響フィードバックを実行する際の情報処理の手順について説明する。図１７は、本開示の第２の実施形態に係る処理の流れを示すフローチャート（２）である。

まず、情報処理装置１００ａは、センサ２０を用いて、ユーザの手の位置が取得可能か否かを判定する（ステップＳ５０１）。ユーザの手の位置を取得できない場合（ステップＳ５０１；Ｎｏ）、情報処理装置１００ａは、出力定義データ５１Ａを参照し、ユーザの手の位置を取得可能できないという状況に対応する状態である「状態＃６」を、変数「現フレームの状態」に代入する（ステップＳ５０２）。

一方、ユーザの手の位置を取得できた場合（ステップＳ５０１；Ｙｅｓ）、情報処理装置１００ａは、手の位置が認識カメラの画角の端よりも内側であるか否かを判定する（ステップＳ５０３）。

手の位置が認識カメラの画角の端よりも内側でない場合（ステップＳ５０３；Ｎｏ）、情報処理装置１００ａは、出力定義データ５１Ａを参照し、手の位置が認識カメラの範囲外であるという状況に対応する状態である「状態＃７」を、変数「現フレームの状態」に代入する（ステップＳ５０４）。

一方、手の位置が認識カメラの画角の端よりも内側である場合（ステップＳ５０３；Ｙｅｓ）、情報処理装置１００ａは、さらに、手の位置がユーザの視覚内であるか否かを判定する（ステップＳ５０５）。

手の位置がユーザの視覚内でない場合（ステップＳ５０５；Ｎｏ）、情報処理装置１００ａは、出力定義データ５１Ａを参照し、認識カメラ範囲内であって、ユーザの視野画角外であるという状況に対応する状態である「状態＃８」を、変数「現フレームの状態」に代入する（ステップＳ５０６）。

一方、手の位置がユーザの視覚内である場合（ステップＳ５０５；Ｙｅｓ）、情報処理装置１００ａは、さらに、手の位置がディスプレイ画角に入るか否かを判定する（ステップＳ５０７）。

手の位置がディスプレイ画角に入らない場合（ステップＳ５０７；Ｎｏ）、情報処理装置１００ａは、出力定義データ５１Ａを参照し、手の位置がディスプレイ画角外であって、ユーザの視野範囲内であるという状況に対応する状態である「状態＃９」を、変数「現フレームの状態」に代入する（ステップＳ５０８）。

一方、手の位置がディスプレイ画角に入る場合（ステップＳ５０７；Ｙｅｓ）、情報処理装置１００ａは、出力定義データ５１Ａを参照し、手の位置がディスプレイ画角内であるという状況に対応する状態である「状態＃１０」を、変数「現フレームの状態」に代入する（ステップＳ５０９）。

そして、情報処理装置１００ａは、「現フレームの状態」と、「前フレームの状態」とが異なるか否かを判定する。情報処理装置１００ａは、かかる判定の結果に応じて、音響フィードバックを行う。音響フィードバックの実行について、図１８を用いて説明する。

図１８は、本開示の第２の実施形態に係る処理の流れを示すフローチャート（３）である。図１７のステップＳ５１０において、「現フレームの状態」と「前フレームの状態」とが異なると判定した場合（ステップＳ５１０；Ｙｅｓ）、情報処理装置１００ａは、変数「前フレームの状態」に「現フレームの状態」を代入する（ステップＳ６０１）。

なお、図１７のステップＳ５１０において、「現フレームの状態」と「前フレームの状態」とが同じと判定した場合（ステップＳ５１０；Ｎｏ）、情報処理装置１００ａは、ステップＳ６０１の処理をスキップする。

そして、情報処理装置１００ａは、各状態に対応した音響フィードバックのリピート再生を開始する（ステップＳ６０２）。リピート再生とは、例えば、継続的な周期で効果音を出力し続けることをいう。情報処理装置１００ａは、上記図１７及び図１８の処理を、センサ２０が撮像するフレーム（例えば、毎秒３０回や毎秒６０回）ごとに繰り返す。

（３．第３の実施形態）
［３−１．第３の実施形態に係る情報処理システムの構成］
次に、第３の実施形態について説明する。第３の実施形態に係る本開示の情報処理は、音声信号以外の信号の出力を制御する。

図１９を用いて、第３の実施形態に係る情報処理システム３について説明する。図１９は、本開示の第３の実施形態に係る情報処理システム３の構成例を示す図である。図１９に示すように、第３の実施形態に係る情報処理システム３は、情報処理装置１００ｂ及びリストバンド８０を含む。なお、第１の実施形態又は第２の実施形態と共通する構成については、説明を省略する。

リストバンド８０は、ユーザの手首に装着されるウェアラブルデバイスである。リストバンド８０は、情報処理装置１００ｂからの制御信号を受信し、制御信号に応じて振動する機能を有する。すなわち、リストバンド８０は、本開示に係る振動出力装置の一例である。

情報処理装置１００ｂは、振動出力部６３を有する。振動出力部６３は、例えば振動モータ等により実現され、出力制御部３３の制御に応じて振動する。例えば、振動出力部６３は、出力制御部３３から出力される振動信号に応じて、所定の周期や所定の振幅力を有する振動を発生する。すなわち、振動出力部６３は、本開示に係る振動出力装置の一例である。

また、記憶部５０には、例えば第１のオブジェクトと第２のオブジェクトとの距離の変化に応じた振動信号の出力の周期や大きさ（第１の実施形態で示した「第１の制御」に対応する）が記憶された定義ファイルが記憶される。また、記憶部５０には、例えば第１のオブジェクトの認識状態に応じた振動信号の出力の周期や大きさの変化に関する情報（この情報に基づく制御は、第２の実施形態で示した「第２の制御」に対応する）が記憶された定義ファイルが記憶される。

そして、第３の実施形態に係る出力制御部３３は、出力信号として、振動出力装置に振動を発生させるための信号を出力する。具体的には、出力制御部３３は、上記の定義ファイルを参照し、振動出力部６３や、リストバンド８０を振動させるための振動信号を出力するよう制御する。すなわち、第３の実施形態では、音声のみならず、振動によるユーザへのフィードバックを行う。これにより、情報処理装置１００ｂは、ユーザの視覚や聴覚によらず、触覚による知覚を可能とするので、ユーザの空間の認識性をより向上させることができる。また、情報処理装置１００ｂによれば、例えば聴覚が不自由なユーザに対しても適切なフィードバックを行うことができるので、幅広いユーザに本開示に係る情報処理を提供することができる。

（４．第４の実施形態）
［４−１．第４の実施形態に係る情報処理システムの構成］
次に、第４の実施形態について説明する。第４の実施形態に係る本開示の情報処理は、第１のオブジェクトとして、ユーザの手以外のオブジェクトを認識する。

図２０を用いて、第４の実施形態に係る情報処理システム４について説明する。図２０は、本開示の第４の実施形態に係る情報処理システム４の構成例を示す図である。図２０に示すように、第４の実施形態に係る情報処理システム４は、情報処理装置１００及びコントローラＣＲ０１を含む。なお、第１の実施形態、第２の実施形態又は第３の実施形態と共通する構成については、説明を省略する。

コントローラＣＲ０１は、情報処理装置１００と有線又は無線ネットワークで接続される情報機器である。コントローラＣＲ０１は、例えば、情報処理装置１００を装着したユーザが手に持って操作する情報機器であり、ユーザの手の動きや、ユーザからコントローラＣＲ０１に入力された情報を検知する。具体的には、コントローラＣＲ０１は、内蔵されるセンサ（例えば３軸加速度センサや、ジャイロセンサや、速度センサ等の各種モーションセンサ）を制御して、コントローラＣＲ０１の三次元位置や速度等を検知する。そして、コントローラＣＲ０１は、検知した三次元位置や速度等を情報処理装置１００に送信する。なお、コントローラＣＲ０１は、外部カメラ等の外部センサによって検知された自装置の三次元位置等を送信してもよい。また、コントローラＣＲ０１は、所定の通信機能に基づいて、情報処理装置１００とペアリングを行っている情報や、自装置の位置情報（座標情報）等を送信してもよい。

第４の実施形態に係る情報処理装置１００は、ユーザの手のみならず、ユーザが操作するコントローラＣＲ０１を第１のオブジェクトとして認識する。そして、情報処理装置１００は、コントローラＣＲ０１と仮想オブジェクトとの距離の変化に基づいて第１の制御を行う。あるいは、情報処理装置１００は、コントローラＣＲ０１の位置情報に基づいて第２の制御を行う。すなわち、第４の実施形態に係る取得部３２は、センサ２０によって検出されるユーザの手もしくはユーザが操作するコントローラＨＲ０１と、第２のオブジェクトとの間の距離の変化を取得する。

ここで、図２１を用いて、第４の実施形態に係る取得処理について説明する。図２１は、本開示の第４の実施形態に係る情報処理を説明するための図である。図２１に示す例では、ユーザが操作するコントローラＣＲ０１と、取得部３２が取得する距離Ｌと、仮想オブジェクトＶ０１との関係を模式的に示す。

取得部３２は、認識部３１によってコントローラＣＲ０１が認識された場合、認識されたコントローラＣＲ０１に含まれる任意の座標ＨＰ０２を特定する。座標ＨＰ０２は、予め設定されたコントローラＣＲ０１の認識ポイントであり、例えば、何らかの信号（赤外線信号等）を発することにより、センサ２０が容易に認識することのできるポイントである。

そして、取得部３２は、座標ＨＰ０２と、仮想オブジェクトＶ０１に設定された任意の座標（いずれか特定の座標でもよいし、複数の座標の中心点や重心等であってもよい）との距離Ｌを取得する。

このように、第４の実施形態に係る情報処理装置１００は、ユーザの手のみならず、ユーザが操作するコントローラＣＲ０１等の何らかのオブジェクトを認識し、認識した情報に基づいて音響フィードバックを実行してもよい。すなわち、情報処理装置１００は、様々なユーザの操作態様に応じて柔軟に音響フィードバックを実行することができる。

（５．各実施形態の変形例）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。

上記各実施形態では、情報処理装置１００（情報処理装置１００ａ及び情報処理装置１００ｂを含む）は、制御部３０等の処理部を内蔵する例を示した。しかし、情報処理装置１００は、例えば、メガネ型のインターフェイス部と、制御部３０を備えた演算部と、ユーザからの入力操作等を受け付ける操作部とに分離されてもよい。また、情報処理装置１００は、各実施形態で示したように、透過性を有し、ユーザの視線方向に保持される表示部６１を備える場合には、いわゆるＡＲグラスである。しかし、情報処理装置１００は、外部ディスプレイである表示部６１と通信を行い、表示部６１に対する表示制御を行う装置であってもよい。

また、情報処理装置１００は、表示部６１近傍に備えられたセンサ２０ではなく、他の場所に設置された外部カメラを認識カメラとして用いてもよい。例えば、ＡＲ技術では、ＡＲゴーグルを装着したユーザの全体の動きを撮像可能なように、例えばユーザが行動する場所の天井等にカメラが設置される場合がある。このような場合、情報処理装置１００は、ネットワークを介して、外部に設置されたカメラが撮像した映像を取得し、ユーザの手の位置等を認識してもよい。

また、上記各実施形態では、情報処理装置１００が、ユーザの手と仮想オブジェクトとの距離に応じた状態に基づいて、出力の態様を変化する例を示したが、必ずしも状態ごとに態様を変化させなくてもよい。例えば、情報処理装置１００は、ユーザの手と仮想オブジェクトとの距離Ｌを変数として、音量や周期や周波数等を決定するための関数に代入することにより、出力する態様を決定してもよい。

また、情報処理装置１００は、必ずしも周期的な繰り返しを発生する効果音のような態様で音声信号を出力しなくてもよい。例えば、情報処理装置１００は、ユーザの手がカメラに認識されている場合には、認識されていることを示す定常的な音声を一定に再生し続けてもよい。そして、情報処理装置１００は、ユーザの手が仮想オブジェクトの方向に動いた場合には、ユーザの手がカメラに認識されていることを示す定常的な音声と、仮想オブジェクトとの距離の変化に応じて変化する音声と、の複数の種類の音声を出力させてもよい。

また、情報処理装置１００は、距離の変化に限らず、例えば、コントローラが操作されたことや、ユーザの手が仮想オブジェクトに触れたこと等をトリガーとして、何らかの音声を出力してもよい。また、情報処理装置１００は、ユーザの手を認識した場合には比較的明るい音色の音声を出力し、ユーザの手がカメラの画角から外れそうな場合には比較的暗い音色の音声を出力するようにしてもよい。これにより、情報処理装置１００は、ＡＲ空間において視覚では認識できないインタラクションについても、音でのフィードバックを行うことができるため、ユーザの認識性を向上させることができる。

また、情報処理装置１００は、第１のオブジェクトの動きに関する情報を出力信号でフィードバックしてもよい。例えば、情報処理装置１００は、ユーザの手の動きの速度や加速度に応じて連続的に変化する音声を出力してもよい。例えば、情報処理装置１００は、ユーザの手の動きの速度が大きいほど、大きな音声を出力してもよい。

上記各実施形態では、情報処理装置１００が、フレームごとにユーザの状態を判定する例を示した。しかし、情報処理装置１００は、必ずしも全てのフレームの状態を判定することを要せず、例えば、数枚のフレームを平滑化して、数枚のフレームごとの状態を判定してもよい。

また、情報処理装置１００は、第１のオブジェクトの認識について、カメラのみならず、各種のセンシング情報を利用してもよい。例えば、第１のオブジェクトがコントローラＣＲ０１である場合、情報処理装置１００は、コントローラＣＲ０１が測定した速度や加速度、あるいは、コントローラＣＲ０１が発生させる磁界に関する情報等に基づいて、コントローラＣＲ０１の位置を認識してもよい。

また、第２のオブジェクトは必ずしも仮想オブジェクトに限らず、ユーザの手が到達すべき実空間上の何らかのポイントであってもよい。例えば、第２のオブジェクトは、ＡＲ空間において表示される、ユーザの意思を示す選択ボタン（例えば、「はい」や「いいえ」が示される仮想的なボタン）等であってもよい。また、第２のオブジェクトは、ユーザが表示部６１を介して視認できなくてもよい。すなわち、第２のオブジェクトは、ユーザの手が到達すべき何らかの座標情報が与えられていれば、その表示態様はどのようなものであってもよい。

また、情報処理装置１００は、出力する音や振動に方向性を持たせてもよい。例えば、情報処理装置１００は、ユーザの手の位置が認識できている場合、立体音響に係る技術を適用して、ユーザの手の位置から音が出力されているようにユーザに知覚されるよう、疑似的な方向性を与えてもよい。また、情報処理装置１００は、メガネのフレームに相当する保持部７０が振動機能を有する場合、ユーザの手に近い方の保持部７０を振動させるなど、振動に関する出力に方向性を与えてもよい。

また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図３に示した認識部３１及び取得部３２は統合されてもよい。

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

（６．ハードウェア構成）
上述してきた各実施形態に係る情報処理装置、リストバンド、コントローラ等の情報機器は、例えば図２２に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る情報処理装置１００を例に挙げて説明する。図２２は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が第１の実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、認識部３１等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部５０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
実空間上においてユーザによって操作される第１のオブジェクトと、表示部に表示された第２のオブジェクトとの間の距離の変化を取得する取得部と、
前記取得された距離の変化に基づいて、振動出力装置からの振動出力を連続的に変化させる第１の制御を行う出力制御部と、
を有する情報処理装置。
（２）
前記取得部は、
前記実空間上に重畳される仮想オブジェクトとして前記表示部に表示された前記第２のオブジェクトと、前記第１のオブジェクトの間の距離の変化を取得する
前記（１）に記載の情報処理装置。
（３）
前記取得部は、
センサによって検出された前記第１のオブジェクトと、前記仮想オブジェクトとして前記表示部に表示された前記第２のオブジェクトとの間の距離の変化を取得する
前記（２）に記載の情報処理装置。
（４）
前記出力制御部は、
前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が所定閾値以下となった場合、前記第１の制御を停止する
前記（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記出力制御部は、
前記第１の制御において、前記取得された距離の変化に応じた音を出力するよう前記振動出力装置を制御する
前記（１）〜（４）のいずれかに記載の情報処理装置。
（６）
前記出力制御部は、
前記取得された距離の変化に基づいて、前記振動出力装置から出力される音の音量、周期もしくは周波数の少なくともいずれか一つを連続的に変化させる
前記（５）に記載の情報処理装置。
（７）
前記取得部は、
前記ユーザから見て前記表示部の画角より広い検出範囲を有するセンサを用いて、前記第１のオブジェクトの位置を示す位置情報を取得し、
前記出力制御部は、
前記取得された位置情報に基づいて、前記振動出力を変化させる第２の制御を行う
前記（１）〜（６）のいずれかに記載の情報処理装置。
（８）
前記出力制御部は、
前記第２の制御として、前記センサの検出範囲の境界への前記第１のオブジェクトの接近に応じて前記振動出力を連続的に変化させる
前記（７）に記載の情報処理装置。
（９）
前記出力制御部は、
前記第１のオブジェクトが、前記表示部の画角外から前記センサの検出範囲の境界へ接近する場合の前記振動出力と、前記表示部の画角内から前記センサの検出範囲の境界へ接近する場合の前記振動出力とを異ならせる
前記（８）に記載の情報処理装置。
（１０）
前記取得部は、
前記第２のオブジェクトの前記表示部における位置情報を取得し、
前記出力制御部は、
前記表示部の画角内から、前記表示部の画角内と画角外との境界の近傍への前記第２のオブジェクトの接近に応じて、前記振動出力を変化させる
前記（７）〜（９）のいずれかに記載の情報処理装置。
（１１）
前記取得部は、
前記第１のオブジェクトが前記センサによって検出不可能な状態から、前記センサによって検出可能な状態に遷移したことを示す情報を取得し、
前記出力制御部は、
前記第１のオブジェクトが前記センサによって検出可能な状態に遷移したことを示す情報が取得された場合に、前記振動出力を変化させる
前記（７）〜（１０）のいずれかに記載の情報処理装置。
（１２）
前記取得部は、
センサによって検出される前記ユーザの手もしくは前記ユーザが操作するコントローラと、前記第２のオブジェクトとの間の距離の変化を取得する
前記（１）〜（１１）のいずれかに記載の情報処理装置。
（１３）
透過性を有し、前記ユーザの視線方向に保持される前記表示部をさらに備える
前記（１）〜（１２）のいずれかに記載の情報処理装置。
（１４）
コンピュータが、
実空間上においてユーザによって操作される第１のオブジェクトと、表示部に表示された第２のオブジェクトとの間の距離の変化を取得し、
前記取得された距離の変化に基づいて、振動出力装置からの振動出力を連続的に変化させる第１の制御を行う
情報処理方法。
（１５）
コンピュータを、
実空間上においてユーザによって操作される第１のオブジェクトと、表示部に表示された第２のオブジェクトとの間の距離の変化を取得する取得部と、
前記取得された距離の変化に基づいて、振動出力装置からの振動出力を連続的に変化させる第１の制御を行う出力制御部と、
として機能させるための情報処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。

１、２、３、４ 情報処理システム
１００、１００ａ、１００ｂ 情報処理装置
２０ センサ
３０ 制御部
３１ 認識部
３２ 取得部
３３ 出力制御部
５０、５０Ａ 記憶部
５１、５１Ａ 出力定義データ
６０ 出力部
６１ 表示部
６２ 音響出力部
６３ 振動出力部
８０ リストバンド
ＣＲ０１ コントローラ

Claims (15)

1. 実空間上においてユーザによって操作される第１のオブジェクトと、表示部に表示された第２のオブジェクトとの間の距離の変化を取得する取得部と、
   前記取得された距離の変化に基づいて、振動出力装置からの振動出力を連続的に変化させる第１の制御を行う出力制御部と、
   を備えた情報処理装置。
2. 前記取得部は、
   前記実空間上に重畳される仮想オブジェクトとして前記表示部に表示された前記第２のオブジェクトと、前記第１のオブジェクトの間の距離の変化を取得する
   請求項１に記載の情報処理装置。
3. 前記取得部は、
   センサによって検出された前記第１のオブジェクトと、前記仮想オブジェクトとして前記表示部に表示された前記第２のオブジェクトとの間の距離の変化を取得する
   請求項２に記載の情報処理装置。
4. 前記出力制御部は、
   前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が所定閾値以下となった場合、前記第１の制御を停止する
   請求項１に記載の情報処理装置。
5. 前記出力制御部は、
   前記第１の制御において、前記取得された距離の変化に応じた音を出力するよう前記振動出力装置を制御する
   請求項１に記載の情報処理装置。
6. 前記出力制御部は、
   前記取得された距離の変化に基づいて、前記振動出力装置から出力される音の音量、周期もしくは周波数の少なくともいずれか一つを連続的に変化させる
   請求項５に記載の情報処理装置。
7. 前記取得部は、
   前記ユーザから見て前記表示部の画角よりも広い検出範囲を有するセンサを用いて、前記第１のオブジェクトの位置を示す位置情報を取得し、
   前記出力制御部は、
   前記取得された位置情報に基づいて、前記振動出力を変化させる第２の制御を行う
   請求項１に記載の情報処理装置。
8. 前記出力制御部は、
   前記第２の制御として、前記センサの検出範囲の境界への前記第１のオブジェクトの接近に応じて前記振動出力を連続的に変化させる
   請求項７に記載の情報処理装置。
9. 前記出力制御部は、
   前記第１のオブジェクトが、前記表示部の画角外から前記センサの検出範囲の境界へ接近する場合の前記振動出力と、前記表示部の画角内から前記センサの検出範囲の境界へ接近する場合の前記振動出力を異ならせる
   請求項８に記載の情報処理装置。
10. 前記取得部は、
    前記第２のオブジェクトの前記表示部における位置情報を取得し、
    前記出力制御部は、
    前記表示部の画角内から、前記表示部の画角内と画角外との境界の近傍への前記第２のオブジェクトの接近に応じて、前記振動出力を変化させる
    請求項７に記載の情報処理装置。
11. 前記取得部は、
    前記第１のオブジェクトが前記センサによって検出不可能な状態から、前記センサによって検出可能な状態に遷移したことを示す情報を取得し、
    前記出力制御部は、
    前記第１のオブジェクトが前記センサによって検出可能な状態に遷移したことを示す情報が取得された場合に、前記振動出力を変化させる
    請求項７に記載の情報処理装置。
12. 前記取得部は、
    センサに検出される前記ユーザの手もしくは前記ユーザが操作するコントローラと、前記第２のオブジェクトとの間の距離の変化を取得する
    請求項１に記載の情報処理装置。
13. 透過性を有し、前記ユーザの視線方向に保持される前記表示部をさらに備える
    請求項１に記載の情報処理装置。
14. コンピュータが、
    実空間上においてユーザによって操作される第１のオブジェクトと、表示部に表示された第２のオブジェクトとの間の距離の変化を取得し、
    前記取得された距離の変化に基づいて、振動出力装置からの振動出力を連続的に変化させる第１の制御を行う
    情報処理方法。
15. コンピュータを、
    実空間上においてユーザによって操作される第１のオブジェクトと、表示部に表示された第２のオブジェクトとの間の距離の変化を取得する取得部と、
    前記取得された距離の変化に基づいて、振動出力装置からの振動出力を連続的に変化させる第１の制御を行う出力制御部と、
    として機能させるための情報処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。

Images