JP2017182495A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】触覚をより精度良く呈示することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
【解決手段】実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する生成部と、触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力する出力部と、を備える、情報処理装置を提供する。
【選択図】図３

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

近年、仮想現実等の分野において、仮想空間において現実感を伴う感覚をユーザへ呈示する技術が提案されている。例えば、仮想空間においてユーザが仮想物体に触れたときの触覚をユーザへ呈示する技術が提案されている。

例えば、特許文献１には、皮膚感覚のフィードバックを可能とすることのできる３次元空間座標入力装置を得るために、仮想物体表面の摩擦係数値を示す皮膚感覚生成用データを用いて、３次元情報入出力デバイスへの触覚呈示の制御量を演算し、３次元情報入出力デバイスは、触覚呈示を帯電量の制御で行うようにした技術が開示されている。

特開２０１３−１１４３２３号公報

しかしながら、触覚呈示に関する分野において、触覚をより精度良く呈示することが望ましいと考えられる。

そこで、本開示では、触覚をより精度良く呈示することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する生成部と、触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力する出力部と、を備える、情報処理装置が提供される。

また、本開示によれば、実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を、情報処理装置によって、生成することと、触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力することと、を含む情報処理方法が提供される。

また、本開示によれば、コンピュータシステムを、実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する生成部と、触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力する出力部と、として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、触覚をより精度良く呈示することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る仮想空間呈示システムのシステム構成の一例を示す説明図である。 同実施形態に係る触覚呈示装置の他の例を示す説明図である。 同実施形態に係る情報処理装置及び触覚呈示装置の機能構成の一例を示す説明図である。 ヘッドマウントディスプレイによる画像の表示の一例を示す説明図である。 各種触覚受容器について説明するための説明図である。 同実施形態に係るデータテーブル形式で表わした関数ライブラリの一例を示す説明図である。 同実施形態に係る情報処理装置が行う処理の流れの一例を示すフローチャートである。 同実施形態に係る情報処理装置が行う駆動情報生成処理の流れの一例を示すフローチャートである。 同実施形態に係る触覚呈示装置が行う処理の流れの一例を示すフローチャートである。 仮想空間における仮想手により把持された仮想棒と被接触物との接触について説明するための説明図である。 第１の変形例に係る仮想空間呈示システムのシステム構成の一例を示す説明図である。 第２の変形例に係る仮想空間呈示システムのシステム構成の一例を示す説明図である。 第３の変形例に係る仮想空間呈示システムのシステム構成の一例を示す説明図である。 第４の変形例に係る仮想空間呈示システムのシステム構成の一例を示す説明図である。 本開示に係る情報処理装置のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．仮想空間呈示システム
２．機能構成
３．動作
４．応用例
５．変形例
６．ハードウェア構成
７．まとめ

＜１．仮想空間呈示システム＞
まず、図１及び図２を参照して本実施形態に係る仮想空間呈示システム１について説明する。図１は、本開示の実施形態に係る仮想空間呈示システム１のシステム構成の一例を示す説明図である。図１に示したように、仮想空間呈示システム１は、情報処理装置２と、触覚呈示装置４と、位置姿勢検出装置６と、ヘッドフォン８と、ヘッドマウントディスプレイ１０と、を含む。仮想空間呈示システム１は、ユーザへ仮想空間を呈示するシステムの一例である。具体的には、仮想空間呈示システム１は、現実感を伴う仮想的な世界（以下、仮想世界とも呼ぶ。）をユーザへ提供する仮想現実と称される技術を利用するシステムである。

ヘッドマウントディスプレイ１０は、画像を表示する表示装置の一例である。ヘッドマウントディスプレイ１０は、仮想世界の中にいる感覚を視覚的にユーザへ呈示するために用いられる。具体的には、ヘッドマウントディスプレイ１０は、ユーザの頭部に装着された状態で利用される。ヘッドマウントディスプレイ１０は、情報処理装置２から送信される動作指示に基づいて仮想空間における各オブジェクトを示す画像を表示する。ヘッドマウントディスプレイ１０と情報処理装置２とは、有線又は無線で通信する。

また、ヘッドマウントディスプレイ１０には、ヘッドマウントディスプレイ１０を装着したユーザの頭の向きを検出するセンサが設けられてもよい。その場合には、当該センサによる検出結果は情報処理装置２へ送信され、情報処理装置２は、ユーザの頭の向きを示す情報に基づいた動作指示をヘッドマウントディスプレイ１０へ出力する。それにより、情報処理装置２は、仮想世界の中での頭の向きに応じた画像を、ヘッドマウントディスプレイ１０に表示させることができる。

ヘッドフォン８は、音声を出力する音声出力装置の一例である。ヘッドフォン８は、仮想世界の中にいる感覚を聴覚的にユーザへ呈示するために用いられる。具体的には、ヘッドフォン８は、ユーザの頭部に装着された状態で利用される。ヘッドフォン８は、情報処理装置２から送信される動作指示に基づいて仮想世界の中の音を表現するための音声を出力する。ヘッドフォン８と情報処理装置２とは、有線又は無線で通信する。

また、情報処理装置２は、ユーザの頭の向きを示す情報に基づいた動作指示をヘッドフォン８へ出力してもよい。それにより、情報処理装置２は、仮想世界の中での頭の向きに応じた音声を、ヘッドフォン８に出力させることができる。

触覚呈示装置４は、ユーザへの触覚呈示を行う装置である。触覚呈示装置４は、仮想世界の中にいる感覚を触覚的にユーザへ呈示するために用いられる。具体的には、触覚呈示装置４は、仮想空間においてユーザが仮想物体に触れたときの触覚をユーザへ呈示する。触覚呈示装置４は、ユーザの身体の一部（以下、部位とも称する。）に対して固定された状態で利用され、ユーザの部位の動きに応じて移動する。触覚呈示装置４は、例えば、図１に示したように、グローブ型であってもよい。その場合、触覚呈示装置４は、ユーザの手に装着された状態で利用され、ユーザの手の動きに応じて移動する。触覚呈示装置４は、情報処理装置２から送信される動作指示に基づいて、ユーザへ触覚として振動を知覚させることにより触覚呈示を行う。例えば、触覚呈示装置４は、振動子を備え、当該振動子の振動を、ユーザの皮膚に伝えることにより触覚呈示を行う。具体的には、触覚呈示装置４は、当該振動子の振動を発生させることにより、ユーザの上記部位へ振動を伝えることによって、ユーザへ振動を知覚させる。触覚呈示装置４と情報処理装置２とは、有線又は無線で通信する。

なお、触覚呈示装置４は、ユーザへの触覚呈示を行うことができれば、他の構成であってもよい。例えば、図２に示したペン型の触覚呈示装置４ａが仮想空間呈示システム１に適用されてもよい。触覚呈示装置４ａは、図２に示したように、ユーザの手に把持された状態で利用され、ユーザの手の動きに応じて移動する。

図１に示した位置姿勢検出装置６は、実空間内における触覚呈示装置４の位置及び姿勢を検出し、検出結果を情報処理装置２へ送信する。位置姿勢検出装置６は、撮像素子を備え、撮像処理によって得られた画像から触覚呈示装置４の位置及び姿勢を検出してもよい。位置姿勢検出装置６は、例えば、撮像処理によって得られた画像から触覚呈示装置４の特定の部分を認識し、得られた画像における当該部分の位置及び大きさに基づいて、実空間内における位置を算出してもよい。なお、撮像処理に用いる撮像素子は、可視光を受光可能な撮像素子の他、可視光領域外の波長を有する赤外線又は紫外線等の電磁波を受光可能な撮像素子であってもよい。触覚呈示装置４と情報処理装置２とは、有線又は無線で通信する。

情報処理装置２は、仮想世界の中にいる感覚をユーザへ呈示するために、ヘッドマウントディスプレイ１０、ヘッドフォン８及び触覚呈示装置４のそれぞれへ動作指示を送信する。情報処理装置２は、仮想空間に関する情報に基づいた各種動作指示を各装置へ送信する。仮想空間に関する情報は、仮想空間内における各オブジェクトに関する情報、仮想空間内における仮想音源に関する情報を含む。情報処理装置２による各種動作指示の送信のために用いられる仮想空間に関する情報は、情報処理装置２の記憶素子に予め記憶されていてもよく、情報処理装置２と異なる他の装置から情報処理装置２へ送信されてもよい。

情報処理装置２は、実空間内における操作体としてのユーザの部位の動きに応じて、当該部位に対応する座標等の基準が仮想空間内において移動するように、各種処理を行う。具体的には、情報処理装置２は、当該基準に基づいて、仮想部位をヘッドマウントディスプレイ１０に表示させてもよい。その場合、情報処理装置２は、実空間内におけるユーザの部位の動きに応じて、仮想空間内において当該部位に対応するオブジェクトである仮想部位が移動するように、各種処理を行う。仮想部位は、実空間内におけるユーザの部位の動きに応じて仮想空間内において移動される基準に基づいて表示される本開示に係る第２の仮想オブジェクトの一例である。具体的には、情報処理装置２は、位置姿勢検出装置６から送信される実空間内における触覚呈示装置４の位置及び姿勢を示す情報に基づいて、実空間内におけるユーザの手に対応する仮想空間内における仮想手が移動するように、各種処理を行う。例えば、情報処理装置２は、実空間内におけるユーザの手の動きに応じて、ヘッドマウントディスプレイ１０による仮想手の表示位置を移動させる。また、情報処理装置２は、例えば、仮想空間内において仮想手が他のオブジェクトである被接触物と接触したときに、ユーザへ知覚させる触覚を示す触覚情報を生成し、触覚呈示装置４によってユーザへ当該触覚を知覚させるための触覚呈示情報を触覚呈示装置４へ送信してもよい。それにより、触覚呈示装置４によってユーザへの触覚呈示が行われる。当該被接触物は、仮想空間内において第２の仮想オブジェクトと接触する本開示に係る第１の仮想オブジェクトの一例である。

本実施形態に係る情報処理装置２は、実空間における操作体の動きに応じて仮想空間内において移動される基準の、仮想空間内の被接触物に対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する。それにより、当該基準の被接触物に対する相対的な移動方向に応じて適切な触覚をユーザへ知覚させることができる。ゆえに、触覚をより精度良く呈示することが可能となる。以下の説明では、主として本実施形態に係る情報処理装置２について、より詳細に説明する。また、以下の説明では、情報処理装置２が、ユーザへ知覚させる触覚としての振動を示す振動情報を触覚情報として生成し、触覚呈示装置４によってユーザへ当該振動を知覚させるための触覚呈示情報を触覚呈示装置４へ送信する例について、主に説明する。

＜２．機能構成＞
続いて、本実施形態に係る情報処理装置２の機能構成の一例について、触覚呈示装置４の機能構成の一例と合わせて説明する。図３は、本実施形態に係る情報処理装置２及び触覚呈示装置４の機能構成の一例を示す説明図である。

[情報処理装置]
まず、情報処理装置２の機能構成の一例について説明する。図３に示したように、情報処理装置２は、通信部２０２と、関数記憶部２０４と、仮想位置姿勢算出部２０６と、判定部２０８と、生成部２１０と、音声出力制御部２１２と、表示制御部２１４と、を備える。

（通信部）
通信部２０２は、情報処理装置２の外部の装置と通信する。具体的には、通信部２０２は、実空間内における触覚呈示装置４の位置及び姿勢を示す情報を位置姿勢検出装置６から受信し、仮想位置姿勢算出部２０６へ出力する。また、通信部２０２は、音声出力制御部２１２及び表示制御部２１４から出力された各種動作指示をそれぞれヘッドフォン８及びヘッドマウントディスプレイ１０へ送信する。また、通信部２０２は、ユーザの頭の向きを示す情報をヘッドマウントディスプレイ１０から受信した場合には、当該情報を音声出力制御部２１２及び表示制御部２１４へ出力する。

また、通信部２０２は、触覚呈示装置４によってユーザへ振動を知覚させるための触覚呈示情報を出力する出力部としての機能を有する。具体的には、通信部２０２は、生成部２１０によって生成されたユーザへ知覚させる振動を示す振動情報を、触覚呈示情報として、触覚呈示装置４へ送信する。なお、生成部２１０によって生成される振動情報の詳細については、後述する。

（関数記憶部）
関数記憶部２０４は、生成部２１０における振動情報の生成処理のために参照されるデータを記憶する。具体的には、関数記憶部２０４は、振動情報を生成するための関数の候補の集合である関数ライブラリを記憶する。当該関数の候補は、各材質を示す情報と紐付けられて記憶される。なお、関数ライブラリの詳細については、後述する。また、関数記憶部２０４は、情報処理装置２における各種処理のために参照される他のデータを記憶してもよい。

（仮想位置姿勢算出部）
仮想位置姿勢算出部２０６は、実空間内におけるユーザの部位の動きに応じて仮想空間内において移動する仮想部位の位置及び姿勢を算出し、判定部２０８、生成部２１０、音声出力制御部２１２及び表示制御部２１４へ出力する。具体的には、情報処理装置２は、位置姿勢検出装置６から送信される実空間内における触覚呈示装置４の位置及び姿勢を示す情報に基づいて、仮想空間内における仮想部位である仮想手の位置及び姿勢を算出する。算出された仮想空間内における仮想部位である仮想手の位置及び姿勢は、実空間内におけるユーザの部位の動きに応じて仮想空間内において移動される基準に相当する。

（表示制御部）
表示制御部２１４は、ヘッドマウントディスプレイ１０による画像の表示を制御する。具体的には、表示制御部２１４は、通信部２０２によるヘッドマウントディスプレイ１０への動作指示の送信を制御することによって、ヘッドマウントディスプレイ１０による画像の表示を制御する。表示制御部２１４は、例えば、仮想空間内における各オブジェクトに関する情報に基づいて、ヘッドマウントディスプレイ１０による各オブジェクトを示す画像の表示を制御してもよい。ここで、仮想空間内における各オブジェクトに関する情報は、例えば、各オブジェクトの位置を示す情報、各オブジェクトの形状を示す情報、各オブジェクトの表面の質感を示す情報及び各オブジェクトの表面の色を示す情報のうち少なくとも１つを含んでもよい。また、表示制御部２１４は、実空間内におけるユーザの部位の動きに応じて仮想空間内において移動される基準に基づいて、仮想部位をヘッドマウントディスプレイ１０に表示させてもよい。具体的には、表示制御部２１４は、算出された仮想空間内における仮想部位である仮想手の位置及び姿勢に基づいて、仮想手をヘッドマウントディスプレイ１０に表示させてもよい。

図４は、ヘッドマウントディスプレイ１０による画像の表示の一例を示す説明図である。図４には、実空間内におけるユーザの手の動きに応じて仮想空間内において移動する仮想手Ｂ１０及び被接触物である仮想猫Ｂ２２が表示されている。表示制御部２１４は、仮想位置姿勢算出部２０６により算出された仮想手Ｂ１０の位置及び姿勢を示す情報に応じて、仮想手Ｂ１０の表示位置を移動させる。なお、表示制御部２１４は、ユーザの頭の向きを示す情報に基づいて、ヘッドマウントディスプレイ１０による画像の表示を制御してもよい。

（音声出力制御部）
図３に示した音声出力制御部２１２は、ヘッドフォン８による音声出力を制御する。具体的には、音声出力制御部２１２は、通信部２０２によるヘッドフォン８への動作指示の送信を制御することによって、ヘッドフォン８による音声出力を制御する。音声出力制御部２１２は、例えば、仮想空間内における仮想音源に関する情報に基づいて、ヘッドフォン８による音声出力を制御してもよい。具体的には、音声出力制御部２１２は、仮想空間内における仮想音源の位置に応じて、ヘッドフォン８による音声出力におけるユーザの右耳側の音量と左耳側の音量とのバランスを変化させてもよく、ユーザの右耳側の音量及び左耳側の音量の双方を増大又は減少させてもよい。なお、音声出力制御部２１２は、ユーザの頭の向きを示す情報に基づいて、ヘッドフォン８による音声出力を制御してもよい。

（判定部）
判定部２０８は、仮想空間において仮想部位と被接触物とが接触したか否かを判定し、判定結果を生成部２１０へ出力する。具体的には、判定部２０８は、仮想位置姿勢算出部２０６により算出された仮想部位の位置及び姿勢と、被接触物の位置及び姿勢との関係性に基づいて、仮想部位と被接触物とが接触したか否かを判定する。例えば、判定部２０８は、図４に示した仮想手Ｂ１０の一部と仮想猫Ｂ２２の一部が重畳した場合に、仮想手Ｂ１０と仮想猫Ｂ２２とが接触したと判定する。

（生成部）
生成部２１０は、ユーザへ知覚させる触覚を示す触覚情報を生成する。例えば、生成部２１０は、仮想部位と被接触物とが接触したときに、ユーザへ知覚させる振動を示す振動情報を生成する。具体的には、生成部２１０は、判定部２０８により仮想空間において仮想部位と被接触物とが接触したと判定された場合に、振動情報を生成する。生成された振動情報は、通信部２０２へ出力され、通信部２０２により触覚呈示装置４へ送信される。振動情報は、時間周波数及び空間周波数と振幅の関係性を示す情報を含んでもよい。以下、係る振動情報について説明する。

人が触覚として知覚する振動の周波数特性は、時間周波数及び空間周波数の２つの周波数によって表現し得る。時間周波数は、振動の時間的な変化の周期に対応する周波数である。空間周波数は、振動が検知される皮膚表面において振動が生じる箇所の空間的な密度に相当する値である。人の皮膚の表層部には、刺激を検知する触覚受容器であるマイスナー小体（ＦＡI）、パチニ小体（ＦＡII）、メルケル小体（ＳＡI）及びルフィニ終末（ＳＡII）がある。これらの各受容器による刺激の検知結果に応じた触覚が人によって感じられる。

ここで、各受容器が検知可能な振動の周波数特性は、図５に示すように、互いに異なる。図５では、各受容器についての検知可能な時間周波数及び空間周波数の範囲が示されている。図５に示したように、受容器の皮膚表面からの深さが浅いほど、検知可能な空間周波数は高い。皮膚表面において振動が生じた場合、各受容器が検知可能な時間周波数及び空間周波数における振幅の値が当該各受容器による検知量に対応する。例えば、時間周波数が低く、かつ、空間周波数が高い周波数特性における振幅の値とメルケル小体による検知量が対応し、時間周波数が高く、かつ、空間周波数が低い周波数特性における振幅の値とパチニ小体による検知量が対応する。

ゆえに、ユーザへ振動を知覚させることによって触覚呈示を行う場合において、ユーザへ知覚させる振動の時間周波数及び空間周波数と振幅の関係性に応じた触覚がユーザによって感じられる。仮想空間呈示システム１では、触覚呈示装置４は、具体的には、生成部２１０によって生成された時間周波数及び空間周波数と振幅の関係性を示す情報に対応する振動をユーザへ知覚させることにより触覚呈示を行う。従って、生成部２１０によって生成される時間周波数及び空間周波数と振幅の関係性を示す情報に応じた触覚がユーザへ呈示される。以下、生成部２１０による振動情報の生成について、より詳細に説明する。

生成部２１０は、被接触物の仮想部位と接触したと判断される部分の特性を示す情報に基づいて、振動情報を生成してもよい。例えば、生成部２１０は、被接触物の仮想部位と接触したと判断される部分の仮想的な材質を示す情報に基づいて、振動情報を生成してもよい。具体的には、生成部２１０は、関数記憶部２０４に記憶される関数ライブラリから、被接触物の仮想部位と接触したと判断される部分の仮想的な材質を示す情報と紐付けられた関数を検索し、検索された関数を用いて、振動情報を生成する。上述の通り、関数ライブラリに含まれる関数の候補は、各材質を示す情報と紐付けられて記憶される。また、各オブジェクトの仮想的な材質を示す情報は予め設定されている。生成部２１０は、仮想位置姿勢算出部２０６により算出された仮想部位の位置及び姿勢、被接触物の位置及び姿勢、各オブジェクトの材質を示す情報に基づいて、被接触物の仮想部位と接触したと判断される部分の仮想的な材質を特定する。

図６は、データテーブル形式で表した関数ライブラリＤ１０の一例を示す説明図である。図６に示したように、関数ライブラリＤ１０では、各行において、材質を示す材質ラベルｍと関数Ｒｍ（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）とが紐付けられている。例えば、材質ラベル「厚紙（粗い）」及び関数Ｒ厚紙（粗い）（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）、材質ラベル「厚紙（滑らか）」及び関数Ｒ厚紙（滑らか）（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）、並びに、材質ラベル「薄紙（粗い）」及び関数Ｒ薄紙（粗い）（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）、がそれぞれ紐付けられている。生成部２１０は、例えば、被接触物の仮想部位と接触したと判断される部分の仮想的な材質が木材（粗い）であった場合には、関数ライブラリＤ１０から材質ラベル「木材（粗い）」と紐付けられた関数Ｒ木材（粗い）（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）を検索する。仮想空間において各オブジェクトについて設定される仮想的な材質の種類は有限である場合が考えられる。ゆえに、上記のように、各材質を示す情報と紐付けられた関数の候補から検索された関数を用いて振動情報を生成することによって、振動情報の生成に用いられる情報の量を低減することができる。従って、メモリの使用量を節約することができる。なお、以下の説明では、関数Ｒｍ（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）を関数Ｒとも呼ぶ。

関数Ｒは、各パラメータ、時間周波数ｆ及び空間周波数ｋと振幅の関係性を規定する関数であり、生成部２１０は、関数Ｒに各パラメータを代入することによって、時間周波数ｆ及び空間周波数ｋと振幅の関係性を示す応答関数ｒ（ｆ、ｋ）を振動情報として生成する。各パラメータは、例えば、仮想部位と被接触物とが接触したときの、ユーザの部位に対応する仮想空間内の基準の被接触物に対する相対的な速度ｖ、当該基準の被接触物に対する相対的な移動方向θ、仮想部位が被接触物へ与える仮想的な圧力ｐ、被接触物の仮想部位と接触したと判断される部分の仮想的な温度Ｔ及び被接触物の仮想部位と接触したと判断される部分の仮想的な湿度ｈを含む。以上のように、生成部２１０は、速度ｖ、移動方向θ、圧力ｐ、温度Ｔ又は湿度ｈを示す情報に基づいて、応答関数ｒ（ｆ、ｋ）を振動情報として生成してもよい。なお、応答関数ｒ（ｆ、ｋ）の生成におけるパラメータには少なくとも移動方向θが含まれていればよく、速度ｖ、圧力ｐ、温度Ｔ及び湿度ｈの少なくとも１つは省略されてもよい。

物体に触れたときに感じる触覚は、上記各パラメータに依存して変化し得る。例えば、ゴム又は毛等の材質の物体についての触覚は、温度又は湿度に応じて変化しやすい。また、特に硬さが柔らかい材質の物体についての触覚は、当該物体に触れたときに当該物体へ与える圧力に応じて変化しやすい。また、物体へ触れる人の部位と当該物体の相対的な速度が大きいほど、当該物体の表面の細かい形状の差異を検知しにくい。以上のように、速度ｖ、圧力ｐ、温度Ｔ又は湿度ｈを示す情報に基づいて、振動情報を生成することによって、各パラメータに応じた触覚をより精度良く呈示することができる。

生成部２１０は、各パラメータのうち、速度ｖ、移動方向θ及び圧力ｐを、仮想位置姿勢算出部２０６により算出された仮想部位の位置及び姿勢を示す情報に基づいて、算出する。ここで、生成部２１０は、例えば、仮想部位の表面の被接触物の内部側へ入り込んでいる距離又は仮想部位と被接触物とが重畳している領域の体積に応じて圧力ｐを算出してもよい。なお、生成部２１０は、圧力ｐとして、実空間におけるユーザの部位に生じている圧力を測定して得られる値を用いてもよい。例えば、加圧式タッチパネルを用いてユーザの指の動きが検出されるように構成される場合において、実空間におけるユーザの指に生じる圧力を、当該加圧式タッチパネルにより測定して得られる値を圧力ｐとして用いてもよい。

また、生成部２１０は、各パラメータのうち、温度Ｔ及び湿度ｈとして、仮想空間において予め設定されている値を用いてもよい。なお、生成部２１０は、仮想部位と接触した被接触物について温度又は湿度が設定されていない場合は、温度Ｔ又は湿度ｈとして、仮想空間における被接触物の周囲の環境について設定されている値を用いてもよい。また、生成部２１０は、温度Ｔ又は湿度ｈとして、固定値を用いてもよい。

本実施形態に係る生成部２１０は、実空間内における操作体の動きに応じて仮想空間内において移動される基準の、当該仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する。具体的には、生成部２１０は、実空間内におけるユーザの部位の動きに応じて仮想空間内において移動される基準の、当該仮想空間内の被接触物に対する相対的な移動方向に基づいて、ユーザへ知覚させる振動を示す振動情報を生成する。また、生成部２１０は、被接触物と仮想部位が接触していると判断された状態で、上記基準の被接触物に対する相対的な移動方向に基づいて振動情報を生成してもよい。実空間における物体の表面形状は、異方性を有する場合がある。そのような場合には、当該物体の表面を触った時に感じる触覚は、当該物体と人の部位とが接触するときの人の部位の当該物体に対する相対的な移動方向によって異なる場合がある。ゆえに、実空間内におけるユーザの部位の動きに応じて仮想空間内において移動される基準の、当該仮想空間内の被接触物に対する相対的な移動方向に基づいて、ユーザへ知覚させる振動を示す振動情報を生成することによって、触覚をより精度良く呈示することができる。

例えば、図４に示した仮想手Ｂ１０と仮想猫Ｂ２２とが接触していると判断されたときの仮想手Ｂ１０に対応する基準の仮想猫Ｂ２２に対する相対的な移動方向が方向Ｃ１２であった場合と、方向Ｃ１２と異なる方向Ｃ１４であった場合とで、生成部２１０は、異なる振動情報を生成してもよい。実空間における猫の表面には毛が生えている場合があるので、猫の表面形状は異方性を有し得る。よって、仮想手Ｂ１０に対応する基準の仮想猫Ｂ２２に対する相対的な移動方向に基づいて、振動情報を生成することによって、猫を触った時に感じる触覚をより精度良く呈示することができる。

また、生成部２１０は、仮想部位に対応する基準の被接触物に対する相対的な移動方向が第１の方向である場合と、当該第１の方向とは略逆方向の第２の方向である場合と、で異なる振動情報を生成してもよい。例えば、図４に示した仮想手Ｂ１０と仮想猫Ｂ２２とが接触したと判断されたときの仮想手Ｂ１０に対応する基準の仮想猫Ｂ２２に対する相対的な移動方向が方向Ｃ１２であった場合と、方向１２とは略逆方向の方向Ｃ１６であった場合とで、生成部２１０は、異なる振動情報を生成してもよい。実空間における猫の表面には毛が一方向に沿って生えている場合がある。毛の生える方向に沿って手を動かしながら猫の表面を触る場合において、手を動かす方向が互いに逆方向である場合には、異なった触覚を感じる場合がある。具体的には、毛の根本から毛先へ向かう方向に手を動かす場合と、毛を逆立てる方向に手を動かす場合とで、異なった触覚を感じ得る。よって、仮想手Ｂ１０に対応する基準の仮想猫Ｂ２２に対する相対的な移動方向が方向Ｃ１２であった場合と、方向Ｃ１６であった場合と、で異なる振動情報を生成することによって、猫を触った時に感じる触覚をさらに精度良く呈示することができる。

生成部２１０は、ユーザの部位の発汗の度合いを示す情報に基づいて、振動情報を生成してもよい。その場合には、例えば、ユーザの部位の発汗量を検出するセンサが設けられ、当該センサから検出結果が情報処理装置２へ送信されるように構成され得る。生成部２１０は、当該センサから送信される発汗量を示す情報に基づいて、振動情報を生成する。また、生成部２１０は、ユーザの心拍数等の生体情報に基づいてユーザの部位の発汗量を推定し、推定された発汗量に基づいて振動情報を生成してもよい。その場合には、例えば、ユーザの心拍数等のバイタル情報を検出するセンサが設けられ、当該センサから検出結果が情報処理装置２へ送信されるように構成され得る。また、生成部２１０は、発汗量の推定において、撮像処理によって得られたユーザの顔の画像からユーザの表情又は目の動きを示す情報を抽出し、当該情報に基づいて、ユーザの部位の発汗量を推定してもよい。その場合には、例えば、ユーザの顔を撮像する撮像装置が設けられ、当該撮像装置からユーザの顔の画像を示す情報が情報処理装置２へ送信されるように構成され得る。以上のように、ユーザの部位の発汗の度合いを示す情報に基づいて、振動情報を生成することによって、ユーザの部位の発汗の度合いに応じた触覚をより精度良く呈示することができる。

また、生成部２１０は、関数の候補のうち仮想部位と接触する可能性を有する被接触物の仮想的な材質を示す情報と紐付けられた関数の候補から、関数を検索してもよい。生成部２１０は、例えば、仮想空間のシーンに応じて、仮想部位と接触する可能性を有する被接触物の仮想的な材質を特定してもよい。具体的には、生成部２１０は、仮想空間のシーンが森のシーンである場合に、木材を仮想部位と接触する可能性を有する被接触物の仮想的な材質として特定する。その場合には、生成部２１０は、図６に示した関数ライブラリＤ１０のうち材質ラベル「木材（粗い）」及び「木材（滑らか）」にそれぞれ対応する関数Ｒ木材（粗い）（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）及び関数Ｒ木材（滑らか）（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）から関数を検索する。また、生成部２１０は、ヘッドマウントディスプレイ１０に表示されているオブジェクトの仮想的な材質を仮想部位と接触する可能性を有する被接触物の仮想的な材質として特定してもよい。以上のように、関数の候補のうち仮想部位と接触する可能性を有する被接触物の仮想的な材質を示す情報と紐付けられた関数の候補から、関数を検索することによって、計算処理の負荷を低減することができる。

また、生成部２１０は、仮想部位の、被接触物と接触したと判断される部分の特性を示す情報に基づいて、振動情報を生成してもよい。例えば、生成部２１０は、仮想部位の、被接触物と接触したと判断される部分の仮想的な材質を示す情報に基づいて、振動情報を生成してもよい。例えば、生成部２１０は、関数ライブラリＤ１０から、仮想部位の被接触物と接触したと判断される部分の仮想的な材質を示す情報と紐付けられた関数を検索し、検索された関数を用いて、振動情報を生成する。具体的には、生成部２１０は、関数ライブラリＤ１０から、被接触物の仮想部位と接触したと判断される部分の仮想的な材質を示す情報と紐付けられた関数及び仮想部位の被接触物と接触したと判断される部分の仮想的な材質を示す情報と紐付けられた関数を、それぞれ検索する。そして、生成部２１０は、例えば、検索された２つの関数を乗じて得られる関数を用いて、振動情報を生成してもよい。それにより、仮想部位及び被接触物の仮想的な材質に基づいて、触覚をより精度良く呈示することができる。

[触覚呈示装置]
続いて、触覚呈示装置４の機能構成の一例について説明する。図３に示したように、触覚呈示装置４は、通信部４０８と、駆動信号算出部４０６と、振動制御部４０４と、振動部４０２と、を備える。

（通信部）
通信部４０８は、触覚呈示装置４の外部の装置と通信する。具体的には、通信部４０８は、情報処理装置２によって生成された応答関数ｒ（ｆ、ｋ）を振動情報として情報処理装置２から受信し、駆動信号算出部４０６へ出力する。

（駆動信号算出部）
駆動信号算出部４０６は、通信部４０８から出力された振動情報に基づいて、振動情報が示す振動をユーザへ知覚させるために振動部４０２を駆動させるための駆動信号ａ（ｔ）を算出し、振動制御部４０４へ出力する。具体的には、駆動信号算出部４０６は、情報処理装置２によって生成された応答関数ｒ（ｆ、ｋ）に対応する振動を振動部４０２によって発生させるための駆動信号ａ（ｔ）を算出する。算出される駆動信号ａ（ｔ）は、具体的には、電流値又は電圧値を示す信号である。

（振動制御部）
振動制御部４０４は、振動部４０２の駆動を制御する。振動部４０２は、例えば、振動子を備え、振動制御部４０４は、振動情報としての応答関数ｒ（ｆ、ｋ）に基づいて、当該振動子の振動を制御する。具体的には、振動制御部４０４は、駆動信号算出部４０６から出力された駆動信号ａ（ｔ）に基づいて、振動部４０２の振動子の振動を制御する。振動制御部４０４による振動子の振動制御において、応答関数ｒ（ｆ、ｋ）は振動子が発生する振動の、時間周波数又は振幅を制御するための情報として用いられる。換言すると、触覚呈示情報は、振動子が発生する振動の、時間周波数又は振幅を制御するための情報を含んでもよい。

（振動部）
振動部４０２は、振動制御部４０４からの動作指示に基づいて、振動を発生させることにより、ユーザへ当該振動を知覚させる。それにより、ユーザへの触覚呈示が行われる。振動部４０２は、具体的には、駆動信号ａ（ｔ）に基づいて、情報処理装置２によって生成された応答関数ｒ（ｆ、ｋ）に対応する振動を発生させる。当該機能は、例えば、ピエゾ素子、形状記憶合金素子、高分子アクチュエータ、空気圧アクチュエータ、静電アクチュエータ、超音波発生装置、偏心モータ、リニア・バイブレータ又はボイスコイルモータ等によって実現され得る。振動部４０２によって、ユーザへ振動を知覚させることによって、ユーザへの触覚呈示が行われる。なお、振動部４０２により発生可能な振動の空間周波数ｋが固定値である場合には、振動部４０２は、情報処理装置２によって生成された応答関数ｒ（ｆ、ｋ）に当該固定値を代入して得られる時間周波数ｆと振幅の関係性を有する振動を発生させてもよい。

以上説明したように、本実施形態に係る情報処理装置２は、生成部２１０によって生成されたユーザへ知覚させる振動を示す振動情報である応答関数ｒ（ｆ、ｋ）を、触覚呈示情報として、触覚呈示装置４へ送信する。そして、触覚呈示装置４は、応答関数ｒ（ｆ、ｋ）に対応する振動を振動部４０２によって発生させるための駆動信号ａ（ｔ）を算出し、応答関数ｒ（ｆ、ｋ）に対応する振動を発生させる。触覚呈示装置４による振動を発生させる機能は上述したように様々な機構により実現され、応答関数ｒ（ｆ、ｋ）に対応する振動を振動部４０２によって発生させるための駆動信号ａ（ｔ）は利用される機構ごとに互いに異なる場合がある。ゆえに、触覚呈示装置４側で駆動信号ａ（ｔ）を算出することによって、情報処理装置２による計算負荷の低減及びメモリ使用量の節約を実現することができる。また、互いに振動発生の機構が異なる触覚呈示装置４に同一の応答関数ｒ（ｆ、ｋ）に対応する振動を発生させる場合に、情報処理装置２により送信される応答関数ｒ（ｆ、ｋ）を共通化することができるので、使用する触覚呈示装置４の種類の変更に対して柔軟に対応することができる。

＜３．動作＞
続いて、本実施形態に係る情報処理装置２及び触覚呈示装置４が行う処理の流れについて説明する。

（情報処理装置が行う処理）
図７は、本実施形態に係る情報処理装置２が行う処理の流れの一例を示すフローチャートである。図７に示したように、まず、通信部２０２は、実空間内における触覚呈示装置４の位置及び姿勢を示す情報を位置姿勢検出装置６から受信し（ステップＳ１０２）、仮想位置姿勢算出部２０６へ出力する。次に、仮想位置姿勢算出部２０６は、位置姿勢検出装置６から送信される実空間内における触覚呈示装置４の位置及び姿勢を示す情報に基づいて、仮想空間内における仮想部位の位置及び姿勢を算出する（ステップＳ１０４）。そして、判定部２０８は、仮想空間において仮想部位と被接触物とが接触したか否かを判定する（ステップＳ１０６）。

判定部２０８により、仮想空間において仮想部位と被接触物とが接触したと判定されなかった場合（ステップＳ１０６／ＮＯ）、ステップＳ１０２の処理へ戻る。一方、判定部２０８により、仮想空間において仮想部位と被接触物とが接触したと判定された場合（ステップＳ１０６／ＹＥＳ）、生成部２１０は、仮想部位と被接触物とが接触したときに、ユーザへ知覚させる振動を示す振動情報として、応答関数ｒ（ｆ、ｋ）を生成する（ステップＳ３００）。そして、通信部２０２は、生成部によって生成された応答関数ｒ（ｆ、ｋ）を、触覚呈示情報として、触覚呈示装置４へ送信し（ステップＳ１０８）、図７に示した処理は終了する。

図８は、図７における生成部２１０による駆動情報生成処理（ステップＳ３００）の流れの一例を示すフローチャートである。ステップＳ３００の処理において、生成部２１０は、仮想部位と被接触物とが接触したときの、仮想部位に対応する基準の被接触物に対する相対的な速度ｖ、仮想部位に対応する基準の被接触物に対する相対的な移動方向θ及び仮想部位が被接触物へ与える仮想的な圧力ｐを算出する（ステップＳ３０２）。次に、生成部２１０は、関数記憶部２０４に記憶される関数ライブラリＤ１０から、被接触物の仮想部位と接触したと判断される部分の仮想的な材質を示す材質ラベルｍと紐付けられた関数Ｒｍ（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）を検索する（ステップＳ３０４）。そして、生成部２１０は、関数Ｒに各パラメータを代入することによって、時間周波数ｆ及び空間周波数ｋと振幅の関係性を示す応答関数ｒ（ｆ、ｋ）を振動情報として生成し（ステップＳ３０６）、図８に示した処理は終了する。

（触覚呈示装置が行う処理）
図９は、本実施形態に係る触覚呈示装置４が行う処理の流れの一例を示すフローチャートである。図９に示したように、まず、通信部４０８は、情報処理装置２によって生成された応答関数ｒ（ｆ、ｋ）を振動情報として情報処理装置２から受信し（ステップＳ５０１）、駆動信号算出部４０６へ出力する。次に、駆動信号算出部４０６は、通信部４０８から出力された応答関数ｒ（ｆ、ｋ）に応じた振動を振動部４０２によって発生させるための駆動信号ａ（ｔ）を算出する（ステップＳ５０２）。そして、駆動信号算出部４０６は、駆動信号ａ（ｔ）を振動制御部４０４へ出力する（ステップＳ５０４）。次に、振動部４０２は、振動制御部４０４からの動作指示に基づいて振動を発生させることにより、駆動信号ａ（ｔ）に基づくユーザへの触覚呈示を行い（ステップＳ５０６）、図９に示した処理は終了する。

＜４．応用例＞
上記では、実空間内におけるユーザの部位に対応する仮想空間内におけるオブジェクトである仮想部位と被接触物とが接触したときにユーザへ触覚呈示を行う例について説明したが、ユーザへの触覚呈示は他の場合においても行われてもよい。例えば、仮想空間において仮想部位の少なくとも一部と接触するオブジェクトである仮想接触物が実空間内におけるユーザの部位の動きに応じて移動する場合が想定される。仮想部位の少なくとも一部と仮想接触物とが接触する場合として、例えば、仮想部位により仮想接触物が把持される場合や仮想部位に仮想接触物が装着される場合等が挙げられる。このような場合において、当該仮想接触物が被接触物と接触したときに、ユーザへの触覚呈示が行われてもよい。以下、このように仮想部位と異なるオブジェクトを介して仮想部位と被接触物とが間接的に接触した場合にユーザへ触覚呈示を行う応用例について説明する。

ここで、実空間内におけるユーザの手に対応する仮想空間内におけるオブジェクトである仮想手によって、仮想手と異なるオブジェクトである仮想棒が把持される例について説明する。図１０に示したように、仮想空間内において、仮想棒Ｂ３０は、仮想手Ｂ１０によりが把持されているので、仮想手Ｂ１０の少なくとも一部と接触している。ここで、仮想棒Ｂ３０は、実空間内におけるユーザの部位の動きに応じて仮想空間内において移動される基準に基づいて表示される本開示に係る第２の仮想オブジェクトの一例に相当する。また、被接触物Ｂ２４は、仮想空間内において第２の仮想オブジェクトと接触する本開示に係る第１の仮想オブジェクトの一例に相当する。

応用例では、生成部２１０は、実空間内におけるユーザの部位の動きに応じて仮想空間内において移動する第２の仮想オブジェクトと第１の仮想オブジェクトとが接触したときに、仮想部位と第１の仮想オブジェクトの間に介在する、少なくとも第２の仮想オブジェクトを含む、介在物の仮想的な材質に基づいて、振動情報を生成する。図１０に示した例では、仮想手Ｂ１０と被接触物Ｂ２４の間に仮想棒Ｂ３０が介在しているので、生成部２１０は、介在物である仮想棒Ｂ３０の仮想的な材質に基づいて振動情報を生成する。

生成部２１０は、例えば、応答関数ｒ（ｆ、ｋ）の生成において、介在物の仮想的な硬さに応じて、応答関数ｒ（ｆ、ｋ）を補正してもよい。具体的には、生成部２１０は、介在物の仮想的な硬さが柔らかいほど、時間周波数ｆの高周波領域の振幅を低減するように応答関数ｒ（ｆ、ｋ）を補正してもよい。それにより、介在物が木のように柔らかい材質の物である場合には、介在物が金属のように硬い材質の物である場合と比較して、時間周波数の高周波成分を減衰させた振動をユーザへ知覚させることができる。ゆえに、触覚をより精度良く呈示することができる。

なお、関数記憶部２０４に記憶される関数ライブラリには、介在物の仮想的な材質を示す情報と紐付けられた関数が含まれてもよく、生成部２１０は、介在物の仮想的な材質を示す情報と紐付けられた関数を検索し、当該関数を用いることによって、応答関数ｒ（ｆ、ｋ）を生成してもよい。このような関数ライブラリでは、例えば、図６を参照して示した被接触物に関する材質ラベルｍ及び介在物の仮想的な材質を示す材質ラベルｎと関数Ｒｍｎ（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）とが紐付けられている。具体的には、被接触物に関する材質ラベル「厚紙（粗い）」、介在物に関する材質ラベル「木」及び関数Ｒ厚紙（粗い）、木（ｖ、θ、ｐ、Ｔ、ｈ；ｆ、ｋ）が紐付けられている。

なお、被接触物と接触する第２の仮想オブジェクトは仮想部位の少なくとも一部と接触しなくともよく、第２の仮想オブジェクトと仮想部位の間にさらに介在物が介在してもよい。例えば、仮想手に仮想手袋が装着され、当該仮想手袋を介して仮想棒が把持された状態で、仮想棒と被接触物とが接触する場合には、第２の仮想オブジェクトに相当する仮想棒と仮想部位である仮想手の間に仮想手袋が介在する。ゆえに、仮想部位と被接触物との間には、仮想棒及び仮想手袋が介在する。係る場合において、生成部２１０は、仮想棒及び仮想手袋の仮想的な材質に基づいて振動情報を生成してもよい。このように、生成部２１０は、仮想部位と被接触物の間に介在する複数の介在物の仮想的な材質に基づいて振動情報を生成してもよい。

＜５．変形例＞
続いて、図１１〜図１４を参照して、各種変形例に係る仮想空間呈示システムについて説明する。

[第１の変形例]
図１１は、第１の変形例に係る仮想空間呈示システム１０２のシステム構成の一例を示す説明図である。第１の変形例に係る仮想空間呈示システム１０２では、図３に示した本実施形態に係る仮想空間呈示システム１と比較して、情報処理装置２が触覚呈示装置４の振動部４０２を駆動させるための駆動信号ａ（ｔ）を算出する点が異なる。

図１１に示したように、第１の変形例に係る情報処理装置２は、駆動信号算出部２５０を備える。第１の変形例では、生成部２１０は、生成した振動情報を駆動信号算出部２５０へ出力する。そして、駆動信号算出部２５０は、生成部２１０から出力された振動情報に基づいて、振動情報が示す振動をユーザへ知覚させるために触覚呈示装置４の振動部４０２を駆動させるための駆動信号ａ（ｔ）を算出し、通信部２０２へ出力する。通信部２０２は、駆動信号ａ（ｔ）を、触覚呈示装置４によってユーザへ振動を知覚させるための触覚呈示情報として、触覚呈示装置４へ送信する。なお、図１１に示したように、第１の変形例に係る触覚呈示装置４の構成から駆動信号算出部は省略され得る。

[第２の変形例]
図１２は、第２の変形例に係る仮想空間呈示システム１０４のシステム構成の一例を示す説明図である。第２の変形例に係る仮想空間呈示システム１０４では、図３に示した本実施形態に係る仮想空間呈示システム１と比較して、触覚呈示装置４が実空間内における触覚呈示装置４の位置及び姿勢を検出し、検出結果を情報処理装置２へ送信する点が異なる。

図１２に示したように、第２の変形例に係る触覚呈示装置４は、位置姿勢検出部４５０を備える。位置姿勢検出部４５０は、実空間内における触覚呈示装置４の位置及び姿勢を検出し、検出結果を通信部４０８へ出力する。そして、第２の変形例に係る通信部４０８は、当該検出結果を情報処理装置２へ送信する。なお、位置姿勢検出部４５０による触覚呈示装置４の位置及び姿勢の検出は、上述した本実施形態に係る位置姿勢検出装置６による触覚呈示装置４の位置及び姿勢の検出と同様に行われる。また、図１２に示したように、第２の変形例に係る仮想空間呈示システム１０４の構成から位置姿勢検出装置は省略され得る。

[第３の変形例]
図１３は、第３の変形例に係る仮想空間呈示システム１０６のシステム構成の一例を示す説明図である。第３の変形例に係る仮想空間呈示システム１０６では、図３に示した本実施形態に係る仮想空間呈示システム１と比較して、情報処理装置２の外部の装置である関数記憶装置５０に関数ライブラリが記憶される点が異なる。

図１３に示したように、第３の変形例に係る仮想空間呈示システム１０６は、関数記憶装置５０を含む。関数記憶装置５０は、振動情報を生成するための関数の候補の集合である関数ライブラリを記憶する。関数記憶装置５０に記憶される関数ライブラリは、上述した本実施形態に係る関数記憶部２０４に記憶される関数ライブラリと同様である。第３の変形例では、情報処理装置２の通信部２０２は、関数記憶装置５０と通信する。また、生成部２１０は、振動情報の生成において、通信部２０２を介して関数記憶装置５０に記憶される関数ライブラリから、関数Ｒを検索する。なお、図１３に示したように、第３の変形例に係る情報処理装置２の構成から関数記憶部は省略され得る。

[第４の変形例]
図１４は、第４の変形例に係る仮想空間呈示システム１０８のシステム構成の一例を示す説明図である。第４の変形例に係る仮想空間呈示システム１０８では、図１３に示した第３の変形例に係る仮想空間呈示システム１０６と比較して、情報処理装置２が外部の装置と情報ネットワークを介して通信する点が異なる。

図１４に示したように、第４の変形例に係る仮想空間呈示システム１０８では、情報処理装置２は、触覚呈示装置４、関数記憶装置５０、位置姿勢検出装置６、ヘッドフォン８及びヘッドマウントディスプレイ１０とそれぞれ情報ネットワークＮ２、Ｎ４、Ｎ６、Ｎ８、Ｎ１０を介して通信する。なお、情報処理装置２は、外部の装置の一部と情報ネットワークを介さずに通信してもよい。

＜６．ハードウェア構成＞
以上、本開示の実施形態を説明した。上述した情報処理装置２の処理は、ソフトウェアと、以下に説明する情報処理装置２のハードウェアとの協働により実現される。

図１５は、本開示に係る情報処理装置２のハードウェア構成の一例を示す説明図である。図１５に示したように、情報処理装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４６と、ブリッジ１４８と、バス１５０と、インタフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。

ＣＰＵ１４２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置２内の各機能構成の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行において使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。

入力装置１５４は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどオペレータが情報を入力するための入力手段であり、オペレータによる入力に基づいて入力信号を生成し、ＣＰＵ１４２に出力する入力制御回路などから構成されている。情報処理装置２のオペレータは、入力装置１５４を操作することにより、情報処理装置２に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１５６は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの装置への出力を行う。さらに、出力装置１５６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。

ストレージ装置１５８は、データ格納用の装置である。ストレージ装置１５８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１５８は、ＣＰＵ１４２が実行するプログラムや各種データを格納する。

ドライブ１６０は、記憶媒体用リーダライタであり、情報処理装置２に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１４４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書込むこともできる。

接続ポート１６２は、例えば、情報処理装置２の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１６２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であってもよい。

通信装置１６４は、例えば、ネットワークに接続するための通信デバイスで構成された通信インタフェースである。また、通信装置１６４は、赤外線通信対応装置であっても、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、上述のような本実施形態に係る情報処理装置２の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。本実施形態に係る情報処理装置２は、本開示に係るコンピュータに相当し得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、本実施形態に係る情報処理装置２の各機能は複数のコンピュータにより分割されてもよく、その場合、当該複数のコンピュータが有する各機能は、上記のコンピュータプログラムにより実現され得る。当該複数のコンピュータ又は本実施形態に係る情報処理装置２の各機能を有する１のコンピュータは、本開示に係るコンピュータシステムに相当する。

＜７．まとめ＞
以上説明したように、本開示の実施形態によれば情報処理装置２は、実空間における操作体の動きに応じて仮想空間内において移動される基準の、仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する。それにより、当該基準の第１の仮想オブジェクトに対する相対的な移動方向に応じて適切な触覚をユーザへ知覚させることができる。ゆえに、触覚をより精度良く呈示することが可能となる。

上記では、仮想現実を利用するシステムに情報処理装置２を適用した例について説明したが、本開示の技術的範囲は係る例に限定されない。例えば、本開示に係る情報処理装置２は、拡張現実にも適用し得る。

上記では、仮想空間における各オブジェクトを示す画像を表示する表示装置としてヘッドマウントディスプレイ１０を用いる例について説明したが、本開示の技術的範囲は係る例に限定されない。例えば、頭部に装着しない状態で利用可能な表示装置が用いられてもよい。また、上記では、仮想世界の中の音を表現するための音声を出力する音声出力装置としてヘッドフォン８を用いる例について説明したが、本開示の技術的範囲は係る例に限定されない。例えば、頭部に装着しない状態で利用可能な音声出力装置が用いられてもよい。

上記では、生成部２１０は、仮想空間のシーンに応じて、仮想部位と接触する可能性を有する被接触物の仮想的な材質を特定する例について説明したが、本開示の技術的範囲は係る例に限定されない。例えば、生成部２１０は、現在の時刻に応じて、仮想部位と接触する可能性を有する被接触物の仮想的な材質を特定してもよい。また、生成部２１０は、現在のユーザの位置に応じて、仮想部位と接触する可能性を有する被接触物の仮想的な材質を特定してもよい。時刻又はユーザの位置に応じて仮想空間に存在するオブジェクトの種類が設定される場合が考えられるので、そのような場合に、仮想部位と接触する可能性を有する被接触物の仮想的な材質を適切に特定することができる。

上記では、位置姿勢検出装置６は、撮像処理によって得られた画像から触覚呈示装置４の位置及び姿勢を検出する例について説明したが、本開示の技術的範囲は係る例に限定されない。例えば、位置姿勢検出装置６は、電磁波又は音波を物体へ照射し、当該物体からの電磁波又は音波の反射波を検知する機構を備え、電磁波又は音波を照射した後反射波を検知するまでの時間に基づいて触覚呈示装置４の位置及び姿勢を検出してもよい。位置姿勢検出装置６は、例えば、電磁波又は音波の照射方向を逐次変更しながら照射及び反射波の検知を繰り返すことにより、触覚呈示装置４の可動領域内を走査することによって、触覚呈示装置４の位置及び姿勢を検出してもよい。

上記では、触覚呈示装置４は、振動子の振動を発生させることにより、ユーザへ振動を知覚させる例について説明したが、本開示の技術的範囲は係る例に限定されない。例えば、触覚呈示装置４は、振動制御部４０４からの動作指示に基づいて、電気的刺激をユーザへ与えることにより、ユーザへ振動を知覚させてもよい。

上記では、操作体としてユーザの部位を適用した例について説明したが、本開示の技術的範囲は係る例に限定されない。例えば、操作体として、スタイラス等の、ユーザにより用いられる操作用の部材が適用されてもよい。

上記では、情報処理装置２が、ユーザへ知覚させる触覚としての振動を示す振動情報を触覚情報として生成する例について説明したが、本開示の技術的範囲は係る例に限定されない。例えば、触覚として、振動の他に、電気的刺激、熱的な刺激、超音波による刺激等が適用されてもよい。情報処理装置２は、ユーザへ知覚させるこれらの触覚を示す触覚情報を生成し得る。

また、関数ライブラリに含まれる関数Ｒとして、各パラメータについての有限個の代表値、時間周波数ｆの有限個の代表値及び空間周波数ｋの有限個の代表値と振幅の関係性がデータテーブル形式で表現された情報が用いられてもよい。生成部２１０は、このようなデータテーブル形式で表現された情報において規定されていないパラメータ、時間周波数ｆ又は空間周波数ｋについての振幅との関係性を補間により求めることによって、振動情報を生成してもよい。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲は係る例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する生成部と、
触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力する出力部と、
を備える、情報処理装置。
（２）
前記基準に基づいて第２の仮想オブジェクトを表示させる表示制御部を備える、前記（１）に記載の情報処理装置。
（３）
前記生成部は、前記第１の仮想オブジェクトと、前記第２の仮想オブジェクトが接触していると判断された状態で、前記基準の前記第１の仮想オブジェクトに対する相対的な移動方向に基づいて前記触覚情報を生成する、前記（２）に記載の情報処理装置。
（４）
前記生成部は、前記基準の前記第１の仮想オブジェクトに対する相対的な移動方向が第１の方向である場合と、前記第１の方向とは略逆方向の第２の方向である場合と、で異なる前記触覚情報を生成する、前記（３）に記載の情報処理装置。
（５）
前記生成部は、前記第１の仮想オブジェクトの、前記第２の仮想オブジェクトと接触したと判断される部分の特性を示す情報に基づいて、前記触覚情報を生成する、前記（３）又は（４）に記載の情報処理装置。
（６）
前記生成部は、前記第１の仮想オブジェクトの、前記第２の仮想オブジェクトと接触したと判断される部分の仮想的な材質を示す情報に基づいて、前記触覚情報を生成する、前記（５）に記載の情報処理装置。
（７）
前記生成部は、前記基準の前記第１の仮想オブジェクトに対する相対的な速度に基づいて、前記触覚情報を生成する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記生成部は、前記第２の仮想オブジェクトが前記第１の仮想オブジェクトへ与える仮想的な圧力を示す情報に基づいて、前記触覚情報を生成する、前記（５）又は（６）に記載の情報処理装置。
（９）
前記生成部は、前記第１の仮想オブジェクトの前記第２の仮想オブジェクトと接触したと判断される部分の仮想的な温度を示す情報に基づいて、前記触覚情報を生成する、前記（５）又は（６）に記載の情報処理装置。
（１０）
前記生成部は、前記第１の仮想オブジェクトの前記第２の仮想オブジェクトと接触したと判断される部分の仮想的な湿度を示す情報に基づいて、前記触覚情報を生成する、前記（５）又は（６）に記載の情報処理装置。
（１１）
前記生成部は、前記操作体は前記ユーザの身体の一部であり、前記身体の一部の発汗の度合いを示す情報に基づいて、前記触覚情報を生成する、前記（３）〜（６）のいずれか一項に記載の情報処理装置。
（１２）
前記触覚情報は、時間周波数及び空間周波数と振幅の関係性を示す情報を含む、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記生成部は、各材質を示す情報と紐付けられて予め記憶される前記触覚情報を生成するための関数の候補から、前記第１の仮想オブジェクトの前記第２の仮想オブジェクトと接触したと判断される部分の仮想的な材質を示す情報と紐付けられた前記関数を検索し、検索された前記関数を用いて、前記触覚情報を生成する、前記（５）又は（６）に記載の情報処理装置。
（１４）
前記生成部は、前記関数の候補のうち前記第２の仮想オブジェクトと接触する可能性を有する前記第１の仮想オブジェクトの仮想的な材質を示す情報と紐付けられた前記関数の候補から、前記関数を検索する、前記（１３）に記載の情報処理装置。
（１５）
前記触覚呈示装置は、前記触覚呈示情報に基づいて制御される振動子の振動を、前記ユーザの皮膚に伝えることにより前記触覚呈示を行う、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記触覚呈示情報は、前記振動子が発生する振動の、時間周波数又は振幅を制御するための情報を含む、前記（１５）に記載の情報処理装置。
（１７）
前記生成部は、前記第２の仮想オブジェクトの、前記第１の仮想オブジェクトと接触したと判断される部分の特性を示す情報に基づいて、前記触覚情報を生成する、前記（５）又は（６）に記載の情報処理装置。
（１８）
前記生成部は、前記第２の仮想オブジェクトの、前記第１の仮想オブジェクトと接触したと判断される部分の仮想的な材質を示す情報に基づいて、前記触覚情報を生成する、前記（１７）に記載の情報処理装置。
（１９）
実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を、情報処理装置によって、生成することと、
触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力することと、
を含む情報処理方法。
（２０）
コンピュータシステムを、
実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する生成部と、
触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力する出力部と、
として機能させるためのプログラム。

１、１０２、１０４、１０６、１０８ 仮想空間呈示システム
仮想空間呈示システム
２ 情報処理装置
４、４ａ 触覚呈示装置
６ 位置姿勢検出装置
８ ヘッドフォン
１０ ヘッドマウントディスプレイ
５０ 関数記憶装置
１４２ ＣＰＵ
１４４ ＲＯＭ
１４６ ＲＡＭ
１４８ ブリッジ
１５０ バス
１５２ インタフェース
１５４ 入力装置
１５６ 出力装置
１５８ ストレージ装置
１６０ ドライブ
１６２ 接続ポート
１６４ 通信装置
２０２ 通信部
２０４ 関数記憶部
２０６ 仮想位置姿勢算出部
２０８ 判定部
２１０ 生成部
２１２ 音声出力制御部
２１４ 表示制御部
２５０ 駆動信号算出部
４０２ 振動部
４０４ 振動制御部
４０６ 駆動信号算出部
４０８ 通信部
４５０ 位置姿勢検出部

Claims (20)

1. 実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する生成部と、
   触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力する出力部と、
   を備える、情報処理装置。
2. 前記基準に基づいて第２の仮想オブジェクトを表示させる表示制御部を備える、請求項１に記載の情報処理装置。
3. 前記生成部は、前記第１の仮想オブジェクトと、前記第２の仮想オブジェクトが接触していると判断された状態で、前記基準の前記第１の仮想オブジェクトに対する相対的な移動方向に基づいて前記触覚情報を生成する、請求項２に記載の情報処理装置。
4. 前記生成部は、前記基準の前記第１の仮想オブジェクトに対する相対的な移動方向が第１の方向である場合と、前記第１の方向とは略逆方向の第２の方向である場合と、で異なる前記触覚情報を生成する、請求項３に記載の情報処理装置。
5. 前記生成部は、前記第１の仮想オブジェクトの、前記第２の仮想オブジェクトと接触したと判断される部分の特性を示す情報に基づいて、前記触覚情報を生成する、請求項３に記載の情報処理装置。
6. 前記生成部は、前記第１の仮想オブジェクトの、前記第２の仮想オブジェクトと接触したと判断される部分の仮想的な材質を示す情報に基づいて、前記触覚情報を生成する、請求項５に記載の情報処理装置。
7. 前記生成部は、前記基準の前記第１の仮想オブジェクトに対する相対的な速度に基づいて、前記触覚情報を生成する、請求項１に記載の情報処理装置。
8. 前記生成部は、前記第２の仮想オブジェクトが前記第１の仮想オブジェクトへ与える仮想的な圧力を示す情報に基づいて、前記触覚情報を生成する、請求項５に記載の情報処理装置。
9. 前記生成部は、前記第１の仮想オブジェクトの前記第２の仮想オブジェクトと接触したと判断される部分の仮想的な温度を示す情報に基づいて、前記触覚情報を生成する、請求項５に記載の情報処理装置。
10. 前記生成部は、前記第１の仮想オブジェクトの前記第２の仮想オブジェクトと接触したと判断される部分の仮想的な湿度を示す情報に基づいて、前記触覚情報を生成する、請求項５に記載の情報処理装置。
11. 前記生成部は、前記操作体は前記ユーザの身体の一部であり、前記身体の一部の発汗の度合いを示す情報に基づいて、前記触覚情報を生成する、請求項３に記載の情報処理装置。
12. 前記触覚情報は、時間周波数及び空間周波数と振幅の関係性を示す情報を含む、請求項１に記載の情報処理装置。
13. 前記生成部は、各材質を示す情報と紐付けられて予め記憶される前記触覚情報を生成するための関数の候補から、前記第１の仮想オブジェクトの前記第２の仮想オブジェクトと接触したと判断される部分の仮想的な材質を示す情報と紐付けられた前記関数を検索し、検索された前記関数を用いて、前記触覚情報を生成する、請求項５に記載の情報処理装置。
14. 前記生成部は、前記関数の候補のうち前記第２の仮想オブジェクトと接触する可能性を有する前記第１の仮想オブジェクトの仮想的な材質を示す情報と紐付けられた前記関数の候補から、前記関数を検索する、請求項１３に記載の情報処理装置。
15. 前記触覚呈示装置は、前記触覚呈示情報に基づいて制御される振動子の振動を、前記ユーザの皮膚に伝えることにより前記触覚呈示を行う、請求項１に記載の情報処理装置。
16. 前記触覚呈示情報は、前記振動子が発生する振動の、時間周波数又は振幅を制御するための情報を含む、請求項１５に記載の情報処理装置。
17. 前記生成部は、前記第２の仮想オブジェクトの、前記第１の仮想オブジェクトと接触したと判断される部分の特性を示す情報に基づいて、前記触覚情報を生成する、請求項５に記載の情報処理装置。
18. 前記生成部は、前記第２の仮想オブジェクトの、前記第１の仮想オブジェクトと接触したと判断される部分の仮想的な材質を示す情報に基づいて、前記触覚情報を生成する、請求項１７に記載の情報処理装置。
19. 実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を、情報処理装置によって、生成することと、
    触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力することと、
    を含む情報処理方法。
20. コンピュータシステムを、
    実空間内における操作体の動きに応じて仮想空間内において移動される基準の、前記仮想空間内の第１の仮想オブジェクトに対する相対的な移動方向に基づいて、ユーザへ知覚させる触覚を示す触覚情報を生成する生成部と、
    触覚呈示を行う触覚呈示装置によって前記ユーザへ前記触覚を知覚させるための触覚呈示情報を出力する出力部と、
    として機能させるためのプログラム。

Images