JP2021157517A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】仮想空間再現用コンテンツの表現の自由度向上を図る情報処理装置とその方法、及びプログラムを提供する。【解決手段】情報処理装置のＣＰＵ１１は、位置姿勢検出部Ｆ１、画像生成部Ｆ２及び提示制御部Ｆ３を備える。提示制御部Ｆ３は、仮想空間におけるユーザと仮想物体との位置関係に基づき、仮想物体がユーザに接触すると判定した場合と、仮想物体がユーザから所定距離以内を通過すると判定した場合とで、ユーザへの触覚提示に用いる触覚提示手段を切り替える。【選択図】図７

Description

本技術は、情報処理装置とその方法、及びプログラムに関するものであり、特には、仮想空間におけるユーザへの触覚提示に係る技術分野に関する。

仮想空間を再現する技術である仮想空間再現技術として、ＶＲ（Virtual Reality：仮想現実）技術やＡＲ（Augmented Reality：拡張現実）技術が知られている。ＶＲ技術は、人工的に構築される仮想現実空間をユーザに認識させる技術である。また、ＡＲ技術は、ＶＲ技術を進展させた技術であり、実空間を部分的に改変することにより構築される拡張現実空間（ＡＲ空間）をユーザに認識させる技術である。典型的なＡＲ技術では、仮想的に生成されるオブジェクト（仮想オブジェクト）が実空間に向けられる撮像装置からの画像に重畳され、画像に映る実空間にあたかも仮想オブジェクトが存在しているかのようなユーザ体験が提供される。

これらＶＲ技術やＡＲ技術のような仮想空間再現技術では、仮想空間を認識させるために主として画像等の視覚情報や各種効果音等の聴覚情報が用いられるが、さらに、仮想物体との接触を知覚させるための触覚情報が用いられる場合もある。例えば、ボール等としての仮想物体がユーザに衝突した場合に、振動による触覚提示を行う等である。

なお、関連する従来技術については下記特許文献１、２を挙げることができる。

特開２０１５−２１２９４６号公報 特開２００８−１３４９９０号公報

ここで、仮想物体を用いた演出としては、ユーザに仮想物体を接触させる演出以外にも、例えばボール等の仮想物体をユーザの近傍スレスレに通過させるといった演出を行うことも考えられる。
この場合には、ユーザへの仮想物体の接触はないため、接触を再現するための触覚提示を行わないことが考えられる。

しかしながら、例えばスレスレ感を高めるため仮想物体の通過位置をよりユーザに近接させようとすると、ユーザは、視覚的に仮想物体が接触したか否かを適切に判断できず、仮想物体が接触したものと誤認してしまう虞がある。このとき、触覚については、あくまで仮想物体の通過であることからその提示を行わないことになるが、これによると、ユーザにとっては視覚的に接触と知覚したが触覚的には非接触と知覚するということになり、コンテンツに対する違和感を抱く虞がある。

このような事情を考慮し、従来では、視覚的コンテンツとしてユーザのスレスレを通過する演出は避け、ユーザから大幅に逸れていく演出を行う等、コンテンツの変更を強いられていた。つまりこの点で、仮想空間再現用コンテンツの表現の自由度が制約されていた。

本技術は上記事情に鑑み為されたものであり、仮想空間再現用コンテンツの表現の自由度向上を図ることを目的とする。

本技術に係る情報処理装置は、仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える提示制御部を備えるものである。
本明細書で言う「触覚」とは、人体が物質に触れた際に知覚する感覚を意味する。ここで言う「物質」とは、固体によるものに限らず、気体や液体などによるものを広く含む概念である。上記構成によれば、仮想物体がユーザの所定距離以内をスレスレに通過する場合に、仮想物体の接触時とは異なる触覚提示手段による触覚提示を行うことが可能となる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合は、送風手段により前記ユーザに対する触覚提示を実行させる構成とすることが可能である。
これにより、仮想物体が通過した感覚をユーザに適切に提示可能となる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体が前記ユーザに接触すると判定した場合は振動手段による触覚提示を実行させる構成とすることが可能である。
振動による触覚提示を行うことで、物体が接触した際の触覚を適切に表現可能となる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体と前記ユーザのそれぞれについて予測した所定時間後の位置の情報に基づき、前記所定時間後に前記仮想物体が前記ユーザから所定距離以内を通過するか否かを判定する構成とすることが可能である。
通過を表現するための触覚提示手段としては、提示指示を受けてから実際に提示位置における触覚提示が発現されるまでにタイムラグが生じるものも想定される。上記構成によれば、仮想物体がユーザのスレスレを通過することを予め予測可能となるため、そのようなタイムラグが解消されるように触覚提示手段を前もって駆動させることが可能となる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記ユーザに対する前記仮想物体の通過位置に基づき、前記ユーザの何れの部位を触覚の提示位置とするかについての決定を行う構成とすることが可能である。
これにより、通過感を知覚させるための触覚提示は、ユーザの身体のうち、仮想物体の通過位置に基づき決定された一部の部位に対して行われる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記通過位置に最寄りとなる前記ユーザの部位が特定部位であった場合は、該特定部位に紐付く別部位を前記提示位置として決定する構成とすることが可能である。
これにより、例えば通過位置に最寄りの部位が衣服等で覆われている可能性が高い肩部分であった場合には、該肩部分に最も近く且つ衣服等で覆われている可能性の低い顔部分を提示位置とする等、通過位置に最寄りの部位が触覚提示を行うことが相応しくないとされる部位であった場合に、それに代替する適切な別部位に提示位置を定めることが可能とされる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体の通過感の提示に関して、触覚提示の強度を、前記仮想物体の通過速度、前記仮想物体の大きさ、前記仮想物体の通過位置と前記ユーザとの離間距離の少なくとも何れかに基づき決定する構成とすることが可能である。
実空間において物体が通過する際には、該物体の通過速度や大きさ、通過位置の近さによって人体が知覚する通過感の強度が変化し得る。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体の通過速度が速い場合は遅い場合よりも前記強度を高める構成とすることが可能である。
実空間において物体が通過する際に人体が知覚する通過感の強度は、該物体の通過速度が遅い場合よりも速い場合に高まることになる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体の大きさが大きい場合は小さい場合よりも前記強度を高める構成とすることが可能である。
実空間において物体が通過する際に人体が知覚する通過感の強度は、該物体の大きさが小さい場合よりも大きい場合に高まることになる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記通過位置と前記ユーザとの離間距離が小さい場合は大きい場合よりも前記強度を高める構成とすることが可能である。
実空間において物体が通過する際に人体が知覚する通過感の強度は、該物体の通過位置が遠い場合よりも近い場合に高まることになる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体の通過感の提示に関して、前記仮想物体の通過速度に基づき前記ユーザへの触覚提示に用いる触覚提示手段についての切り替えを行う構成とすることが可能である。
これにより、例えば通過速度が遅い領域では送風のみの触覚提示を行い、通過速度が速い領域では送風に加えて振動等の他の手段による触覚提示を行う等、通過感の触覚提示に用いる触覚提示手段についての切り替えを行うことが可能となる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体の通過感の提示に関して、前記仮想物体の通過速度が所定値以下である場合には前記ユーザに対する触覚提示が行われないようにする構成とすることが可能である。
実空間において、物体の通過速度が遅い場合には、人体により通過感が知覚されないこともある。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体の通過感の提示に関して、複数のユーザについてユーザごとに提示位置を決定し、前記複数のユーザのうち決定した提示位置間の距離が所定値以下となるユーザの組が存在する場合は、該組における各ユーザに対する触覚提示を、共通の提示位置を対象として共通の触覚提示手段によって実行させる構成とすることが可能である。
これにより、互いの位置が近接している各ユーザに通過感を知覚させるための触覚提示を行うべき場合において、各ユーザに対し個別の提示位置に個別の触覚提示手段を用いて触覚提示を行う必要がなくなる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記仮想物体の通過感の提示に関して、複数のユーザについてユーザごとに提示位置及び提示強度を決定し、前記複数のユーザのうち決定した提示位置間の距離が所定値以下且つ決定した提示強度の差が所定値以下となるユーザの組が存在する場合に、該組における各ユーザに対する触覚提示を、共通の提示位置に共通の触覚提示手段により実行させる構成とすることが可能である。
これにより、提示位置及び提示手段を共通化した触覚提示が、各ユーザに知覚させるべき通過感の強度差が大きい場合にまで無闇に行われてしまうことの防止を図ることが可能となる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記共通の提示位置を、前記各ユーザについて算出した仮想物体の通過位置との離間距離に基づいて決定する構成とすることが可能である。
これにより、各ユーザ間で仮想物体の通過位置との離間距離に差がある場合に対応して、共通の提示位置を適切な位置に定めることが可能となる。例えば、仮想物体の通過位置との離間距離が短い方のユーザ寄りとなる位置に共通の提示位置を定めることで、提示強度の面で、共通提示位置の適正化を図ることが可能となる。

上記した本技術に係る情報処理装置においては、前記提示制御部は、前記共通の提示位置を、前記各ユーザについて決定した前記提示強度に基づいて決定する構成とすることが可能である。
これにより、各ユーザについて決定されていた提示強度の差に応じて、共通の提示位置を適切な位置に定めることが可能となる。例えば、元々決定されていた提示強度が高い方のユーザ寄りとなる位置に共通の提示位置を定めることで、提示強度の面で、共通提示位置の適正化を図ることが可能となる。

また、本技術に係る情報処理方法は、情報処理装置が、仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える情報処理方法である。

このような情報処理方法によっても、上記した本技術に係る情報処理装置と同様の作用が得られる。

さらに、本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える機能を前記コンピュータ装置に実現させるプログラムである。

このようなプログラムにより、上記した本技術に係る情報処理装置が実現される。

本技術に係る実施形態としての情報処理装置を含んで構成される仮想空間再現システムの構成例を示した図である。 実施形態で用いる画像出力装置、接触再現装置の例を示した図である。 実施形態で用いる通過再現装置の例を示した図である。 実施形態で用いる送風装置における風射出に係る構成の例を示した図である。 実施形態で用いる位置検出用センサ装置の例を示した図である。 実施形態としての情報処理装置の内部構成例を示したブロック図である。 実施形態としての情報処理装置が有する機能について説明するための機能ブロック図である。 仮想物体がスレスレの位置を通過するか否かの判定の概念を説明するための図である。 通過感に係る触覚の提示位置の例を説明するための図である。 実施形態としての触覚提示制御手法を実現するために実行すべき具体的な処理手順の例を示したフローチャートである。 各ユーザの間を同一の仮想物体が通過する場合に対応した処理例についての説明図である。 各ユーザの間を別々の仮想物体が通過する場合に対応した処理例についての説明図である。 同一の仮想物体について、一方のユーザには接触、他方のユーザには通過となる場合に対応した処理例の説明図である。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．実施形態としての仮想空間再現システムの概要＞
＜２．情報処理装置の構成＞
＜３．実施形態としての触覚提示制御手法＞
＜４．処理手順＞
＜５．複数人対応について＞
＜６．変形例＞
＜７．プログラム＞
＜８．実施形態のまとめ＞
＜９．本技術＞

＜１．実施形態としての仮想空間再現システムの概要＞

図１は、本技術に係る情報処理装置の一実施形態である情報処理装置１を含んで構成される仮想空間再現システム１０の構成例を示している。
図示のように仮想空間再現システム１０は、情報処理装置１、画像出力装置２、接触再現装置３、通過再現装置４、及び位置検出用センサ装置５を備える。

仮想空間再現システム１０は、仮想空間を再現するための処理を行う。例えば、ＶＲ（Virtual Reality：仮想現実）空間やＡＲ（Augmented Reality：拡張現実）空間などを再現する処理を行う。ＶＲ空間を再現する場合、人工的に構築される仮想現実空間をユーザに認識させる。また、ＡＲ空間を再現する場合、実空間を部分的に改変することにより構築される拡張現実空間（ＡＲ空間）をユーザに認識させる。
以下、これら仮想現実空間や拡張現実空間等の仮想空間を認識させる対象としてのユーザのことを「ユーザＰ」と表記する。

画像出力装置２は、仮想空間を再現する画像をユーザに対して出力する。以下、仮想空間を再現する画像のことを「仮想空間画像」と表記する。本例において、画像出力装置２は、情報処理装置１によって生成される仮想空間画像をユーザに対して出力する。

画像出力装置２の具体的な装置形態としては、例えば、図２に例示するようなＨＭＤ（ヘッドマウントディスプレイ）としての装置形態を挙げることができる。なお、画像出力装置２としては、例えばスクリーンに対して仮想空間画像を投影するプロジェクタ装置としての装置形態等、ＨＭＤ以外の装置形態を採ることもできる。

ここで、仮想空間を再現するためのコンテンツとしては、画像としての視覚情報以外にも、効果音等としての聴覚情報を出力することもできる。その場合、仮想空間再現システム１０には聴覚情報の出力装置を備えるものとなるが、この出力装置については、画像出力装置２と一体に設けることもできるし、画像出力装置２とは別体に設けることもできる。

図１において、接触再現装置３は、ユーザＰに仮想物体Ｖｏが接触した（当たった）際の感覚（以下「接触感」とも表記する）を知覚させるための装置として構成される。また、通過再現措置４は、ユーザＰの近傍を仮想物体Ｖｏが通過した際の感覚（以下「通過感」とも表記する）を知覚させるための装置として構成される。
これら接触再現装置３及び通過再現装置４は、ユーザＰに触覚提示を行う触覚提示装置の一種となる。
ここで、本明細書で言う「触覚」とは、人体が物質に触れた際に知覚する感覚を意味する。ここで言う「物質」とは、固体によるものに限らず、気体や液体などによるものを広く含む概念である。物体が通過する際の感覚は、風（気体）が接触する感覚として知覚される。このため本明細書では、上記の通過感についても触覚の一種であるものとして扱うこととしている。

本例において、接触再現装置３は、上記の接触感を振動により知覚させる。また本例において、接触再現装置３は、ユーザの肩、胸、腕、腹等の部位ごとに個別に触覚提示を行うことが可能に構成されている。具体的に、本例における接触再現装置３は、ユーザの部位ごとに振動を与えるための複数の振動装置３ａを有して構成されている。
振動装置３ａは、発生する振動の大きさを変化させることが可能に構成されている。これにより、物体が衝突した際における衝撃の大きさを表現することが可能とされる。

接触再現装置３の具体的な装置形態としては、例えば図２に例示するような衣服として着用できる装置形態とすることが考えられる。
なお、接触再現装置３の装置形態は衣服型の形態に限定されるものではなく、例えば手袋（グローブ）型、ゲームコントローラ型等の他の形態を採ることもできる。

通過再現装置４は、通過感を知覚させるための物質を出力可能に構成されている。本例において、通過再現装置４は、ユーザに対して通過感を知覚させるための風（空気）を出力することが可能に構成されている。このため通過再現装置４は、一又は複数の送風装置４ａを有している。送風装置４ａは、射出する風の強さを変化させることが可能に構成されている。

本例において、通過再現装置４における送風装置４ａは、例えば図３に例示するように仮想空間を再現する現場に設置されている。詳細な構成の図示は省略しているが、本例の送風装置４ａは、例えば首振り機構等により風の射出方向を変化させることが可能に構成され、ユーザＰの何れの部位に対して風を射出するかを選択可能とされている。
なお、ここでは送風装置４ａが現場に設置される例を挙げているが、送風装置４ａは、図２で例示した接触再現装置３のような衣服型の装置形態（ユーザＰに着用される装置形態）を採ることもできる。このとき、送風装置４ａは、部位ごとに設けることが考えられる。或いは、複数の部位に選択的に風の射出を行うことが可能な一又は複数の送風装置４ａを設けた構成とすることも考えられる。

図４は、送風装置４ａにおける風射出に係る構成の例を示している。
図示のように送風装置４ａとしては、ＶＣＭ（ボイスコイルモータ）を駆動源として膜部材を振動させることで得られる風圧を射出口より出力する構成とすることが考えられる。
なお、風射出に係る構成は該構成に限定されず、例えばファンを回転させて風を発生させる構成等、多様な構成を採り得るものである。

図１において、位置検出用センサ装置５は、ユーザＰの少なくとも位置を検出するための情報をセンシングする。
位置検出用センサ装置５としては、例えば図５に例示するように、ユーザＰを取り囲むように配置された複数のカメラ５ａで構成することができる。複数のカメラ５ａを用いることで、ユーザＰの三次元空間上の位置（三次元位置）を検出可能となる。ここで、カメラ５ａとしては、可視光に感度を有するものに限定されず、例えば赤外光に対する感度を有するＩＲカメラや、画素ごとに距離の情報を検出可能とされたデプスカメラ等を用いることもできる。
なお、位置検出用センサ装置５としては、カメラを用いたものに限定されない。例えば、ユーザＰの身体に装着した位置検出用のセンサ、具体的には加速度センサ、ジャイロセンサ、地磁気センサ、ＧＮＳＳ（Global Navigation Satellite System）センサ等とすることもできる。或いは、位置検出用センサ装置５としては、床に設置した圧力センサとすることも考えられる。圧力センサの検出信号からユーザＰの体重移動を検出可能となり、ユーザＰの位置や状態を検出することができる。また、位置検出用センサ装置５としては、Ｗｉ−Ｆｉ（Wireless Fidelity ：登録商標）等の電波の送受信機とすることもできる。Ｗｉ−Ｆｉ等の電波の反射状況から、ユーザＰの位置や状態を検出することができる。

情報処理装置１は、位置検出用センサ装置５から入力したセンサ情報に基づくユーザＰの位置（仮想空間上での位置）の検出や、検出したユーザＰの位置に基づく仮想空間画像の生成や該仮想空間画像の出力制御等を行う。
ユーザＰの位置の検出については、例えば位置検出用センサ装置５としてカメラが用いられる場合には、該カメラによる撮像画像の画像解析により行う。この画像解析により、仮想空間としての三次元空間上におけるユーザＰの位置の検出を行う。また、本例では、情報処理装置１は、ユーザＰの位置のみでなく姿勢の検出も行う。姿勢情報を検出することで、ユーザＰの部位ごとの正確な位置を検出したり、ユーザＰの姿勢に応じた仮想空間画像の生成を行うことができる。

仮想空間画像の生成において、ユーザＰの位置の情報は、主として、仮想物体Ｖｏの表示態様の制御に用いられる。例えば、仮想物体ＶｏをユーザＰに向けて接近させる演出を行う場合や、ユーザＰから所定の方向に所定の距離だけ離間した位置に仮想物体Ｖｏを位置させ続ける（つまりユーザＰの動きに追従させる）場合等には、ユーザＰの位置に基づいて仮想空間画像上における仮想物体Ｖｏの位置、大きさ、姿勢等が調整されることになる。

また、情報処理装置１は、接触再現装置３及び通過再現装置４の制御を行う。具体的には、仮想物体ＶｏとユーザＰとの位置関係に基づいて、接触再現装置３による仮想物体Ｖｏの接触感の提示動作、及び通過再現装置４による仮想物体Ｖｏの通過感の提示動作の制御を行う。
なお、情報処理装置１が行う実施形態としての触覚提示制御の具体例については後に改めて説明する。

なお、ＡＲ空間を再現する場合には、ユーザＰの視点から撮像した画像に対して、仮想物体Ｖｏを重畳してＡＲ画像を生成し、該ＡＲ画像を画像出力装置２によって出力させる。この場合には、ユーザＰの視点近傍に配置されたカメラを用いることになる。このカメラについては、例えば、ユーザに装着されるメガネ型のデバイスに設けたり、ＨＤＭのような頭部装着型デバイスにおいて、ユーザの目の近傍となる位置に設けたりすることが考えられる。

＜２．情報処理装置の構成＞

図６は、情報処理装置１の内部構成例を示したブロック図である。
図示のように情報処理装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４、通信部１５、センサ情報入力部１６、及びバス１７を備えている。
図示のようにＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４、及び通信部１５は、互いにバス１７を介して接続されており、これらの各部はバス１７を介したデータ通信を行うことが可能とされている。

メモリ部１４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等、不揮発性の記憶装置により構成され、各種情報の記憶に用いられる。
通信部１５は、外部装置との間でデータ通信を行う。特に、本例における通信部１５は、図１に示した画像出力装置２、接触再現装置３、及び通過再現装置４のそれぞれとの間でデータ通信を行うことが可能に構成されている。ここで、外部装置との間の通信は、有線通信、無線通信の何れにより行われてもよい。例えば、無線通信の例としては、Ｗｉ−Ｆｉ（Wireless Fidelity：登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等による通信を挙げることができる。
センサ情報入力部１６は、図１に示した位置検出用センサ装置５によるセンサ情報を入力する。

ＣＰＵ１１は、例えばＲＯＭ１２に記憶されているプログラム、又はＲＯＭ１２やメモリ部１４等からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータが適宜記憶される。
ＣＰＵ１１は、プログラムに基づいて、後の図７で説明する各種機能を実現するための処理を実行する。例えば、センサ情報入力部１６を介して入力したセンサ情報に基づくユーザＰの位置及び姿勢の検出や、検出した位置及び姿勢の情報に基づいた仮想空間画像の生成処理等を行う。

なお、情報処理装置１の具体的な装置形態については多様に考えられる。例えば、ＰＣ（パーソナルコンピュータ）やスマートフォン、タブレット端末、ゲーム機、サーバ等の装置形態とすることが考えられる。
また、情報処理装置１は、画像出力装置２と一体に構成することもできる。

＜３．実施形態としての触覚提示制御手法＞

図７の機能ブロック図を参照して、ＣＰＵ１１が有する各種機能について説明する。
図示するようにＣＰＵ１１は、位置姿勢検出部Ｆ１、画像生成部Ｆ２、及び提示制御部Ｆ３としての機能を有する。

位置姿勢検出部Ｆ１は、センサ情報入力部１６を介して入力した位置検出用センサ装置５からのセンサ情報に基づき、ユーザＰの位置及び姿勢を検出する。ここで、ユーザＰが複数存在する場合は、ユーザＰごとに位置及び姿勢の検出を行う。
例えば、位置検出用センサ装置５が図５に示したように複数のカメラ５ａで構成される場合、位置姿勢検出部Ｆ１は、それら複数のカメラ５ａによる撮像画像に基づいてユーザＰの三次元位置を検出すると共に、撮像画像の画像解析によりユーザＰの姿勢を検出する。

画像処理部Ｆ２は、位置姿勢検出部Ｆ１が検出したユーザＰの位置及び姿勢の情報に基づいて、仮想空間画像を生成する。例えば、仮想物体ＶｏがユーザＰをめがけて徐々に近づいてくることを知覚させる画像や、ユーザＰから所定の方向に所定の距離だけ離間された位置に仮想物体Ｖｏが位置され続けていることをユーザＰに知覚させる画像（例えば、相棒キャラとしての仮想物体ＶｏがユーザＰに追従していることを知覚させる画像）等を、ユーザＰの位置及び姿勢に基づいて生成する。

提示制御部Ｆ３は、仮想空間におけるユーザＰと仮想物体Ｖｏとの位置関係に基づき、仮想物体ＶｏがユーザＰに接触すると判定した場合と、仮想物体ＶｏがユーザＰから所定距離以内を通過すると判定した場合とで、ユーザＰへの触覚提示に用いる触覚提示手段を切り替える。

ここで、例えばＶＲやＡＲのゲームコンテンツとして、ユーザＰに向けて放たれた仮想物体Ｖｏ（例えば、ボール等）を、ユーザＰが自身の体を動かして回避することを目指すようなコンテンツを考えてみる。
このようなコンテンツでは、仮想物体Ｖｏの少なくとも一部がユーザＰに当たったか（接触したか）否かの判定が行われる。仮想物体ＶｏがユーザＰに接触した場合には、仮想物体Ｖｏが当たった感覚を再現するために、ユーザＰの該当部位に対し接触再現装置３による触覚提示を実行させる。具体的には、該当部位に振動による触覚提示を実行させる。仮想物体ＶｏがユーザＰに接触しなかった場合は、このような振動による触覚提示は実行させない。
これにより、仮想物体Ｖｏが当たった、或いは仮想物体Ｖｏを回避できたという感覚を、触覚提示の有無によりユーザＰに知覚させることができる。

ここで、仮想物体Ｖｏを回避できたケースとして、仮想物体ＶｏがユーザＰに対してスレスレとなる位置を通過したケースを考える。このようにスレスレの位置を通過した場合、ユーザＰは、画像のみでは仮想物体Ｖｏが接触したと誤認してしまう虞がある。このため、仮に、上記のような接触の判定結果に応じた振動提示の実行／非実行の切り替えのみを行っていると、ユーザＰとしては、画像的には（視覚的には）接触したと認識したにも拘わらず、触覚的には接触した感覚が得られないという可能性があり、ユーザＰに違和感を与える虞がある。このような違和感により、ユーザＰは、例えば触覚提示のための装置が故障していると誤認してしまう虞もある。

そこで、本実施形態では、仮想物体Ｖｏが接触するか否かの判定のみでなく、スレスレを通過するか否かの判定、具体的には、ユーザＰから所定距離以内を通過するかの判定を行い、スレスレを通過すると判定した場合は、通過再現装置４による触覚提示が行われるようにする。

図８は、仮想物体Ｖｏがスレスレの位置を通過するか否かの判定の概念を説明するための図である。
図示のように、ユーザＰの位置に基づき、スレスレとなる領域を表す通過領域Ａｔが定まる。この通過領域Ａｔは、ユーザＰの身体の内／外を仕切る境界面Ｓｄから所定距離Ｄ以内の領域として定義することができる。仮想物体Ｖｏの通過時において、仮想物体Ｖｏの少なくとも一部が通過領域Ａｔと接触すれば、仮想物体ＶｏがユーザＰのスレスレとなる位置を通過したと判定することができる。

また、図８において、境界面Ｓｄの内側領域はユーザ領域Ａｈである。ユーザ領域Ａｈは、仮想物体ＶｏがユーザＰに接触したか否かの判定に用いることができる。すなわち、仮想物体Ｖｏの少なくとも一部がユーザ領域Ａｈと接触すれば、仮想物体ＶｏがユーザＰに接触したと判定することができる。

ここで、上記のようなスレスレを通過するか否かの判定は、リアルタイムな判定として行うこともできるが、本例では、ユーザＰと仮想物体Ｖｏの所定時間後における位置を予測し、これら予測位置に基づいて行う。
本例において、通過再現装置４としては、ユーザＰに装着するタイプではなく現場に設置するタイプが採用されているが、この場合には触覚提示の指示を受けてから実際に提示位置における触覚提示が発現されるまでにタイムラグが生じることがあり得る。このようなタイムラグを想定して、本例では上記のような予測を行うものとしている。

ユーザＰの位置の予測については、位置検出用センサ装置５のセンサ情報から特定されるユーザＰの動き情報に基づいて行うことができる。例えば、現フレームにおいて検出されたユーザＰの位置に、動き情報に基づく補正を加えた位置を予測位置として求める等が考えられる。

スレスレの位置を通過すると判定した場合における触覚提示に関して、触覚の提示位置ついては、図９に例示するような複数通りが考えられる。
図９Ａは、仮想物体Ｖｏの通過位置Ｐｔを提示位置とするものである。ここで、通過位置Ｐｔは、例えば仮想物体ＶｏがユーザＰに対して最も近接した際の仮想物体Ｖｏの位置とすることが考えられる。ここで言う仮想物体Ｖｏの位置とは、例えば仮想物体Ｖｏの中心点の位置等、仮想物体Ｖｏ内の代表点の位置である。
なお、通過位置Ｐｔとしては、仮想物体Ｖｏが通過判定領域Ａｔを通過する間における該仮想物体Ｖｏの位置の軌跡上における任意点の位置とすればよい。

図９Ｂ、及び図９Ｃは、通過位置Ｐｔに基づき、ユーザＰの何れかの部位を提示位置とする例である。
具体的に、図９Ｂは、通過位置Ｐｔに最寄りとなる部位を提示位置とする例である。換言すれば、ユーザＰの部位のうち、通過位置Ｐｔとの離間距離が最短である部位を提示位置とするものである。

図９Ｃは、通過位置Ｐｔに最寄りとなる部位が特定部位であった場合に、該特定部位に紐付く別部位を提示位置とする例である。例えば、通過位置Ｐｔに最寄りとなる部位が衣服等で覆われている可能性が高い部位（例えば肩部分）であった場合には、該部位に最も近く且つ衣服等で覆われている可能性の低い部位（例えば顔部分）を提示位置とする。
このように、通過位置Ｐｔに最寄りとなる部位が触覚提示を行うことが相応しくないとされる部位であった場合に、それに代替する適切な別部位に提示位置を定める。このために、例えば上記例のように衣服等で覆われている可能性が高い部位等、触覚提示を行うことが相応しくないとされる部位を特定部位として定めておくと共に、それに代替する適切とされる部位を、特定部位ごとに定めておく。そして、提示位置Ｐｔに最寄りとなる部位が特定部位であった場合は、該特定部位に対して定められた（紐付けられた）代替部位を提示位置として決定する。

なお、上記例において、ユーザＰにおける衣服等による被覆部位や露出部位は、カメラ画像に基づいて動的に判定してもよい。

また、本例において、提示制御部Ｆ３は、仮想物体Ｖｏの通過感の提示に関して、触覚提示の強度を、仮想物体Ｖｏの通過速度、仮想物体Ｖｏの大きさ、仮想物体Ｖｏの通過位置ＰｔとユーザＰとの離間距離の少なくとも何れかに基づき決定する。
ここで、「通過速度」とは、仮想物体Ｖｏの通過時の速度を意味する。具体的には、通過時における仮想物体ＶｏとユーザＰとの相対速度、或いは、通過時における仮想物体Ｖｏの速度の何れかを意味する。

通過速度に基づく提示強度の決定については、具体的には、通過速度が速い場合は遅い場合よりも提示強度を高めるように行う。より具体的には、例えば、通過速度が速いほど提示強度を高めるようにする。
また、大きさに基づく提示強度の決定については、仮想物体Ｖｏの大きさが大きい場合は小さい場合よりも強度を高めるように行う。例えば、大きさが大きいほど提示強度を高める。
通過位置ＰｔとユーザＰとの離間距離に基づく提示強度の決定については、該離間距離が小さい場合は大きい場合よりも強度を高めるように行う。例えば、該離間距離が小さいほど提示強度を高める。

上記のような仮想物体Ｖｏの通過速度や大きさ、通過位置ＰｔとユーザＰとの離間距離に基づく提示強度の決定を行うことで、仮想物体Ｖｏの通過感を知覚させるための触覚提示について正確性を高めることができる。

＜４．処理手順＞

上記した実施形態としての触覚提示制御手法を実現するためにＣＰＵ１１が実行すべき具体的な処理手順について、図１０のフローチャートを参照して説明する。
先ず、ＣＰＵ１１はステップＳ１０１で、仮想物体領域とユーザ領域の所定時間後における予測位置同士の離間距離Ｄｄを算出する。
ここでの仮想物体領域とは仮想物体Ｖｏの領域（存在領域）を意味する。また、ユーザ領域は、図８で説明したユーザ領域Ａｈである。離間距離Ｄｄとしては、予測されたユーザ領域Ａｈと仮想物体領域との最短距離として求める。

ステップＳ１０１に続くステップＳ１０３でＣＰＵ１１は、離間距離Ｄｄが閾値ＴＨ以下か否かを判定する。この閾値ＴＨは、図８で説明した所定距離Ｄに相当する。
ステップＳ１０２において、離間距離Ｄｄが閾値ＴＨ以下ではないと判定した場合、ＣＰＵ１１は図１０に示す一連の処理を終える。つまり、仮想物体ＶｏがユーザＰに当たらず且つスレスレを通過しないものである場合には、振動提示、風提示の何れも行われない。

ステップＳ１０２において、離間距離Ｄｄが閾値ＴＨ以下であれば、ＣＰＵ１１はステップＳ１０３で離間距離Ｄｄが０以下であるか否かを判定する。これは、仮想物体Ｖｏの少なくとも一部が、図８に示したユーザ領域Ａｈと接触するか否かを判定していることに相当する。すなわち、仮想物体ＶｏがユーザＰに当たったか否かの判定である。

ステップＳ１０３において、離間距離Ｄｄが０以下でないと判定した場合（つまりスレスレを通過の場合）、ＣＰＵ１１はステップＳ１０４に進み、位置関係に基づく風提示位置の決定処理を行う。すなわち、仮想物体Ｖｏ、ユーザＰそれぞれの所定時間後における予測位置同士の位置関係に基づき、送風装置４ａによる触覚の提示位置を決定する処理である。
この風提示位置の決定手法については、図９Ａから図９Ｃで説明した何れかの手法を採用することができる。各手法については既に説明済みであるため重複説明は避ける。

ステップＳ１０４に続くステップＳ１０５でＣＰＵ１１は、位置関係、相対速度に基づく風提示強度の決定処理を行う。具体的に、本例では、仮想物体Ｖｏの通過速度、仮想物体Ｖｏの大きさ、通過位置ＰｔとユーザＰとの離間距離のそれぞれに基づき風提示強度を決定する。通過速度に基づく提示強度の決定については、上述した例のように、例えば通過速度が速いほど提示強度を高めるようにして行う。また、大きさに基づく提示強度の決定については、大きさが大きいほど提示強度を高めるようにして行い、通過位置ＰｔとユーザＰとの離間距離に基づく提示強度の決定については、該離間距離が小さいほど提示強度を高めるようにして行う。

ステップＳ１０５に続くステップＳ１０６でＣＰＵ１１は、風提示指示を行う。すなわち、通過再現装置４に対し、ステップＳ１０４で決定した提示位置にステップＳ１０５で決定した強度での風による触覚提示を行うように指示する。
ステップＳ１０６の指示処理を実行したことに応じ、ＣＰＵ１１は図１０に示す一連の処理を終える。

また、ＣＰＵ１１は、ステップＳ１０３で離間距離Ｄｄが０以下であると判定した場合（つまり仮想物体Ｖｏが当たったと判定した場合）には、ステップＳ１０７以降の処理を実行する。
ステップＳ１０７でＣＰＵ１１は、位置関係に基づく振動提示位置の決定処理を行う。振動の提示位置については、例えば、仮想物体Ｖｏの接触位置（ここでは予測位置）に対して最寄りとなる部位（振動装置３ａが配置された部位）に決定すればよい。

ステップＳ１０７に続くステップＳ１０８でＣＰＵ１１は、相対速度に基づく振動提示強度の決定処理を行う。具体的に、本例では、仮想物体Ｖｏの接触速度と、仮想物体Ｖｏの大きさとに基づき振動提示強度を決定する。ここで言う接触速度は、接触時における仮想物体ＶｏとユーザＰとの相対速度となる。なお、接触時における仮想物体Ｖｏの速度を接触速度としてもよい。
接触速度に基づく提示強度の決定については、例えば接触速度が速いほど提示強度を高めるようにして行う。また、大きさに基づく提示強度の決定については、大きさが大きいほど提示強度を高めるようにして行う。

ステップＳ１０８に続くステップＳ１０９でＣＰＵ１１は、振動提示指示を行う。すなわち、接触再現装置３に対し、ステップＳ１０７で決定した提示位置にステップＳ１０８で決定した強度での振動による触覚提示を行うように指示する。
なお、ステップＳ１０９の指示処理は、本例のように仮想物体Ｖｏの接触判定が予測位置に基づき行われる場合には、仮想物体Ｖｏが接触するとの判定結果が得られたタイミングから所定時間経過後に提示動作が開始されるようにして行う。例えば、該判定結果が得られたタイミングから所定時間経過後に提示開始指示を行う、或いは提示開始タイミングを任意のタイミングで指示するなどが考えられる。
ステップＳ１０９の指示処理を実行したことに応じ、ＣＰＵ１１は図１０に示す一連の処理を終える。

なお、振動装置３ａの応答性が良好な場合等には、接触判定をリアルタイムな位置情報に基づき行うようにすることもできる。

ここで、上記では、通過感の提示に関して、風による触覚提示のみを行う例を挙げたが、通過感の提示に関しては、仮想物体Ｖｏの通過速度に基づき、触覚提示に用いる触覚提示手段についての切り替えを行うことも考えられる。
例えば、通過速度が遅い領域では送風のみの触覚提示を行い、通過速度が速い領域では送風に加えて振動等の他の触覚提示手段による触覚提示を行うといったことが考えられる。具体的に、この場合には、ＣＰＵ１１は、例えば通過速度が所定速度未満の場合にはステップＳ１０４以降の処理として図１０に示したものと同様の処理を行って風提示指示を行い、通過速度が上記所定速度以上である場合には、風提示指示と、振動提示指示の双方を行う。このとき、振動の提示位置については、振動提示が可能なユーザＰの部位のうち通過位置Ｐｔに最寄りとなる部位に決定する、或いは、図９Ｃのように最寄りとなる部位が特定部位である場合にその代替部位に決定する等が考えられる。
また、別手法として、通過速度が所定速度未満の場合に風提示指示を行い、通過速度が所定速度以上の場合は風提示指示を行わずに振動提示指示を行うということも考えられる。

また、このように触覚提示に用いる触覚提示手段を仮想物体Ｖｏの速度に基づき切り替えるという思想は、接触感の提示についても同様に適用可能である。具体的には、接触感の提示に関して、仮想物体Ｖｏの接触速度が遅い領域では振動のみの触覚提示を行い、接触速度が速い領域では振動に加えて送風等の他の触覚提示手段による触覚提示を行うといったものである。
このとき、接触感の提示に関しては、仮想物体Ｖｏの大きさに基づき触覚提示に用いる触覚提示手段についての切り替えを行うことも考えられる。具体的には、接触する仮想物体Ｖｏの大きさが所定の大きさ未満であれば振動のみの触覚提示を行い、所定の大きさ以上であれば振動に加えて送風等の他の触覚提示手段による触覚提示を行うものである。

＜５．複数人対応について＞

上記では、通過感の提示に関して、ユーザＰ個々に対する触覚提示を考えたが、複数人のユーザＰに通過感の提示を行う場合を考える。
例えば、ユーザＰとして、ユーザＰ１とユーザＰ２の二者を想定した場合において、ユーザＰ１とユーザＰ２との距離が比較的近接している状態で、両者の間を仮想物体Ｖｏが通過する場合を想定してみる。
例えば、図１１では、ユーザＰ１とユーザＰ２との間を共通の仮想物体Ｖｏが通過する様子を示しており、図１２Ａでは、ユーザＰ１とユーザＰ２との間を仮想物体Ｖｏ１と仮想物体Ｖｏ２が通過する様子を例示している。

図１１の場合において、ユーザＰ１とユーザＰ２とが近接していると、ユーザＰ１とユーザＰ２の双方について、仮想物体Ｖｏがスレスレを通過するとの判定が行われ得る。このとき、ユーザＰ１についての仮想物体Ｖｏの通過位置Ｐｔ１と、ユーザＰ２についての仮想物体Ｖｏの通過位置Ｐｔ２は同一位置となる（図中、Ｐｔ１＝Ｐｔ２）。
例えば、先の図９Ａのように、通過位置Ｐｔを風の提示位置とする場合には、これら通過位置Ｐｔ１及び通過位置Ｐｔ２としての同一位置に対し、それぞれ別々の風提示装置４ａにより触覚提示を行うことも考えられるが、これは、非効率であると考えられる。

また、図１２Ａにおいては、ユーザＰ１について、仮想物体Ｖｏ１がスレスレを通過すると判定され、ユーザＰ２について、仮想物体Ｖｏ２がスレスレを通過すると判定されることもある。この場合において、ユーザＰ１に対する仮想物体Ｖｏ１の通過位置Ｐｔ１と、ユーザＰ２に対する仮想物体Ｖｏ２の通過位置Ｐｔ２とが近接しているとすると、例えば先の図９Ａのように通過位置Ｐｔを風の提示位置とする前提とした場合には、ユーザＰ１に対する提示位置とユーザＰ２に対する提示位置とが近接することになる。このように近接した提示位置に別々の風提示装置４ａを用いて風提示を行うことは非効率であると考えられる。

そこで、本例では、仮想物体Ｖｏの通過感の提示に関して、複数のユーザＰのうち、決定した提示位置間の距離が所定値以下となるユーザＰの組が存在する場合は、該組における各ユーザＰに対する触覚提示を、共通の提示位置を対象として共通の触覚提示手段によって実行させる。
ここでは、仮想空間におけるユーザＰごとに、先の図１０で説明したステップＳ１０１からステップＳ１０５の処理が実行される前提とする。この処理により、ユーザＰごとに通過感についての触覚の提示位置が決定される。
また、提示位置としては、通過位置Ｐｔとされる場合もあれば、ユーザＰの何れかの部位とされる場合もあるが、提示位置がユーザＰの部位とされる場合には、該部位としての提示位置について、提示位置間の距離が所定値以下となるユーザＰの組が存在するか否かの判定を行う。

ここで、通過位置Ｐｔを触覚の提示位置とする前提において、図１１のケースでは、共通の通過位置Ｐｔ１＝Ｐｔ２を共通の提示位置として決定し、該共通の提示位置を対象として１台の送風装置４ａにより触覚提示を実行させる。

また、通過位置Ｐｔを触覚の提示位置とする前提において、図１２Ａのケースでは、各ユーザＰについて決定された提示位置がそれぞれ異なる位置となるが、このように各ユーザＰについて決定された提示位置がそれぞれ異なる位置となる場合には、例えば以下のような手法で共通の提示位置（図１２Ｂ参照）を定める。

具体的に、この場合における共通の提示位置は、ユーザＰ１と通過位置Ｐｔ１との離間距離（例えば最短距離）と、ユーザＰ２と通過位置Ｐｔ２との離間距離（例えば最短距離）とに基づき定める。換言すれば、この場合における共通の提示位置は、各ユーザについて算出した通過位置Ｐｔとの離間距離に基づき決定する。
具体的には、例えば、ユーザＰ１と通過位置Ｐｔ１との離間距離とユーザＰ２と通過位置Ｐｔ２との離間距離とを比較した場合において、通過位置Ｐｔとの離間距離が短い方のユーザＰ寄りとなる位置に共通の提示位置を定める。すなわち、各ユーザＰの提示位置間を結ぶ直線上において、通過位置Ｐｔとの離間距離が短い方のユーザＰ寄りとなる位置を共通の提示位置として定める。
これにより、共通の提示位置に共通の送風装置４ａにより送風して触覚提示の効率化を図る上で、提示強度の面で、共通提示位置の適正化を図ることが可能となる。

なお、図１１のように各ユーザＰの提示位置Ｐｔが同一位置であるケースにおいても、ユーザＰごとの提示位置をユーザＰの部位に定める場合には、各ユーザＰについて決定された提示位置がそれぞれ異なる位置となる。従って、この場合にも、上記と同様の要領で共通の提示位置を定めることができる。

ここで、共通の提示位置については、各ユーザＰについて算出した通過位置Ｐｔとの離間距離ではなく、各ユーザについて決定した提示強度に基づいて決定することもできる。具体的には、例えば、ユーザＰ１について決定した提示強度とユーザＰ２について決定した提示強度とを比較した場合において、決定した提示強度が高い方のユーザＰ寄りとなる位置に共通の提示位置を定める。
これにより、共通の提示位置に共通の送風装置４ａにより送風して触覚提示の効率化を図る上で、提示強度の面で、共通提示位置の適正化を図ることが可能となる。

なお、共通の提示位置は、各ユーザＰについて算出した通過位置Ｐｔとの離間距離と、各ユーザについて決定した提示強度との双方に基づいて決定することもできる。

上記では、共通の提示位置に共通の触覚提示手段により触覚提示を実行させるか否かの判定条件が、提示位置間の距離が所定値以下であるとの条件のみとされる例を挙げたが、該判定条件としては、提示強度の差が所定値以下であるとの条件を課すこともできる。すなわち、複数のユーザＰのうち決定した提示位置間の距離が所定値以下且つ決定した提示強度の差が所定値以下となるユーザＰの組が存在する場合に、該組における各ユーザＰに対する触覚提示を、共通の提示位置に共通の触覚提示手段により実行させるものである。
これにより、提示位置及び提示手段を共通化した触覚提示が、各ユーザＰに知覚させるべき通過感の強度差が大きい場合にまで無闇に行われてしまうことの防止を図ることが可能となる。
従って、触覚提示の効率化を図る上で、触覚提示の正確性が無闇に損なわれてしまうことの防止を図ることができる。

なお、上記では特に言及しなかったが、各ユーザＰに対する触覚提示を共通の提示位置に共通の触覚提示手段により実行させるか否かの判定条件には、各ユーザＰの触覚提示のタイミング差が所定時間以内であるとの条件を課すこともできる。

上記では近接関係にあるユーザＰ間を仮想物体Ｖｏが通過する例について言及したが、図１３に例示するように、一方のユーザＰ（図中ではユーザＰ１）に接触した仮想物体Ｖｏが、他方のユーザＰ（図中ではユーザＰ２）にとってはスレスレを通過するという場合も考えられる。
この場合には、接触と判定されたユーザＰ１に対する振動の提示位置と、通過と判定されたユーザＰ２に対する風の提示位置とが重ならないようにする。例えば、ユーザＰ１に対しては衝突位置（ユーザＰ２にとっての通過位置Ｐｔ２）に応じた部位に振動提示するが、ユーザＰ２に対しては、通過位置Ｐｔ２への風の提示を行わず、通過位置Ｐｔ２に応じたユーザＰ２の部位に対して風の提示を行う。
これは、先の図９Ｂや図９Ｃで説明したように、風の提示位置を通過位置Ｐｔに最寄りとなる部位に決定する手法や、最寄りとなる部位に紐付く部位に決定する手法により実現することができる。

＜６．変形例＞

実施形態としては上記した具体例に限定されず、多様な変形例としての構成を採ることができる。
例えば、仮想物体Ｖｏが通過する際の触覚提示に関して、仮想物体Ｖｏの通過速度によってはユーザＰに対する触覚提示が行われないようにすることも考えられる。具体的には、仮想物体Ｖｏの通過速度が所定値以下である場合に、ユーザに対する触覚提示が行われないようにすることが考えられる。
実空間において、物体の通過速度が遅い場合には、人体により通過感が知覚されないこともある。このため、上記のように通過速度が所定値以下である場合に通過感を知覚させるための触覚提示を行わないようにすることで、リアリティの向上を図ることができる。また、通過感を知覚させるための触覚提示が無闇に行われることで該触覚提示時に発生する音がユーザの没入感を妨げてしまうことの防止を図ることができる。

また、送風装置４ａに関して、低出力の装置を用いる場合には、１回の風提示につき一回の噴射を行うのではなく、複数回の噴射を行うようにすることもできる。
また、送風装置４ａに関して、風の提示方向が制限される場合には、ユーザＰが他の方向も錯覚するように表示や音を組み合わせてもよい。

また、ユーザＰの性別情報等、ユーザＰの属性情報に基づいて、送風の禁止エリア（禁止部位）を設定することもできる。
また、ユーザＰの動きの大きさを検出し、該動きの大きさに基づいて送風の実行可否を判定するようにしてもよい。これにより、動きが大きくユーザＰに送風しても体験できない場合にまで無闇に触覚提示が行われてしまうことの防止を図ることができる。

また、送風に伴い発生する音がユーザＰに知覚され難くするために、コンテンツ内に音が出るキャラクタ等を仕込むこともできる。
また、ユーザＰと送風装置４ａとの位置関係に基づいてコンテンツを動的に変更することもできる。例えば、送風装置４ａが送風を行うことができない方向にユーザＰが位置している場合は、スレスレを通過する演出を行わないようにコンテンツを変更する。
また、送風装置４ａの性能によりコンテンツを変更することもできる。例えば、送風装置４ａとして風出力性能が低い装置が用いられる場合には、送風装置４ａから所定距離以内にユーザＰが位置される場合のみスレスレを通過させる演出を行うコンテンツを選択し、送風装置４ａとして風出力性能が高い装置が用いられる場合にはそのような制約のないコンテンツを選択する等が考えられる。

また、上記では、振動装置３ａと送風装置４ａとが別体の装置として構成される例を挙げたが、これらを一体の装置として構成することもできる。この一体とした装置としては、振動の発生と送風の双方を行うことが可能な装置として構成されることになるが、この場合、装置としては一体であるが、触覚提示手段としては、振動による触覚提示を行う手段と、風による触覚提示を行う手段としての別々の手段を備えていると言うことができる。

＜７．プログラム＞

以上、実施形態としての情報処理装置１を説明してきたが、実施形態のプログラムは、情報処理装置１としての処理をＣＰＵ等のコンピュータ装置に実行させるプログラムである。

実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、仮想空間におけるユーザと仮想物体との位置関係に基づき、仮想物体がユーザに接触すると判定した場合と、仮想物体がユーザから所定距離以内を通過すると判定した場合とで、ユーザへの触覚提示に用いる触覚提示手段を切り替える機能をコンピュータ装置に実現させるプログラムである。
すなわち、このプログラムは、例えばコンピュータ装置に図１０等で説明した処理を実行させるプログラムに相当する。

このようなプログラムは、コンピュータ装置が読み取り可能な記憶媒体、例えばＲＯＭやＨＤＤ、ＳＳＤ等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリーカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的又は永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Local Area Network）、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。

＜８．実施形態のまとめ＞

上記のように実施形態としての情報処理装置（同１）は、仮想空間におけるユーザと仮想物体との位置関係に基づき、仮想物体がユーザに接触すると判定した場合と、仮想物体がユーザから所定距離以内を通過すると判定した場合とで、ユーザへの触覚提示に用いる触覚提示手段を切り替える提示制御部（同Ｆ３）を備えるものである。
上記構成によれば、仮想物体がユーザの所定距離以内をスレスレに通過する場合に、仮想物体の接触時とは異なる触覚提示手段による触覚提示を行うことが可能となる。
従って、仮想物体がスレスレを通過した感覚を、接触時とは異なる感覚としてユーザに知覚させることができ、仮想空間再現用コンテンツの表現の自由度向上を図ることができる。
また、仮想物体がスレスレを通過する感覚を例えば視覚情報や聴覚情報のみでなく触覚提示によっても知覚させることができるため、仮想空間再現用コンテンツについてのリアリティや臨場感の向上を図ることができる。

また、実施形態としての情報処理装置においては、提示制御部は、仮想物体がユーザから所定距離以内を通過すると判定した場合は、送風手段によりユーザに対する触覚提示を実行させている。
これにより、仮想物体が通過した感覚をユーザに適切に提示可能となる。
従って、例えば視覚情報や聴覚情報のみで通過感を表現する場合よりもユーザによるコンテンツ理解度の向上を図ることができる。

さらに、実施形態としての情報処理装置においては、提示制御部は、仮想物体がユーザに接触すると判定した場合は振動手段による触覚提示を実行させている。
振動による触覚提示を行うことで、物体が接触した際の触覚を適切に表現可能となる。
従って、仮想物体がスレスレを通過した場合と接触した場合とで明確に異なる感覚をユーザに知覚させることができる。

さらにまた、実施形態としての情報処理装置においては、提示制御部は、仮想物体とユーザのそれぞれについて予測した所定時間後の位置の情報に基づき、所定時間後に仮想物体がユーザから所定距離以内を通過するか否かを判定している。
通過を表現するための触覚提示手段としては、提示指示を受けてから実際に提示位置における触覚提示が発現されるまでにタイムラグが生じるものも想定される。上記構成によれば、仮想物体がユーザのスレスレを通過することを予め予測可能となるため、そのようなタイムラグが解消されるように触覚提示手段を前もって駆動させることが可能となる。
従って、仮想物体の通過感を知覚させるための触覚提示に関して、正確性の向上を図ることができる。

また、実施形態としての情報処理装置においては、提示制御部は、ユーザに対する仮想物体の通過位置に基づき、ユーザの何れの部位を触覚の提示位置とするかについての決定を行っている。
これにより、通過感を知覚させるための触覚提示は、ユーザの身体のうち、仮想物体の通過位置に基づき決定された一部の部位に対して行われる。
ユーザの一部を対象として直接的に触覚提示が行われることで、通過感の知覚に必要とされる触覚提示装置の駆動力の低減化を図ることが可能となり、触覚提示装置の省電力化や、低出力の触覚提示装置を用いることが可能となることによる触覚提示装置の小型化、軽量化を図ることができる。
同時に、仮想物体の通過位置に基づき触覚の提示位置を定めていることで、通過位置に応じた適切な部位に対して触覚提示を行うことが可能となり、仮想物体の通過感を知覚させるための触覚提示について正確性向上を図ることができる。

さらに、実施形態としての情報処理装置においては、提示制御部は、通過位置に最寄りとなるユーザの部位が特定部位であった場合は、該特定部位に紐付く別部位を提示位置として決定している。
これにより、例えば通過位置に最寄りの部位が衣服等で覆われている可能性が高い肩部分であった場合には、該肩部分に最も近く且つ衣服等で覆われている可能性の低い顔部分を提示位置とする等、通過位置に最寄りの部位が触覚提示を行うことが相応しくないとされる部位であった場合に、それに代替する適切な別部位に提示位置を定めることが可能とされる。
従って、仮想物体の通過感を知覚させるための触覚提示について正確性向上を図ることができる。

さらにまた、実施形態としての情報処理装置においては、提示制御部は、仮想物体の通過感の提示に関して、触覚提示の強度を、仮想物体の通過速度、仮想物体の大きさ、仮想物体の通過位置とユーザとの離間距離の少なくとも何れかに基づき決定している。
実空間において物体が通過する際には、該物体の通過速度や大きさ、通過位置の近さによって人体が知覚する通過感の強度が変化し得る。
従って、上記のように仮想物体の通過時における速度や大きさ、通過位置とユーザとの離間距離に基づき触覚の提示強度を定めることで、仮想物体の通過感を知覚させるための触覚提示について正確性を高めることができる。

また、実施形態としての情報処理装置においては、提示制御部は、仮想物体の通過速度が速い場合は遅い場合よりも強度を高めている。
実空間において物体が通過する際に人体が知覚する通過感の強度は、該物体の通過速度が遅い場合よりも速い場合に高まることになる。
従って、上記構成によれば、仮想物体の通過感を知覚させるための触覚提示について正確性を高めることができる。

さらに、実施形態としての情報処理装置においては、提示制御部は、仮想物体の大きさが大きい場合は小さい場合よりも強度を高めている。
実空間において物体が通過する際に人体が知覚する通過感の強度は、該物体の大きさが小さい場合よりも大きい場合に高まることになる。
従って、上記構成によれば、仮想物体の通過感を知覚させるための触覚提示について正確性を高めることができる。

さらにまた、実施形態としての情報処理装置においては、提示制御部は、通過位置とユーザとの離間距離が小さい場合は大きい場合よりも強度を高めている。
実空間において物体が通過する際に人体が知覚する通過感の強度は、該物体の通過位置が遠い場合よりも近い場合に高まることになる。
従って、上記構成によれば、仮想物体の通過感を知覚させるための触覚提示について正確性を高めることができる。

また、実施形態としての情報処理装置においては、提示制御部は、仮想物体の通過感の提示に関して、仮想物体の通過速度に基づきユーザへの触覚提示に用いる触覚提示手段についての切り替えを行っている。
これにより、例えば通過速度が遅い領域では送風のみの触覚提示を行い、通過速度が速い領域では送風に加えて振動等の他の手段による触覚提示を行う等、通過感の触覚提示に用いる触覚提示手段についての切り替えを行うことが可能となる。
従って、通過速度が速い場合にスピード感を強調する演出を行うことができる等、仮想空間再現用コンテンツについてのリアリティや臨場感の向上を図ることができる。

さらに、実施形態としての情報処理装置においては、提示制御部は、仮想物体の通過感の提示に関して、仮想物体の通過速度が所定値以下である場合にはユーザに対する触覚提示が行われないようにしている。
実空間において、物体の通過速度が遅い場合には、人体により通過感が知覚されないこともある。
従って、上記のように仮想物体の通過速度が所定値以下である場合に通過感を知覚させるための触覚提示を行わないようにすることで、リアリティの向上を図ることができる。また、通過感を知覚させるための触覚提示が無闇に行われることで該触覚提示時に発生する音がユーザの没入感を妨げてしまうことの防止を図ることができる。

さらにまた、実施形態としての情報処理装置においては、提示制御部は、仮想物体の通過感の提示に関して、複数のユーザについてユーザごとに提示位置を決定し、複数のユーザのうち決定した提示位置間の距離が所定値以下となるユーザの組が存在する場合は、該組における各ユーザに対する触覚提示を、共通の提示位置を対象として共通の触覚提示手段によって実行させている。
これにより、互いの位置が近接している各ユーザに通過感を知覚させるための触覚提示を行うべき場合において、各ユーザに対し個別の提示位置に個別の触覚提示手段を用いて触覚提示を行う必要がなくなる。
従って、通過感を知覚させるための触覚提示について効率化を図ることができる。

また、実施形態としての情報処理装置においては、提示制御部は、仮想物体の通過感の提示に関して、複数のユーザについてユーザごとに提示位置及び提示強度を決定し、複数のユーザのうち決定した提示位置間の距離が所定値以下且つ決定した提示強度の差が所定値以下となるユーザの組が存在する場合に、該組における各ユーザに対する触覚提示を、共通の提示位置に共通の触覚提示手段により実行させている。
これにより、提示位置及び提示手段を共通化した触覚提示が、各ユーザに知覚させるべき通過感の強度差が大きい場合にまで無闇に行われてしまうことの防止を図ることが可能となる。
従って、触覚提示の効率化を図る上で、触覚提示の正確性が無闇に損なわれてしまうことの防止を図ることができる。換言すれば、触覚提示の効率化を触覚提示の正確性低下防止を図りつつ実現することができる。

さらに、実施形態としての情報処理装置においては、提示制御部は、共通の提示位置を、各ユーザについて算出した仮想物体の通過位置との離間距離に基づいて決定している。
これにより、各ユーザ間で仮想物体の通過位置との離間距離に差がある場合に対応して、共通の提示位置を適切な位置に定めることが可能となる。例えば、仮想物体の通過位置との離間距離が短い方のユーザ寄りとなる位置に共通の提示位置を定めることで、提示強度の面で、共通提示位置の適正化を図ることが可能となる。
従って、触覚提示の効率化を触覚提示の正確性低下防止を図りつつ実現することができる。

さらにまた、実施形態としての情報処理装置においては、提示制御部は、共通の提示位置を、各ユーザについて決定した提示強度に基づいて決定している。
これにより、各ユーザについて決定されていた提示強度の差に応じて、共通の提示位置を適切な位置に定めることが可能となる。例えば、元々決定されていた提示強度が高い方のユーザ寄りとなる位置に共通の提示位置を定めることで、提示強度の面で、共通提示位置の適正化を図ることが可能となる。
従って、触覚提示の効率化を触覚提示の正確性低下防止を図りつつ実現することができる。

また、実施形態としての情報処理方法は、情報処理装置が、仮想空間におけるユーザと仮想物体との位置関係に基づき、仮想物体がユーザに接触すると判定した場合と、仮想物体がユーザから所定距離以内を通過すると判定した場合とで、ユーザへの触覚提示に用いる触覚提示手段を切り替える情報処理方法である。
このような実施形態としての情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜９．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える提示制御部を備える
情報処理装置。
（２）
前記提示制御部は、
前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合は、送風手段により前記ユーザに対する触覚提示を実行させる
前記（１）に記載の情報処理装置。
（３）
前記提示制御部は、
前記仮想物体が前記ユーザに接触すると判定した場合は振動手段による触覚提示を実行させる
前記（２）に記載の情報処理装置。
（４）
前記提示制御部は、
前記仮想物体と前記ユーザのそれぞれについて予測した所定時間後の位置の情報に基づき、前記所定時間後に前記仮想物体が前記ユーザから所定距離以内を通過するか否かを判定する
前記（１）から（３）の何れかに記載の情報処理装置。
（５）
前記提示制御部は、
前記ユーザに対する前記仮想物体の通過位置に基づき、前記ユーザの何れの部位を触覚の提示位置とするかについての決定を行う
前記（１）から（４）の何れかに記載の情報処理装置。
（６）
前記提示制御部は、
前記通過位置に最寄りとなる前記ユーザの部位が特定部位であった場合は、該特定部位に紐付く別部位を前記提示位置として決定する
前記（５）に記載の情報処理装置。
（７）
前記提示制御部は、
前記仮想物体の通過感の提示に関して、触覚提示の強度を、前記仮想物体の通過速度、前記仮想物体の大きさ、前記仮想物体の通過位置と前記ユーザとの離間距離の少なくとも何れかに基づき決定する
前記（１）から（６）の何れかに記載の情報処理装置。
（８）
前記提示制御部は、
前記仮想物体の通過速度が速い場合は遅い場合よりも前記強度を高める
前記（７）に記載の情報処理装置。
（９）
前記提示制御部は、
前記仮想物体の大きさが大きい場合は小さい場合よりも前記強度を高める
前記（７）又は（８）に記載の情報処理装置。
（１０）
前記提示制御部は、
前記通過位置と前記ユーザとの離間距離が小さい場合は大きい場合よりも前記強度を高める
前記（７）から（９）の何れかに記載の情報処理装置。
（１１）
前記提示制御部は、
前記仮想物体の通過感の提示に関して、前記仮想物体の通過速度に基づき前記ユーザへの触覚提示に用いる触覚提示手段についての切り替えを行う
前記（１）から（１０）の何れかに記載の情報処理装置。
（１２）
前記提示制御部は、
前記仮想物体の通過感の提示に関して、前記仮想物体の通過速度が所定値以下である場合には前記ユーザに対する触覚提示が行われないようにする
前記（１）から（１１）の何れかに記載の情報処理装置。
（１３）
前記提示制御部は、
前記仮想物体の通過感の提示に関して、複数のユーザについてユーザごとに提示位置を決定し、前記複数のユーザのうち決定した提示位置間の距離が所定値以下となるユーザの組が存在する場合は、該組における各ユーザに対する触覚提示を、共通の提示位置を対象として共通の触覚提示手段によって実行させる
前記（１）から（１２）の何れかに記載の情報処理装置。
（１４）
前記提示制御部は、
前記仮想物体の通過感の提示に関して、複数のユーザについてユーザごとに提示位置及び提示強度を決定し、前記複数のユーザのうち決定した提示位置間の距離が所定値以下且つ決定した提示強度の差が所定値以下となるユーザの組が存在する場合に、該組における各ユーザに対する触覚提示を、共通の提示位置に共通の触覚提示手段により実行させる
前記（１３）に記載の情報処理装置。
（１５）
前記提示制御部は、
前記共通の提示位置を、前記各ユーザについて算出した仮想物体の通過位置との離間距離に基づいて決定する
前記（１３）又は（１４）に記載の情報処理装置。
（１６）
前記提示制御部は、
前記共通の提示位置を、前記各ユーザについて決定した前記提示強度に基づいて決定する
前記（１４）又は（１５）に記載の情報処理装置。
（１７）
情報処理装置が、
仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える
情報処理方法。
（１８）
コンピュータ装置が読み取り可能なプログラムであって、
仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える機能を前記コンピュータ装置に実現させる
プログラム。

１ 情報処理装置
２ 画像出力装置
３ 接触再現装置
３ａ 振動装置
４ 通過再現装置
４ａ 送風装置
５ 位置検出用センサ装置
５ａ カメラ
１０ 仮想空間再現システム
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ メモリ部
１５ 通信部
１６ センサ情報入力部
Ｐ、Ｐ１、Ｐ２ ユーザ
Ｖｏ、Ｖｏ１、Ｖｏ２ 仮想物体
Ｆ１ 位置姿勢検出部
Ｆ２ 画像生成部
Ｆ３ 提示制御部
Ａｔ 通過判定領域
Ａｈ ユーザ領域
Ｓｄ 境界面
Ｐｔ、Ｐｔ１、Ｐｔ２ 通過位置
Ｄｄ 離間距離

Claims (18)

1. 仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える提示制御部を備える
   情報処理装置。
2. 前記提示制御部は、
   前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合は、送風手段により前記ユーザに対する触覚提示を実行させる
   請求項１に記載の情報処理装置。
3. 前記提示制御部は、
   前記仮想物体が前記ユーザに接触すると判定した場合は振動手段による触覚提示を実行させる
   請求項２に記載の情報処理装置。
4. 前記提示制御部は、
   前記仮想物体と前記ユーザのそれぞれについて予測した所定時間後の位置の情報に基づき、前記所定時間後に前記仮想物体が前記ユーザから所定距離以内を通過するか否かを判定する
   請求項１に記載の情報処理装置。
5. 前記提示制御部は、
   前記ユーザに対する前記仮想物体の通過位置に基づき、前記ユーザの何れの部位を触覚の提示位置とするかについての決定を行う
   請求項１に記載の情報処理装置。
6. 前記提示制御部は、
   前記通過位置に最寄りとなる前記ユーザの部位が特定部位であった場合は、該特定部位に紐付く別部位を前記提示位置として決定する
   請求項５に記載の情報処理装置。
7. 前記提示制御部は、
   前記仮想物体の通過感の提示に関して、触覚提示の強度を、前記仮想物体の通過速度、前記仮想物体の大きさ、前記仮想物体の通過位置と前記ユーザとの離間距離の少なくとも何れかに基づき決定する
   請求項１に記載の情報処理装置。
8. 前記提示制御部は、
   前記仮想物体の通過速度が速い場合は遅い場合よりも前記強度を高める
   請求項７に記載の情報処理装置。
9. 前記提示制御部は、
   前記仮想物体の大きさが大きい場合は小さい場合よりも前記強度を高める
   請求項７に記載の情報処理装置。
10. 前記提示制御部は、
    前記通過位置と前記ユーザとの離間距離が小さい場合は大きい場合よりも前記強度を高める
    請求項７に記載の情報処理装置。
11. 前記提示制御部は、
    前記仮想物体の通過感の提示に関して、前記仮想物体の通過速度に基づき前記ユーザへの触覚提示に用いる触覚提示手段についての切り替えを行う
    請求項１に記載の情報処理装置。
12. 前記提示制御部は、
    前記仮想物体の通過感の提示に関して、前記仮想物体の通過速度が所定値以下である場合には前記ユーザに対する触覚提示が行われないようにする
    請求項１に記載の情報処理装置。
13. 前記提示制御部は、
    前記仮想物体の通過感の提示に関して、複数のユーザについてユーザごとに提示位置を決定し、前記複数のユーザのうち決定した提示位置間の距離が所定値以下となるユーザの組が存在する場合は、該組における各ユーザに対する触覚提示を、共通の提示位置を対象として共通の触覚提示手段によって実行させる
    請求項１に記載の情報処理装置。
14. 前記提示制御部は、
    前記仮想物体の通過感の提示に関して、複数のユーザについてユーザごとに提示位置及び提示強度を決定し、前記複数のユーザのうち決定した提示位置間の距離が所定値以下且つ決定した提示強度の差が所定値以下となるユーザの組が存在する場合に、該組における各ユーザに対する触覚提示を、共通の提示位置に共通の触覚提示手段により実行させる
    請求項１３に記載の情報処理装置。
15. 前記提示制御部は、
    前記共通の提示位置を、前記各ユーザについて算出した仮想物体の通過位置との離間距離に基づいて決定する
    請求項１３に記載の情報処理装置。
16. 前記提示制御部は、
    前記共通の提示位置を、前記各ユーザについて決定した前記提示強度に基づいて決定する
    請求項１４に記載の情報処理装置。
17. 情報処理装置が、
    仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える
    情報処理方法。
18. コンピュータ装置が読み取り可能なプログラムであって、
    仮想空間におけるユーザと仮想物体との位置関係に基づき、前記仮想物体が前記ユーザに接触すると判定した場合と、前記仮想物体が前記ユーザから所定距離以内を通過すると判定した場合とで、前記ユーザへの触覚提示に用いる触覚提示手段を切り替える機能を前記コンピュータ装置に実現させる
    プログラム。

Images