JP2008027223A - 視触覚融合提示装置及びその方法 - Google Patents

Abstract

【課題】映像を提示すると共に、映像に対応する触覚を映像空間に位置する対象物をなぞることにより知覚させることを可能とし、仮想物体の存在を現実に近いものとする。
【解決手段】映像情報と、それにより提示される映像の各位置の映像に対応した触覚情報とを組にして、各種映像・触覚情報を記憶する知覚情報記憶部１００と、映像情報を選択する選択部２００と、選択された映像情報により映像を提示する映像提示部３００と、ステージ４１０上に搭載されて人間の部位によってなぞられる対象物５００と、上記部位の映像上の位置を検出する部位位置検出部６００と、映像情報と組の触覚情報と上記部位の位置とに基づき、知覚させる触覚を決定し、その触覚を知覚させるためにステージ４１０の移動を制御するパラメータを生成するパラメータ生成部７００と、そのパラメータによりステージ４１０の移動を制御する制御部８００とを有する。
【選択図】図１

Description

この発明は視覚に対して映像を提示すると共に、視覚によって知覚される空間に対象物を位置させ、人間がその対象物をある部位でなぞる時、そのなぞっている部分の映像に対応した触覚を前記部位を通じて人間に知覚させる装置及びその方法に関する。

なぞり動作を利用することにより物体形状を提示する手法が非特許文献１に記載されている。この非特許文献１に記載されている手法は指によってなぞられる対象物（接触対象）をなぞり動作時に移動させることによって対象物の幅を錯覚させるもので、指と対象物との相対速度を変化させることにより、任意の物体幅を触覚として提示することができるものとなっている。
安藤，仲谷，渡邊，前田，舘、「なぞり動作を利用した触形状提示手法の検討」、日本バーチャルリアリティ学会論文誌、Vol.11,No.1,2006

しかるに、上記非特許文献１に記載されている手法は単に触覚を提示するもので、その触覚を生起させている対象を視覚によって人間に知覚させることについては考慮されていない。
この発明の目的は任意の凸面の長さ（幅）や有限長さの直線や曲線の触覚、表面粗さの触覚、粘性や弾性の触覚に加え、その触覚を生起させている対象を視覚によって同一の空間位置に知覚させることを可能とする視触覚融合提示装置及びその方法を提供することにある。

この発明によれば、視触覚融合提示装置は、映像情報と、その映像情報に基づいて提示される映像の各位置の映像に対応した触覚情報とを組にして、各種映像情報と触覚情報とを記憶する知覚情報記憶部と、その知覚情報記憶部に記憶されている映像情報を選択する選択部と、その選択部によって選択された映像情報に基づき、視覚に対して映像を提示する映像提示部と、ステージ上に搭載されて視覚によって知覚される空間に位置し、人間の部位によってなぞられる対象物と、その対象物上に位置する上記部位の映像上の位置を検出する部位位置検出部と、上記選択された映像情報と組の触覚情報と、部位位置検出部によって検出された上記部位の位置とに基づき、上記部位に知覚させる触覚を決定し、その触覚を知覚させるためにステージの移動を制御するパラメータを生成するパラメータ生成部と、そのパラメータ生成部により生成されたパラメータにより、ステージの移動を制御する制御部とを有する。

この発明によれば、映像情報と、その映像情報に基づいて提示される映像の各位置の映像に対応した触覚情報とを組にして、各種映像情報と触覚情報とを記憶する知覚情報記憶部と、ステージ上に搭載された映像提示部と、その映像提示部上に搭載され、人間の部位によってなぞられる透明な対象物と、その対象物上に位置する上記部位の位置を検出する部位位置検出部とを備える視触覚融合提示装置における視触覚融合提示方法は、知覚情報記憶部に記憶されている映像情報を選択部により選択する過程と、その選択された映像情報に基づき、映像提示部に映像を表示する過程と、上記選択された映像情報と組の触覚情報と、部位位置検出部によって検出された上記部位の位置とに基づき、上記部位に知覚させる触覚を決定し、その触覚を知覚させるためにステージの移動を制御するパラメータをパラメータ生成部により生成する過程と、生成されたパラメータに基づき、ステージの移動を制御部により制御する過程と、上記映像を視覚に対して静止させるべく、ステージの移動方向と逆方向に映像を映像情報制御部によって移動制御する過程とを有する。

この発明による視触覚融合提示装置によれば、視覚に対して映像を提示すると共に、その映像空間に位置する対象物を人間の部位がなぞることにより、その位置の映像に対応した触覚を提示することができ、つまり視覚情報と触覚情報とを同じ空間位置に提示することができ、よって仮想物体の存在感を増強でき、より現実に近いものとすることができる。
また、映像提示部が触覚提示のためのステージ上に搭載されてステージと共に移動する構成の視触覚融合提示装置において、この発明による視触覚融合提示方法を適用することにより、視覚に対して映像による仮想物体が静止しているように知覚させることができる。

この発明の実施形態を図面を参照して説明する。
図１はこの発明による視触覚融合提示装置の一構成例を示したものであり、この例では視触覚融合提示装置は知覚情報記憶部１００と選択部２００と映像提示部３００とステージ装置４００と対象物５００と部位位置検出部６００とパラメータ生成部７００と制御部８００とを備えている。
知覚情報記憶部１００は映像情報と、その映像情報に基づいて提示される映像の各位置の映像に対応した触覚情報とを組にして、各種映像情報と触覚情報とを記憶している。触覚情報として記憶されている触覚はこの例では長さ、表面粗さ、粘性及び弾性とされる。

選択部２００は知覚情報記憶部１００に記憶されている各種映像情報の中から所望の映像情報を選択する。
映像提示部３００は選択部２００によつて選択された映像情報に基づき、情報提示対象者（人間）の視覚に対して映像を提示する。
ステージ装置４００はステージ４１０を備え、ステージ４１０は２次元（直交２方向）に移動される。
対象物５００は人間の部位によってなぞられるものであり、この例では方形板状とされ、ステージ４１０上に搭載されて視覚によって知覚される空間に位置される。人間の部位は図１中に示したように、この例では人間の指１０とされる。なお、人間の部位は指に限らず、例えば足などでもよい。

部位位置検出部６００は対象物５００上に位置する人間の部位の位置を検出するもので、部位位置検出部６００により、この例では対象物５００に接触している指１０の、その指１０が位置する映像上の位置（ｘ，ｙ座標）が検出される。
パラメータ生成部７００は選択部２００によって選択された映像情報と組の触覚情報と、部位位置検出部６００によって検出された指１０の位置とに基づき、指１０に知覚させる触覚を決定し、その触覚を知覚させるためにステージ４１０の移動を制御するパラメータを生成する。

制御部８００はパラメータ生成部７００により生成されたパラメータによりステージ４１０の移動を制御する。
上記のような構成を有する視触覚融合提示装置によれば、映像提示部３００によって映像が提示され、その映像空間に位置する対象物５００を指１０で触れ、なぞることにより、その部分の映像に対応する触覚を指１０を通じて人間に知覚させることができる。
図２はパラメータ生成部７００の構成を示したものであり、選択部２００によつて所望の映像情報を選択することにより、判断部７１０にはその選択された映像情報と組の触覚情報が選択部２００から入力され、一方部位位置検出部６００からは指１０の位置（ｘ，ｙ座標）が入力される。判断部７１０は入力された触覚情報と指１０の位置から知覚させるべき触覚を決定する。以下、長さの触覚、表面粗さの触覚、粘性の触覚及び弾性の触覚を指１０に与える場合の方法、構成について説明する。

＜長さの触覚＞
長さの触覚は指１０が対象物５００を、その一端から他端までなぞつている際に、対象物５００を移動させることによって対象物５００の幅を錯覚させることにより提示することができる。つまり、指１０の移動方向と同じ方向に対象物５００を移動させれば対象物５００の長さ（幅）を実際の長さよりも長く感じることになり、また指１０の移動方向と逆方向に対象物５００を移動させれば対象物５００の長さを実際の長さよりも短く感じることになる。

ここで、知覚させたい長さをＬ、対象物５００の長さをＬ_Ｔとし、指１０の速度をＶ_Ｆ、ステージ４１０の速度をＶ_Ｓとする。長さ比Ｌ／Ｌ_Ｔと速度比Ｖ_Ｓ／Ｖ_Ｆとは図３のグラフに示したような関係となり、長さ比Ｌ／Ｌ_ＴをＹ、速度比Ｖ_Ｓ／Ｖ_ＦをＸとおくと、Ｙ＝１／（１−Ｘ）の関係となる。
知覚させる触覚が長さの場合、判断部７１０よりその長さＬが長さ比計算部７２０に入力される。レジスタ７３０には標準長さとして対象物５００の長さＬ_Ｔが予め設定・格納されており、長さ比計算部７２０は判断部７１０より入力された長さＬとレジスタ７３０に設定されている長さＬ_Ｔとの比Ｌ／Ｌ_Ｔを計算する。

長さ比計算部７２０で計算された長さ比Ｌ／Ｌ_Ｔはテーブル７４０に入力される。テーブル７４０には上述の図３に示したグラフで表される長さ比Ｌ／Ｌ_Ｔと速度比Ｖ_Ｓ／Ｖ_Ｆとの関係が格納されており、長さ比Ｌ／Ｌ_Ｔでテーブル７４０を参照することにより速度比Ｖ_Ｓ／Ｖ_Ｆがパラメータとして読み出されて生成される。
図４はステージ装置４００の構成及び知覚させる触覚が長さの場合の制御部８００の構成を示したものであり、ステージ装置４００はこの例ではモータ駆動部４２０、モータ４３０、ステージ位置検出部４４０、運動変換部４５０及びステージ４１０によって構成されている。モータ４３０の回転運動は運動変換部４５０で直線運動に変換され、これによりステージ４１０が移動される。

パラメータ生成部７００で生成された速度比Ｖ_Ｓ／Ｖ_Ｆは制御部８００の更新速度計算部８１１に入力される。一方、部位位置検出部６００によって検出される指１０の位置は制御部８００の部位速度計算部８１２に入力され、部位速度計算部８１２は指１０の位置（座標情報）から指１０の速度Ｖ_Ｆを求める。速度Ｖ_Ｆは更新速度計算部８１１に入力され、更新速度計算部８１１は速度比Ｖ_Ｓ／Ｖ_Ｆと速度Ｖ_Ｆとを乗算してステージ４１０の更新すべき速度Ｖ_Ｓを求める。
更新速度計算部８１１は求めた速度Ｖ_Ｓでステージ４１０を移動させる速度指令を生成し、この速度指令がモータ駆動部４２０に入力される。ステージ４１０は速度指令に基づき移動され、つまり更新された速度Ｖ_Ｓで移動され、これにより知覚させるべき長さＬの触覚を指１０に与えることができる。

＜表面粗さの触覚＞
表面粗さの触覚は指１０が対象物５００をなぞっている際に、対象物５００の速度と指１０の速度とが等しい場合と対象物５００の速度が０の場合とを交互に繰り返し、つまり指１０の移動に対して対象物５００が追従、停止を断続的に繰り返すようにし、指１０と対象物５００表面との間にスティック・スリップを生じさせることによって提示することができる。
知覚させる触覚が表面粗さの場合、判断部７１０から表面粗さの度合いとしてピッチＰがテーブル７５０に入力される。テーブル７５０にはピッチＰと、指１０の移動に対して対象物５００が断続的に追従、停止を繰り返す周期Ｔとの関係が格納されており、ピッチＰでテーブル７５０を参照することにより周期Ｔがパラメータとして読み出されて生成される。

ここで、テーブル７５０に格納されているピッチＰと周期Ｔとについて説明する。
ピッチＰは表面に凹凸が一定のピッチで一方向に配列形成されている試験片における凹凸の配列ピッチを表し、ピッチＰの値が大きい時はざらざらした触覚となり、ピッチＰの値が小さい時はつるつるとした触覚となる。
各種ピッチＰの試験片を用意し、指でなぞり動作を行う。この時の指の速度をＶ_ＦＤとする。一方、凹凸のないなめらかな標準片（対象物５００に相当するもの）を用意し、指でなぞり動作を行う。このとき、指１０の速度は試験片をなぞる場合と同様、Ｖ_ＦＤとし、また標準片が指１０の速度Ｖ_ＦＤと速度０とで指１０の移動に対して追従、停止を断続的に繰り返すように操作する。この繰り返し周期を調整することにより、試験片をなぞった時の触覚と標準片をなぞった時の触覚が一致する周期を各試験片に対して求め、これによってピッチＰと周期Ｔとの関係を求める。テーブル７５０にはこのピッチＰと周期Ｔとの関係をグラフ化したものが格納されている。

図５はステージ装置４００の構成及び知覚させる触覚が表面粗さの場合の制御部８００の構成を示したものであり、図４と対応する部分には同一符号を付し、その詳細な説明を省略する。
パラメータ生成部７００で生成された周期Ｔは制御部８００の補正部８２１に入力される。一方、部位位置検出部６００によって検出される指１０の位置は部位速度計算部８１２に入力され、部位速度計算部８１２は指１０の速度Ｖ_Ｆを求める。レジスタ８２２には上述のピッチＰと周期Ｔとの関係を求めた際の指１０の速度Ｖ_ＦＤが基準速度として予め設定・格納されており、補正係数生成部８２３はレジスタ８２２に設定されている基準速度Ｖ_ＦＤを部位速度計算部８１２から入力された速度Ｖ_Ｆで除算して補正係数ｇ＝Ｖ_ＦＤ／Ｖ_Ｆを生成する。

補正係数生成部８２３で生成された補正係数ｇは補正部８２１に入力され、補正部８２１はパラメータ生成部７００から入力された周期Ｔと補正係数ｇを乗算して補正された周期Ｔ′＝ｇＴを生成する。
周期Ｔ′は方形波生成部８２４に入力され、周期Ｔ′、デューティ５０％の方形波信号が生成される。この方形波信号によってスイッチ８２５が制御される。即ち、方形波信号の“１”レベルで部位速度計算部８１２からの指１０の速度Ｖ_Ｆが速度指令としてモータ駆動部４２０に入力され、方形波信号の“０”レベルで速度０部８２６より速度０（ゼロ）指令がモータ駆動部４２０に入力される。これら交互の速度指令に基づき、ステージ４１０は移動され、これによりピッチＰと対応する表面粗さの触覚が指１０に与えられる。

＜粘性の触覚＞
粘性の触覚は指１０が対象物５００をなぞっている際に、対象物５００がＦ_Ｔの力を指１０に与えるものとし、指の速度をＶ_Ｆとして、Ｆ_ＴがＦ_Ｔ＝ＤＶ_Ｆを満たす時、粘性係数Ｄの粘性のある物体をなぞっている触覚が知覚されるという錯覚現象を利用することによって提示される。
知覚させる触覚が粘性の場合、判断部７１０から粘性Ｗがテーブル７６０に入力される。粘性とは例えばＳＡＥ（米国自動車技術者協会）で定められているオイル粘度分類などを示すものである。テーブル７６０には粘性Ｗと粘性係数Ｄとの関係が格納されており、粘性Ｗでテーブル７６０を参照することにより粘性係数Ｄがパラメータとして読み出されて生成される。

図６はステージ装置４００の構成及び知覚させる触覚が粘性の場合の制御部８００の構成を示したものであり、図４と対応する部分には同一符号を付し、その詳細な説明を省略する。
パラメータ生成部７００で生成された粘性係数Ｄは制御部８００の粘力計算部８３１に入力される。指１０は対象物５００から離れないものとし、指１０が対象物５００をなぞり始めた際、それに伴いステージ４１０が動き、ステージ位置検出部４４０によりステージ４１０の位置が検出される。ステージ位置検出部４４０は例えばエンコーダのようなもので構成される。

ステージ位置検出部４４０によって検出されるステージ４１０の位置は制御部８００のステージ速度計算部８３２に入力され、ステージ速度計算部８３２はステージ４１０の位置（座標情報）からステージ４１０の速度Ｖ_Ｓを求める。なお、速度Ｖ_Ｓはこの場合、指の速度Ｖ_Ｆと同じであり、速度Ｖ_Ｓは粘力計算部８３１に入力される。
粘力計算部８３１は速度Ｖ_Ｓに粘性係数Ｄを乗算して粘力Ｆ_Ｄ＝ＤＶ_Ｓを計算し、この粘力Ｆ_Ｄを推力としてステージ４１０を移動させる推力指令を生成し、この推力指令がモータ駆動部４２０に入力される。ステージ４１０は推力（＝粘力Ｆ_Ｄ）を指１０に与えるよう移動制御され、これにより知覚させるべき粘性Ｗの触覚を指１０に与えることができる。

＜弾性の触覚＞
弾性の触覚は指１０が対象物５００をなぞっている際に、対象物５００がＦ_Ｔの力を指１０に与えるものとし、指１０の初期位置をＰ_０、移動したときの指１０の位置をＰ_１として、Ｆ_ＴがＦ_Ｔ＝Ｋ（Ｐ_０−Ｐ_１）を満たす時、弾性係数Ｋの弾性のある物体をなぞっている触覚が知覚されるという錯覚現象を利用することによって提示される。
知覚させる触覚が弾性の場合、判断部７１０から弾性Ｈがテーブル７７０に入力される。弾性とは例えばＪＩＳ Ｋ６２５３で定められているゴム硬度などを示すものである。テーブル７７０には弾性Ｈと弾性係数Ｋとの関係が格納されており、弾性Ｈでテーブル７７０を参照することにより弾性係数Ｋがパラメータとして読み出されて生成される。

図７はステージ装置４００の構成及び知覚させる触覚が弾性の場合の制御部８００の構成を示したものであり、図４と対応する部分には同一符号を付し、その詳細な説明を省略する。
パラメータ生成部７００で生成された弾性係数Ｋは制御部８００の弾力計算部８４１に入力される。指１０は対象物５００から離れないものとし、指１０が対象物５００をなぞり始めた際、それに伴い、ステージ４１０が動き、ステージ位置検出部４４０によりステージ４１０の位置Ｐ_１が検出される。

制御部８００の初期位置記憶部８４２にはステージ４１０の初期位置Ｐ_０が記憶されており、この初期位置Ｐ_０と位置Ｐ_１とが弾力計算部８４１に入力される。なお、初期位置Ｐ_０及び位置Ｐ_１はこの場合、指１０の初期位置及びなぞり始めて移動した位置と同じである。
弾力計算部８４１は初期位置Ｐ_０と位置Ｐ_１との差に弾性係数Ｋを乗算して弾力Ｆ_Ｋ＝Ｋ（Ｐ_０−Ｐ_１）を計算し、この弾力Ｆ_Ｋを推力としてステージ４１０を移動させる推力指令を生成し、この推力指令がモータ駆動部４２０に入力される。ステージ４１０は推力（＝弾力Ｆ_Ｋ）を指１０に与えるよう移動制御され、これにより知覚させるべき弾力Ｈの触覚を指１０に与えることができる。

以上、長さＬ、表面粗さ（ピッチＰ）、粘性Ｗ及び弾性Ｈの各触覚を指１０に与える場合の方法、構成について、個別に説明したが、図１に示した視触覚融合提示装置の制御部８００は図４乃至７に示した構成を全て有するものであり、即ち制御部８００は更新速度計算部８１１、部位速度計算部８１２、補正部８２１、レジスタ８２２、補正係数生成部８２３、方形波生成部８２４、スイッチ８２５、速度０部８２６、粘力計算部８３１、ステージ速度計算部８３２、弾力計算部８４１及び初期位置記憶部８４２を備えるものとされる。

なお、上記においては各触覚の提示を便宜上、１次元として、つまり１次元的な指１０の動きに対して触覚を与えるものとして説明したが、図１に示した視触覚融合提示装置は２次元的な触覚提示を行えるものであり、即ち知覚情報記憶部１００に記憶されている触覚情報は２次元情報であり、また２次元的な触覚提示を行うべく、例えば制御部８００及びステージ装置４００におけるモータ駆動部４２０、モータ４３０、ステージ位置検出部４４０、運動変換部４５０等は直交２方向（ｘ，ｙ２方向）用にそれぞれ設けられているものとされる。

次に、図１における映像提示部３００の具体的各種構成例について説明する。
図８は映像提示部にシースルー型ヘッドマウントディスプレイ（ＨＭＤ）３１０を用いる例を示したものであり、図８中、３１１はディスプレイを示し、３１２はハーフミラーを示す。ディスプレイ３１１は例えば液晶ディスプレイと（ＬＣＤ）される。この例では情報提示対象者（人間）はシースルー型ヘッドマウントディスプレイ３１０を装着することにより映像（視覚情報）を得ることができ、その映像空間に対象物５００が位置される。

図９は映像提示部を、ディスプレイ３２１とステージ４１０の上方に配置したハーフミラー３２２とよりなるシースルー型ディスプレイ３２０としたものである。これら図8及び９に示した構成では対象物５００上に映像によって提示される仮想物体が位置することになるため、対象物５００の表面（指１０によってなぞられる表面）を白色無地とするのが好ましい。また、同様にステージ４１０の表面も白色無地とするのが好ましい。
図１０は映像提示部を、ディスプレイ（図示せず）と、そのディスプレイの映像を対象物５００の指１０によってなぞられる表面に投射するプロジェクタ３３１とによって構成する例を示したものであり、プロジェクタ３３１は図１０に示したようにステージ４１０の上方に位置される。この例では良好な映像品質が得られるよう、対象物５００の表面にスクリーンを配置するのが好ましく、またステージ４１０上にもスクリーンを配置するのが好ましい。

図１１は映像提示部を、液晶ディスプレイ（ＬＣＤ）やプラズマディスプレイ（ＰＤＰ）、エレクトロルミネセンスディスプレイ（ＥＬＤ）といった平板状のディスプレイ３４０としてステージ４１０上に搭載し、そのディスプレイ３４０上に対象物５００′を搭載した例を示したものであり、このような構成を採用することもできる。この例では対象物５００′は樹脂やガラス製とされ、透明とされる。
前述の図８乃至１０に示した各構成では映像提示部が指１０より目に近い位置関係にあるため、本来指下にあるべき仮想物体が指１０よりも手前に知覚されてしまい、指１０の上に映像がのるといった状況になるが、この図１１に示した構成では常に指下に物体があるように知覚させることができ、その点で指１０と仮想物体との良好な奥行き関係を得ることができ、また指１０の上に映像がのり、指１０によって映像が隠蔽されるといった問題を解消することができる。

なお、この図１１に示した構成ではディスプレイ３４０（映像提示部）はステージ４１０と共に移動することになるため、映像による仮想物体が静止しているように知覚させる必要がある。この点については後で説明する。
図１２は映像提示部をディスプレイ３５０としてステージ４１０′の対象物搭載面と反対面側に配置し、つまりステージ４１０′の下方にディスプレイ３５０が位置するようにした例を示したものである。このような構成を採用すれば、図１１の場合と異なり、ディスプレイ３５０は移動せず、ディスプレイ３５０上を、対象物５００′を搭載したステージ４１０′が移動することになる。なお、この例ではステージ４１０′及び対象物５００′は共に透明とされる。

図１３は映像提示部を、図１０の場合と同様、ディスプレイ（図示せず）と、そのディスプレイの映像を投射するプロジェクタ３３１とによって構成し、プロジェクタ３３１をステージ４１０″の下方に配置してステージ４１０″の対象物搭載面と反対面側から映像を投射するようにした例を示したものである。この例ではステージ４１０″には例えばくもりガラスなどが用いられ、ステージ４１０″は光を拡散透過するものとされる。対象物５００′は透明とされる。
以上説明したように、映像提示部３００には各種構成を採用することができる。

図１４は図１１に示した例のように映像提示部３００がステージ４１０上に搭載されてステージ４１０と共に移動する場合の視触覚融合提示装置の構成を示したものであり、この例では視触覚融合提示装置は映像情報制御部９００を具備するものとされる。
映像情報制御部９００には選択部２００から映像情報が入力され、またステージ装置４００のステージ位置検出部４４０からステージ４１０の位置が入力される。映像情報制御部９００は入力されるステージ４１０の位置をもとにステージ４１０の移動方向と逆方向に映像を移動制御して映像提示部３００に表示させる。これにより、映像提示部３００がステージ４１０と共に移動しても映像による仮想物体は静止しているように見せることができる。

この発明による視触覚融合提示装置の一実施例を示すブロック図。 図１におけるパラメータ生成部の構成を示すブロック図。 知覚させたい長さＬと対象物の長さＬ_Ｔとの長さ比と、ステージの速度Ｖ_Ｓと指の速度Ｖ_Ｆとの速度比との関係を表わすグラフ。 長さの触覚を提示する場合の制御部及びステージ装置の構成を説明するためのブロック図。 表面粗さの触覚を提示する場合の制御部及びステージ装置の構成を説明するためのブロック図。 粘性の触覚を提示する場合の制御部及びステージ装置の構成を説明するためのブロック図。 弾性の触覚を提示する場合の制御部及びステージ装置の構成を説明するためのブロック図。 映像提示部の第１の構成例を説明するための図。 映像提示部の第２の構成例を説明するための図。 映像提示部の第３の構成例を説明するための図。 映像提示部の第４の構成例を説明するための図。 映像提示部の第５の構成例を説明するための図。 映像提示部の第６の構成例を説明するための図。 映像提示部がステージ上に搭載される場合の視触覚融合提示装置の実施例を示すブロック図。

Claims (12)

1. 映像情報と、その映像情報に基づいて提示される映像の各位置の映像に対応した触覚情報とを組にして、各種映像情報と触覚情報とを記憶する知覚情報記憶部と、
   その知覚情報記憶部に記憶されている映像情報を選択する選択部と、
   その選択部によって選択された映像情報に基づき、視覚に対して映像を提示する映像提示部と、
   ステージ上に搭載されて視覚によって知覚される空間に位置し、人間の部位によってなぞられる対象物と、
   その対象物上に位置する上記部位の、上記映像上の位置を検出する部位位置検出部と、
   上記選択された映像情報と組の触覚情報と、上記部位位置検出部によって検出された上記部位の位置とに基づき、上記部位に知覚させる触覚を決定し、その触覚を知覚させるために上記ステージの移動を制御するパラメータを生成するパラメータ生成部と、
   そのパラメータ生成部により生成されたパラメータにより、上記ステージの移動を制御する制御部とを有することを特徴とする視触覚融合提示装置。
2. 請求項１記載の視触覚融合提示装置において、
   上記映像提示部はディスプレイとハーフミラーとを具備するシースルー型ディスプレイとされ、
   上記対象物は上記部位によってなぞられる表面が白色無地とされていることを特徴とする視触覚融合提示装置。
3. 請求項２記載の視触覚融合提示装置において、
   上記シースルー型ディスプレイがシースルー型ヘッドマウントディスプレイとされていることを特徴とする視触覚融合提示装置。
4. 請求項１記載の視触覚融合提示装置において、
   上記映像提示部はディスプレイと、そのディスプレイの映像を上記対象物の上記部位によってなぞられる表面に投射するプロジェクタとよりなり、
   上記対象物は上記表面にスクリーンを備えていることを特徴とする視触覚融合提示装置。
5. 請求項１記載の視触覚融合提示装置において、
   上記映像提示部は平板ディスプレイとされて上記ステージ上に搭載され、
   上記対象物は透明とされて上記平板ディスプレイ上に搭載されており、
   上記映像を視覚に対して静止させるべく、上記ステージの移動方向と逆方向に上記映像を移動制御する映像情報制御部を具備することを特徴とする視触覚融合提示装置。
6. 請求項１記載の視触覚融合提示装置において、
   上記映像提示部がディスプレイとされ、
   上記対象物及びステージが透明とされ、
   上記ステージの、上記対象物搭載面と反対面側に上記ディスプレイが配されていることを特徴とする視触覚融合提示装置。
7. 請求項１記載の視触覚融合提示装置において、
   上記対象物が透明とされ、
   上記ステージは光を拡散透過するものとされ、
   上記映像提示部はディスプレイと、そのディスプレイの映像を上記ステージに、その上記対象物搭載面と反対面側から投射するプロジェクタとよりなるものとされていることを特徴とする視触覚融合提示装置。
8. 請求項１乃至７記載のいずれかの視触覚融合提示装置において、
   上記部位に知覚させる触覚が長さの場合、
   上記パラメータ生成部は上記知覚させる長さと予め設定された標準長さとに基づいて速度比を生成し、
   上記制御部は上記部位位置検出部が検出する位置をもとに上記部位の速度を求め、その速度と上記速度比とから上記ステージの更新速度を計算し、その更新速度で上記ステージを移動させる速度指令を生成することを特徴とする視触覚融合提示装置。
9. 請求項１乃至７記載のいずれかの視触覚融合提示装置において、
   上記部位に知覚させる触覚が表面粗さの場合、
   上記パラメータ生成部は上記知覚させる表面粗さに基づいて周期を生成し、
   上記制御部は上記部位位置検出部が検出する位置をもとに上記部位の速度を求め、予め設定された基準速度を上記部位の速度で除算して補正係数を生成し、その補正係数と上記周期を乗算して上記周期を補正し、その補正された周期の方形波を生成して、その方形波によりスイッチを切替えることにより上記部位の速度及び速度ゼロで上記ステージを移動させる速度指令を生成することを特徴とする視触覚融合提示装置。
10. 請求項１乃至７記載のいずれかの視触覚融合提示装置において、
    上記部位に知覚させる触覚が粘性の場合、
    上記パラメータ生成部は上記粘性から粘性係数を生成し、
    上記制御部は上記ステージに設けられたステージ位置検出部が検出するステージ位置をもとにステージの速度を求め、その速度に上記粘性係数を乗算して粘力を計算し、その粘力を推力として上記ステージを移動させる推力指令を生成することを特徴とする視触覚融合提示装置。
11. 請求項１乃至７記載のいずれかの視触覚融合提示装置において、
    上記部位に知覚させる触覚が弾性の場合、
    上記パラメータ生成部は上記弾性から弾性係数を生成し、
    上記制御部は上記ステージに設けられたステージ位置検出部が検出するステージ位置と、ステージの初期の位置との差に上記弾性係数を乗算して弾力を計算し、その弾力を推力として上記ステージを移動させる推力指令を生成することを特徴とする視触覚融合提示装置。
12. 映像情報と、その映像情報に基づいて提示される映像の各位置の映像に対応した触覚情報とを組にして、各種映像情報と触覚情報とを記憶する知覚情報記憶部と、
    ステージ上に搭載された映像提示部と、
    その映像提示部上に搭載され、人間の部位によってなぞられる透明な対象物と、
    その対象物上に位置する上記部位の位置を検出する部位位置検出部とを備える視触覚融合提示装置における視触覚融合提示方法であって、
    上記知覚情報記憶部に記憶されている映像情報を選択部により選択する過程と、
    その選択された映像情報に基づき、上記映像提示部に映像を表示する過程と、
    上記選択された映像情報と組の触覚情報と、上記部位位置検出部によって検出された上記部位の位置とに基づき、上記部位に知覚させる触覚を決定し、その触覚を知覚させるために上記ステージの移動を制御するパラメータをパラメータ生成部により生成する過程と、
    上記生成されたパラメータに基づき、上記ステージの移動を制御部により制御する過程と、
    上記映像を視覚に対して静止させるべく、上記ステージの移動方向と逆方向に上記映像を映像情報制御部によって移動制御する過程とを有することを特徴とする視触覚融合提示方法。

Images