JP2020112978A - 触覚提示装置、触覚提示システムおよび触覚提示方法 - Google Patents

触覚提示装置、触覚提示システムおよび触覚提示方法 Download PDF

Info

Publication number
JP2020112978A
JP2020112978A JP2019002651A JP2019002651A JP2020112978A JP 2020112978 A JP2020112978 A JP 2020112978A JP 2019002651 A JP2019002651 A JP 2019002651A JP 2019002651 A JP2019002651 A JP 2019002651A JP 2020112978 A JP2020112978 A JP 2020112978A
Authority
JP
Japan
Prior art keywords
virtual object
tactile presentation
tactile
presentation device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019002651A
Other languages
English (en)
Inventor
猛史 荻田
Takeshi Ogita
猛史 荻田
伊藤 鎮
Osamu Ito
鎮 伊藤
洋志 鈴木
Hiroshi Suzuki
洋志 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019002651A priority Critical patent/JP2020112978A/ja
Priority to CN201980087842.6A priority patent/CN113287082A/zh
Priority to PCT/JP2019/050771 priority patent/WO2020145144A1/ja
Priority to US17/419,935 priority patent/US11556179B2/en
Publication of JP2020112978A publication Critical patent/JP2020112978A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザ満足度を向上できる触覚提示装置を提供する。【解決手段】この触覚提示装置は、物体を入れた気密柔軟性を有する第1の袋体を有し、前記第1の袋体内からの排気量により、仮想物体のユーザによる把持動作に対する当該仮想物体の硬さを提示可能な第1の触覚提示要素と、気密柔軟性を有する第2の袋体を有し、前記第2の袋体内への給気量により、前記仮想物体のユーザによる把持動作に対する当該仮想物体の弾力を提示可能な第2の触覚提示要素とを有する。【選択図】図3

Description

本技術は、例えば拡張現実(AR)などにおいて利用可能な触覚提示装置、触覚提示システムおよび触覚提示方法に関する。
近年、拡張現実(AR)などにおけるコンピュータグラフィックスによる物体に対するユーザの手による操作に対して、その物体の大きさ、硬さ、弾力性などの特性に応じた触覚をフィードバックする操作の研究開発が行われている。
例えば、特許文献1には、多くの個別流体チャンパを用いた手袋型の触覚フィードバックデバイスが開示される。個別流体チャンパは、電気粘性流体を封入したマイクロチャンパであり、このマイクロチャンパの両端に電界を印加することによって電気粘性流体の粘度を変化させ、物体の硬さを提示する。
特許文献2には、手の甲側に装着されるタイプの力触覚ディスプレイハンドが開示される。この力触覚ディスプレイハンドは、空気圧の印加によって長さ方向に延びる空気圧アクチュエータを使ってユーザに力触覚を提示する。
特表2013−515329号 特開2004−29999号
しかしながら、従来、ユーザの手に装着される触覚提示装置は、性能、機能、サイズ、価格などの様々な面でユーザの十分な満足度が得られるものではなく、汎用化に向けてさらなる改良が期待されている。
以上のような事情を鑑み、本技術の目的は、性能、機能、サイズ、価格などの様々な面でのユーザ満足度を向上できる触覚提示装置、触覚提示システムおよび触覚提示方法を提供することにある。
上記の課題を解決するために、本技術に係る触覚提示装置は、物体を入れた気密柔軟性を有する第1の袋体を有し、前記第1の袋体内からの排気量により、仮想物体のユーザによる把持動作に対する当該仮想物体の硬さを提示可能な第1の触覚提示要素を具備する。
これにより、性能、機能、サイズ、価格などの様々な面でのユーザ満足度の高い触覚提示装置を実現できる。
前記第1の触覚提示要素は、ユーザの手の甲側に配置されることが好ましい。これにより、ユーザの手の自由度が向上し、全体的な操作性が向上する。
本技術に係る触覚提示装置は、前記第1の袋体内に対する排気量を可変する第1の可変部をさらに具備するものであってよい。排気量を可変することによって、仮想物体の様々な硬さを提示することができる。
前記第1の触覚提示要素が、ユーザの手の親指と人差し指に当たるように設けられ、かつ前記仮想物体の把持動作に対して抵抗感を増強するためのエラ部が、前記親指と人差し指にそれぞれ当たる部分の間に架け渡して設けられたものであってもよい。
本技術に係る触覚提示装置は、気密柔軟性を有する第2の袋体を有し、前記第2の袋体内への給気量により、前記仮想物体のユーザによる把持動作に対する当該仮想物体の弾力を提示可能な第2の触覚提示要素をさらに具備するものであってよい、
これにより、仮想物体の硬さに加えて弾力を提示することができる。
前記第2の触覚提示要素はユーザの掌側に配置されることが好ましい。
本技術に係る触覚提示装置は、前記第2の袋体内に対する給気量を可変する第2の可変部をさらに具備するものであってよい。
本技術に係る触覚提示装置は、
ユーザが前記仮想物体に触れたことを振動で提示する振動デバイスをさらに具備するものであってよい。
本実施形態の触覚提示装置1を3方向から視た側面図である。 図1の触覚提示装置1を含む触覚提示システム100の構成を示すブロック図である。 図1の触覚提示装置1における触覚提示部13の構成を示す断面図である。 触覚提示部13における硬さの提示原理を説明するための図である。 触覚提示部13における弾力の提示原理を説明するための図である。 硬さと脱気量との相関を示すグラフである。 弾力と給気量との相関を示すグラフである。 仮想物体の硬さと弾力の各属性に対する触覚提示部13の制御をまとめた図である。 仮想物体に対するユーザの手2の位置や動きに対する触覚提示部13の制御の流れを時間に沿って示した図である。 VR/ARグラス30のCPUによる上記の制御の流れを示すフローチャートである。 第2の実施形態の触覚提示装置1Aの外観図である。 第2の実施形態の触覚提示装置1Aを含む触覚提示システム100Aの構成を示すブロック図である。 仮想物体に対するユーザの手2の位置や動きに対する触覚提示部13の制御の流れを時間に沿って示した図である。 VR/ARグラス30のCPUによる上記の制御の流れを示すフローチャートである。 硬さと振動の大きさ(振幅)との関係を示すグラフである。 弾力と振動の周波数との関係を示すグラフである。 触覚提示装置の変形例1の外観図である。 触覚提示装置の変形例2の外観図である。 触覚提示装置の変形例3の外観図である。 図19の変形例3の触覚提示装置の手の甲側の側面図である。 触覚提示装置の変形例4の構成を示すブロック図である。
以下、本技術の実施の形態を図面をもとに説明する。
<第1の実施形態>
[触覚提示装置]
図1は、本実施形態の触覚提示装置1を3方向から視た側面図である。
この触覚提示装置1は、VR/ARグラス30を装着したユーザの手2に装着され、VR//AR空間内の仮想物体をユーザが把持した際の触覚をユーザに提示する。
図2は、触覚提示装置1を含む触覚提示システム100の構成を示すブロック図である。
触覚提示システム100は触覚提示装置1とVR/ARグラス30とを含む。VR/ARグラス30は特許請求の範囲の「制御部」に相当する。
触覚提示装置1は、VR/AR空間内の仮想物体を把持する動作に対する触覚の一つとして硬さを提示するための第1の触覚提示要素11と仮想物体の把持動作に対して当該仮想物体の弾性をユーザに提示可能な第2の触覚提示要素12とで構成される触覚提示部13と、第1のポンプ14と、第2のポンプ15と、第1の可動弁16と、第2の可動弁17と、コントローラ18と、無線モジュール20とを有する。図1に示したように、触覚提示部13は、第1のポンプ14、第2のポンプ15、第1の可動弁16、第2の可動弁17およびコントローラ18を搭載した制御ユニット19とともに、例えばバンドなどの装着具3を用いてユーザの手2に装着される。なお、第1のポンプ14と、第1の可動弁16と、コントローラ18は特許請求の範囲の「第1の可変部」に相当し、第2のポンプ15、第2の可動弁17およびコントローラ18は「第2の可変部」に相当する。
図3は触覚提示部13の構成を示す断面図である。
触覚提示部13は、第1の触覚提示要素11と第2の触覚提示要素12とを有する。本実施形態において、第1の触覚提示要素11と第2の触覚提示要素12は互いに接着層22を介して重ね合せられる。
第1の触覚提示要素11は、物体11aを入れた気密柔軟性を有する第1の袋体11bで構成される。第1の袋体11bに収容される物体11aとしては、多数の粒子、布などが挙げられる。第1の触覚提示要素11は、図4に示すように、第1の袋体11b内のエアーが第1のポンプ14によって排気され、内部が減圧されることによって、第1の袋体11b内の物体11a同士が凝縮し、第1の触覚提示要素11全体の剛性が増大する。第1の触覚提示要素11全体の剛性が増大することによって、仮想物体を把持する際の指の動きに対する抵抗感が生じ、この抵抗感が仮想物体の硬さとしてユーザに提示される。
第1の袋体11bはエアーパイプ11cおよび第1の可動弁16を通じて第1のポンプ14の排気系と接続される。第1の可動弁16は、第1の袋体11bとの接続を第1のポンプ14の排気系と給気系との間で切り替える弁である。すなわち、第1の可動弁16によって第1の袋体11bが第1のポンプ14の排気系と接続される時は、第1の袋体11b内のエアーが第1のポンプ14によって排気され、第1の可動弁16によって第1の袋体11bが第1のポンプ14の給気系と接続される時は第1の袋体11b内にエアーが導入される。
第2の触覚提示要素12は、気密柔軟性を有する第2の袋体12aで構成される。第2の袋体12aは、図5に示すように、内部にエアーがエアーパイプ12cおよび第2の可動弁17を通じて第2のポンプ15によって供給され、内部が増圧されることによって、第2の触覚提示要素12全体の弾性が増大する。第2の触覚提示要素12の全体的な弾力が増大することによって、仮想物体を把持する動作において指を通してユーザが感じる弾力感によって、仮想物体がもつ弾力がユーザに提示されるようになっている。
第2の袋体12aはエアーパイプ12cおよび第2の可動弁17を通じて第2のポンプ15と接続される。第2の可動弁17は、第2の袋体12aとの接続を第2のポンプ15の排気系と給気系との間で切り替える。すなわち、第2の可動弁17によって第2の袋体12aが第2のポンプ15の給気系と接続される時は、第2の袋体12a内にエアーが導入され、第2の可動弁17によって第2の袋体12aが第2のポンプ15の排気系と接続される時は、第12袋体内のエアーが排気される。
上記の第1のポンプ14、第2のポンプ15、第1の可動弁16および第2の可動弁17はそれぞれ個別にコントローラ18によって制御される。すなわち、コントローラ18は第1のポンプ14および第2のポンプ15のオン/オフの切り替え制御を個別に行うことが可能である。また、コントローラ18は第1の可動弁16の排気/給気の切り替え、排気量および印加量の制御を個別に行うことが可能である。
コントローラ18は、無線モジュール20を通じて、例えばVR/ARグラス30など、VRまたはARをサポートしたウェアラブルデバイスより送信された第1の触覚提示要素11および第2の触覚提示要素12の制御のための制御情報を受信し、この制御情報に基づいて、第1の触覚提示要素11および第2の触覚提示要素12の制御を行うことが可能である。VR/ARグラス30のCPUは、仮想物体を配置したVR/AR空間内でのユーザの手の位置、動きを検出する。VR/ARグラス30のCPUは、仮想物体に対して予め定義された属性情報と、ユーザの手の位置および動きの検出結果などに基づいて、第1の触覚提示要素11および第2の触覚提示要素12の制御のための制御情報を生成し、触覚提示装置1に無線送信する。触覚提示装置1は、VR/ARグラス30からの制御情報を無線モジュール20を使って受信する。触覚提示装置1のコントローラ18は、受信した制御情報に基づいて、第1のポンプ14、第2のポンプ15、第1の可動弁16および第2の可動弁17を制御する触覚提示要素11および第2の触覚提示要素12を制御し、ユーザに仮想物体の属性に応じた触覚を提示する。
(仮想物体の属性について)
仮想物体の属性としては、例えば、その仮想物体の硬さ(以下、単に「硬さ」と呼ぶ。)、弾力などの情報が定義されている。説明の簡単のため、硬さ情報は、「硬い」と「柔らかい」の2種類で表現し、弾力情報は「弾力が強い」、「弾力が弱い」、「弾力が無い」の3種類で表現することとする。もちろん、硬さ、弾力の各々についてより高い分解能で情報が与えられてもよい。
例えば、スポンジや縫いぐるみなどは、「柔らかく弾力が弱い」という属性を有する。
缶入りドリンクなどは、「硬く弾力が無い」という属性を有する。
風船などは、「柔らかく弾力が強い」という属性を有する。
テニスボールなどは、「硬く弾力が強い」という属性を有する。
図6は、「硬さ」と「脱気量」との相関を示すグラフである。このように第1の触覚提示要素11によって提示される「硬さ」は「排気量」を多くするほど高くなる。したがって、「柔らかい硬さ」を提示する場合には、「硬い硬さ」を提示する際の「排気量」よりも少ない範囲において対象仮想物体の柔らかさに見合った「排気量」で第1の触覚提示要素11からエアーを排気すればよい。
図7は、「弾力」と「給気量」との相関を示すグラフである。このように第2の触覚提示要素12によって提示される「弾力」は「給気量」を多くするほど高くなる。したがって、「弱い弾力」を提示する場合には、「強い弾力」を提示する際の「給気量」よりも少ない範囲において対象仮想物体の弾力に見合った「給気量」で第2の触覚提示要素12にエアーを導入すればよい。
図8は、仮想物体の硬さと弾力の各属性に対する触覚提示部13の制御をまとめた図である。
仮想物体がスポンジや縫いぐるみのような「柔らかく弾力の弱い」ものである場合、VR/ARグラス30のCPUは、「柔らかい」という属性に対応する排気量だけ第1の触覚提示要素11の第1の袋体11bからエアーを排気するための制御情報と、「弾力が弱い」という属性に対応する給気量だけ第2の触覚提示要素12の第2の袋体12a内にエアーを導入するための制御情報を触覚提示装置1に送信する。これにより、触覚提示装置1を通してユーザに、スポンジや縫いぐるみなどを手に持った際の「柔らかく弾力の弱い」触覚が提示される。
仮想物体が缶入りドリンクのような「硬く弾力の無い」ものである場合、VR/ARグラス30のCPUは、「硬い」という属性に対応する排気量だけ第1の触覚提示要素11の第1の袋体11bからエアーを排気するための制御情報と、「弾力が無い」という属性に対応する給気量だけ第2の触覚提示要素12の第2の袋体12a内にエアーを導入するための制御情報を触覚提示装置1に送信する。これにより、触覚提示装置1を通してユーザに、
缶入りドリンクなどを手に持ったときのような「硬く弾力の無い」触覚が提示される。
仮想物体が風船のような「柔らかく弾力の強い」ものである場合、VR/ARグラス30のCPUは、「柔らかい」という属性に対応する排気量だけ第1の触覚提示要素11の第1の袋体11bからエアーを排気するための制御情報と、「弾力が強い」という属性に対応する給気量だけ第2の触覚提示要素12の第2の袋体12a内にエアーを導入するための制御情報を触覚提示装置1に送信する。これにより、触覚提示装置1を通してユーザに、風船などを手に持った際の「柔らかく弾力の強い」触覚が提示される。
そして仮想物体がテニスボールのような「硬く弾力の強い」ものである場合、VR/ARグラス30のCPUは、「硬い」という属性に対応する排気量だけ第1の触覚提示要素11の第1の袋体11bからエアーを排気するための制御情報と、「弾力が強い」という属性に対応する給気量だけ第2の触覚提示要素12の第2の袋体12a内にエアーを導入するための制御情報を触覚提示装置1に送信する。これにより、触覚提示装置1を通してユーザに、テニスボールなどを手に持ったときのような「硬く弾力の強い」触覚が提示される。
次に、仮想物体に対するユーザの手の位置や動きに対する触覚提示部13の制御の詳細を説明する。
図9は仮想物体に対するユーザの手2の位置や動きに対する触覚提示部13の制御の流れを時間に沿って示した図である。
図10はVR/ARグラス30のCPUによる上記の制御の流れを示すフローチャートである。
ここでは仮想物体が風船である場合を想定する。
VR/ARグラス30のCPUは、仮想物体を配置したVR/AR空間における仮想物体と触覚提示装置1を装着したユーザの手との位置関係を追跡する。VR/AR空間において仮想物体とユーザの手との距離が所定の値以上である間は、触覚提示装置1の制御量を零とする。したがって、この期間、触覚提示装置1の第1の触覚提示要素11および第2の触覚提示要素12それぞれは初期状態にある。第1の触覚提示要素11の初期状態において第1の袋体11b内に一定のエアーが導入された状態にあり、第1の触覚提示要素11の全体的な剛性は低い状態にある。一方、第2の触覚提示要素12の初期状態において第2の袋体12a内へは第2のポンプ15からのエアーは給気されていないか、あるいは一定量(少量)導入された状態にある。
VR/ARグラス30のCPUは、VR/AR空間において仮想物体とユーザの手との距離が所定の値未満になったとき、ユーザが仮想物体に触れようとしている動作として検出する(ステップS101)。VR/ARグラス30のCPUは、ユーザが仮想物体に触れようとしている動作を検出すると、各仮想物体の属性情報を保存した記憶部から、該当する仮想物体の属性情報を読み込む(ステップS102)。
次に、VR/ARグラス30のCPUは、VR/AR空間内でのユーザの指の位置を検出し(ステップS103)、仮想物体の位置にユーザの指の位置が一致したところで(ステップS104のYes)、仮想物体の属性情報である硬さに応じた排気量分のエアーを第1の触覚提示要素11の第1の袋体11bから排気するための制御情報と、仮想物体のもう一つの属性情報である弾力に応じた給気量分のエアーを第2の触覚提示要素12の第2の袋体12aに導入するための制御情報を生成し、これらの制御情報を触覚提示装置1に無線送信する。これにより、触覚提示装置100の触覚提示部13における第1の触覚提示要素11の硬さと第2の触覚提示要素12の弾力が決まる(ステップS106、107)。
その後、VR/ARグラス30のCPUは、仮想物体のサイズ情報とユーザの例えば親指と人差し指との距離などに基づいて、ユーザの手の指が仮想物体に喰い込んだことを認識すると(ステップS108のYes)、その喰い込み量に応じた追加給気量分のエアーを第2の触覚提示要素12の第2の袋体12aに給気するための制御情報を生成し、触覚提示装置1に無線送信する。これにより、ユーザの手の指が仮想物体に喰い込むにつれて高くなる弾力の触覚提示が行われる(ステップS109)。
このエアーの追加給気は、ユーザの手の指が仮想物体に喰い込んで行く間、その喰い込み量に対応して、かつ、予め決められた総給気量の上限値を超えない範囲内で行われる。
その後、VR/ARグラス30のCPUは、ユーザの手が仮想物体から離れたことを検出すると(ステップS110)、減圧状態にある第1の触覚提示要素11の第1の袋体11b内にエアーを一気に供給して初期状態に戻すための制御情報と、高圧状態にある第2の触覚提示要素12の第2の袋体12a内からエアーを一気に排気して初期状態に戻すための制御情報を触覚提示装置1に送信する。これにより、触覚提示装置1の第1の触覚提示要素11と第2の触覚提示要素12は共に初期状態に戻る(ステップS111、112)。
(仮想物体が非弾性体である場合の動作)
上記は、仮想物体が風船など、属性として弾力を有するものである場合の動作の流れである。仮想物体が、テニスボールのように「柔らかく弾力が強い」ものである場合にも同様の処理となる。この場合、「硬さ」を第1の触覚提示要素11の制御によって提示するために、第1の触覚提示要素11の第1の袋体11bからの排気量は風船など「柔らかく弾力が強い」仮想物体の場合よりも多くすればよい。
また、仮想物体が、スポンジや縫いぐるみのように、「柔らかく弾力が弱い」ものである場合には、第2の触覚提示要素12の第2の袋体12aへの給気量を風船など「柔らかく弾力が強い」仮想物体の場合よりも少なくすればよい。
さらに、仮想物体が、缶入りドリンクのように「硬く弾力が無い」ものである場合には(ステップS105のNo)、第1の触覚提示要素11の第1の袋体11bからの排気量の制御のみを行い(ステップS113)、第2の触覚提示要素12の第2の袋体12aは初期状態のままして給気量制御を省いても構わない。この場合も、VR/ARグラス30のCPUは、ユーザの手が仮想物体から離れたことを検出すると(ステップS114)、減圧状態にある第1の触覚提示要素11の第1の袋体11b内にエアーを一気に供給して初期状態に戻すための制御情報を生成して、触覚提示装置1に無線送信する(ステップS115)。
以上説明したように、本実施形態の触覚提示装置1は、物体11aを入れた気密柔軟性を有する第1の袋体11bで構成される簡単な構造の第1の触覚提示要素11を用いて仮想物体の硬さを提示することができる。しかも第1の触覚提示要素11により提示される硬さは第1の袋体11bからの排気量により容易に可変することができる。加えて、本実施形態の触覚提示装置1は、気密柔軟性を有する第2の袋体12aで構成される簡単な構造の第2の触覚提示要素12を用いて仮想物体の弾力を提示することができる。この第2の触覚提示要素12により提示される弾力も第2の袋体12aへの給気量により簡単に可変できる。これにより、小型で、安価であり、硬さ、弾力をともに良好にかつ同時に提示可能な触覚提示装置が提供される。
<第2の実施形態>
次に、本技術に係る第2の実施形態を説明する。
図11は、第2の実施形態の触覚提示装置1Aの外観図である。
図12は、第2の実施形態の触覚提示装置1Aを含む触覚提示システム100Aの構成を示すブロック図である。
この触覚提示装置1Aは、VR/AR空間でユーザの指が仮想物体に触れたこと、ユーザの指が仮想物体から離れたことを振動により提示するための振動デバイス25を触覚提示装置1に追加して構成されたものである。振動デバイス25は、例えば第1のポンプ14、第2のポンプ15、第1の可動弁16、第2の可動弁17およびコントローラ18を搭載した制御ユニット19に搭載され得る。振動デバイス25には、ボイスコイルモータ、LRA(Linear Resonant Actuator)、ピエゾ素子、偏心モータ、電気刺激デバイスなどを採用し得る。
VR/ARグラス30のCPUは、VR/AR空間でユーザの指が仮想物体に触れたことを検出したとき、およびユーザの指が仮想物体から離れたことを検出したときに振動デバイス25を駆動するための制御情報を触覚提示装置1Aに無線送信する。この制御情報を受け取った触覚提示装置1Aのコントローラ18は、駆動回路26を制御して振動デバイス25に駆動信号を供給することによって振動デバイス25が駆動され、制御ユニット19が振動する。
VR/ARグラス30のCPUは、仮想物体の属性に対応した振動波形で振動デバイス25を駆動するように振動波形情報を触覚提示装置1Aに送信してもよい。例えば、スポンジや縫いぐるみなどのように「柔らかく弾力が弱い」仮想物体に対しては、高い周波数で振幅が小さい振動波形などが好適であり、缶入りドリンクなどのように「硬く弾力が無い」仮想物体に対しては高い周波数で振幅が大きい振動波形などが好適である。また、風船などのように「柔らかく弾力が強い」仮想物体に対しては低い周波数で振幅の小さい振動波形などが好適であり、テニスボールなどのように「硬く弾力が強い」仮想物体に対しては低い周波数で振幅の大きい振動波形などが好適と考えられる。もちろん、これらは一例であり、仮想物体の硬さや弾力の違いをユーザが直感的に判別できるような振動波形を採用してよい。また、仮想物体の種類や硬さと弾力の組み合わせに対してユーザが任意に振動波形を設定できるようにしてもよい。
次に、仮想物体に対するユーザの手の位置や動きに対する触覚提示部13の制御の詳細を説明する。
図13は仮想物体に対するユーザの手2の位置や動きに対する触覚提示部13の制御の流れを時間に沿って示した図である。
図14はVR/ARグラス30のCPUによる上記の制御の流れを示すフローチャートである。
ここでは仮想物体が風船である場合を想定する。
図14のフローチャートにおいて、ステップS201からステップS215までの動作は、第1の実施形態の図10のフローチャートのステップS101からステップS115までの動作と同じである。
本実施形態では、VR/ARグラス30のCPUがVR/AR空間でユーザの指が仮想物体に触れたことを検出したとき(ステップS204のYes)、振動デバイス25を駆動するための制御情報を触覚提示装置1Aに無線送信することによって、触覚提示装置1Aの振動デバイス25を振動させる(ステップS221)。この際、VR/ARグラス30のCPUは、仮想物体の属性である硬さと弾力の情報に基づいて振動波形を設定し、振動波形情報を含む制御情報を送信する。
図15は硬さと振動の大きさ(振幅)との関係を示すグラフ、図16は弾力と振動の周波数との関係を示すグラフである。このように仮想物体の硬さが高いほど振動の大きさ(振幅)は大きくなるように設定され、仮想物体の弾力が低いほど振動の周波数は高くなるように設定される。
また、VR/ARグラス30のCPUがVR/AR空間でユーザの指が仮想物体から離れたことを検出したときも(ステップS210のYes、ステップS214のYes)、振動デバイス25を駆動するための制御情報を触覚提示装置1Aに無線送信することによって、触覚提示装置1Aの振動デバイス25を振動させる(ステップS222、ステップS223)。この際、VR/ARグラス30のCPUは、仮想物体の属性である硬さと弾力の情報に基づいて振動波形を設定し、振動波形情報を含む制御情報を送信する。このときも、VR/ARグラス30のCPUは、仮想物体の属性である硬さと弾力の情報に基づいて振動波形を設定し、振動波形情報を含む制御情報を送信する。
なお、ここではユーザの指が仮想物体に触れた時と離れた時とで同じ波形の振動を発生させることとしたが、仮想物体に触れた時と離れた時とで例えば、振動時間、振幅、周波数などを変えてもよい
このようにユーザの指が仮想物体に触れた時と離れた時に触覚提示装置1Aにおいて振動が発生するようにしたことによって、それぞれのタイミングをユーザが体感することができ、操作性が向上する。さらに、その振動波形が仮想物体の硬さ及び弾力を反映することによって、例えば、属性の異なる複数の仮想物体がVR/AR空間内に近接混在するような場合に、ユーザが触れた一つの仮想物体を振動波形から感知することができ、さらなる操作性の向上が期待できる。
<変形例1>
次に、本技術に係る触覚提示装置の変形例を説明する。
図17は触覚提示装置の変形例1の外観図である。この触覚提示装置1Bは、指毎に独立して触覚提示部13a、13b、13c、13d、13eが設けられる。それぞれの触覚提示部13a、13b、13c、13d、13eは、第1の触覚提示要素11と第2の触覚提示要素12とを重ねあわせて構成されるもの、あるいは第1の触覚提示要素11のみで構成されるものであってよい。この触覚提示装置1Bの制御ユニット19には、各触覚提示部13a、13b、13c、13d、13eに個別にエアーの排気と給気を行う可動弁とポンプが個々の触覚提示部13a、13b、13c、13d、13eに対応して複数設けられる。
各々の触覚提示部13a、13b、13c、13d、13eの排気量及び給気量、さらには排気/給気の選択は、VR/ARグラス30のCPUからの制御情報に基づいてコントローラ18により個別に制御される。これにより、仮想物体の形状や仮想物体の握り方などに応じて、よりリアリティに飛んだ触角をユーザに提示することができる。例えば、サイズの小さかったり細い仮想物体を掴んだ二本の指にそれぞれ対応する2つの触覚提示部に対してのみ排気を行って硬さを提示したりすることができる。
<変形例2>
図18は触覚提示装置の変形例2の外観図である。
ここまで説明してきた触覚提示装置は、掌側に触覚提示装置の第1の触覚提示要素11と第2の触覚提示要素12が重ねて配置されるため、掌側の厚みが大きくなりがちであるとともに、弾力を提示する第2の触覚提示要素12と実際の掌との間に、硬さの提示のための第1の触覚提示要素11が存在するために、第2の触覚提示要素12が提示する弾力がユーザの手につたわりにくい可能性がある。
変形例2の触覚提示装置1Cは、硬さを提示するための第1の触覚提示要素11と弾力を提示するための第2の触覚提示要素12とを分離し、第1の触覚提示要素11をユーザの手の甲側に、第2の触覚提示要素12を掌側に配置したものである。これにより、掌側の厚みが大きくなることを抑えられるとともに、第2の触覚提示要素12が提示する弾力をユーザが掌で直接的に感知することが可能な触覚提示装置が実現される。
<変形例3>
図19は触覚提示装置の変形例3の外観図である。
この触覚提示装置1Dにおいて、ユーザの手の甲側には硬さの提示のための第1の触覚提示要素11が配置されるが、掌側には何も配置しないで掌を露出するようにしたものである。すなわち、この触覚提示装置1Dは仮想物体の硬さのみをユーザに触覚提示するように構成される。ユーザの掌が露出されることによって、ユーザの手による操作自由度が損なわれることがない。
さらに、図20に示すように、この触覚提示装置1Dにおいて、第1の触覚提示要素11は、手の親指と人差し指に当てて装着され、第1の触覚提示要素11の親指にあたる部分と人差し指にあたる部分との間には、親指と人差し指とで物を把持する動作に対する抵抗感を増強するためのエラ部11eが追加される。これにより、ユーザが手で仮想物体を親指と人差し指とで把持する動作に対してよりリアルな触覚を提示することができる。
<変形例4>
図21は本技術に係る触覚提示装置の変形例4の構成を示すブロック図である。
この触覚提示装置1Eは、ユーザの手指の位置や動きの検出に用いられるセンサー27を有する。センサー27には、カメラ、加速度センサー、ジャイロセンサー、TOF(Time of Flightセンサー)などを用いることができる。
コントローラ18は、センサー27の出力からユーザの手指の位置や動きを検出し、検出データを無線モジュール20を使ってVR/ARグラス30に送信する。VR/ARグラス30のCPUは、触覚提示装置1Eより受信したセンサー27の検出データに基づいて仮想物体とユーザの手の位置関係を認識し、既述したような制御情報を生成して、触覚提示装置1Eに無線送信する。
<変形例5>
弾力を提示可能な第2の触覚提示要素12は、排気と給気とを連続して可及的に高速に切り替えることによって、振動をユーザに提示することができる。例えば、ユーザの手の動きから振動発動条件(ビーム光線を発射するジェスチャなど)をVR/ARグラス30のCPUが認識し、第2の触覚提示要素12を振動させるための振動波形を含む制御情報を触覚提示装置に送信する。このとき、VR/ARグラス30のCPUは認識したジェスチャの種類や仮想物体の属性、さらには仮想物体とユーザの手指との位置関係などに対応した振動波形を選択する。
[本技術の別の構成]
本技術は以下のような構成も採ることができる。
(1) 物体を入れた気密柔軟性を有する第1の袋体を有し、前記第1の袋体内からの排気量により、仮想物体のユーザによる把持動作に対する当該仮想物体の硬さを提示可能な第1の触覚提示要素
を具備する触覚提示装置。
(2)前記(1)に記載の触覚提示装置であって、
前記第1の触覚提示要素が、ユーザの手の甲側に配置される
触覚提示装置。
(3)前記(1)または(2)に記載の触覚提示装置であって、
前記第1の袋体内に対する排気量を可変する第1の可変部を
さらに具備する触覚提示装置。
(4)前記(1)から(3)のいずれかに記載の触覚提示装置であって、
前記第1の触覚提示要素が、ユーザの手の親指と人差し指に当たるように設けられ、かつ前記仮想物体の把持動作に対して抵抗感を増強するためのエラ部が、前記親指と人差し指にそれぞれ当たる部分の間に架け渡して設けられた
触覚提示装置。
(5)前記(1)から(4)のいずれかに記載の触覚提示装置であって、
気密柔軟性を有する第2の袋体を有し、前記第2の袋体内への給気量により、前記仮想物体のユーザによる把持動作に対する当該仮想物体の弾力を提示可能な第2の触覚提示要素
をさらに具備する触覚提示装置。
(6)前記(1)から(5)のいずれかに記載の触覚提示装置であって、
前記第2の触覚提示要素が、ユーザの掌側に配置される
触覚提示装置。
(7)前記(1)から(6)のいずれかに記載の触覚提示装置であって、
前記第2の袋体内に対する給気量を可変する第2の可変部を
さらに具備する触覚提示装置。
(8)前記(1)から(7)のいずれかに記載の触覚提示装置であって、
ユーザが前記仮想物体に触れたことを振動で提示する振動デバイスをさらに具備する
触覚提示装置。
(9) 物体を入れた気密柔軟性を有する第1の袋体を有し、前記第1の袋体内からの排気量により、仮想物体のユーザによる把持動作に対する当該仮想物体の硬さを提示可能な第1の触覚提示要素を有する触覚提示装置と、
前記仮想物体の属性として定義された硬さに応じて前記排気量を制御する制御部と
を具備する触覚提示システム。
(10)前記(9)に記載の触覚提示システムであって、
前記触覚提示装置は、気密柔軟性を有する第2の袋体を有し、前記第2の袋体内への給気量により、前記仮想物体のユーザによる把持動作に対する当該仮想物体の弾力を提示可能な第2の触覚提示要素をさらに具備し、
前記制御部は、前記仮想物体の別の属性として定義された弾力に応じて前記給気量を制御する
触覚提示システム。
(11)前記(9)または(10)に記載の触覚提示システムであって、
前記制御部は、前記仮想物体の前記属性に基づいて前記振動デバイスの振動波形を決定する
触覚提示システム。
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
1…触覚提示装置
11…第1の触覚提示要素
11a…物体
11b…第1の袋体
11e…エラ部
12…第2の触覚提示要素
12a…第2の袋体
13…触覚提示部
14…第1のポンプ
15…第2のポンプ
16…第1の可動弁
17…第2の可動弁
18…コントローラ
19…制御ユニット
25…振動デバイス
30…ARグラス
100…触覚提示システム

Claims (13)

  1. 物体を入れた気密柔軟性を有する第1の袋体を有し、前記第1の袋体内からの排気量により、仮想物体のユーザによる把持動作に対する当該仮想物体の硬さを提示可能な第1の触覚提示要素
    を具備する触覚提示装置。
  2. 請求項1に記載の触覚提示装置であって、
    前記第1の触覚提示要素が、ユーザの手の甲側に配置される
    触覚提示装置。
  3. 請求項2に記載の触覚提示装置であって、
    前記第1の袋体内に対する排気量を可変する第1の可変部を
    さらに具備する触覚提示装置。
  4. 請求項3に記載の触覚提示装置であって、
    前記第1の触覚提示要素が、ユーザの手の親指と人差し指に当たるように設けられ、かつ前記仮想物体の把持動作に対して抵抗感を増強するためのエラ部が、前記親指と人差し指にそれぞれ当たる部分の間に架け渡して設けられた
    触覚提示装置。
  5. 請求項1に記載の触覚提示装置であって、
    気密柔軟性を有する第2の袋体を有し、前記第2の袋体内への給気量により、前記仮想物体のユーザによる把持動作に対する当該仮想物体の弾力を提示可能な第2の触覚提示要素
    をさらに具備する触覚提示装置。
  6. 請求項5に記載の触覚提示装置であって、
    前記第2の触覚提示要素が、ユーザの掌側に配置される
    触覚提示装置。
  7. 請求項6に記載の触覚提示装置であって、
    前記第2の袋体内に対する給気量を可変する第2の可変部を
    さらに具備する触覚提示装置。
  8. 請求項7に記載の触覚提示装置であって、
    ユーザが前記仮想物体に触れたことを振動で提示する振動デバイスをさらに具備する
    触覚提示装置。
  9. 物体を入れた気密柔軟性を有する第1の袋体を有し、前記第1の袋体内からの排気量により、仮想物体のユーザによる把持動作に対する当該仮想物体の硬さを提示可能な第1の触覚提示要素を有する触覚提示装置と、
    前記仮想物体の属性として定義された硬さに応じて前記排気量を制御する制御部と
    を具備する触覚提示システム。
  10. 請求項9に記載の触覚提示システムであって、
    前記触覚提示装置は、気密柔軟性を有する第2の袋体を有し、前記第2の袋体内への給気量により、前記仮想物体のユーザによる把持動作に対する当該仮想物体の弾力を提示可能な第2の触覚提示要素をさらに具備し、
    前記制御部は、前記仮想物体の別の属性として定義された弾力に応じて前記給気量を制御する
    触覚提示システム。
  11. 請求項10に記載の触覚提示システムであって、
    前記触覚提示装置は、振動デバイスをさらに具備し、
    前記制御部は、前記仮想物体の前記属性に基づいて前記振動デバイスの振動波形を決定する
    触覚提示システム。
  12. 物体を入れた気密柔軟性を有する第1の袋体を有し、前記第1の袋体内からの排気量により、仮想物体のユーザによる把持動作に対する当該仮想物体の硬さを提示可能な第1の触覚提示要素を有する触覚提示装置の前記排気量を、前記仮想物体の属性として定義された硬さに応じて制御する
    触覚提示方法。
  13. 物体を入れた気密柔軟性を有する第1の袋体を有し、前記第1の袋体内からの排気量により、仮想物体のユーザによる把持動作に対する当該仮想物体の硬さを提示可能な第1の触覚提示要素と、気密柔軟性を有する第2の袋体を有し、前記第2の袋体内への給気量により、前記仮想物体のユーザによる把持動作に対する当該仮想物体の弾力を提示可能な第2の触覚提示要素とを有する触覚提示装置の、前記排気量を前記仮想物体の属性として定義された硬さに応じて制御するとともに、前記給気量を前記仮想物体の別の属性として定義された弾力に応じて制御する
    触覚提示方法。
JP2019002651A 2019-01-10 2019-01-10 触覚提示装置、触覚提示システムおよび触覚提示方法 Pending JP2020112978A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019002651A JP2020112978A (ja) 2019-01-10 2019-01-10 触覚提示装置、触覚提示システムおよび触覚提示方法
CN201980087842.6A CN113287082A (zh) 2019-01-10 2019-12-25 触觉呈现装置、触觉呈现系统和触觉呈现方法
PCT/JP2019/050771 WO2020145144A1 (ja) 2019-01-10 2019-12-25 触覚提示装置、触覚提示システムおよび触覚提示方法
US17/419,935 US11556179B2 (en) 2019-01-10 2019-12-25 Haptic presentation apparatus, haptic presentation system, and haptic presentation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019002651A JP2020112978A (ja) 2019-01-10 2019-01-10 触覚提示装置、触覚提示システムおよび触覚提示方法

Publications (1)

Publication Number Publication Date
JP2020112978A true JP2020112978A (ja) 2020-07-27

Family

ID=71520359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019002651A Pending JP2020112978A (ja) 2019-01-10 2019-01-10 触覚提示装置、触覚提示システムおよび触覚提示方法

Country Status (4)

Country Link
US (1) US11556179B2 (ja)
JP (1) JP2020112978A (ja)
CN (1) CN113287082A (ja)
WO (1) WO2020145144A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153232A1 (ja) * 2022-02-08 2023-08-17 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN118068963A (zh) * 2024-03-08 2024-05-24 宁波大学 一种气囊式动态力触觉感知装置
WO2024143311A1 (ja) * 2022-12-28 2024-07-04 国立大学法人東海国立大学機構 拡張現実提示システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
US11709547B1 (en) * 2022-03-31 2023-07-25 Gangming Luo System for transmitting signals between a body and a virtual reality space
CN115033100B (zh) * 2022-06-08 2024-07-05 苏州大学 一种多方位指尖平面触觉反馈装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004029999A (ja) 2002-06-24 2004-01-29 Matsushita Electric Ind Co Ltd 力触覚ディスプレイハンドおよびその製造方法
US8922355B2 (en) 2011-01-13 2014-12-30 Empire Technology Development Llc Haptic feedback device using electro-rheological fluid
US9937839B2 (en) 2014-12-31 2018-04-10 Harman International Industries, Incorporated Feedback by modifying stiffness
US10275025B2 (en) * 2015-06-14 2019-04-30 Sony Interactive Entertainment Inc. Gloves that include haptic feedback for use with HMD systems
US10572014B2 (en) 2015-11-09 2020-02-25 Facebook Technologies, Llc Virtual reality garment configured to restrict user movement by repositioning a rigid cuff relative to the user
US20170300115A1 (en) * 2016-04-13 2017-10-19 Northeastern University Pneumatic Augmented Reality Tactile Feedback Platform
CN106066698B (zh) * 2016-06-13 2019-01-25 王良 一种基于电流变液原件的虚拟现实被动触觉反馈装置
US10281982B2 (en) * 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US20180164885A1 (en) * 2016-12-09 2018-06-14 Immersion Corporation Systems and Methods For Compliance Illusions With Haptics
US10485363B2 (en) * 2017-05-21 2019-11-26 Go Smart, Inc. Inflatable pillow with adjustable height
EP3757725A4 (en) * 2018-02-23 2022-01-05 Mok, Wai Pong INPUT AND HAPTIC FEEDBACK SYSTEM OF VIRTUAL REALITY
CN108762484B (zh) * 2018-04-17 2020-12-08 西北工业大学 用于物理人机交互当中的现实触觉的气动模拟方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153232A1 (ja) * 2022-02-08 2023-08-17 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2024143311A1 (ja) * 2022-12-28 2024-07-04 国立大学法人東海国立大学機構 拡張現実提示システム
CN118068963A (zh) * 2024-03-08 2024-05-24 宁波大学 一种气囊式动态力触觉感知装置

Also Published As

Publication number Publication date
US20220083140A1 (en) 2022-03-17
WO2020145144A1 (ja) 2020-07-16
US11556179B2 (en) 2023-01-17
CN113287082A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
WO2020145144A1 (ja) 触覚提示装置、触覚提示システムおよび触覚提示方法
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US9606625B2 (en) Haptically-enabled deformable device with rigid component
US9740290B2 (en) Haptic feedback for touchpads and other touch controls
EP1523725B1 (en) Hand-held computer interactive device
US9411423B2 (en) Method and apparatus for haptic flex gesturing
JP2018139132A (ja) 表面触覚感覚を有するユーザインタフェース装置
KR20150114899A (ko) 연성 장착 햅틱 출력 디바이스를 갖는 웨어러블 디바이스
AU2017210642B2 (en) Electronic device including sensed location based driving of haptic actuators and related methods
JP2014222521A (ja) 触覚フィードバックによる形状変化ディスプレイの形成方法及び装置
JP2014222492A (ja) 描画装置及び描画システム
US20180164885A1 (en) Systems and Methods For Compliance Illusions With Haptics
KR20100107997A (ko) 펜형태의 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
KR102154337B1 (ko) 맞춤형 햅틱 효과를 제공하는 방법 및 그를 이용한 시스템
US9489041B2 (en) Input device, input system, electronic apparatus, and sense presentation method
WO2023189422A1 (ja) 制御装置、制御方法、触覚提示システム及びプログラム製品
JP2014142869A (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP6319327B2 (ja) ゲームコントローラ
KR101508134B1 (ko) 스마트기기와의 사이에 이동 진동 감각을 제공하는 터치펜
JP6793595B2 (ja) 力覚提示装置
KR20090122571A (ko) 터치스크린에서의 입력 피드백 방법 및 이를 이용한 장치
JP2023148854A (ja) 制御装置、制御方法、触覚提示システム及びコンピュータプログラム
JP2023148856A (ja) 制御装置、制御方法、触覚提示システム及びコンピュータプログラム
TWI479364B (zh) 具三維磁力觸控反饋之行動裝置及三維磁力觸控反饋裝置
KR101214853B1 (ko) 촉각 생성 장치, 이를 구비한 휴대용 기기 및 그 기록매체