JP2023148749A - 入出力装置 - Google Patents
入出力装置 Download PDFInfo
- Publication number
- JP2023148749A JP2023148749A JP2022056938A JP2022056938A JP2023148749A JP 2023148749 A JP2023148749 A JP 2023148749A JP 2022056938 A JP2022056938 A JP 2022056938A JP 2022056938 A JP2022056938 A JP 2022056938A JP 2023148749 A JP2023148749 A JP 2023148749A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- auditory
- movement
- input
- data corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 109
- 238000013500 data storage Methods 0.000 claims abstract description 31
- 230000015541 sensory perception of touch Effects 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims description 43
- 230000035807 sensation Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000005057 finger movement Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生する入出力装置を提供する。【解決手段】人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置は、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、モーションセンサにより検知された身体の動きに対応する聴覚データを聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。【選択図】図1
Description
本開示は、入出力装置に関し、より具体的には、人の身体の動きに応じて受動的に触覚を提示するとともに人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置に関する。
近年、仮想現実(VR; Virtual Reality)、拡張現実(AR; Augmented Reality)、複合現実(MR; Mixed Reality)等の技術を用いてメタバースと呼ばれる仮想空間を提供するサービスが始まっている。ユーザがヘッドマウントディスプレイを頭に装着すると、アバタとしてメタバースに入ることができる。メタバースでは、ユーザはヘッドマウントディスプレイで表示される3次元画像を見たり、スピーカで生成される音を聞いたりすることができる。ユーザはまた、両手に装着したコントローラを操作することにより、3次元画像として表示される仮想オブジェクトを動かすことができる。これと同時に、コントローラに対する操作に応じて特有の効果音が発生する場合もある。たとえば、ユーザがコントローラのボタンを押すと、「ピッ」という効果音が発生する。ユーザはこの効果音を聞き、ボタンを押したことを確認することができる。しかしながら、ボタンを押した量や押す速度に関わらず、操作と効果音が1対1に対応づけられているため、リアリティに欠ける。
上記の技術は視覚と聴覚をユーザに与えるものであるが、これらに加え、触覚も与える技術もある。たとえば、ユーザがコントローラのボタンを押すと、効果音が発生すると同時に、コントローラが振動する。ユーザはこの振動を感じ、ボタンを押したことを確認することができる。しかしながら、効果音と同様に、操作と振動が1対1に対応づけられているため、リアリティに欠ける。
一方、単純な振動ではなく、もっとリアルな触覚をユーザに提示できる装置も提案されている。
たとえば、特開2017-138651号公報(特許文献1)は、映像に映し出された物体の力覚を操作者に提示する力覚提示装置に関し、複雑な制御を必要とすることなく、映像の動きと操作部において提示される力覚とを高い精度でリンクさせることが可能な力覚提示装置を開示する。しかし、この公報は、音の発生には全く言及していない。
特開2020-17159号公報(特許文献2)は、ディスプレイに表示される仮想オブジェクトの種類に応じた触覚をユーザの手に与えることができる仮想オブジェクト触覚提示装置を開示する。しかし、この公報も、音の発生には全く言及していない。
特開2017-174381号公報(特許文献3)は、ハプティック効果を生成する方法を開示する。「ハプティック」とは、ユーザに対する力、振動、及び運動などのハプティックフィードバック効果(すなわち、「ハプティック効果」)をユーザに加えることによって、ユーザのタッチの検知を利用するハプティック及び力のフィードバック技術である。しかし、この公報も、音の発生には全く言及していない。
WO2018/11003公報(特許文献4)は、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、モーション情報と仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部とを備える情報処理装置を開示する。オノマトペは、例えばコミックや小説などでも利用されているように、皮膚感覚を視覚情報として提示するための有効な手法であると考えられる。オノマトペは擬音語(例えば、物体が発する音を表現した文字列)、および、擬態語(例えば、物体の状態や人間の感情などを表現した文字列)を含み得る。しかし、この公報も、音の発生には全く言及していない。
スマートフォンを含む汎用コンピュータの分野では、マウス、キーボード、タッチパネル等の入力装置に対する操作に応じて効果音を発生する技術がある。また、コンピュータゲームの分野では、コントローラのボタンの押下に応じて効果音を発生する技術もある。しかしながら、上記と同様に、操作と効果音が1対1に対応づけられているため、リアリティに欠ける。
本開示の課題は、人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生する入出力装置を提供することである。
本開示よる入出力装置は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
<実施形態の概要>
本開示よる入出力装置は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
本開示よる入出力装置は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部と、前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
この入出力装置では、人の身体の動きが検知され、その動きに対応する触覚及び聴覚データが読み出され、その触覚データに基づいて触覚が提示され、かつ、聴覚データに基づいて音が発生する。その結果、この入出力システムは、人の身体の動きに応じて、触覚を提示すると同時に、触覚と連動する音を発生することができる。
入出力装置は、さらに、人の身体の動きに対応する視覚データを記憶する視覚データ記憶部と、前記モーションセンサにより検知された身体の動きに対応する視覚データを前記視覚データ記憶部から読み出し、読み出された視覚データに基づいて画像を表示する画像表示装置を制御する視覚制御部とを備えてもよい。
この入出力装置では、人の身体の動きが検知され、その動きに対応する触覚及び聴覚データに加え、視覚データも読み出され、その視覚データに基づいて画像が表示される。その結果、この入出力システムは、人の身体の動きに応じて、触覚及び音と連動する画像も表示することができる。
前記聴覚データは、前記人の身体の位置に対応してもよい。前記モーションセンサは、前記身体の位置を時間経過とともに計測して前記身体の動きを検知してもよい。この場合、時間経過とともに変化する身体の位置に応じて、発生する音も変化する。
前記聴覚データは、前記身体の動きの速度に対応してもよい。前記モーションセンサは、前記身体の位置を経過時間とともに計測して前記身体の動きを検知してもよい。入出力装置は、さらに、前記モーションセンサにより計測された身体の位置及び経過時間に基づいて前記身体の動きの速度を算出する速度算出部を備えてもよい。前記聴覚制御部は、前記速度算出部により算出された身体の動きの速度に対応する聴覚データを前記聴覚データ記憶部から読み出してもよい。この場合、この入出力システム装置は、身体の速度に応じて、触覚と連動する音を発生することができる。
本開示よる入出力方法は、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力方法であって、モーションセンサにより検知された人の身体の動きを取得するステップと、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとを含む。
本開示よる入出力プログラムは、人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力プログラムであって、モーションセンサにより検知された人の身体の動きを取得するステップと、人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるためのものである。
<実施形態の詳細>
以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。
以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。
<第1実施形態>
図1に示されるように、第1実施形態による入出力システム10は、触覚提示装置12と、スマートフォン(スマホ)14とを備える。触覚提示装置12は、人の身体の動きと無関係に能動的(アクティブ)に触覚を提示する。より具体的には、触覚提示装置12は、人の身体が動いていないときであっても、人の身体を動かすことができる。触覚提示装置12はさらに、人の身体の動きに応じて受動的(パッシブ)に触覚を提示することもできる。
図1に示されるように、第1実施形態による入出力システム10は、触覚提示装置12と、スマートフォン(スマホ)14とを備える。触覚提示装置12は、人の身体の動きと無関係に能動的(アクティブ)に触覚を提示する。より具体的には、触覚提示装置12は、人の身体が動いていないときであっても、人の身体を動かすことができる。触覚提示装置12はさらに、人の身体の動きに応じて受動的(パッシブ)に触覚を提示することもできる。
触覚提示装置12は、人の指の動き(モーション)を時間経過とともに検知する位置センサ121と、位置センサ121により検知された指の動きに応じて提示すべき触覚を制御する触覚制御部122とを含む。位置センサ121は、具体的には、触覚提示装置12を装着したユーザが人差し指で可動片13を押したとき、可動片13が最初の位置から回転した角度を人差し指の位置として検知する。ユーザは指をゆっくり動かす場合もあれば、素早く動かす場合もある。位置センサ121は、指の角度(位置)を経過時間とともに検知してもよい。この場合、検知される指の角度は時間の関数である。
スマートフォン14は、位置センサ121により検知された指の動きに応じて発生すべき音を制御する聴覚制御部141と、位置センサ121により検知された指の動きに応じて表示すべき画像を制御する視覚制御部142とを含む。スマートフォン14として、電話機能を有する携帯情報端末を使用することができる。スマートフォン14には、基本プログラムのほか、コンピュータを聴覚制御部141及び視覚制御部142として機能させるためのアプリケーションプログラムがインストールされる。
より具体的には、図2に示されるように、触覚提示装置12は、無線通信部123と、バッテリ124と、触覚データバッファ125と、触覚制御部122と、アクチュエータ126と、位置センサ121とを含む。スマートフォン14は、無線通信部143と、CPU(中央演算装置)144と、入出力装置145と、タッチパネル146と、スピーカ147とを含む。入出力装置145は、データベース(DB)148と、アプリケーションプログラム(アプリ)149とを含む。データベース148は、触覚データベース(触覚データ記憶部)150と、視覚データベース(視覚データ記憶部)151と、聴覚データベース(聴覚データ記憶部)152とを含む。アプリケーションプログラム149は、CPU144を聴覚制御部141として機能させるためのプログラムと、CPU144を視覚制御部142として機能させるためのプログラムと、CPU144を触覚データ読出部153として機能させるためのプログラムとを含む。聴覚制御部141は、聴覚データベース152から聴覚データを読み出し、読み出した聴覚データをスピーカ147に送出する。視覚制御部142は、視覚データベース151から視覚データを読み出し、読み出した視覚データをタッチパネル146に送出する。触覚データ読出部153は、触覚データベース150から触覚データを読み出し、読み出した触覚データを触覚提示装置12に送出する。タッチパネル146は、画像を表示する表示機能と、ユーザの指による操作を受け付ける入力機能とを有する。スピーカ147は、音(音声、音楽、効果音など)を発生する。
無線通信部123及び143は、たとえば近距離無線モジュールを含み、触覚提示装置12及びスマートフォン14は相互に無線で接続される。ただし、無線に限定されることなく、触覚提示装置12及びスマートフォン14は相互に有線で接続されてもよい。触覚データバッファ125は、スマートフォン14から送出されて来た触覚データを記憶する。詳細は後述する。触覚提示装置12として、たとえば特開2020-17159号公報に記載の触覚提示装置を使用することができる。ただし、触覚提示装置12は、同公報に記載の磁気粘性流体に代えて、モータ(図示せず)を用いたアクチュエータ126を含む。触覚制御部122は、バッテリ124からアクチュエータ126のモータに供給される電流の量を制御する。これにより、アクチュエータ126は、触覚提示装置12を操作する人の指に対して適切な触覚を提示する。より具体的には、ユーザが何も操作していないとき、触覚提示装置12の可動片13は最初の位置(0度)にある。ユーザが触覚提示装置12を最後まで押し込むと、可動片13は最初の位置から90度回転する。ユーザが指で可動片13を押すと、モータは回転させられるが、バッテリ124から電流が供給されると、モータは逆方向に回転し、可動片13でユーザの指を押し返すことができる。可動片13が指を押し返す抵抗力は、モータに供給される電流が大きいほど大きくなる。また、ユーザが指で可動片13を全く押していない場合において、モータに電流が供給されると、可動片13がユーザの指を押し動かすことができる。アクチュエータ126は、人の身体に対し、能動的に触覚を提示するだけでなく、受動的に触覚を提示することもできる。モータを用いたアクチュエータ126に代えて、振動素子を用いたアクチュエータを採用してもよい。
図3に示されるように、触覚データベース150には、複数の仮想オブジェクトに対応する複数の触覚データが予め記憶されている。触覚データの各々は、対応する仮想オブジェクトの触覚を表現する触覚信号を含む。触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含む。指位置は、0度から90度まで1度ごとの指の角度を含む。本例では、仮想オブジェクト「ヨット」に対応する触覚信号が示される。この触覚信号は、「ヨット」を進めようとしたときの触覚を表現する。
視覚データベース151には、複数の仮想オブジェクトに対応する複数の視覚データが予め記憶されている。視覚データの各々は、対応する仮想オブジェクトの視覚を表現する視覚信号(画像信号)を含む。視覚信号の各々は、複数の指位置と、これらに対応する複数の画像ファイルとを含む。本例では、仮想オブジェクト「ヨット」に対応する視覚信号が示される。
聴覚データベース152には、複数の仮想オブジェクトに対応する複数の聴覚データが予め記憶されている。聴覚データの各々は、対応する仮想オブジェクトの聴覚を表現する聴覚信号(音声信号)を含む。聴覚信号の各々は、複数の指位置と、これらに対応する複数の振幅と、これらに対応する周波数とを含む。本例では、仮想オブジェクト「ヨット」に対応する聴覚信号が示される。この聴覚信号は、実在する物体を操作したときに実際に聞こえるであろう音だけでなく、実在しないキャラクタや物体を操作したときに発生すると思われる仮想的な音(効果音を含む)を表現することもできる。
次に、第1実施形態による入出力システムの動作を説明する。
図4を参照して、ステップS11で、スマートフォン14は、ユーザの操作に応じて、アプリケーションプログラム149を起動する。一方、ステップS21で、触覚提示装置12は、ユーザの操作に応じて、電源をオンにする。これにより、触覚提示装置12は、スマートフォン14と無線で接続される。
ステップS12で、スマートフォン14は、ユーザの操作に応じて、複数の仮想オブジェクトの中から所望の仮想オブジェクト、たとえば「ヨット」を選択する。
スマートフォン14において、触覚データ読出部153は、ステップS13で、選択された仮想オブジェクトに対応する触覚データ(触覚信号)を触覚データベース150から読み出し、ステップS14で、読み出した触覚データを触覚提示装置12に送出する。
一方、ステップS22で、触覚提示装置12は、スマートフォン14から送出されて来た触覚データを触覚データバッファ125に保存する。
ステップS23で、触覚提示装置12は、位置センサ121を起動する。
ステップS24で、触覚制御部122は、位置センサ121により検知された指の位置を取得し、取得した指の位置をスマートフォン14に送出する。以降、触覚制御部122は、この動作を繰り返し続ける。これにより、触覚制御部122は位置センサ121により検知された指の位置を経過時間とともにスマートフォン14に送出し続ける。
ユーザが指で触覚提示装置12を押し込むと、触覚制御部122は位置センサ121により検知された指の位置をスマートフォン14に送出する。これに応じ、ステップS15で、スマートフォン14は、タッチパネル146を制御し、図5に示されるように、選択された仮想オブジェクト16の画像を表示する。たとえば、仮想オブジェクト「ヨット」の画像が画面の右から登場する。
ステップS25で、ユーザが指で触覚提示装置12を最後まで押し込み、検知された指の位置が90度に達すると、ステップS16で、スマートフォン14は、タッチパネル146を制御し、図5に示されるように「開始ボタン」の画像を表示する。
ステップS17で、ユーザが「開始ボタン」をタップすると、触覚制御部122は、アクチュエータ126を制御し、アクチュエータ126はユーザに対して触覚を提示する。具体的には、触覚制御部122は、ステップS26で、位置センサ121により検知された指の位置に対応する触覚データを触覚データバッファ125から読み出し、ステップS27で、読み出した触覚データをアクチュエータ126に送出する。ステップS28で、アクチュエータ126は、触覚制御部122から送出されて来た触覚データに基づいて、触覚提示装置12を押し込んでいるユーザの指を押し返す。
一方、ステップS18で、視覚制御部142は、触覚提示装置12から送出されて来る指の位置に対応する視覚データ(視覚信号の画像ファイル)を視覚データベース151から読み出す。聴覚制御部141は、触覚提示装置12から送出されて来る指の位置に対応する聴覚データ(聴覚信号の振幅及び周波数)を聴覚データベース152から読み出す。
ステップS19で、視覚制御部142は、読み出した視覚データをタッチパネル146に送出する。聴覚制御部141は、読み出した聴覚データをスピーカ147に送出する。
ステップS20で、タッチパネル146は、視覚制御部142から送出されて来る視覚データに基づいて画像を表示する。スピーカ147は、聴覚制御部141から送出されて来る聴覚データに基づいて音を発生する。
以上のとおり、第1実施形態による入出力システムは、経過時間とともに変化する人の身体の動きに応じて、相互に連動する画像、音及び触覚を出力することができる。たとえば図5~図7に示されるように、ユーザが指で「ヨット」を操作する場合において、「ヨット」が向かい風で押し戻されると、ユーザの指も押し戻される。ユーザが押し返してくる力に抵抗しなければ、たとえば「びゅっ」という効果音が発生し、「ヨット」は画面右に向かって速やかに移動し、画面外に消える。一方、ユーザが押し返してくる力に抵抗すると、たとえば「びゅ~」という効果音が発生し、「ヨット」は画面右に向かってゆっくりと移動し、画面外に消える。このように、聴覚、視覚及び触覚が相互に連動し、リアリティが高くなる。
<第2実施形態>
第1実施形態では、聴覚信号に含まれる指位置は、0度から90度までの指の角度を含んでいるが、0度を中心に、複数の正の角度と、複数の負の角度を含んでいてもよい。また、触覚提示装置12に代えて、たとえば特開2018-57486号公報に記載のスティックユニット(ジョイスティックを有するコントローラ)を採用してもよい。このスティックユニットは、モータと、その回転軸周りに傾動するスティックなどを含む。スティックは、ニュートラル状態で真っ直ぐに立っている。ユーザが指でスティックを前方に倒すと、位置センサは指位置として正の角度を検知する。他方、ユーザが指でスティックを後方(手前)に倒すと、位置センサは指位置として負の角度を検知する。
第1実施形態では、聴覚信号に含まれる指位置は、0度から90度までの指の角度を含んでいるが、0度を中心に、複数の正の角度と、複数の負の角度を含んでいてもよい。また、触覚提示装置12に代えて、たとえば特開2018-57486号公報に記載のスティックユニット(ジョイスティックを有するコントローラ)を採用してもよい。このスティックユニットは、モータと、その回転軸周りに傾動するスティックなどを含む。スティックは、ニュートラル状態で真っ直ぐに立っている。ユーザが指でスティックを前方に倒すと、位置センサは指位置として正の角度を検知する。他方、ユーザが指でスティックを後方(手前)に倒すと、位置センサは指位置として負の角度を検知する。
スティックがニュートラル状態にあるとき、図6に示されるように「ヨット」が画面中央に表示され、「開始ボタン」も一緒に表示される。ユーザが「開始ボタン」をタップすると、触覚データが読み出され、0度に対応する電流がモータに流れ、スティックが前方に傾動しようとする。ユーザがこの傾動力に抵抗しないと、「びゅっ」という効果音が発生し、「ヨット」は画面右に向かって速やかに移動し、かつ、スティックは速やかに前方に傾動する。一方、ユーザがこの傾動力に抵抗すると、「びゅ~」という効果音が発生し、「ヨット」は画面右に向かってゆっくりと移動し、かつ、スティックはゆっくりと前方に傾動する。
<第3実施形態>
聴覚信号は、第1実施形態では、指位置、振幅及び周波数を含んでいるが、図9に示されるように、これらの代わりに、ベースとなる音声ファイル、指速度及び再生速度を含んでいてもよい。この場合、アプリケーションプログラム149はさらに、CPU144を速度算出部154として機能させるためのプログラムを含む。速度算出部154は、位置センサ121により計測された指の位置(角度)及び経過時間に基づいて指の速度(指速度)を算出する。たとえば、速度算出部154は、単位時間当たりの指の移動距離を算出してもよく、また、指の位置を時間で微分してもよい。聴覚制御部141は、速度算出部154により算出された指の速度に対応する聴覚データとして再生速度を聴覚データベース152から読み出す。この場合、この入出力システムは、仮想オブジェクトの表示が始まったら前記ベースとなる音声ファイルの再生を開始し、以降、指の速度に応じて多様な音を発生することができる。
聴覚信号は、第1実施形態では、指位置、振幅及び周波数を含んでいるが、図9に示されるように、これらの代わりに、ベースとなる音声ファイル、指速度及び再生速度を含んでいてもよい。この場合、アプリケーションプログラム149はさらに、CPU144を速度算出部154として機能させるためのプログラムを含む。速度算出部154は、位置センサ121により計測された指の位置(角度)及び経過時間に基づいて指の速度(指速度)を算出する。たとえば、速度算出部154は、単位時間当たりの指の移動距離を算出してもよく、また、指の位置を時間で微分してもよい。聴覚制御部141は、速度算出部154により算出された指の速度に対応する聴覚データとして再生速度を聴覚データベース152から読み出す。この場合、この入出力システムは、仮想オブジェクトの表示が始まったら前記ベースとなる音声ファイルの再生を開始し、以降、指の速度に応じて多様な音を発生することができる。
<他の実施形態>
聴覚信号は、第1及び第2実施形態では振幅及び周波数を含み、第3実施形態では指速度及び再生速度を含んでいるが、これらの代わりに、複数の指位置に対応する複数の音声ファイルを含んでいてもよい。
聴覚信号は、第1及び第2実施形態では振幅及び周波数を含み、第3実施形態では指速度及び再生速度を含んでいるが、これらの代わりに、複数の指位置に対応する複数の音声ファイルを含んでいてもよい。
モーションセンサは、指の代わりに、頭、肩、腕、胴、腰、足、又はこれらの組み合わせの動きを検知してもよい。モーションセンサはまた、身体の角度の代わりに、身体の1次元座標、2次元座標、又は3次元座標を検知してもよい。また、モーションセンサとして、カメラを用いてもよい。この場合、カメラにより撮影された身体の画像を解析し、その座標を検知してもよい。また、モーションセンサは1つだけでなく、2つ以上あってもよい。
以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されることなく、その趣旨を逸脱しない限り、種々の改良、変形などが可能である。
10 :入出力システム
121:位置センサ
122:触覚制御部
126:アクチュエータ
141:聴覚制御部
142:視覚制御部
145:入出力装置
146:タッチパネル
147:スピーカ
148:データベース
149:アプリケーションプログラム
150:触覚データベース
151:視覚データベース
152:聴覚データベース
153:触覚データ読出部
154:速度算出部
121:位置センサ
122:触覚制御部
126:アクチュエータ
141:聴覚制御部
142:視覚制御部
145:入出力装置
146:タッチパネル
147:スピーカ
148:データベース
149:アプリケーションプログラム
150:触覚データベース
151:視覚データベース
152:聴覚データベース
153:触覚データ読出部
154:速度算出部
Claims (6)
- 人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力装置であって、
人の身体の動きに対応する触覚データを記憶する触覚データ記憶部と、
人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部と、
人の身体の動きを検知するモーションセンサにより検知された身体の動きに対応する触覚データを前記触覚データ記憶部から読み出し、読み出された触覚データに基づいて前記触覚提示装置を制御する触覚制御部と、
前記モーションセンサにより検知された身体の動きに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える、入出力装置。 - 請求項1に記載の入出力装置であって、さらに、
人の身体の動きに対応する視覚データを記憶する視覚データ記憶部と、
前記モーションセンサにより検知された身体の動きに対応する視覚データを前記視覚データ記憶部から読み出し、読み出された視覚データに基づいて画像を表示する画像表示装置を制御する視覚制御部とを備える、入出力装置。 - 請求項1に記載の入出力装置であって、
前記聴覚データは、前記人の身体の位置に対応し、
前記モーションセンサは、前記身体の位置を時間経過とともに計測して前記身体の動きを検知する、入出力装置。 - 請求項1に記載の入出力装置であって、
前記聴覚データは、前記身体の動きの速度に対応し、
前記モーションセンサは、前記身体の位置を経過時間とともに計測して前記身体の動きを検知し、
前記入出力装置は、さらに、
前記モーションセンサにより計測された身体の位置及び経過時間に基づいて前記身体の動きの速度を算出する速度算出部を備え、
前記聴覚制御部は、前記速度算出部により算出された身体の動きの速度に対応する聴覚データを前記聴覚データ記憶部から読み出す、入出力装置。 - 人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力方法であって、
モーションセンサにより検知された人の身体の動きを取得するステップと、
人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、
人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとを含む、入出力方法。 - 人の身体の動きと無関係に能動的に触覚を提示する触覚提示装置を制御する入出力プログラムであって、
モーションセンサにより検知された人の身体の動きを取得するステップと、
人の身体の動きに対応する触覚データを記憶する触覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する触覚データを読み出し、読み出された触覚データに基づいて触覚を提示する触覚提示装置を制御するステップと、
人の身体の動きに対応する聴覚データを記憶する聴覚データ記憶部から、前記モーションセンサにより検知された身体の動きに対応する聴覚データを読み出し、読み出された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるための入出力プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022056938A JP2023148749A (ja) | 2022-03-30 | 2022-03-30 | 入出力装置 |
PCT/JP2023/009257 WO2023189405A1 (ja) | 2022-03-30 | 2023-03-10 | 入出力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022056938A JP2023148749A (ja) | 2022-03-30 | 2022-03-30 | 入出力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023148749A true JP2023148749A (ja) | 2023-10-13 |
Family
ID=88200715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022056938A Pending JP2023148749A (ja) | 2022-03-30 | 2022-03-30 | 入出力装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023148749A (ja) |
WO (1) | WO2023189405A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015223334A (ja) * | 2014-05-28 | 2015-12-14 | 株式会社デンソー | 表示システム |
WO2020090223A1 (ja) * | 2018-11-01 | 2020-05-07 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
JP2020086939A (ja) * | 2018-11-26 | 2020-06-04 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2022
- 2022-03-30 JP JP2022056938A patent/JP2023148749A/ja active Pending
-
2023
- 2023-03-10 WO PCT/JP2023/009257 patent/WO2023189405A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023189405A1 (ja) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3458937B1 (en) | Co-presence handling in virtual reality | |
JP6504809B2 (ja) | 触覚的に動作可能とされる映写されたユーザインターフェースのためのシステム及び方法 | |
KR20190122558A (ko) | 몰입형 현실 인터페이스 모드를 제공하는 시스템, 디바이스 및 방법 | |
KR20210095833A (ko) | 시야를 이용하는 햅틱 피드백 | |
US20170212589A1 (en) | Providing fingertip tactile feedback from virtual objects | |
WO2017043400A1 (ja) | 情報処理装置、方法およびコンピュータプログラム | |
EP3364272A1 (en) | Automatic localized haptics generation system | |
KR20200000803A (ko) | 가상 현실 사용자를 위한 실세계 햅틱 상호작용 | |
US20110148607A1 (en) | System,device and method for providing haptic technology | |
CN109840022A (zh) | 用于根据基于倾斜的输入提供触觉反馈的系统和方法 | |
KR20180098166A (ko) | 가상 감성 터치를 위한 시스템들 및 방법들 | |
Heo et al. | No Need to Stop What You're Doing: Exploring No-Handed Smartwatch Interaction. | |
KR20180066865A (ko) | 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법 | |
JP2019519856A (ja) | マルチモーダルハプティック効果 | |
JP7276334B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Zhu et al. | Tapetouch: A handheld shape-changing device for haptic display of soft objects | |
WO2023189405A1 (ja) | 入出力装置 | |
WO2023189404A1 (ja) | 入出力装置 | |
Alcañiz et al. | Technological background of VR | |
WO2020241655A1 (ja) | 人肌触感呈示装置および人肌触感呈示装置における振動の元信号の設定方法 | |
JP2023150607A (ja) | 入出力装置 | |
Kossyk et al. | Usability of a virtual reality system based on a wearable haptic interface | |
JP7371820B1 (ja) | アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム | |
WO2023105706A1 (ja) | 触覚提示デバイスおよび制御方法 | |
WO2023210164A1 (ja) | アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム |