JP2023148851A - 制御装置、制御方法、触覚提示システム及びコンピュータプログラム - Google Patents

Abstract

【課題】触覚提示装置にて提示される触覚の知覚度を向上させる制御装置、制御方法、触覚提示システム及びコンピュータプログラムを提供する。
【解決手段】制御装置は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する。
【選択図】図１

Description

本発明は、触覚提示装置にて提示される触覚の知覚度を向上させる制御装置、制御方法、触覚提示システム及びコンピュータプログラムに関する。

人間の五感のうち、視覚及び聴覚に係る画像及び音声の伝達技術が高精度化しており、昨今では、触覚を提示する技術（ハプティクス）が種々提案されている。

触覚の提示技術としては、タッチパネル内蔵のディスプレイに表示された物体の画像に触れた際の振動、主に三種の振動（ＥＲＭ：Eccentric Rotating Mass 、ＬＲＡ：Linear resonant Actuator、ピエゾ素子）での再現が提案されている。しかしながらタッチパネル上での触覚提示では、より深部での触覚、つまり手指の皮膚のみならず、筋や腱で生じる力覚まで再現することは困難である。

発明者らは、磁気粘性流体に対する知見に基づいて、操作者が操作可能であって、対象物によって異なる感触を再現する触覚提示装置を提案した（特許文献１等）。

特許第６９０６２７５号

触覚提示装置は、操作者の操作によって基部に対して変位可能な湾曲板等である変位部を備える。変位部は、触覚提示装置が制御されない状態では、操作者によって抵抗なく変位が可能であるが、制御中の触覚提示装置は、変位部の変位量（ポジション）に応じて変位部に対し生じさせる力覚の大きさ、力覚の出力方法等を変えて感触を提示する。

この触覚提示装置の変位部の変位の仕方は、操作者の手の大きさの相違、筋肉の相違等によって異なる。また、操作者によっては、変位部を変位させる操作をした場合に、変位部において力覚が出力されるタイミングにより、感触としての知覚のし易さが相違する。そこで、触覚提示装置を、個々の操作者にとって触覚を知覚し易く設定できるようにすることが望まれる。

本発明は、斯かる事情を鑑みてなされたものであり、触覚提示装置にて提示される触覚の知覚度を向上させる制御装置、制御方法、触覚提示システム及びコンピュータプログラムを提供することを目的とする。

本開示の一実施形態の制御装置は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する。

本開示の一実施形態の制御方法は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御方法であって、前記触覚提示装置に接続されるコンピュータが、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する処理部を含む。

本開示の一実施形態のコンピュータプログラムは、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置に接続されるコンピュータに、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する処理を実行させる。

本開示の制御装置、制御方法及びコンピュータプログラムでは、触覚提示装置が有する変位部が、その変位量に応じて力覚を生じさせる際に、変位部が変位を開始してから触覚が提示されるまでが個別に補正される。

本開示の一実施形態の制御装置は、前記変位量の昇順に連続的に変化する前記制御データを出力し始めるための前記変位量のズレを、前記設定として受け付ける。

本開示の制御装置では、制御データは、変位量の昇順の変化に対して、連続的にその対象物の触覚を再現できるように設定されるところ、変位部が変位してからその触覚が提示されるまでのズレが個別に補正される。

本開示の一実施形態の制御装置は、前記設定を、前記変位量の範囲に対するズレの位置を示すスライドバーを含む設定画面により受け付ける。

本開示の制御装置では、スライドバーで連続的な値としてズレの設定が可能である。

本開示の一実施形態の制御装置は、前記設定を、前記変位量の範囲に対するズレの量が異なる複数の候補を選択可能に表示する設定画面により受け付ける。

本開示の制御装置では、複数の候補から選択が可能である。

本開示の一実施形態の触覚提示システムは、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置と、前記触覚提示装置と通信接続し、表示部を備える情報処理装置とを含み、前記情報処理装置は、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記表示部に表示する視覚データとを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データ及び視覚データとの対応関係をそれぞれ補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力し、補正後の視覚データに基づき、前記変位部の変位量に応じて前記表示部に画像を出力する。

本開示の触覚提示システムでは、触覚提示装置が有する変位部が、その変位量に応じて力覚を生じさせる際に、変位部が変位を開始してから触覚が提示されるまでが操作者個別に補正される。

本開示によれば、操作者に応じて触覚提示装置による触覚提示を調整することが可能となり、触覚の知覚度を向上させることができる。

触覚提示システムを示す模式図である。 情報処理装置の構成を示すブロック図である。 感覚ＤＢの内容例を示す説明図である。 触覚提示装置の構成を示すブロック図である。 触覚提示システムにおける触覚提示の基本処理手順の一例を示すフローチャートである。 触覚提示システムにおける触覚提示の例を示す概要図である。 設定方法の一例を示すフローチャートである。 表示部に表示される設定画面の一例を示す。 提示開始位置による補正手順の一例を示すフローチャートである。 補正の結果を示す説明図である。 表示部に表示される設定画面の他の一例を示す。 触覚提示システムにおける触覚提示の例を示す概要図である。 第２実施形態における触覚提示システムの概要図である。 第２実施形態のＨＭＤの構成を示すブロック図である。

本開示をその実施の形態を示す図面を参照して具体的に説明する。以下の実施の形態では、触覚提示システムにおける設定方法の実施について説明する。

（第１実施形態）
図１は、触覚提示システム１００を示す模式図である。触覚提示システム１００は、情報処理装置１と、触覚提示装置２とを含む。情報処理装置１と、触覚提示装置２とは近距離無線通信で通信接続され、相互にデータを授受する。

情報処理装置１は、図１に示すようにスマートフォンを用いる。情報処理装置１は、スマートフォンでなく、タブレット端末であってもよいし、ラップトップ型のＰＣ（Personal Computer）であってもよい。

触覚提示装置２は、操作者が指を変位部２０２に沿えて持ちながら指を動かして操作できる装置である。触覚提示装置２は、操作者が指を動かすことで変位する変位部２０２の位置を読み取り、内蔵するＭＲＦ（Magneto-Rheological Fluid ）デバイス２４をその位置に応じて制御して操作者の変位部２０２への操作に対する反力（回転抵抗）により力覚を生じさせ、触覚を提示する装置である。触覚提示装置２の変位部２０２の態様は、図１に示すようなものに限られず、スティック状であってもよいし、カバーに覆われたクッション状のものであってもよい。触覚提示装置２は、ＭＲＦデバイス２４に代えて、モータやピエゾ素子などを採用し、操作者の操作に対し回転力や振動により力覚を生じさせるものでもよく、変位部２０２の他、振動や温感、冷感を提示するものと組み合わされてもよい。地面や壁に設置し、操作者の手のひらや足等で操作される構造でもよい。

触覚提示システム１００では、触覚提示装置２は、情報処理装置１と連携し、情報処理装置１にて対象物の画像及び音声を出力させながら、対象物の触覚を触覚提示装置２で出力させる。図１に示す例では、情報処理装置１の表示部１３に、柔らかな物体を表示させ、操作者が触覚提示装置２の変位部２０２を指で押し込むと、触覚提示装置２がグニャリ、若しくはフワフワとした触覚を出力させつつ、表示部１３に、物体が、押し込まれたように変化する画像を表示させ、音声出力部１４にて物体が押し込まれたことに対応する「グニャリ」と聞こえるような音声を出力する。

図２は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、処理部１０、記憶部１１、通信部１２、表示部１３、音声出力部１４及び操作部１５を備える。処理部１０は、ＣＰＵ（Central Processing Unit ）及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。処理部１０は、記憶部１１に記憶されている触覚提示用の制御プログラムＰ１に基づき、後述する処理を実行する。

記憶部１１は、フラッシュメモリ、ＳＳＤ（Solid State Drive ）等の不揮発性メモリを用いる。記憶部１１は、処理部１０が参照するデータを記憶する。制御プログラムＰ１（プログラム製品）は、通信部１２を介して情報処理装置１又は他のプログラムサーバ装置からダウンロードして実行可能に記憶したものである。記憶部１１に記憶されている制御プログラムＰ１は、コンピュータから読み取り可能な記憶媒体８に記憶されていた制御プログラムＰ８を処理部１０が読み出して記憶したものであってもよい。

記憶部１１は、出力する対象物の触覚データ、視覚データ及び聴覚データを含む感覚データベース（ＤＢ：Data Base ）１１０を記憶する。感覚ＤＢ１１０は、対象物を識別する対象物ＩＤに対応付けて、触覚提示装置２における変位部の変位データ毎に、その変位において出力すべき触覚データ、視覚データ（画像、動画）、及び聴覚データ（音声）を格納している（図３参照）。記憶部１１は更に、操作者個別の設定データを記憶する。

通信部１２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。処理部１０は、通信部１２によって触覚提示装置２との間でデータを送受信できる。

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１３は例えば、タッチパネル内蔵型ディスプレイである。処理部１０は、表示部１３に、制御プログラムＰ１に基づき、触覚提示装置２で触覚を出力させるための操作画面や対象物の画像を表示する。

音声出力部１４は、スピーカ等を含む。処理部１０は、制御プログラムＰ１に基づき、対象物の音声、音楽等を音声出力部１４から出力させる。

操作部１５は、処理部１０との間で入出力が可能なユーザインタフェースであって、表示部１３内蔵のタッチパネルである。操作部１５は、物理ボタンであってもよい。操作部１５は、音声入力部であってもよい。

図３は、感覚ＤＢ１１０の内容例を示す説明図である。感覚ＤＢ１１０は、図３に示すように、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の触覚提示装置２のＭＲＦデバイスへの電流の電流値を触覚データとして格納している。対象物は複数であり、触覚を提示する物として実在する物体、例えば、ボール又は風船等の静物、グミ、野菜、又は果物等の食べ物、犬、猫又は魚等の動物を含んでもよいし、スライムやモンスター等のキャラクタを含んでもよい。

感覚ＤＢ１１０の変位部２０２の変位量と、電流値との関係は、変位部２０２の可動範囲の実際の寸法と、対象物の寸法とに合わせて設定されている。例えば、変位部２０２の可動範囲が５０ｍｍであり、対象物が小さなグミのような破裂しない球体であって大きさが１５ｍｍに設定されている場合、触覚は最初の１５ｍｍ程度の範囲で再現され、残りの３５ｍｍの範囲は、それ以上押し込めないほどの感触となるような回転抵抗を生じさせる電流値が設定されている。又は、１２ｍｍ～１５ｍｍの範囲は押し込めなくなる大きな電流値が設定され、それ以降の電流値はゼロに設定されていてもよい。また、対象物がソファの座面のような大きな物体であって大きさが変位部２０２の可動範囲を大きく超える場合、触覚データでは、ソファの座面表面から５０ｍｍまでの感触を提示するような電流値が設定される。対象物がモンスター等の仮想的なキャラクタの場合は、そのキャラクタの設定に応じた大きさに基づいて電流値が設定される。

感覚ＤＢ１１０は、同様に、対象物ＩＤに対応付けて、変位部２０２の位置（角度）毎の画像（フレーム画像）を視覚データとして格納している。ここでフレーム画像は、連続して表示することでアニメーション画像として認識される、１つの静止画像である。また同様にして、対象物ＩＤに対応付けて、変位部２０２の位置（角度）毎の音声を聴覚データとして格納している。聴覚データは、各角度によって異なる波形データであってもよい。各角度に対応する音声のタイムスタンプであってもよい。

図４は、触覚提示装置２の構成を示すブロック図である。触覚提示装置２は、図１に示したように、扁平な有底円筒状の把持体２００に周方向に一部沿うような湾曲部を有する帯状平板の変位部２０２を設けて構成される。変位部２０２は、それ自体が撓むことが可能な素材であるが、剛性の高い素材を採用し、把持体２００と支軸を介して回動可能に支持されていてもよい。変位部２０２の先端の外側の面には、布テープ状の結束具２０３が設けられている。変位部２０２の先端の内側面は、把持体２００内部に収容されているＭＲＦデバイス２４のロータの回転軸と連結するリンク機構２０４が設けられている。

操作者は図１に示したように、把持体２００を例えば親指と中指とで把持しつつ、人差し指等の指を変位部２０２に沿わせて結束具２０３に人差し指を差し込んで使用する。操作者は人差し指を押し込むように変位部２０２を動かすことができ、また、人差し指を伸ばして把持体２００から変位部２０２を遠ざけるように動かすことができる。

触覚提示装置２は、図１に示すような把持体２００と、制御部２０、記憶部２１、通信部２２、電源部２３、ＭＲＦデバイス２４、センサ２５を備える。把持体２００は、ＭＲＦデバイス２４を内蔵する。制御部２０、記憶部２１、通信部２２、及び電源部２３は把持体２００と一体に設けられてもよいし、把持体２００と無線又は有線により接続される別体に設けられてもよい。

制御部２０は、ＣＰＵ、ＭＰＵ（Micro-Processing Unit ）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリを含む。制御部２０は、例えばマイクロコントローラである。制御部２０は、内蔵ＲＯＭに記憶されている制御プログラムＰ２に基づいて各構成部を制御し、触覚提示を実現する。

記憶部２１は、制御部２０に対する補助記憶メモリであり、ＭＲＦデバイス２４の制御データ（触覚データ）を書き換え可能に記憶する。

通信部２２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。制御部２０は、通信部２２によって情報処理装置１との間でデータを送受信できる。

制御部２０は、電源部２３、ＭＲＦデバイス２４及びセンサ２５とＩ／Ｏを介して接続されており、相互に信号を授受する。

電源部２３は、充電可能なバッテリを含む。電源部２３は、ＯＮ状態になると各構成部及びＭＲＦデバイス２４へ電力を供給する。

ＭＲＦデバイス２４は、円板状のロータを、隙間を開けて挟むようにして設けられたヨークを有し、ヨークに設けられたコイルに制御電流を流して磁界を発生させ、隙間に封入されている磁気粘性流体の粘度（ずり応力）を制御してロータの回転抵抗を与える。制御部２０が、ＭＲＦデバイス２４への制御電流の大きさを制御すると即座に回転抵抗が変更される。

センサ２５は、変位部２０２の位置（角度）を測定して制御部２０へ出力する。センサ２５は変位部２０２の変位を、角度として測定して出力する。センサ２５は、ジャイロセンサ、加速度センサ等の複数のセンサから構成されてもよい。

上述のように構成される触覚提示装置２では、変位部２０２が操作者によって操作されると、変位部２０２の変位がリンク機構２０４を介してＭＲＦデバイス２４のロータの回転軸への回転方向に伝達される。回転軸は、ＭＲＦデバイス２４が動作していない場合、即ち制御電流がゼロである間は、自由に回転するため、変位部２０２は抵抗なく変動する。一方で、ＭＲＦデバイス２４が動作し、制御電流がゼロでない場合には、ＭＲＦデバイス２４へ流れる電流の大きさに応じてＭＲＦデバイス２４内部の磁気粘性流体の粘度（ずり応力）が変更される。制御部２０が、ＭＲＦデバイス２４への電流の大きさを連続的に変更したり、電流値を所定の周波数で振動させたりすることで、変位部２０２に対する抵抗の力やその出現方法を変更できる。

このようにして触覚提示装置２は、変位部２０２の押し込む量に応じて抵抗（電流値）を変動させてヌルリとした触覚を提示したり、押し込む量が大きくなるにつれて抵抗を大きくしてギュッとした固さの触覚を提示したり、抵抗の大小を繰り返してザクザクとした触覚を提示したりすることができる。

図５は、触覚提示システム１００における触覚提示の基本処理手順の一例を示すフローチャートである。情報処理装置１の処理部１０は、操作者が制御プログラムＰ１を起動させ、触覚提示装置２の電源をＯＮとすると、触覚提示装置２と連携して以下の処理を開始する。

処理部１０は、触覚を表示する対象物の候補のリストを含む操作画面を表示部に表示し（ステップＳ１０１）、対象物の選択を受け付ける（ステップＳ１０２）。処理部１０は、選択された対象物の対象物ＩＤに対応する触覚データ、画像データ及び音声データを記憶部１１の感覚ＤＢ１１０から読み出す（ステップＳ１０３）。

処理部１０は、読み出した触覚データを、後述する処理で設定される提示開始位置に基づき、読み出した触覚データ、画像データ及び音声データを補正して、一時記憶する（ステップＳ１０４）。ステップＳ１０４における補正の方法については詳細を後述する。

処理部１０は、触覚提示装置２と通信部１２による通信を確立させ（ステップＳ１０５）、一時記憶した補正後の触覚データを、触覚提示装置２へ送信する（ステップＳ１０６）。処理部１０は、表示部１３に触覚提示を開始することを表示させる（ステップＳ１０７）。

触覚提示装置２の制御部２０は、触覚データを受信すると（ステップＳ２０１）、記憶部２１に記憶する（ステップＳ２０２）。

制御部２０は、センサ２５から出力される変位部２０２の変位量（角度）に対応する信号をサンプリングする（ステップＳ２０３）。制御部２０は、サンプリングにより得られる変位量を、情報処理装置１へ送信し（ステップＳ２０４）、得られた変位量に対応する電流値を、記憶部２１に記憶した触覚データから参照し（ステップＳ２０５）、参照した電流をＭＲＦデバイス２４へ出力し（ステップＳ２０６）、処理をステップＳ２０３へ送信する。ステップＳ２０３－Ｓ２０６の処理は、情報処理装置１側で終了させる操作がされるまで継続する。

情報処理装置１は、触覚提示装置２から変位量を受信し（ステップＳ１０８）、処理部１０は、受信した変位量に対応する画像及び音声を記憶部１１の視覚データ及び聴覚データから参照し（ステップＳ１０９）、それぞれを表示部１３及び音声出力部１４から出力させ（ステップＳ１１０）、処理をステップＳ１０８へ戻す。触覚提示装置２から変位量が送信される都度、情報処理装置１は、それに対応する画像及び音声を出力する。

処理部１０は、終了操作がされたか否かを判断する（ステップＳ１１１）。終了操作がされていないと判断された場合（Ｓ１１１：ＮＯ）、処理をステップＳ１０８へ戻し、ステップＳ１０８－Ｓ１１０の処理を繰り返す。

終了操作がされたと判断された場合（Ｓ１１１：ＹＥＳ）、と処理部１０は、表示を終了して触覚提示装置２との通信を切断し（ステップＳ１１２）、処理を終了する。

図６は、触覚提示システム１００における触覚提示の例を示す概要図である。図６には、触覚提示装置２に送信される触覚データにおける変位量に対応して表示部１３に表示される画像の変化及び音声の変化を示す。図６に示すように、変位部２０２の押し込み量に応じて、画像が変化し、触覚に対応する凹み方が変わる。また、図６に示すように、画像中に、操作者の指の画像を表示する場合、接触、即ちＭＲＦデバイス２４へ出力する初期位置（変位量がゼロ）の場所から、画像における対象物に接触する指の画像が表示されるようにしてもよい。

このように触覚を提示する触覚提示システム１００では、上述の触覚提示の処理のうち、図５のフローチャートに示した処理手順のステップＳ１０４で、情報処理装置１が触覚データを補正するに際し、触覚提示装置２での出力を操作者個々に合わせることができる。

図７は、設定方法の一例を示すフローチャートである。以下に示す処理手順は、制御プログラムＰ１に基づき表示される操作画面内で、設定メニューを選択した場合に開始される。図７に示す処理手順は、制御プログラムＰ１に基づく処理を初回に実行する際に自動的に開始されてもよい。初期的には、提示開始位置に対応する変位量は、ゼロである。

処理部１０は、変位量の角度範囲に対応するバーを含む設定画面を表示する（ステップＳ３０１）。処理部１０は、バーによる提示開始位置の選択を受け付け（ステップＳ３０２）、選択された提示開始位置に対応する変位量（角度）を決定し、記憶する（ステップＳ３０３）。ステップＳ３０３において処理部１０は、バーの長さに対する選択された位置の長さの割合から、変位量の範囲（０～９０°）における変位量の位置を決定して記憶する。つまり、バーの長さを１００とした場合に、選択された位置までの長さが５であるケースでは約５％であるから、５°が提示開始位置に対応する変位量として決定される。

処理部１０は、提示開始位置に対応する変位量（角度）までの電流値をゼロとし、提示開始位置に対応する変位量以上の変位量に、所定の電流値をセットした触覚データを作成する（ステップＳ３０４）。処理部１０は、作成した触覚データを触覚提示装置２へ送信し（ステップＳ３０５）、設定画面に試すように促すメッセージを表示部１３に表示させる（ステップＳ３０６）。

触覚提示装置２の制御部２０は、受信した触覚データに基づいて、変位部の変位量に応じた電流をＭＲＦデバイス２４に流し、設定された提示開始位置に対応する変位量よりも変位部２０２が押し込まれた場合に初めて、所定の反力（回転抵抗）を発するテストを実行可能とする。これにより、反力を感じ始めるまでの猶予（遊び・ズレ）を、操作者が試すことができる。

処理部１０は、設定画面に、決定ボタンを表示し（ステップＳ３０７）、試した結果、ステップＳ３０２で選択した提示開始位置でよいか否かを受け付ける。処理部１０は、決定ボタンが選択されたか否かを判断する（ステップＳ３０８）。決定ボタンが選択されていないと判断された場合（Ｓ３０８：ＮＯ）、処理部１０は、処理をステップＳ３０２へ戻し、決定ボタンが選択されるまで処理を繰り返す。

決定ボタンが選択されたと判断された場合（Ｓ３０８：ＹＥＳ）、処理部１０は、ステップＳ３０３で決定した変位量（角度）を、補正量として記憶部１１に記憶し（ステップＳ３０９）、処理を終了する。

図８は、表示部１３に表示される設定画面１３０の一例を示す。操作部１５によって設定メニューが選択された場合に、処理部１０は設定画面１３０を表示部１３に表示する。設定画面１３０には、変位量の範囲に対応する長さに対してスライド可能なコントロール１３２を含むバーインタフェース１３１が含まれる。操作者は、表示部１３内蔵のタッチパネル上で、コントロール１３２を上下に動かすことができる。

設定画面１３０は、テストボタン１３３及び決定ボタン１３４を含む。テストボタン１３３が操作者によって選択されると、処理部１０は操作部１５によりこれを検知し、動かされたコントロール１３２の位置によってステップＳ３０３において変位量を決定する。テストボタン１３３が選択された場合、処理部１０は、ステップＳ３０４からステップＳ３０８の処理を実行する。

決定ボタン１３４が選択された場合、処理部１０は、ステップＳ３０８－Ｓ３０９を実行する。

これにより、変位部２０２を操作した場合の提示開始位置の補正量が操作者毎に設定され、図５のフローチャートに示した処理におけるステップＳ１０４によって反映される。図９は、提示開始位置による補正手順の一例を示すフローチャートであり、図１０は、補正の結果を示す説明図である。

処理部１０は、ステップＳ１０４において、読み出した触覚データの各変位量に、補正量として記憶した変位量を加算した、補正後の触覚データを作成する（ステップＳ４０１）。これにより、触覚データにおける連続的に変化する電流値を出力し始める変位量をずらすことができる。

処理部１０は、読み出した聴覚データの各変位量に、補正量として記憶した変位量を加算した、補正後の聴覚データを作成する（ステップＳ４０２）。

処理部１０は、読み出した視覚データの各変位量に、補正量として記憶した変位量を加算した、補正後の視覚データを作成し（ステップＳ４０３）、補正を終了する。

ステップＳ４０３において処理部１０は、視覚データである画像に、操作者の指の画像を仮想的に重畳して表示する場合、補正量として記憶した変位量と同一の変位量が触覚提示装置２から送信されたタイミングで、指の画像が対象物に接触して見えるように指の画像を表示させる座標を算出してもよい。この場合、処理部１０は、提示開始位置と、触覚データにおける電流値がゼロでなくなる変位量（角度）とに基づき、触覚が生じるタイミングと、画像において指の画像が対象物に接触して見えるタイミングとが合致するように、画像を調整してもよい。

補正によって触覚データ、聴覚データ及び視覚データは、図１０に示すように、補正量が加算された後の変位量それぞれに対し、電流値、音声データ、及び画像データが対応付けられたデータとなる。つまり、変位部２０２の変位量の範囲（可動範囲）と、提示される感触の範囲とがずれるように補正される。

図１１は、表示部１３に表示される設定画面１３０の他の一例を示す。設定画面１３０は、図８に示したように、操作部１５によって設定メニューが選択された場合に、処理部１０は設定画面１３０を表示部１３に表示する。設定画面１３０には、変位量の範囲に対して、上からどこまで押し込むと触覚提示が始まるか（触覚提示位置）の異なるパターンが３つ候補として表示されている。

図１１の例でも、設定画面１３０は、テストボタン１３３及び決定ボタン１３４を含む。決定ボタン１３４により、いずれかを選択することが可能である。図１１に示す例では、３つの候補のうち、中央の候補が、太線の枠（カーソル）により強調されており、この候補が操作部１５によるタップで選択された状態であることが示されている。

テストボタン１３３が操作者によって選択されると、処理部１０は操作部１５によりこれを検知し、動かされたコントロール１３２の位置によってステップＳ３０３において変位量を決定する。テストボタン１３３が選択された場合、処理部１０は、ステップＳ３０４からステップＳ３０８の処理を実行する。

図１１に示す設定画面１３０の例であっても、決定ボタン１３４が選択された場合、処理部１０は、ステップＳ３０８－Ｓ３０９を実行する。

図１２は、触覚提示システム１００における触覚提示の例を示す概要図である。図１２に示す例では、図６に示した例と比較して、補正後の触覚データにおける変位量に対応して表示部１３に表示される画像の変化及び音声の変化とを示す。図１２では、補正前の触覚データにおける状態を破線により示している。図１２に示すように、補正後は、図６と比較して、変位部２０２を少しだけ（５°相当）押し込んだ位置から、変位部２０２から触覚が提示され始め、同様に、画像及び音声が出力される。

このように、触覚提示装置２を使用する際の触覚の提示開始位置を、操作者の好みや感覚に合わせて調整することが可能になる。触覚提示装置２における触覚の提示の方法を操作者に合わせることにより、操作者による知覚度が向上する。

情報処理装置１に対して、１つの補正量を記憶することとして説明したが、これに限られない。１つの情報処理装置１の記憶部１１に、異なる操作者毎の補正量を記憶しておき、触覚提示装置２を操作する操作者が誰であるかの選択を受け付けてから、処理部１０は、設定してある補正量を使用して図５のフローチャートに示した処理を実行してもよい。

（第２実施形態）
第２実施形態では、ＨＭＤ（Head Mounted Display）を用い、対象物に対する視覚情報を三次元画像で提示する。図１３は、第２実施形態における触覚提示システム１００の概要図であり、図１４は、ＨＭＤ３の構成を示すブロック図である。第２実施形態における触覚提示システム１００の構成は、ＨＭＤ３を用いることと、ＨＭＤ３を用いることによる詳細な処理の内容が異なること以外は、第１実施形態における触覚提示システム１００と同様の構成である。したがって、第２実施形態の触覚提示システム１００の構成のうち、第１実施形態の触覚提示システム１００と共通する構成については同一の符号を付して詳細な説明を省略する。

ＨＭＤ３は、表示部３１、動き検知部３２、空間検知部３３、及び接続部３４を備える。ＨＭＤ３は、本体に、表示部３１、動き検知部３２、空間検知部３３及び接続部３４を設けてもよいし、一部は別体に設けられて相互に通信媒体を介して制御信号を授受できるようにしてあってもよい。ＨＭＤ３は、情報処理装置１の機能を有して一体に構成されてもよい。

表示部３１は例えば、小型の液晶ディスプレイ、光学レンズ及び光学系機構を備え、視野角１１０°以上で三次元画像を表示することが可能である。表示部３１は、透明又は半透明のグラス状のディスプレイであり、操作者の実際の視界に、情報処理装置１から出力される画像信号（映像信号を含む）を受け付けて重畳表示させる。表示部３１はグラス状のものに限られず、前方に向けて設けられたカメラにて実空間を撮影した画像に、情報処理装置１から出力される画像信号に基づく画像を重畳表示させるものであってもよい。

動き検知部３２は、本体（表示部３１のカバー及び装着ベルト）の各所に、多様な向きで設けられた複数の三軸加速度センサ及びジャイロセンサと、これらのセンサ群からの信号を集約して出力する制御回路とを備える。動き検知部３２により、装着者の頭部の動きが検知される。

空間検知部３３は、本体の外面に外向きに並設された２つ以上の赤外線カメラと、該赤外線カメラの中間位置に同様に外向きに赤外線を照射するように設けられた赤外線ＬＥＤとを用いる。空間検知部３３は、ＨＭＤ３の本体の外側に存在する物体までの距離を測定する深度センサとして機能する。空間検知部３３は、ＨＭＤ３本体から、ＨＭＤ３を装着する操作者の居場所における壁、床等の静物に対する距離を測り、出力することが可能である。空間検知部３３は同様に、ＨＭＤ３本体から操作者の腕、手、指までの距離を測定し、出力することが可能である。

接続部３４は、情報処理装置１と接続するためのインタフェースである。ＨＭＤ３は、動き検知部３２及び空間検知部３３にて測定された結果に対応する信号をそれぞれ、情報処理装置１へ出力すると共に、情報処理装置１から出力される映像信号を取得して表示部３１に表示させる。

ＨＭＤ３にスピーカを設け、情報処理装置１の音声出力部１４から出力される音声をスピーカにて出力させるようにしてもよい。

上述したような構成の第２実施形態の触覚提示システム１００において情報処理装置１は、ＨＭＤ３を用い、空間検知部３３で測定された実空間における静物に対する距離を用い、仮想的な対象物の三次元画像を、動き検知部３２にて検知される操作者の動きに合わせて重畳表示し、ＡＲ表示を実現する。対象物の選択は、ＨＭＤ３の表示部３１に表示される仮想的対象物の三次元画像の画像内の座標（実空間と合致した座標）に対し、空間検知部３３により、触覚提示装置２を把持した手指を重ねたことが検知できた場合に、これを選択したものとして情報処理装置１の処理部１０が検知する。

ＨＭＤ３を用いたＡＲ表示と触覚提示装置２とを組み合わせることにより、実空間に対象物を仮想的に配置した画像を、操作者は視覚的に観察しながら、その対象物の感触を触覚提示装置２で覚えることが可能である。その際に、第１実施形態にて説明したものと同様に、触覚提示装置２における触覚提示開始位置を、操作者それぞれに応じて補正することができることで、更に知覚度を向上させることができる。

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１ 情報処理装置
１０ 処理部
１１ 記憶部
１３ 表示部
１３０ 設定画面
Ｐ１ 制御プログラム
２ 触覚提示装置
２０ 制御部
２１ 記憶部
２０２ 変位部
２４ ＭＲＦデバイス

Claims (7)

1. 操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、
   前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、
   設定に基づき、前記制御データの前記変位量と制御データとの対応関係を補正し、
   前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する
   制御装置。
2. 前記変位量の昇順に連続的に変化する前記制御データを出力し始めるための前記変位量のズレを、前記設定として受け付ける
   請求項１に記載の制御装置。
3. 前記設定を、前記変位量の範囲に対するズレの位置を示すスライドバーを含む設定画面により受け付ける
   請求項２に記載の制御装置。
4. 前記設定を、前記変位量の範囲に対するズレの量が異なる複数の候補を選択可能に表示する設定画面により受け付ける
   請求項２に記載の制御装置。
5. 操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御方法であって、
   前記触覚提示装置に接続されるコンピュータが、
   前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、
   設定に基づき、前記制御データの前記変位量と制御データとの対応関係を補正し、
   前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する
   処理部を含む制御方法。
6. 操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置と、
   前記触覚提示装置と通信接続し、表示部を備える情報処理装置と
   を含み、
   前記情報処理装置は、
   前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記表示部に表示する視覚データとを前記対象物毎に記憶しておき、
   設定に基づき、前記制御データの前記変位量と制御データ及び視覚データとの対応関係をそれぞれ補正し、
   前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力し、
   補正後の視覚データに基づき、前記変位部の変位量に応じて前記表示部に画像を出力する
   触覚提示システム。
7. 操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置に接続されるコンピュータに、
   前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、
   設定に基づき、前記制御データの前記変位量と制御データとの対応関係を補正し、
   前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する
   処理を実行させるコンピュータプログラム。

Images