JP2005078310A - 触覚呈示装置、触覚呈示方法、及びプログラム - Google Patents

Abstract

【課題】 発光手段が設けられたポインティングデバイスを動かすことにより、発光手段の位置や動きに対応させた触覚情報を呈示することができる触覚呈示装置、触覚呈示方法、及びプログラムを提供する。
【解決手段】 ＬＥＤ１２と触覚情報呈示部１４が設けられた触覚マウス１０をポインティングデバイスとして使用する。操作者は、触覚情報呈示部１４の指載置部５８に指先を載置することにより、触覚情報を感知することができる。３Ｄ計測装置２０は、触覚マウス１０に設けられたＬＥＤ１２の位置を計測し、ＬＥＤ１２の位置を示す位置情報をパソコン３０に出力する。パソコン３０では、入力された位置情報に基づいて、ＬＥＤ１２の動きを検出する。ＬＥＤ１２の位置及びＬＥＤ１２の動きの少なくとも一方に対応させて触覚情報呈示部１４に制御信号を出力し、触覚情報呈示部１４が触覚情報を呈示するように制御する。
【選択図】 図１

Description

本発明は、触覚情報を呈示する触覚呈示装置、触覚呈示方法、及びプログラムに関し、特に発光手段の位置や動きに対応させた触覚情報を呈示する触覚呈示装置、触覚呈示方法、及びプログラムに関するものである。

パソコン等に対して指示入力するためのデバイスとして、従来よりｘ、ｙ座標値を相対座標値としてパソコンに指示入力するマウス（２次元マウス）が広く用いられている。近年、この２次元マウスを用いて３次元座標値を指示入力する技術が提案されている。この技術では、例えば、従来の２次元（ｘ、ｙ）座標値を指示するためのマウスボールに加え、３つ目の座標値（ｚ座標値）を指示するためのマウスボールを別に設け、このマウスボールの回転を用いて３次元座標値を指示入力する。これには複雑な操作が必要とされる。また、２次元マウスの操作は２次元平面上に拘束されており、３次元空間の指示入力装置としては操作性に劣る。

そこで、光源としてのＬＥＤをペンに装備、或いは操作者の指等に装着し、ＬＥＤからの光を受光する受光部をパソコンの画面の上部等に取付け、ＬＥＤの位置を検出することにより３次元座標値を指示入力することができる装置（３次元マウス）が提案されている（例えば、特許文献１参照。）。この装置では、光源の受光部に対する角度を求め、三角測量の原理により光源の３次元位置を求めている。なお、この装置を用いてマウスの基本動作であるクリック等のシグナルを入力する場合には、操作者が指で押すことのできるスイッチ等をＬＥＤの近傍に設け、該スイッチを押下する等の機械的操作を行うことにより有線を介してパソコンの基本ソフトに入力する必要がある。

また、３次元入力装置として、受発光手段からプローブ光を照射し、受発光手段が再帰光を受光したか否かにより指示手段の座標を入力することができる座標入力／検出装置（例えば、特許文献２）、従来の２次元マウスを置いて上下させることによりｚ軸座標が入力できる３次元マウステーブル（例えば、特許文献３）、電子ペンの中に指で回転されるロータリースイッチが設けられ、その回転度合いによってグラフィカルパラメタ（線分の太さ、色、陰影、グレイスケール）の変化の度合いを決定する座標入力用電子ペン（例えば、特許文献４参照。）、垂直（ｚ軸）方向の入力を行うことができるスティックを設け、圧力センサ等によって力の方向及び量を検出し、３次元空間における垂直方向の移動量を指示することができるポインティング・デバイス（例えば、特許文献５）等が知られている。

また、米国Gyration Inc.社のGyromouseも、ポインティングデバイスとして広く知られている。このGyromouseは、オートジャイロを内蔵しており、空中操作でレーザーの方向を変えることができる機構を有している。

更にまた、近年、人の動きやしぐさをＣＣＤカメラにより撮影し、その画像を解析することによって、例えば腕や指の方向を示す特徴点を検出し、指示入力するシステムが提案されている。このシステムではＣＣＤカメラを２台設け、利用者の特定の部位の動きから、例えば指の指し示す方向を検出する。

また、本出願人により、発光手段からの光を受光することにより発光手段の位置を検出する技術を用い、五感の少なくとも１つに訴えるようなフィードバック（焦点メタファーや色相等の変化）によって、画面の前面に広がる３次元空間上の分割された複数の領域の各境界に対する発光手段の通過状態をユーザに認知させ、機械的メカニズムを利用せずに、発光手段の各領域の境界に対する通過の仕方に応じて、クリック、ダブルクリック、ドラッグ等の２次元マウスの機能を実行することができる３次元指示入力装置が提案されている（特願２００３−９６３６６参照）。更にまた、操作者に装着された発光手段を３Ｄ計測装置から操作者に向かう方向（ｚ軸方向）に沿って前後方向に移動させ、発光手段からの光を受光することにより計測された位置情報から発光手段の動きに伴う加速度、速度を検出し、動きに伴う時間も考慮しながら、発光手段の動きが予め定められた動きに対応しているか否かを判断し、対応していると判断した場合に予め定められた動きに対応付けられた処理（クリック、ダブルクリック、ドラッグ等の機能）の実行を指示することができる指示入力装置が提案されている（特願２００３−１３８６４５参照）。

一方、近年、コンピュータで視覚や聴覚だけでは表現できない様々な情報を操作者に伝えるために、視覚や聴覚を補完する物理的フィードバックとして、操作者に触覚刺激を与えることができる装置が望まれている。

触覚刺激を与えることができる装置としては、ポインティングデバイスに駆動部（アクチュエータ）を設け、パソコンの画面上のポインタが指示する画面上の対象物（画像情報）に従って駆動部（アクチュエータ）が駆動し、手や指に触力覚刺激を与えることができる装置が知られている（例えば、特許文献６、特許文献７参照）。また、ＭＩＴで開発された３次元空間における触覚フィードバック機能を実現したファントムという触覚デバイスも広く知られている。
特開平１０−９８１２号公報 特開２００１−１４２６４３号公報 特開２００２−３６６３０１号公報 特開２０００−４７８０５号公報 特開平１０−２５４６１６号公報 特開１１−２０３０４０号公報 特開２０００−３３０６８８号公報

しかしながら、上述した従来の３次元マウス、３次元入力装置、Gyromouse、ＣＣＤカメラを用いて指示入力するシステム、本出願人が提案した３次元指示入力装置や指示入力装置では、３次元座標値の入力はできるが、触覚フィードバックを実現する機能を有していないため、操作者に触覚刺激を与えることができない。

また、従来の触覚刺激を与えることができる装置では、指示入力する際の動きは２次元平面上での動きに制限されており、自由度が少ない。また、この触覚フィードバックはアプリケーションに依存しており、いわば、アプリケーション内の限定された世界の中でのみ実現される機能である。

ファントムは、連続する複数の物理的軸に基づいて動作するためパソコン画面上を自由にポインティングできるものではない。また、操作自体が重く感じられ、ポインティングの指示方向を自由に回転させることができない。また、専用のソフトを使う必要がある。

本発明は、上述した課題を解決するために提案されたものであり、発光手段が設けられたポインティングデバイスを動かすことにより、発光手段の位置や動きに対応させた触覚情報を呈示することができる触覚呈示装置、触覚呈示方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の触覚呈示装置は、操作者によって操作されるポインティングデバイスに設けられた発光手段と、前記操作者に対して触覚情報を呈示する触覚情報呈示手段と、前記発光手段から発光された光を検出することにより前記発光手段の位置及び動きの少なくとも一方を検出する検出手段と、前記検出手段で検出された前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように前記触覚情報呈示手段を制御する制御手段と、を含んで構成されている。

本発明の触覚呈示装置において、操作者によって操作されるポインティングデバイスに発光手段が設けられる。ポインティングデバイスは、位置を指示するための装置であれば特に限定されず、例えばパソコンの入力装置として一般的に用いられるマウスや、スティック型のポインティングデバイスであってもよい。発光手段は、光を発するものであれば特に限定されず、例えばＬＥＤとしてもよい。

触覚情報呈示手段は、操作者に対して触覚情報を呈示する。この触覚情報呈示手段は、ポインティングデバイス自体に設けられていてもよいし、ポインティングデバイスとは別に操作者に装着可能に設けられていてもよい。

検出手段は、発光手段から発光された光を検出することにより、発光手段の位置及び動きの少なくとも一方を検出する。制御手段は、検出手段で検出された発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように触覚情報呈示手段を制御する。

このように、本発明によれば、発光手段が設けられたポインティングデバイスを動かすことにより、発光手段の位置や動きに対応させた触覚情報を呈示することができる。またこれにより、操作者は、ポインティングデバイスの位置や動きを認識することができ、指示入力を比較的正確かつ容易に行うことができる。

また上記触覚呈示装置の前記触覚情報呈示手段に、前記操作者の指を載置可能な傾斜面を設けることもできる。これにより、指を載置する部分が平らな場合に比べて、より多様な触覚情報を呈示することができると共に、操作者は呈示された触覚情報をより強く感知することができる。

また、前記触覚情報呈示手段は、前記操作者の指を載置可能な凹部を備えており、該凹部は縁部から中心部に向かって連続的に傾斜した斜面を備えることもできる。これにより、一方向だけでなく、多様な方向に作用する触覚情報を呈示することができると共に、操作者は、該多様な方向に作用する触覚情報をより強く感知することができる。

前記検出手段は、予め定められた軸に対する回転運動を前記動きとして検出し、前記制御手段は、前記回転運動の回転角に応じて触覚情報の呈示状態が変化するように前記触覚情報呈示手段を制御することもできる。

このように、回転運動を検出して、回転運動の回転角に応じて触覚情報の呈示状態が変化するように制御することにより、回転運動による指示入力に対しても、適切に触覚情報を呈示することができる。

前記検出手段は、前記検出された光に基づいて前記発光手段の加速度及び速度の少なくとも一方を算出し、算出された前記発光手段の加速度及び速度の少なくとも一方の大きさに基づいて前記動きを検出することもできる。

このように、加速度及び速度の少なくとも一方の大きさに基づいて動きを検出することにより、ポインティングデバイスのより小さな動きを認識することができ、小さな動きでも豊かな触覚情報を操作者に呈示することができる。

前記操作者に対して音声を発生する音声発生手段を更に含み、前記制御手段は、前記発光手段の位置及び前記動きの少なくとも一方に対応させた触覚情報が呈示されるように前記触覚情報呈示手段を制御すると共に、前記発光手段の位置及び動きの少なくとも一方に対応させた音声が発生されるように前記音声発生手段を制御することもできる。

このように、触覚情報を呈示するだけでなく、音声も発生させるように制御することにより、ポインティングデバイスの位置或いは動きを操作者の感覚により強く訴えることができる。

前記検出手段は、予め触覚情報が対応付けられた複数の空間に分割された所定の空間の該複数の空間に対する前記発光手段の位置及び動きの少なくとも一方を検出し、前記制御手段は、該複数の空間に対する前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように前記触覚情報呈示手段を制御することもできる。

すなわち、所定の空間を複数の空間に分割する。この複数の空間には、予め触覚情報が対応付けられている。検出手段は、この複数の空間に対する発光手段の位置及び動きの少なくとも一方を検出する。制御手段は、該複数の空間に対する発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように触覚情報呈示手段を制御する。例えば、複数の空間のいずれかの空間内に発光手段が位置しているときや、複数の空間を分割する境界領域を発光手段が通過したときに、予め対応付けられた触覚情報を呈示することができる。

前記検出手段は、予め触覚情報及び処理が対応付けられた複数の空間に分割された所定の空間の該複数の空間に対する前記発光手段の位置及び動きの少なくとも一方を検出し、前記制御手段は、該複数の空間に対する前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように前記触覚情報呈示手段を制御すると共に前記複数の空間に対して予め対応付けられた前記処理が実行されるように制御することもできる。

すなわち、所定の空間を複数の空間に分割する。この複数の空間には、予め触覚情報及び処理が対応付けられている。検出手段は、この複数の空間に対する発光手段の位置及び動きの少なくとも一方を検出する。制御手段は、該複数の空間に対する発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように触覚情報呈示手段を制御すると共に、前記複数の空間に対して予め対応付けられた前記処理が実行されるように制御する。例えば、複数の空間のいずれかの空間内に発光手段が位置しているときや、複数の空間を分割する境界領域を発光手段が通過したときに、予め対応付けられた触覚情報を呈示すると共に、予め対応付けられた処理を実行することができる。

複数のブラシ及び複数の色の各情報を用いて描画するプログラムを実行する場合に、前記制御手段は、前記操作者により選択されたブラシ及び色の少なくとも一方の情報に応じて、異なる触覚情報が呈示されるように前記触覚情報呈示手段を制御することもできる。

このように、複数のブラシ及び複数の色の各情報を用いて描画するプログラムを実行中に、発光手段の動きや位置だけでなく、選択されたブラシや色の情報に応じて、呈示する触覚情報を異ならせることにより、ブラシや色の情報を操作者に与えることができ、操作者が目の不自由な場合でも、表現豊かな絵を描くことが可能になる。

また、本発明の触覚呈示方法は、操作者によって操作されるポインティングデバイスに設けられた発光手段から発光された光を検出することにより該発光手段の位置及び動きの少なくとも一方を検出する検出工程と、前記検出工程で検出された前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように、前記操作者に対して触覚情報を呈示するための触覚情報呈示手段を制御する制御工程と、を含んで構成されている。

また、本発明のプログラムは、コンピュータに、操作者によって操作されるポインティングデバイスに設けられた発光手段から発光された光を検出することにより該発光手段の位置及び動きの少なくとも一方を検出する検出工程と、前記検出工程で検出された前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように、前記操作者に対して触覚情報を呈示するための触覚情報呈示手段を制御する制御工程と、を実行させる。

本発明の触覚呈示方法及びプログラムも、本発明の触覚呈示装置と同様に作用するため、発光手段が設けられたポインティングデバイスを動かすことにより、発光手段の位置や動きに対応させた触覚情報を呈示することができる。またこれにより、操作者は、ポインティングデバイスの位置や動きを認識することができ、指示入力を比較的正確かつ容易に行うことができる。

以上説明したように、本発明によれば、発光手段が設けられたポインティングデバイスを動かすことにより、発光手段の位置や動きに対応させた触覚情報を呈示することができる、という効果を奏する。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る触覚呈示装置としての機能を備えた指示入力システムの構成を示す図である。図示されるように、指示入力システムは、触覚マウス１０と、３Ｄ計測装置２０と、パソコン３０とを備えている。

触覚マウス１０は、ＬＥＤ１２と、触覚情報呈示部１４と、を備えたポインティングデバイスである。ＬＥＤ１２は、触覚マウス１０の先端部に設けられている。触覚情報呈示部１４は、パソコン３０からの制御信号に応じて駆動される。操作者の指先が触覚情報呈示部１４の指載置部（後述）に載置されることにより、操作者は、指先から触覚情報を感知することができる。触覚情報呈示部１４については後述する。

３Ｄ計測装置２０は、３Ｄ計測装置２０に備えられた受光部がＬＥＤ１２から発光された光を受光することによりＬＥＤ１２からの光を検出し、ＬＥＤ１２の３次元位置を計測する。該計測された３次元位置を示す位置情報（ｘ、ｙ、ｚ座標値）はパソコン３０に出力される。なお、この３Ｄ計測装置２０は、ＬＥＤ１２等の発光体から発光された光を検出することにより３次元位置を計測できる装置であれば特に限定されないが、特開平１０−９８１２号公報に記載された位置検出の技術等を用いて構成することができる。

本指示入力システムでは、３Ｄ計測装置２０の受光部をパソコン３０のディスプレイの画面の位置と略一致する位置（例えばディスプレイ上部等）に装備することにより、パソコン３０のディスプレイの画面前方の空間におけるＬＥＤ１２の３次元位置を計測する。また、パソコン３０のディスプレイの画面に略一致する位置には、パソコン３０のディスプレイの画面に対応した（実際には存在しない）仮想平面が設定される。ＬＥＤ１２の仮想平面に対する位置に応じて、ディスプレイの画面にカーソルが表示される。従って、操作者は、該仮想平面に対してＬＥＤ１２が設けられた触覚マウス１０を移動させることにより、ディスプレイの画面の任意の位置にカーソルを表示させることができる。

本指示入力システムの３Ｄ計測装置２０で用いられる座標系は、仮想平面の左上角に原点があり、仮想平面をｘ−ｙ平面とし、仮想平面に垂直な軸をｚ軸とする座標系であり、この座標系では、仮想平面から操作者に向かう方向がｚ軸の＋方向、仮想平面に向かって右方向がｘ軸の＋方向、下方向がｙ軸の＋方向となるように定められている。以下、この座標系を基準座標系と呼称する。なお、前述のカーソルの表示位置は、ＬＥＤ１２の基準座標系におけるｘ、ｙ座標値が用いられる。

なお、仮想平面はどの平面上に設けてもよいが、ディスプレイの画面に略一致する平面上に設けることにより、操作者が指示入力する際、入力位置を感覚的に認識しやすいため好適である。

図２は、パソコン３０の具体的な構成を示した図である。図示されるように、パソコン３０のパソコン本体３２は、ＣＰＵ３４、ＲＯＭ３６、ＲＡＭ３８、及び入出力インタフェース（Ｉ／Ｏ）４０を含んで構成されている。また、Ｉ／Ｏ４０には、パソコン３０の構成要素の一部として、ディスプレイ４２と、スピーカ４４と、ハードディスクドライブ（ＨＤＤ）４６とが接続されている。また、Ｉ／Ｏ４０には、触覚マウス１０と３Ｄ計測装置２０とが接続されている。

３Ｄ計測装置２０から出力されたＬＥＤ１２の位置情報は、Ｉ／Ｏ４０を介して入力される。

ＨＤＤ４６には、ＬＥＤ１２の位置或いは動きに対応させて触覚情報を呈示させるための触覚情報呈示処理ルーチンのプログラム（以下、触覚情報呈示プログラムと呼称）、及び該プログラムを実行する際に用いられる各種設定情報が記憶されている。ＣＰＵ３４は、触覚情報呈示プログラム及び各種設定情報をＲＡＭ３８にロードして、該プログラムを実行する。

各種設定情報には、ＬＥＤ１２の動きに伴う加速度の閾値Ａ₀、速度の閾値Ｖ₀、及びＬＥＤ１２の動きを判断するための時間の閾値Ｔ₀、Ｔ₁が含まれている。

上記プログラムや各種設定情報を記憶する記憶媒体は、ＨＤＤ４６に限定されず、ＲＯＭ３６であってもよい。また、図示は省略するが、Ｉ／Ｏ４０に接続されたＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

次に、図３及び図４を参照しながら、触覚マウス１０の触覚情報呈示部１４の電気的な構成を説明する。

図３は、触覚情報呈示部１４の概略構成図であり、図４は、図３の矢印Ｆ方向から見た図である。ただし、図４の指載置部５８については、その形状が明瞭となるように中心付近の形状が示されている。

触覚情報呈示部１４は、基部５４と、基部５４に設けられた第１磁石５０ａ〜第４磁石５０ｄの４つの磁石と、第１コイル５２ａ〜第４コイル５２ｄの４つのコイルとにより構成される駆動部１６、指載置部５８、基部５４と指載置部５８とを連結する弾性部材５６、及びパソコン３０から制御信号を受けて第１コイル５２ａ〜第４コイル５２ｄに電流を供給する駆動回路６０により構成されている。

基部５４に設けられた４つの磁石５０ａ〜５０ｄは、互いに隣り合う磁石同士が逆に分極するように２行２列に配置されており、互いに隣り合う磁石間で磁界の向きが逆方向となるように構成されている。

指載置部５８と４つの磁石５０ａ〜５０ｄとの間には、両者が摺動可能なように摺動部が設けられている（図示省略）。この摺動部は、低摩擦材料より構成されており、例えば、ポリテトラフルオロエチレンなどのフッ素樹脂、潤滑油を含浸した樹脂や金属、潤滑油などの流体等を用いることができる。また、摺動部を非磁性体より成る球体や円柱等の部材により構成し、これら球体や円柱等の転がりによって指載置部５８を摺動させるように構成することもできる。

指載置部５８は、載置された指に後述する推力を伝達する。指載置部５８は、上方から見た形状は円形であるが、図４に示されるように、円形の周縁部から中心部に向かって連続的に傾斜した斜面によりすり鉢状に凹んでいる。この凹みに操作者の指先が載置される。指載置部５８の下層側には、４つのコイル５２ａ〜５２ｄが設けられている。

各コイル５２ａ〜５２ｄは、指載置部５８に固着され、それぞれ駆動回路６０から電流が供給される。各コイル５２ａ〜５２ｄに供給される電流は、パソコン３０のＣＰＵ３４によってそれぞれ流れる向きと大きさとが調整される。各コイル５２ａ〜５２ｄに電流が供給されると、フレミングの左手の法則により各コイル５２ａ〜５２ｄに電流の流れる向きと大きさに応じた推力が働き、この推力が指載置部５８に伝達されるので、指載置部５８には各コイル５２ａ〜５２ｄに生じた推力を合成した合力が働くことになり、これが指載置部５８に載置された操作者の指先に与えられる触覚情報となる。

ここで、磁石による磁界とコイルに供給される電流の流れる向きとについて、例えば、図３及び図４に示した第１磁石５０ａと第１コイル５２ａを例に挙げて説明する。ここでは、第１磁石５０ａは上面側がＮ極、下面側がＳ極に分極しており、基部５４の垂直方向であるＺ軸方向に磁界を生じさせているものとする。また、第１コイル５２ａは、一辺が前記磁石の上方で基部５４表面と平行な面内の任意の方向であるＸ方向に沿って配置されるものとする。なお、ここでいうＸＹＺ軸は、上述した基準座標系の座標軸とは異なる。

基部５４の垂直方向であるＺ軸方向の磁界中にＸ軸方向に電流が通過することで、Ｙ軸方向の推力が生じる。このため、第１コイル５２ａに時計回りの電流を流すと、コイルはＹ軸の＋方向に推力を発生させる。また、電流の向きを反時計回りに変更すれば、推力が作用する方向もＹ軸の−方向に変更される。さらに、流す電流の値を大きくすれば、大きな推力が発生し、小さくすれば、小さな推力が発生するので、流す電流値の大きさを調節することにより発生する推力の大きさを調節することができる。

さらに、発生可能な推力の方向はＸ軸方向やＹ軸方向だけに留まらず、Ｚ軸を中心として回転する方向に推力を発生させることも可能である。すなわち、図３において、第１コイル５２ａに時計回りの電流を流し、第１コイル５２ａと対向して配置された第３コイル５２ｃに反時計回りの電流を流すことにより、互いに反対方向に働く推力が発生するため、結果的にＺ軸を中心とする回転モーメントが指載置部５８に作用することになる。なお、第２コイル５２ｂと、第２コイル５２ｂに対向して配置された第４コイル５２ｄについても同様である。

さらに、上記２つのコイルに対して流す電流の大きさが異なると反対方向に働く力のバランスも電流値に応じて変化するため、回転中心をずらすことができる。すなわち、上記２つのコイルに対して流す電流の大きさを調整することにより回転中心を変えるように調整することも可能である。

図５は、操作者が触覚マウス１０を保持した状態を示した図である。触覚情報呈示部１４の指載置部５８の凹みに操作者の指先が載置される。また、図示されるように人差し指が指載置部５８に載置され、触覚マウス１０本体は、親指と、中指及び薬指とにより左右から挟んで保持される。

図６は、触覚マウス１０（ＬＥＤ１２）の移動方向と、該移動方向に応じて発生する推力との関係を示した図である。例えば、図示されるように、触覚マウス１０の移動方向が、前後左右（外側に向かう４つの矢印ａｂｃｄ）のいずれかの方向である場合には、推力は、該移動方向とは反対（中心部に向かう４つの矢印）の方向に発生するように触覚情報呈示部１４が制御される。指載置部５８に載置された指先に指載置部５８の斜面があたり、指載置部５８がせり上がる感覚が与えられるため、操作者はあたかも反作用を受けたように感じる。

以下、図７のフローチャートを用いて触覚情報呈示処理ルーチンについて説明する。

なお、図示は省略するが、パソコン３０には所定時間毎にＬＥＤ１２の位置情報が入力されるため、触覚情報呈示処理ルーチンでは、所定時間毎に入力された位置情報に基づいて加速度及び速度が検出される。ここでは、速度は、ある特定時間間隔におけるＬＥＤ１２の位置を示す座標値の差分を該特定時間で割ることにより求める。加速度は、求めた速度の差分を更に該特定時間で割ることにより求める。

このように検出した加速度及び速度に基づいて、後述するように、ＬＥＤ１２の指示する方向や動きが判断される。加速度を用いて判断することにより、ＬＥＤ１２を急速に動かしている状態とそうでない状態、すなわち、操作者が意識して手を動かしている状態と、指示入力する意志がなく、自由に手を動かしている状態とを区別することができる。また、速度を用いて判断することにより、ＬＥＤ１２をある程度の距離だけ動かしたことを認識でき、実際のＬＥＤ１２の動きを判断することができる。速度を判断材料とすることにより、位置情報から移動距離自体を算出して用いる場合に比して、より小さな動きを認識することが可能となる。

ステップ１００では、加速度が閾値Ａ₀を越えたか否かを判断する。ここでは、閾値は絶対値で設定されているため、加速度が負の値である場合には正の値となるように調整されてから閾値と比較され、判断される。ステップ１００で、加速度≦Ａ₀であると判断した場合には、次の位置情報が入力されるまで待機状態を続ける。また、加速度＞Ａ₀であると判断した場合には、ステップ１０２で、速度が閾値Ｖ₀を越えたか否かを判断する。なお、速度も加速度と同様、負の値であれば正の値となるように調整されて閾値と比較され判断される。ここで、速度≦Ｖ₀であると判断した場合には、ステップ１００に戻る。速度＞Ｖ₀であると判断した場合には、ステップ１０４に移行する。

ステップ１０４では、ＬＥＤ１２の移動方向を検出する。移動方向は、入力した位置情報や速度から即座に検出することができる。

ステップ１０６では、検出された移動方向に応じて、触覚情報（ここでは推力）を呈示する。以下、図８及び図９を用いて、触覚情報を呈示する処理について詳細に説明する。

図８及び図９は、ＬＥＤ１２の移動方向、指先が受ける力の方向、及び指載置部５８の動く方向の関係を示した図である。図中のＭは、ＬＥＤ１２の移動方向のベクトルを示し、Ｎは、ＬＥＤ１２の移動により発生した推力のベクトルを示し、Ｎ’は、指先に働く力のベクトルを示している。

図８のＭに示されるように、ＬＥＤ１２の移動方向がａ方向である場合には、推力Ｎが移動方向とは逆方向（ｂ方向）に発生するように、触覚情報呈示部１４が制御される。すなわち、パソコン３０（ＣＰＵ３４）から、推力Ｎがｂ方向に発生するように駆動回路６０から電流が供給されるように、制御信号が出力される。これにより推力Ｎが発生し、指先には、Ｎの成分の内、指載置部５８の斜面に垂直な成分Ｎ’の力がかかる。この触覚が、触覚マウス１０の移動方向に対する反作用として感じられる。

なお、ここでは、ＣＰＵ３４からの制御信号は、有線を介して駆動回路６０に出力されるが、赤外線や電波を用いて無線で伝送されるようにしてもよい。

このように、基本的には、ＬＥＤ１２の移動方向とは反対の方向に推力が発生するように触覚情報呈示部１４が制御されるが、移動方向によっては、例えば、以下のように制御される。

図９のＭに示されるように、ＬＥＤ１２の移動方向が下方である場合には、推力Ｎが図示されるような方向（ａ方向）に発生するように、触覚情報呈示部１４が制御される。この場合には、図示される方向に推力Ｎが発生することにより、指先に、Ｎの成分の内、指載置部５８の斜面に垂直な成分Ｎ’の力がかかる。この感触が、移動方向に対する反作用として感じられる。

発生させる推力をａ−ｂ方向に限定する場合、推力をａからｂ及びｂからａのいずれの方向に発生させるべきかは、ＬＥＤ１２の移動方向の、ａ−ｂ方向の成分及びａ−ｂ方向に垂直な成分のいずれの成分が大きいかをまず判断し、大きい方の成分に応じて推力が発生するように制御する。図６のｃ−ｄ方向を考慮して推力を発生させる場合も、同様に制御する。

また、ａｂｃｄの４方向への推力を同時に発生させ、各推力を合成した触覚情報を呈示することも可能である。この場合には、ａｂｃｄの４方向についてそれぞれ電流を流し、各推力が合成された触覚情報を呈示してもよいし、予めそれぞれの方向の差分をとり、その差分だけ電流を流すことにより各推力を合成した触覚情報を呈示してもよい。

このように推力を制御することにより、指先には触覚マウス１０（ＬＥＤ１２）の移動方向とほぼ逆方向に力が発生しているように感じられる。従って、操作者は、触覚マウス１０をどの方向に移動させているかを容易に把握することができる。

なお、ステップ１０６で発生させる推力の大きさを、検出された加速度及び速度の少なくともいずれか一方の大きさに応じて変更してもよい。このように推力を制御することにより、操作者は、どの程度の加速度または速度で触覚マウス１０を動かしているかを容易に把握することができる。

ステップ１０６に続いて、ステップ１０８では、検出された移動方向に対応させて音声を発生する。具体的には、パソコン本体３２上で再生された、移動方向に対応させて異なる音声データを、サウンドカード（図示省略）に出力し、サウンドカードにて音声データをスピーカ４４で再生するためアナログ信号に変換してスピーカ４４に出力する。なお、このステップ１０８の音声発生処理は、ステップ１０６の触覚情報呈示とほぼ同時に行われる。

なお、この触覚情報呈示処理ルーチンのプログラムは、カーソルの表示位置を移動する際に実行されるようにしてもよいし、本出願人が提案した指示入力装置（特願２００３−１３８６４５参照。）に示されるような３次元空間におけるクリックやダブルクリック等の動きに対応させて推力が発生されるように、実行されるようにしてもよい。後者の場合には、クリックやダブルクリック等の動きに制限時間を設定し、動きの途中で制限時間を越えた場合には推力を発生させないようにすることもできる。

また、上記では、ＬＥＤ１２の動き（移動方向）に対応させて触覚情報を呈示する例について説明したが、ＬＥＤ１２の位置に対応させて触覚情報を呈示するようにしてもよい。この場合には、３Ｄ計測装置２０でＬＥＤ１２の位置が計測可能な空間に、触覚情報を呈示する領域を定めておき、図１０に示される触覚情報呈示処理ルーチンを実行する。

ステップ２００で、入力された位置情報に基づいて、現在のＬＥＤ１２の位置は予め定められた領域内であるか否かを判断する。なお、該領域が複数定められていてもよい。ここで、現在のＬＥＤ１２の位置は予め定められた領域内にないと判断した場合には、次に位置情報が入力されるまで待機状態を維持する。また、現在のＬＥＤ１２の位置が予め定められた領域内にあると判断した場合には、ステップ２０２に移行し、予め定められた領域に対応して触覚情報を呈示する。複数の領域で異なる触覚情報が対応付けられている場合には、それぞれ異なる触覚情報を呈示する。

呈示する触覚情報としては、例えば、上述の図６で示したように、前後左右ａｂｃｄのいずれかの方向への推力であってもよいし、前後方向（ａ−ｂ方向）の振動（推力の方向を、ａ方向とｂ方向とに交互に、かつ小刻みに切換える動き）であってもよい。

ステップ２０４では、予め定められた領域に対応させて音声を発生する。該領域が複数定められている場合には領域毎に発生する音声を異ならせることもできる。

このように、触覚マウス１０に備えられたＬＥＤ１２の位置に対応させて触覚情報を呈示することにより、操作者は、触覚マウス１０の位置を容易に認識することができる。

なお、図１０の位置に対応させて触覚情報を呈示する処理と、図７の動きに対応させて触覚情報を呈示する処理とを合わせ、位置および動きの双方に対応させて触覚情報を呈示するようにしてもよい。

以上説明したように、触覚マウス１０に備えられたＬＥＤ１２の位置および動きの少なくとも一方に対応させて触覚情報を呈示するようにしたため、操作者は、３次元空間で触覚マウス１０を動かすことにより、容易に３次元空間における触覚マウス１０の位置や動きに応じた触覚フィードバックを受けることができる。また、これにより操作者は、触覚マウス１０の３次元空間における位置あるいは動きを容易に把握することができ、カーソルの正確なポジショニングが可能となる。

なお、本実施の形態では、図４に示されるように、指載置部５８が、円形の周縁部から中心部に向かって連続的に傾斜した斜面によりすり鉢状に凹んだ形状である場合を例に挙げて説明したが、発生させる推力が図６のａ方向のみである場合には、図１１に示されるように、後方から前方に向かって傾斜した傾斜面を備えたものであってもよい。また、逆に、発生させる推力が図６のｂ方向のみである場合には、図１２に示されるように、前方から後方に向かって傾斜した傾斜面を備えたものであってもよい。

また、本実施の形態では、触覚情報呈示部１４の駆動部１６が、図１３に示されるように、触覚マウス１０本体及び指載置部５８に対して平行に設けられている例について説明したが、図１４に示されるように、触覚マウス１０本体及び指載置部５８に対して垂直に設けられていてもよい。これにより、指載置部５８を垂直方向に動かすことができる。例えば、触覚マウス１０を３次元空間において上下に動かす場合には、図８に示した例に比べて、直接的に反作用の力を指に与えることができる。

また、本実施の形態における触覚マウス１０は、ＬＥＤ１２の位置や動きにより３次元空間での指示入力を行うためのポインティングデバイスとして用いられているが、指示入力用のスイッチやボタン等を備えることにより、２次元平面での指示入力を行うための従来のポインティングデバイスとして用いることもできる。これにより、ＬＥＤ１２の位置や動きによる指示入力とボタン押下等の機械的操作による指示入力とを必要に応じて使い分けることも可能である。また、指示入力の形態に応じて呈示する触覚情報を異ならせるようにしてもよい。

［第２の実施の形態］
第１の実施の形態では、任意の方向へのＬＥＤ１２の動きや位置に対応させて触覚情報を呈示する例について説明したが、本実施の形態では、予め定められた平面に対して垂直な方向におけるＬＥＤ１２の動きにより触覚情報を呈示する共に、該動きに対応付けられた処理を実行する例について説明する。

ここでは、前述した仮想平面（基準座標系のｘ−ｙ平面）に対して垂直な軸の、仮想平面に近づく方向（ｚ軸のマイナス方向）に素早く触覚マウス１０（ＬＥＤ１２）が動いたときに、検出されたＬＥＤ１２の動きは予め定められた動き（ここでは選択の動き）であると判断して、ディスプレイ４２の画面上に表示されているアイコンを選択する処理を実行する例について説明する。なお、本実施の形態における指示入力システムは、第１の実施の形態と同様であるため、説明を省略する。

図１５は、本実施の形態における触覚情報呈示処理ルーチンを示したフローチャートである。

ステップ３００では、加速度にマイナスの符号を付した値が閾値Ａ₀を越えたか否かを判断する。ここでマイナスの符号を付すのは、閾値が絶対値で設定されているためである。仮想平面に近づく方向（マイナス方向）にＬＥＤ１２が移動した場合には、検出される加速度がマイナスの値となるため、この値にマイナスの符号を付すことによって、正の値とし、閾値と比較できるようにしている。

ステップ３００で、−加速度≦Ａ₀であると判断した場合には、次の位置情報が入力されるまで待機状態を続ける。−加速度＞Ａ₀であると判断した場合には、ステップ３０２で、速度にマイナスの符号を付した値が閾値Ｖ₀を越えたか否かを判断する。ここで、−速度≦Ｖ₀であると判断した場合には、ＬＥＤ１２の動きは選択の動きではないと判断してステップ３００に戻る。−速度＞Ｖ₀であると判断した場合には、ＬＥＤ１２の動きは選択の動きであると判断してステップ３０４に移行する。

ステップ３０４では、触覚情報を呈示する。ここで呈示される触覚情報は第１の実施の形態で示した図６のｂ方向への推力である。ステップ３００及び３０２で肯定判断された場合には、移動方向はｚ軸のマイナス方向であることが自明であるため、ｂ方向に推力が発生するように触覚情報呈示部１４を制御する。

ステップ３０６では、ディスプレイ４２の画面に表示されているカーソルがアイコンを指示しているか否かを判断する。ここでアイコンを指示していないと判断した場合には、ステップ３００に戻る。アイコンを指示していると判断した場合には、ステップ３０８に移行し、指示しているアイコンを選択する処理を行う。

ここでは、仮想平面に垂直な軸のマイナスの方向に閾値以上の加速度及び速度でＬＥＤ１２を動かした場合のみ、触覚情報が呈示される。これにより、操作者は、触覚マウス１０をどの方向にどの程度動かせば、（加速度や速度が閾値を越えて）予め定められた動きとなるかを認識できるようになる。従って、学習効果が高まり、より早く触覚マウス１０を使い慣れることができるようになる。

なお、触覚情報と共に、音声を発生させるようにしてもよい。これにより、操作者の認識度がアップし、学習効果を高めることができる。

上記では、基準座標系のｘ−ｙ平面（仮想平面）に垂直な軸のマイナスの方向に素早く触覚マウス１０を動かしたときに、アイコンを選択する処理を行う例について説明したが、以下では、所定時間カーソルを静止させたとき（すなわち、触覚マウス１０を静止させたとき）に、カーソルが指示するアイコンを選択する処理を行い、その状態で仮想平面に垂直な軸のマイナスの方向に触覚マウス１０を素早く動かしたときに、アイコンをオープンする処理を行う例について、図１６を参照しながら説明する。

ここでは、基準座標系のｘ−ｙ平面（仮想平面）において所定時間静止する状態が選択の動きとして設定されており、仮想平面に対して垂直な軸の、仮想平面に近づく方向（マイナス方向）に素早く移動する動きがアイコンオープンの動きとして設定されている。

ステップ４００では、触覚マウス１０（ＬＥＤ１２）の静止時間が閾値Ｔ₀を越えたか否かを判断する。ここでは、基準座標系のｘ、ｙ座標値の所定時間内の変化量が所定範囲内であれば静止している状態であると判断し、この状態にある時間が閾値Ｔ₀を越えたか否かを判断する。ステップ４００で、静止時間≦Ｔ₀であると判断した場合には、待機状態を続け、静止時間＞Ｔ₀であると判断した場合には、ＬＥＤ１２の動きは選択の動きであると判断し、ステップ４０２に移行する。

ステップ４０２では、ディスプレイ４２の画面に表示されているカーソルがアイコンを指示しているか否かを判断する。ここでアイコンを指示していないと判断した場合には、ステップ４００に戻る。アイコンを指示していると判断した場合には、ステップ４０４に移行し、指示しているアイコンの選択処理を行う。

ステップ４０６では、−加速度が閾値Ａ₀を越えたか否かを判断する。ここで、−加速度≦Ａ₀であると判断した場合には、ステップ４０８に移行し、ステップ４００で肯定判断されてから時間Ｔ₁が経過したか否かを判断する。時間Ｔ₁が経過していないと判断した場合には、ステップ４０６に戻る。ステップ４０８で、時間Ｔ₁が経過したと判断した場合には、予め定められた時間内にアイコンオープンの動きが開始されなかったと判断し、アイコンの選択を解除してステップ４００に戻る。

また、ステップ４０６で、−加速度＞Ａ₀であると判断した場合には、ステップ４１０で、−速度が閾値Ｖ₀を越えたか否かを判断する。ここで、−速度≦Ｖ₀であると判断した場合には、ＬＥＤ１２の動きはアイコンオープンの動きではないと判断してステップ４００に戻る。−速度＞Ｖ₀であると判断した場合には、ＬＥＤ１２の動きはアイコンオープンの動きであると判断してステップ４１２に移行する。

ステップ４１２では、触覚情報を呈示する。ここで呈示される触覚情報は図１５のステップ３０８と同様に、図６のｂ方向への推力である。

ステップ４１４では、選択されているアイコンをオープンする処理を行う。

このような処理フローによっても、上記図１５で示した例と同様の効果を奏する。

なお、本実施の形態では、予め定められたＬＥＤ１２の動きが仮想平面（ｘ−ｙ平面）に対して垂直な方向に移動する動きである例について説明したが、これに限定されず、例えば、ＬＥＤ１２の動きがｘ−ｚ平面に対して垂直な方向に移動する動きであってもよい。具体的には、例えばｙ軸のプラス方向（仮想平面に対して下方向）への動きを、従来の２次元マウスで行われるクリックの動きとして設定することもできる。この動きは、従来の２次元マウスのクリックの動きに似た動きであり好適である。

［第３の実施の形態］
本実施の形態では、描画を行うためのグラフィックプログラム実行時における触覚呈示処理について、図１７を参照しながら説明する。ここでは、所定時間以上の静止状態がドラッグ開始の動きとして設定され、ゆっくりと触覚マウス１０（ＬＥＤ１２）がｘ−ｙ平面を移動する動きがドラッグの動きとして設定され、ｘ−ｙ平面に垂直な軸のプラス方向に素早く移動する動き（ディスプレイの画面から触覚マウス１０を素早く手前に引くような動き）がドロップの動きとして設定されている。グラフィックプログラム実行中は、ドラッグの動きにより描画され、ドロップの動きにより描画を一旦停止することができる。本実施の形態における指示入力システムも、第１の実施の形態と同様であるため、説明を省略する。なお、本実施の形態のパソコン３０では、一般的に広く用いられている、複数のウィンドウを表示可能なマルチウィンドウシステムを採用する。また、本実施の形態でも基準座標系を用い、加速度及び速度を基準座標系のＬＥＤ１２の位置のｚ座標値に基づいて検出する。

ステップ５００では、ＬＥＤ１２の静止時間が閾値Ｔ₀を越えたか否かを判断する。ここでは、基準座標系のｘ、ｙ座標値の変化量が所定範囲内であれば静止している状態であると判断し、この状態にある時間が閾値Ｔ₀を越えたか否かを判断する。ステップ５００で、静止時間≦Ｔ₀であると判断した場合には、待機状態を続け、静止時間＞Ｔ₀であると判断した場合には、ＬＥＤ１２の動きはドラッグ（ドロー）開始の動きであると判断し、ステップ５０２に移行する。

ステップ５０２では、ディスプレイ４２の画面に表示されているカーソルが、グラフィックプログラムによりオープンされたピクチャウィンドウ（以下、ピクチャ）内を指示しているか否かを判断する。ここで、ピクチャ内を指示していないと判断した場合には、ステップ５００に戻る。ピクチャ内を指示していると判断した場合には、ステップ５０４に移行し、指示しているピクチャのドロー（描画）処理を行うと共に、触覚情報を呈示する。静止時間がＴ₀を越えた時点での（ｘ、ｙ）座標値が描き始めの点となる。

具体的には、カーソルのｘ、ｙ座標値がグラフィックプログラムに入力される。操作者が触覚マウス１０をゆっくりと動かしてカーソルを動かすと、該プログラムのグラフィック処理によりカーソルの軌跡にそって線が描かれる。その際、グラフィックプログラムが提供する機能において予め操作者により選択されたブラシの種類によって、呈示する触覚情報が異なるように触覚情報呈示部１４を制御する。例えば、普通の線を描くブラシが選択されている場合には、指載置部５８が、ゆっくりと前後に振動するように制御し、ぼかして描くブラシが選択されている場合には、前後左右に不規則に振動するように制御する。

また、操作者により選択された色に応じて呈示する触覚情報が異なるように触覚情報呈示部１４を制御する。例えば、色の明るさに応じて指載置部５８の振動の大きさを異ならせるように制御する。

また、ピクチャ内をカーソルが動いている間に呈示される触覚情報と、ピクチャ外をカーソルが動いているときに呈示される触覚情報とを異ならせるように制御することもできる。

ステップ５０６では、＋加速度が閾値Ａ₀を越えたか否かを判断する。なお、ここでは、ＬＥＤ１２の移動方向を明瞭にするために便宜上加速度に＋の符号を付す。ここで、＋加速度≦Ａ₀であると判断した場合には、ステップ５０４に戻り、ドロー処理及び触覚情報呈示処理を続行する。また、＋加速度＞Ａ₀であると判断した場合には、ドロップの動きが開始されたと判断してステップ５０８に移行し、＋速度が閾値Ｖ₀を越えたか否かを判断する。ここで、＋速度≦Ｖ₀であると判断した場合には、ＬＥＤ１２の動きはドロップの動きではないと判断してステップ５０４に戻る。＋速度＞Ｖ₀であると判断した場合には、ＬＥＤ１２の動きはドロップの動きであると判断してステップ５１０に移行する。

ステップ５１０では、ドロップ処理を行うと共に触覚情報を呈示する。ドロップの処理は、ドロー処理を停止する処理である。また、ドロップ処理と同時に、図６のａ方向への推力が発生するように触覚情報呈示部１４を制御する。その後、ステップ５００に戻る。

このように、ＬＥＤ１２の動きや位置だけでなく、選択されたブラシや色に応じて、呈示する触覚情報を異ならせることにより、ブラシや色の情報を操作者に与えることができ、操作者が目の不自由な場合でも、表現豊かな絵を描くことが可能になる。

なお、ドロップの動きは、基準座標系のｘ−ｙ平面に垂直な軸のマイナス方向に素早く移動する動きであってもよい。

［第４の実施の形態］
本実施の形態では、ＬＥＤ１２の動きが回転運動である場合に、回転運動における回転角に応じて指示入力すると共に、回転角に応じて触覚情報の呈示状態が変化するように制御する例について説明する。

図１８は、本実施の形態における触覚マウス１０の正面図である。本図を用いて、ＬＥＤ１２の左右回転運動を説明する。ＬＥＤ１２が触覚マウス１０本体に対して図示される位置に設けられている。操作者は、前述の図５に示されるように触覚マウス１０本体の左右側面を親指と中指とで保持することにより、前方のディスプレイ４２の画面、すなわち基準座標系のｘ−ｙ平面（仮想平面）に対してＬＥＤ１２が円を描くように触覚マウス１０を回転させることができる。

このＬＥＤ１２の回転運動は、３Ｄ計測装置２０から入力されたＬＥＤ１２の位置情報から容易に検出される。回転運動に伴う回転角については、幾何学的な手法を用いて求める。以下、その具体的な手法を図を参照しながら説明する。

回転運動の基点をＯで示す。Ｏ点からＰ点までＬＥＤ１２を回転させたときの回転角を求める場合には、まず、ＬＥＤ１２の軌跡のＰ点における接線（１）を算出する。算出した接線（１）と軌跡との接点（すなわちＰ点）を通り、接線に垂直なベクトル（２）を算出する。算出したベクトル（２）の、Ｏ点を通り基準座標系のｘ軸に垂直な軸（３）に対する傾きを算出する。算出した傾きから回転角を求める。ここでは、ベクトル（２）と軸（３）との交点（４）が、回転の中心となる。また、交点（４）を通り基準座標系のｘ−ｙ平面に垂直な軸が回転軸となる。

なお、回転角が小さい場合は、図１９に示されるような手法を用いて回転角を求める。基点となるＬＥＤ１２の位置をＱ点とし、次のＬＥＤ１２の位置をＲ点とする。Ｑ点とＲ点とを結ぶベクトルＭを算出する。ｘ軸に垂直な軸ＮとベクトルＭとがなす角度Ｃを算出する。ここで、回転の中心をＳ点とすると、線分ＳＱと線分ＳＭとがなす角度Ｄ（回転角）は、角度Ｃと幾何学的理由により等しくなる。従って、回転角は、角度Ｃを算出することにより求まる。

触覚マウス１０本体の左右側面を保持しながら、保持されている左右側面の２点を結ぶ線分を回転軸として、図２０に示されるように、ＬＥＤ１２を上下に回転させることもできる。上下の回転運動の回転角（図中のＡ及びＢ）は、左右の回転運動の場合と同様にして求めることができる。

ＣＰＵ３４は、検出された回転角に応じて触覚情報の呈示状態が変化するように制御する。以下、具体的な例を挙げて説明する。

操作者は、図５に示されるように親指と中指とで触覚マウス１０本体の重心位置（触覚マウス１０の重さが均等であれば略真中の位置）を掴み、触覚マウス１０の正面がディスプレイ４２の画面（仮想平面）に向かうような状態で操作する。ここでは、ディスプレイ４２の画面或いは仮想平面に対して平行であり、かつ親指と中指とを結ぶ線分に略一致する軸が回転軸とされる。回転軸は、ＬＥＤ１２の位置と触覚マウス１０本体の大きさから適宜求められる。

操作者が、回転軸に対してＬＥＤ１２を回転させる。回転角が算出され、それに応じて触覚情報が呈示される。下方に回転させた場合には、推力が前方（図６ではａ方向）に発生するように触覚情報呈示部１４を制御する。これにより、指載置部５８が前方に動いて、指載置部５８の斜面により指先に盛り上がり感が与えられる。これが、操作者には指先を下方に動かした時の反作用の力として感じられる。逆に、上方に回転させた場合には、図６のｂ方向に推力が発生するように制御される。また、回転角の大きさに応じて、推力の大きさを変化させることもできる。例えば、回転角が大きいほど、推力が大きくなるように制御する。これにより、操作者は、どの程度触覚マウス１０を動かしたかを認識することができる。なお、左右の回転も上下の回転と同様に触覚情報を呈示することができる。

次に、回転運動を利用したゲームを例に挙げて説明する。

図２１は、ディスプレイ４２の画面に、迷路盤７０を前後左右に動かして、中にあるボール７２をゴール７４まで移動させるゲームが表示された様子を示している。このゲームは、ＶＲＭＬ（Virtual Reality Modeling Language）等のソフトウェアを用いて３次元的に表現される。操作者は、図２２に示されるように、触覚マウス１０を前方或いは後方に傾かせたり、左右に回転させたりすることにより、画面上で迷路盤７０を傾け、ボール７２を動かすことができる。

本ゲームは、触覚マウス１０をある程度傾けるだけで、充分に迷路盤７０を傾かせることができるようにプログラミングされている。また、ここでは、触覚マウス１０自体に前述の基点や回転軸があると想定して回転角が算出される。

また、ボール７２が迷路盤７０の壁にぶつかると触覚情報が呈示されるように触覚情報呈示部１４が制御される。具体的には、ボール７２の進行方向に対して、左の壁にぶつかった場合には、指載置部５８が左から右に進む動き（図６ではｄ方向への推力）を呈示するように制御される。また、右の壁にぶつかった場合には、指載置部５８が右から左に進む動き（図６ではｃ方向への推力）を呈示するように制御される。また、臨場感を高めるため、ボール７２の転がる音や壁にぶつかる音を付加する。

更に、触覚マウス１０（ＬＥＤ１２）の回転角に応じて傾いた迷路盤７０の傾きから、ボール７２にかかる重力の、迷路盤７０の各面に平行な成分が計算され、ボール７２の転がる向き及び速さが計算されてその表示位置が更新される。ボール７２が迷路盤７０の壁にぶつからずに転がり落ちる場合には、例えば、指載置部５８が前後に振動するように、すなわち、推力の方向が、図６のａ方向とｂ方向とに交互に、かつ小刻みに切換わるように触覚情報呈示部１４を制御する。また、回転角に応じて変化する迷路盤７０の傾きに応じてボール７２の速さを増加或いは減少させる。この速さに応じて指載置部５８の振動数を変化させる。例えば、傾きが大きいほどボール７２の速さを増加させ、ボール７２の速さが速いほど、振動数を増加させるようにする。

なお、上記では、触覚マウス１０自体に回転軸があると想定して回転角が計算されているが、回転軸の位置を固定とし、予め設定しておくことも好適である。

以上説明したように、ＬＥＤ１２の回転運動における回転角を認識することにより、３次元空間上の物体（仮想物体）を前後左右に自由に動かすことができ、回転角に応じて触覚情報を変化させるため、従来の２次元平面上で指示入力する２次元マウスでは得ることができない臨場感を得ることができる。

［第５の実施の形態］
本実施の形態では、第１〜第４の実施の形態で説明した指示入力システムを様々なゲームに適用し、それらゲームにおける触覚情報呈示処理について具体的に説明する。なお、以下に挙げるゲーム全てにおいて、ＬＥＤ１２の位置が基準座標系を用いて計測される。

図２３は、２次元迷路ゲームを表した図である。カーソルの表示位置を触覚マウス１０のドラッグの動きにより動かして、カーソルを迷路内で移動させる。カーソルの移動の軌跡は画面上に現れるようにする。迷路内の通路を通るときやカーソルが迷路の壁にぶつかったときには、触覚情報呈示部１４を制御して反作用の力を指に呈示する。その際、効果音を出力するようにすればなお好適である。

図２４は、図２３に示した２次元迷路ゲームをより立体的に表した図である。この場合には、操作がより複雑となるが、操作者にとって、ビジュアル的によりリアルな臨場感が味わえる。触覚情報の呈示制御は、図２３と同様に行われる。

図２５は、３次元迷路ゲームを表した図である。この迷路は、全体が上中下の３段で構成され、各段が重箱のように重なって立方体の形状をなしている。図２５（Ａ）が上段、図２５（Ｂ）が中段、図２５（Ｃ）が下段である。図２５（Ｂ）に示される丸印８０は下段から中段への抜け穴であり、図２５（Ａ）に示される四角印７６及び７８は中段から上段への抜け穴を示している。迷路内の通路を通るときやカーソルが迷路の壁にぶつかったときには、上記２次元迷路ゲームと同様に、触覚情報が呈示される。また、抜け穴を抜けるときにも触覚情報が呈示される。上段から中段へ抜ける場合と、中段から上段に抜ける場合とで、異なる触覚情報を呈示するようにしてもよい。

また、このような３次元迷路の場合には、２次元迷路の場合と異なり、平面（ｘ−ｙ平面）上のドラッグの動きのみならず、触覚マウス１０を画面（仮想平面）に対して前後するような動き（ｚ軸方向の動き）が必要となり、ゲームとしての複雑さが増す。また、２次元迷路ゲームと同様に、画面上にカーソルの移動の軌跡を表示させ、迷路内部の状態が常に見えるように表示する。立方体正面からの軌跡、側面からの軌跡、及びカーソルの位置をリアルタイムに表示するようにしてもよい。

図２６は、３次元五目並べを表した図である。黒丸で示された位置に、白丸８６または十字丸８４をドラッグしてドロップする。ドロップ位置を変更する場合には、エッジ（線）８８に沿ってドラッグする。ここでは、エッジ８８に沿うように反作用の力を呈示することにより、操作者に対してドラッグ可能な部分を認識させる。エッジ８８を奥から手前に移動するときには、操作者は、その動きと同じように、触覚マウス１０を画面（仮想平面）に対して手前に引くように動かす。逆方向も同様に行う。

また、白丸８６または十字丸８４を黒丸８２の位置にドロップする際に、ドロップ位置が黒丸８２の位置に一致していなくても、ドロップ位置に最も近い黒丸８２の位置に、白丸８６または十字丸８４が吸引されるような動きで収まるように表現することもできる。また、白丸８６や十字丸８４をドラッグするときには、ドラッグ方向と逆方向に反作用を呈示すればなお好適である。

以上説明したように、３次元仮想空間内の物体（カーソルなど）を３次元空間内で操作することができ、また、ゲーム実行時に所定の位置や動きに応じて触覚情報や音声を呈示することにより操作者に対してよりリアルな臨場感を与えることができる。
［第６の実施の形態］
本実施の形態では、ディスプレイ４２の画面（仮想平面）前面の３次元空間における所定の空間を複数の空間に分割し、該分割された複数の空間に対するＬＥＤ１２の位置および動きの少なくとも一方に対応させて、触覚情報を呈示する例について説明する。

図２７は、ディスプレイ４２の画面前面に３つの異なった３次元空間９０、９１、９２が設定された状態を示した図である。該設定は、予めパソコン３０のＲＯＭ３６に記憶されている。或いは、所定のプログラム起動時にＲＡＭ３８にロードされるようにしてもよい。ディスプレイ４２の上部には３Ｄ計測装置２０としての機能を有する３次元位置検出ユニット２０ａが設置され、触覚マウス１０に設けられたＬＥＤ１２の位置を検出し、パソコン３０に出力する。

図２８は、本実施の形態の触覚情報呈示処理ルーチンを示したフローチャートである。

ステップ６００では、加速度が閾値Ａ₀を越えたか否かを判断する。ここで、加速度≦Ａ₀であると判断した場合には、次の位置情報が入力されるまで待機状態を続ける。加速度＞Ａ₀であると判断した場合には、ステップ６０２でタイマＴをリセットしてスタートさせる。ステップ６０４で、速度が閾値Ｖ₀を越えたか否かを判断する。ここで、速度≦Ｖ₀であると判断した場合には、ステップ６００に戻る。速度＞Ｖ₀であると判断した場合には、ステップ６０６に移行する。

ステップ６０６では、ＬＥＤ１２の移動方向を検出する。

ステップ６０８では、タイマＴが所定時間以内であるか否かを判断する。タイマＴが所定時間を越えていれば、ステップ６００に戻る。タイマＴが所定時間以内であれば、ステップ６１０に移行し、ＬＥＤ１２が、設定されている空間を構成する仮想的な面（境界領域）を通過したか否かを判断する。ステップ６１０で否定判断した場合には、ステップ６０８に戻る。ステップ６１０で肯定判断した場合には、ステップ６１２に移行し、検出された移動方向に応じて、触覚情報を呈示する。すなわち、ここでは閾値を越える加速度が検出されてから所定時間以内にＬＥＤ１２が境界領域を通過した場合には触覚情報が呈示されるように制御し、境界領域を通過しなければ触覚情報が呈示されないように制御する。

触覚情報の呈示は、具体的には、ＬＥＤ１２が複数の境界領域のいずれの境界領域をどの方向から通過したかに応じて、異なる触覚情報が呈示されるように制御する。例えば、設定されている空間の上面の境界領域からＬＥＤ１２を入れる場合には、第１の実施の形態の図９で示したように、ＬＥＤ１２を下向きに動かすときに呈示する推力と同様の推力を発生させる。すなわち、図６のａ方向に推力が発生するように、触覚情報呈示部１４を制御する。また、設定されている空間の前面の境界領域からＬＥＤ１２を入れる場合には、第１の実施の形態の図８で示したように、ＬＥＤ１２を仮想平面に向かう方向（前方）に動かすときに呈示する推力と同様の推力を発生させる。すなわち、図６のｂ方向に推力が発生するように、触覚情報呈示部１４を制御する。

また、触覚マウス１０を図示される状態で保持してＬＥＤ１２を画面に向けながら、設定されている空間の側面の境界領域を通過した場合も、同様に推力を発生させる。すなわち、ＬＥＤ１２を左側から右側に動かして、境界領域を通過させた場合には、推力が左方向（図６のｃ方向）に発生するように制御し、右側から左側に動かして、境界領域を通過させた場合には、推力が右方向（図６のｄ方向）に発生するように制御する。

これにより、指先に指載置部５８の斜面によりせり上がる感覚が与えられ、操作者は反作用を受けたように感じる。

また各境界領域の表面の属性を定めておき、この属性に応じて指載置部５８を振動させるようにすることも可能である。

また、３つの空間９０、９１、９２には、それぞれ異なる触覚情報を設定しておき、ＬＥＤ１２が境界領域を通過して３つの空間９０、９１、９２のいずれかの空間内に入った場合には、該当の空間に設定された触覚情報が呈示されるように制御することもできる。例えば、ＬＥＤ１２がいずれかの空間内に位置する間は、指載置部５８が振動し、各空間毎に指載置部５８の振動の周期や大きさを異ならせるようにする。

このように所定の空間を複数の空間に分割して触覚情報を呈示する装置は、様々なゲームやシステムに適用できる。

例えば、空中モグラたたきゲームに適用することができる。パソコン３０のスピーカ４４から、それぞれの空間に対応した音（この音は予め設定しておく）を一定の時間ずつランダムに発生させる。操作者が、発生している音に対応する空間に触覚マウス１０を入れると、その音が消える仕組みにする。ＬＥＤ１２が設けられた触覚マウス１０が境界領域を通過して特定の空間内に入るときに、前述したような触覚情報を呈示して触覚フィードバックを与える。触覚マウス１０を、音が発生している間に、発生している音に対応する空間に入れることができれば、音が止み、それと同時に得点が得られるようにしてもよい。

また、神経衰弱ゲームに適用することもできる。このゲームでは、複数の空間毎に対応する触覚情報を設定しておき、ＬＥＤ１２が設けられた触覚マウス１０がいずれかの空間内に位置するときに、対応する触覚情報を呈示する。従って、通常の状態では何の音も発生させない。触覚マウス１０がそれぞれの空間に入ると、それぞれの空間に対応する音及び触覚情報が発生するように制御する。このゲームでは、トランプの神経衰弱と同じようなルールを用い、触覚マウス１０をいずれかの空間に入れるように動かすことにより、最初に選んだ音と同じ音、或いは最初に選んだ触覚情報（指載置部５８の動きの特徴パターン）を、予め定められた回数以内に発生させることができれば、得点が得られるようにする。

また、分割した複数の空間毎に予め定められた処理及び触覚情報を対応付けておき、ＬＥＤ１２が設けられた触覚マウス１０が該空間のいずれかに入ったときに、予め定められた触覚情報を呈示すると共に該予め定められた処理を実行することもできる。例えば、ボタンが左右に２つ設けられた従来の２次元マウスの機能を各空間に対応付ける。具体的には、図２７の空間９０には左ボタンクリック処理、空間９１にはダブルクリック処理、空間９２には、右ボタンクリック処理、のように対応付けておく。触覚マウス１０がいずれかの空間に入った場合は、対応付けられた触覚情報を呈示すると共に対応付けられた処理の実行が指示される。それぞれの空間毎に、異なる音が発生されるようにしてもよい。

なお、図２７では、分割された複数の空間として３つの空間が例示されているが、空間の数は適宜増やすことが可能である。また、図２７では、ディスプレイ４２の画面に対して横並びになるように複数の空間が設定されているが、ディスプレイ４２の画面から操作者に向かう方向に空間を分割して設定してもよい。

以上説明したように、空間の任意の境界領域を通過する場合のフィードバックが物理的反作用で得られるため、３次元空間の（仮想）物体を物理的触覚により認識することが可能となる。また、任意の空間を複数の空間に分割して、分割した空間毎に実行される処理を対応づけておき、更に分割した各空間毎に異なった触覚情報が呈示されるように制御することにより、分割された各空間に対する認識が高まり、所望の処理に対応付けられた空間に確実性高くＬＥＤ１２を位置させることができるため、所望の処理の実行を確実性高く指示することができる。

以上本発明の様々な実施の形態を説明したが、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で様々な設計上の変更を行うことができる。

例えば、上述した実施の形態では、ディスプレイ４２の画面に略一致する仮想平面を仮想平面をｘ−ｙ平面とし、仮想平面に垂直な軸をｚ軸とする基準座標系を３Ｄ計測装置２０で用いる例について説明したが、このような座標系に限らず、任意に設定した座標系を用いてもよい。特に、第２の実施の形態で、ＬＥＤ１２の動きを、基準座標系のｚ軸方向の動きとして判断する例について説明したが、任意の座標系の任意の座標軸方向の動きとして判断するようにしてもよい。

また、本発明は、パソコンの操作やゲームだけでなく、例えば、金融機関のＡＴＭ等のタッチパネルディスプレイの操作にも適用することができる。また、スイッチのＯＮ／ＯＦＦ操作等にも適用することができる。

本発明の第１の実施の形態に係る指示入力装置としての機能を備えたパソコンを含む指示入力システムの構成を示す図である。 パソコンの具体的な構成を示した図である。 触覚情報呈示部の概略構成図であり、 触覚情報呈示部を図３の矢印Ａ方向から見た図である。 操作者が触覚マウスを保持した状態を示した図である。 触覚マウス（ＬＥＤ）の移動方向と、該移動方向に応じて発生する推力との関係を示した図である。 ＬＥＤの動きに応じて触覚情報を呈示する触覚情報呈示処理ルーチンを示したフローチャートである。 ＬＥＤの移動方向、指先が受ける力の方向、及び指載置部の動く方向の関係の一例を示した図である。 ＬＥＤの移動方向、指先が受ける力の方向、及び指載置部の動く方向の関係の一例を示した図である。 ＬＥＤの位置に応じて触覚情報を呈示する触覚情報呈示処理ルーチンを示したフローチャートである。 指載置部の変形例を示した図である。 指載置部の変形例を示した図である。 駆動部が触覚マウス本体及び指載置部に対して平行に設けられている例を示した図である。 駆動部が触覚マウス本体及び指載置部に対して垂直に設けられている例を示した図である。 第２の実施の形態における触覚情報呈示処理ルーチンを示したフローチャートである。 第２の実施の形態における触覚情報呈示処理ルーチンを示したフローチャートの変形例である。 第３の実施の形態における触覚情報呈示処理ルーチンを示したフローチャートである。 第４の実施の形態における触覚マウスの正面図である。 回転角が小さい場合の回転角の求め方を説明した説明図である。 ＬＥＤを上下に回転させた状態を示す図である。 迷路盤を前後左右に動かして、中にあるボールをゴールまで移動させるゲームが表示された様子を示した図である。 図２１に示された迷路盤を触覚マウスで操作している状態を表した図である。 ２次元迷路ゲームを表した図である。 図２３に示した２次元迷路ゲームをより立体的に表した図である。 ３次元迷路ゲームを表した図である。 ３次元五目並べを表した図である。 パソコンのディスプレイの画面前面に３つの異なった３次元空間が設定されている状態を示した図である。 第６の実施の形態における触覚情報呈示処理ルーチンを示したフローチャートである。

符号の説明

１０ 触覚マウス
１２ ＬＥＤ
１４ 触覚情報呈示部
１６ 駆動部
２０ ３Ｄ計測装置
３０ パソコン
３２ パソコン本体
３４ ＣＰＵ
３６ ＲＯＭ
３８ ＲＡＭ
４０ Ｉ／Ｏ
４２ ディスプレイ
４４ スピーカ
４６ ＨＤＤ
５０ａ〜５０ｄ 第１磁石〜第４磁石
５２ａ〜５２ｄ 第１コイル〜第４コイル
５８ 指載置部
６０ 駆動回路

Claims (11)

1. 操作者によって操作されるポインティングデバイスに設けられた発光手段と、
   前記操作者に対して触覚情報を呈示する触覚情報呈示手段と、
   前記発光手段から発光された光を検出することにより前記発光手段の位置及び動きの少なくとも一方を検出する検出手段と、
   前記検出手段で検出された前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように前記触覚情報呈示手段を制御する制御手段と、
   を含む触覚呈示装置。
2. 前記触覚情報呈示手段に、前記操作者の指を載置可能な傾斜面を設けた請求項１記載の触覚呈示装置。
3. 前記触覚情報呈示手段は、前記操作者の指を載置可能な凹部を備えており、該凹部は縁部から中心部に向かって連続的に傾斜した斜面を備えている請求項１記載の触覚呈示装置。
4. 前記検出手段は、予め定められた軸に対する回転運動を前記動きとして検出し、
   前記制御手段は、前記回転運動の回転角に応じて触覚情報の呈示状態が変化するように前記触覚情報呈示手段を制御する請求項１乃至請求項３のいずれか１項記載の触覚呈示装置。
5. 前記検出手段は、前記検出された光に基づいて前記発光手段の加速度及び速度の少なくとも一方を算出し、算出された前記発光手段の加速度及び速度の少なくとも一方の大きさに基づいて前記動きを検出する請求項１乃至請求項４のいずれか１項記載の触覚呈示装置。
6. 前記操作者に対して音声を発生する音声発生手段を更に含み、
   前記制御手段は、前記発光手段の位置及び前記動きの少なくとも一方に対応させた触覚情報が呈示されるように前記触覚情報呈示手段を制御すると共に、前記発光手段の位置及び動きの少なくとも一方に対応させた音声が発生されるように前記音声発生手段を制御する請求項１乃至請求項５のいずれか１項記載の触覚呈示装置。
7. 前記検出手段は、予め触覚情報が対応付けられた複数の空間に分割された所定の空間の該複数の空間に対する前記発光手段の位置及び動きの少なくとも一方を検出し、
   前記制御手段は、該複数の空間に対する前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように前記触覚情報呈示手段を制御する請求項１乃至請求項６のいずれか１項記載の触覚呈示装置。
8. 前記検出手段は、予め触覚情報及び処理が対応付けられた複数の空間に分割された所定の空間の該複数の空間に対する前記発光手段の位置及び動きの少なくとも一方を検出し、
   前記制御手段は、該複数の空間に対する前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように前記触覚情報呈示手段を制御すると共に前記複数の空間に対して予め対応付けられた前記処理が実行されるように制御する請求項１乃至請求項６のいずれか１項記載の触覚呈示装置。
9. 複数のブラシ及び複数の色の各情報を用いて描画するプログラムを実行する場合に、
   前記制御手段は、前記操作者により選択されたブラシ及び色の少なくとも一方の情報に応じて、異なる触覚情報が呈示されるように前記触覚情報呈示手段を制御する請求項１乃至請求項８のいずれか１項記載の触覚呈示装置。
10. 操作者によって操作されるポインティングデバイスに設けられた発光手段から発光された光を検出することにより該発光手段の位置及び動きの少なくとも一方を検出する検出工程と、
    前記検出工程で検出された前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように、前記操作者に対して触覚情報を呈示するための触覚情報呈示手段を制御する制御工程と、
    を含む触覚呈示方法。
11. コンピュータに、
    操作者によって操作されるポインティングデバイスに設けられた発光手段から発光された光を検出することにより該発光手段の位置及び動きの少なくとも一方を検出する検出工程と、
    前記検出工程で検出された前記発光手段の位置及び動きの少なくとも一方に対応させた触覚情報が呈示されるように、前記操作者に対して触覚情報を呈示するための触覚情報呈示手段を制御する制御工程と、
    を実行させるためのプログラム。

Images