JP2010157031A - 情報処理装置とその操作支援方法 - Google Patents

Abstract

【課題】操作デバイスの操作を効果的に支援できるようにし、これにより操作性のさらなる改善を図る。
【解決手段】情報処理装置本体１において、ポインタの移動目標となるボタンが表示された状態で、ポインタの現在位置の検出、移動目標位置までの操作方向及び距離の算出、温度変換デーブル１４２からの温度制御情報の読み出し、及び操作支援情報の生成とその送出処理を実行する。また、操作デバイス２Ａにおいて、情報処理装置本体１から操作支援情報が受信されるごとに、方向提示用ペルチェ素子の選択とその連続的な冷却駆動制御、及び距離提示用ペルチェ素子の選択と距離に応じた周期による間欠的なパルス状発熱駆動制御を実行する。
【選択図】 図１

Description

この発明は、パーソナル・コンピュータ等のように操作デバイスを備えた情報処理装置とその操作支援方法に関する。

従来、状態量を提示する手法として、状態量を数値や色の変化として提示する手法が多く用いられている。しかしこの手法では、ユーザは必ずしも状態量を直感的に知覚することはできない。このため、ユーザに状態量を直感的に把握させる必要がある用途には不向きである。

そこで、映像情報や音声情報を温度の変化を用いて提示する仮想現実感装置が提案されている。この種の装置を使用すると、映像や音声を視覚及び聴覚のみを使用して提示する場合に比べて、さらに高い臨場感及び現実感が得られる仮想現実空間を提示することが可能である（例えば、特許文献１を参照。）。
しかし、パーソナル・コンピュータ等の情報処理装置に設けられた一般的な情報提示手段は、表示装置及びスピーカを用いて画像及び音声情報を提示するものにすぎない。このため、この種の提示手段では、対象物の状態を直感的に捉えることができない。

そこで、マウス等の操作デバイスに温度提示素子を設け、提示しようとする情報に応じてこの温度提示素子の温度を可変制御することにより、文字、画像や音声等で提示されていた対象物の状態をユーザが直感的に認識できるようにした装置を、本発明者等は提案した（例えば、特許文献２を参照。）。

特開平１１−８５７２５号公報

特開２００７−１０８９４５号公報

ところが、上記従来提案した装置は、操作後のポインタの位置やＣＰＵの稼働率、対象物の温度や色を温度に変換してマウス上に提示するものであり、ユーザがマウス等の操作デバイスを操作する際の支援を行うものではない。このため、特にマウス等の操作デバイスの操作に不慣れなユーザや目の不自由なユーザにとっては依然として操作し難く、このような操作の手助けを必要なユーザであっても、より操作のしやすいユーザインタフェースが切望されていた。

この発明は上記事情に着目してなされたもので、その目的とするところは、操作デバイスの操作を効果的に支援できるようにして操作性をさらに改善し、これにより特に操作の手助けが必要なユーザに好適な情報処理装置とその操作支援方法を提供することにある。

上記目的を達成するためにこの発明の一観点は、表示画面にポインタを表示する機能を有する情報処理装置本体と、この情報処理装置本体に接続されかつ複数のペルチェ素子を２次元配列した温度提示体を操作部上に配設した操作デバイスとを具備する情報処理装置及びその操作支援方法にあって、上記情報処理装置本体により、表示画面に表示されるポインタの移動目標位置に対する操作方向を検出して、この検出された操作方向に対応するペルチェ素子の識別情報と当該ペルチェ素子から発生させる温度を指示する第１の温度制御情報を含む第１の操作支援情報を生成し、この生成された第１の操作支援情報を前記操作デバイスへ送出する。これに対し操作デバイスでは、情報処理装置本体から第１の操作支援情報を受信すると、この受信された第１の操作支援情報に含まれるペルチェ素子の識別情報及び第１の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記操作方向に対応する第１のペルチェ素子を選択し、当該選択された第１のペルチェ素子から前記第１の温度制御情報により指示される第１の温度を発生させるべく当該第１のペルチェ素子を駆動制御するようにしたものである。

したがって、ユーザが操作デバイスを操作して、表示画面に表示されるポインタを移動目標位置、例えば「ＯＫボタン」や「キャンセルボタン」等の所定のボタンの表示位置まで移動させようとする場合に、当該移動目標位置の方向が、当該方向に対応するペルチェ素子が第１の温度に設定されることにより提示される。このため、ユーザは表示画面を注視しなくても、操作デバイスに設けられた温度提示体に指又は掌を触れているだけで、第１の温度に設定されるペルチェ素子の位置からポインタの操作方向を認識することができ、これにより操作性を高めることが可能となる。この作用効果は、特に操作に不慣れなユーザや目の不自由なユーザにとってきわめて有用である。

また、この発明は以下のような各種実施態様を備えることも特徴とする。
第１の実施態様は、情報処理装置本体により、表示画面に表示されるポインタの現在位置から移動目標位置までの距離を算出して、この算出された距離を提示するためのペルチェ素子の識別情報と当該算出された距離に対応する温度を発生させるための第２の温度制御情報とを含む第２の操作支援情報を生成し、この生成された第２の操作支援情報を前記操作デバイスへ送出する。これに対し操作デバイスでは、情報処理装置本体から第２の操作支援情報を受信すると、この受信された第２の操作支援情報に含まれるペルチェ素子の識別情報及び第２の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記距離を提示するための第２のペルチェ素子を選択し、当該選択された第２のペルチェ素子から前記第２の温度制御情報により指示される第２の温度を発生させるべく当該第２のペルチェ素子を駆動制御する手段又は過程を、さらに備えるようにしたものである。

このようにすると、先に述べた移動目標位置の方向の温度による提示に加えて、ポインタの現在位置から移動目標位置までの距離が第２の温度として操作デバイスに提示される。このため、ユーザは表示画面におけるポインタの位置を注視していなくても、「ＯＫボタン」等の移動目標位置までの距離を温度により直感的に認識することができ、これによりユーザの操作性をさらに向上させることが可能となる。

第２の実施態様は、情報処理装置本体が第２の操作支援情報を生成する際に、前記距離を提示するためのペルチェ素子の識別情報と、前記算出された距離に対応する温度を発生させるための振幅値又はデューティ比を指定する第２の温度制御情報を生成する。そして、操作デバイスが第２のペルチェ素子を駆動制御する際に、受信された第２の温度制御情報により指定された振幅値又はデューティ比を有する駆動信号を生成し、この生成した駆動信号を前記選択した第２のペルチェ素子に供給するものである。

このようにすると、ユーザがポインタを移動目標位置に向けて移動させると、移動目標位置までの距離の変化が温度変化としてユーザに提示される。例えば、ポインタの現在位置が移動目標位置に近づくほど提示される温度が高くなる。この結果、ユーザは操作デバイスによりポインタの移動操作を行いながら、移動目標位置までの距離を温度変化として認識することが可能となる。

第３の実施形態は、情報処理装置本体が第２の操作支援情報を生成する際に、前記距離を提示するためのペルチェ素子の識別情報と、予め設定された距離提示用の温度を前記算出された距離に対応する周期で間欠的に発生させるための第２の温度制御情報を生成する。そして、操作デバイスが第２のペルチェ素子を駆動制御する際に、受信された第２の温度制御情報に従い、前記距離提示用の温度を前記距離に対応する周期で間欠的に発生させるための駆動パルス信号を生成し、この生成した駆動パルス信号を前記選択した第２のペルチェ素子に供給するものである。

このようにすると、ユーザがポインタを移動目標位置に向けて移動させると、移動目標位置までの距離の変化が温度の発生周期の変化としてユーザに提示される。例えば、ポインタの現在位置が移動目標位置に近づくほど温度の発生周期が短くなる。この結果、ユーザは操作デバイスによりポインタの移動操作を行いながら、移動目標位置までの距離を温度の発生周期により認識することができる。一般に、ユーザの温度感知特性は温度の緩慢な変化には鈍感であるが急激な変化に敏感である。このため、上記したように距離を温度の発生周期を変化させることにより提示することで、ユーザは距離の変化をより一層明確に認識することが可能となる。

第４の実施態様は、情報処理装置本体により、第１の操作支援情報の送出後における表示画面上のポインタの位置の変化を監視し、当該ポインタの位置が前記移動目標位置を通り過ぎたと判定された場合に、予め設定したアラート提示用のペルチェ素子の識別情報と、当該アラート提示用のペルチェ素子からアラート提示用の温度を発生させるための第３の温度制御情報とを含む第３の操作支援情報を生成して操作デバイスへ送出する。これに対し、操作デバイスでは、情報処理装置本体から送出される第３の操作支援情報を受信すると、この受信された第３の操作支援情報に含まれるアラート提示用ペルチェ素子の識別情報及び第３の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記アラート提示用のペルチェ素子を選択し、当該選択されたペルチェ素子から前記第３の温度制御情報により指示される第３の温度を発生させるべく当該アラート提示用のペルチェ素子を駆動制御するようにしたものである。

このようにすると、ポインタの位置が移動目標位置を通り過ぎると、その旨がアラート提示用ペルチェ素子の温度変化として提示される。このため、ユーザは表示画面におけるポインタの位置を注視していなくても、ポインタの位置が「ＯＫボタン」や「キャンセルボタン」等の移動目標位置を通り過ぎたことをアラート提示用ペルチェ素子の温度変化により認識することが可能となる。

すなわち、この発明の一観点によれば、表示画面上におけるポインタの操作状態を、操作デバイス上に設けたマトリクス配置されたペルチェ素子を選択的に駆動制御することにより温度変化としてユーザに提示するようにしたことによって、操作デバイスの操作を効果的に支援することが可能となって操作性を改善し、これにより特に操作の手助けが必要なユーザに好適な情報処理装置とその操作支援方法を提供することができる。

以下、図面を参照してこの発明に係わる実施形態を説明する。
図１は、この発明の一実施形態に係わる情報処理装置のハードウエア及びソフトウエアの構成を示すブロック図である。この実施形態の情報処理装置は、情報処理装置本体１と、操作デバイス２Ａとから構成され、これらの間は信号ケーブル３を介して接続される。情報処理装置本体１は例えばパーソナル・コンピュータからなり、操作デバイス２Ａはマウスにより構成される。なお、情報処理装置本体１と操作デバイス２Ａとの間は、信号ケーブル３の代わりに無線回線を介して接続することも可能である。

情報処理装置本体１は、マイクロプロセッサからなる中央処理ユニット（ＣＰＵ；Central Processing Unit）１１を備える。このＣＰＵ１１には、バス１２を介してプログラムメモリ１３及びデータメモリ１４が接続され、さらに操作インタフェース１５及び表示インタフェース１６が接続されている。

操作インタフェース１５は、信号ケーブル３を介して受信した操作デバイス２Ａの操作情報をＣＰＵ１１に伝えると共に、ＣＰＵ１１の制御の下で後述する操作支援情報を信号ケーブル３を介して操作デバイス２Ａへ送出する。なお、操作インタフェース１５には、キーボード等のその他の操作デバイス（図示せず）も接続される。

表示インタフェース１６には、表示デバイス１７が接続される。表示デバイス１７は液晶又は有機ＥＬディスプレイからなる。表示インタフェース１６は、ＣＰＵ１１からの指示に従い、ポインタ及びカーソルを文書や表、画像等の表示データに重畳して上記表示デバイス１７に表示させる。

データメモリ１４には、この発明を実施するために必要なデータベースとして、ポインタ移動履歴記憶部１４１と、温度変換テーブル１４２が設けられている。
ポインタ移動履歴記憶部１４１は、一定の時間間隔で検出されるポインタの位置座標データと、後述する操作方向検出プログラム１３１により検出されるポインタの操作方向を表す情報と、後述する操作距離検出プログラム１３２により検出されるポインタの移動目標までの距離を表す情報を記憶するために使用される。

温度変換テーブル１４２には、以下の各種テーブルデータが記憶される。
(1) ポインタの操作方向を表す情報に対応付けて、当該操作方向を提示するペルチェ素子の識別番号と、当該ペルチェ素子において発生させる温度を指定する温度制御情報。
(2) ポインタの現在位置から移動目位置までの距離を表す情報に対応付けて、当該距離を提示するために使用するペルチェ素子の識別番号と、当該ペルチェ素子から発生させる距離提示用の温度と当該温度の発生周期を指定する温度制御情報。
(3) ポインタが移動目標位置又はウィンドウの端縁を超えたときに生成される検出情報に対応付けて、アラート用ペルチェ素子の識別番号と、このアラート用ペルチェ素子において発生させる温度を指定する温度制御情報。

プログラムメモリ１３には、この発明を実施するために必要な操作支援用アプリケーション・プログラムとして、操作方向検出プログラム１３１と、操作距離検出プログラム１３２と、目標位置通過検出プログラム１３３と、支援情報生成プログラム１３４がそれぞれ格納されている。

操作方向検出プログラム１３１は、表示デバイス１７の表示画面上において、ＯＫボタンやキャンセルボタン等のようにポインタの移動操作目標となるボタンが表示された場合に、ポインタの現在位置座標と上記移動目標となるボタンの位置座標とからポインタの操作方向を検出する処理を、上記ＣＰＵ１１に実行させる。

操作距離検出プログラム１３２は、表示デバイス１７の表示画面上において、ＯＫボタンやキャンセルボタン等のようにポインタの移動操作目標となるボタンが表示された場合に、ポインタの現在位置座標と上記移動目標となるボタンの位置座標とから、ポインタの操作距離を検出する処理を、上記ＣＰＵ１１に実行させる。

目標位置通過検出プログラム１３３は、ポインタが移動操作目標となるボタンの位置を通過したか否かを検出する処理を、上記ＣＰＵ１１に実行させる。なお、目標位置通過検出プログラム１３３は、ポインタが移動操作範囲を規定するウィンドウの端縁を超えたか否かを検出する処理を、上記ＣＰＵ１１に実行させる機能も備える。

支援情報生成プログラム１３４は、以下の処理を上記ＣＰＵ１１に実行させる。
(1) 上記操作方向検出プログラム１３１により検出されたポインタの操作方向を提示するペルチェ素子の識別番号と、当該ペルチェ素子において発生させる温度の指定情報を、温度変換テーブル１４２から読み出す処理。
(2) 上記操作距離検出プログラム１３２により検出されたポインタの操作距離を提示するために使用するペルチェ素子の識別番号と、当該ペルチェ素子から発生させる温度と当該温度の発生周期を指定する温度制御情報を、上記温度変換テーブル１４２から読み出す処理。
(3) 上記目標位置通過検出プログラム１３３によりポインタが移動目標位置又はウィンドウの端部を通過したことが検出された場合に、アラート用ペルチェ素子の識別番号と、当該ペルチェ素子において発生させるアラート提示用温度の指定情報を上記温度変換テーブル１４２から読み出す処理。
(4) 上記(1) 、(2) 、(3) の処理により温度変換テーブル１４２から読み出された、温度制御対象となるペルチェ素子の識別番号とその温度制御情報とを含む操作支援情報を生成し、この生成した操作支援情報を操作インタフェース１５から操作デバイス２Ａに向け送信させる処理。

一方、操作デバイス２Ａは先に述べたようにマウスからなり、操作検出部２１と、送受信部２２と、駆動制御部２３と、駆動部２４と、温度提示体２５とを備えている。操作検出部２１は、マウスの移動を例えば機械的又は光学的に検出する機能と、左ボタン２１１、右ボタン２１２及びスクロールボタン２１３の操作を検出する機能を有する。

温度提示体２５は、例えば図２に示すように左ボタン２１１上のユーザの指の腹が触れる位置に設置される。温度提示体２５は、図３に示すように９個のペルチェ素子２５１〜２５９をマトリクス状に配置したものからなり、各ペルチェ素子２５１〜２５９間は熱的に遮断されている。

送受信部２２は、上記操作部２１により検出されたマウスの移動操作情報と、右ボタン２１２、左ボタン２１１及びスクロールボタン２１３の操作情報を、信号ケーブル３を介して情報処理装置本体１へ送信する機能と、情報処理装置本体１から信号ケーブル３を介して送られた操作支援情報を受信して駆動制御部２３に伝える機能とを備える。

駆動制御部２３は、上記受信された操作支援情報に含まれるペルチェ素子の識別番号及び温度制御情報に従い、駆動対象のペルチェ素子を選択するための素子選択信号と、選択したペルチェ素子にどのような駆動パルスを供給するかを指定する駆動制御信号を駆動部２４に与える。駆動制御信号は、ペルチェ素子を発熱させるか冷却させるかを指定する極性制御信号と、ペルチェ素子の発熱温度又は冷却温度を指定するために駆動パルスのパルス幅又はデューティ比を指定する信号と、駆動パルスの周期を指定する信号とから構成される。なお、距離提示用の駆動制御信号は、ＰＷＭ（Pulse With Modulation）制御された複数の正極性パルスと負極性パルスとを組み合わせた駆動パルスを発生させるように設定される。

駆動部２４は、ペルチェ素子を発熱又は冷却させるための駆動パルスを発生する回路と、スイッチ回路とを備える。スイッチ回路は、上記素子選択信号に従い複数のペルチェ素子２５１〜２５９を選択的に上記駆動パルス発生回路に接続する。駆動パルス発生回路は、上記駆動制御信号により指定された極性及びデューティ比を有する駆動パルスを指定された周期により発生し、この駆動パルスを上記スイッチ回路を介してペルチェ素子に供給する。距離提示用の駆動パルスは、ＰＷＭ（Pulse With Modulation）制御された複数の正極性パルスと負極性パルスとを組み合わせることにより構成される。

次に、以上のように構成された情報処理装置によるマウスの操作支援動作を説明する。図４は、情報処理装置本体１による操作支援処理の手順と処理内容を示すフローチャート、図５は操作デバイス２Ａによる温度提示体２５の駆動制御手順と制御内容を示すフローチャートである。

情報処理装置本体１のＣＰＵ１１は、文書作成用のアプリケーションや表作成用のアプリケーション、メーラ及びブラウザの実行中に、ステップＳ４１によりポインタの移動目標位置、例えば「ＯＫボタン」や「キャンセルボタン」が表示されたか否かを監視している。この状態で、ポインタの移動目標位置が表示されると、ＣＰＵ１１は先ずステップＳ４２によりポインタの現在位置座標を検出してこの検出された現在位置座標データをポインタ移動履歴記憶部１４１に保存させる。次にステップＳ４３により、上記検出されたポインタの現在位置座標と上記移動目標の位置座標との関係をもとに、当該移動目標に対するポインタの操作方向を算出してその算出データをポインタ移動履歴記憶部１４１に保存させる。さらに、ステップＳ４４により、上記検出されたポインタの現在位置座標と上記移動目標の位置座標との間の距離を算出し、その距離の算出データをポインタ移動履歴記憶部１４１に保存させる。

次にＣＰＵ１１は、ステップＳ４５によりポインタの位置が移動目標の位置を通り過ぎたか否かを判定し、通り過ぎていなければステップＳ４８に移行して、温度変換テーブル１４２からポインタの操作方向を提示するペルチェ素子の識別番号と、当該ペルチェ素子において発生させる温度の指定情報をから読み出す。またＣＰＵ１１は、ステップＳ４９により、温度変換テーブル１４２からポインタの操作距離を提示するために使用するペルチェ素子の識別番号と、当該ペルチェ素子から発生させる温度と当該温度の発生周期を指定する温度制御情報を読み出す。そして、ステップＳ５０において、上記読み出されたポインタの操作方向を提示するペルチェ素子の識別番号及び温度指定情報と、ポインタの操作距離を提示するために使用するペルチェ素子の識別番号及びその発生温度と当該温度の発生周期を指定する温度制御情報を含む操作支援情報を生成し、この生成した操作支援情報を操作インタフェース１５から操作デバイス２Ａに向け送信させる。

例えば、いま図９に示すように、ポインタの現在位置Ｏに対し移動目標となる「ＯＫボタン」又は「キャンセルボタン」の位置ＴＧａの方向が、方向エリアＤ１に含まれていたとする。この場合には、この方向エリアＤ１に対応するペルチェ素子（図３に示す２５１）の識別番号が温度変換テーブル１４２から読み出される。またそれと共に、方向提示用の発生温度を指定する温度制御情報として、ユーザの指の温度より低く設定された温度を発生させるための極性及びデューティ比を指定する情報が温度変換テーブル１４２から読み出される。そして、これらの情報が操作支援情報に挿入されて、操作デバイス２Ａに向け送信される。

また、図９に示すように、ポインタの現在位置Ｏに対する移動目標の位置ＴＧａが距離Ｌ２以上離れている場合には、先ず距離を提示するために使用するペルチェ素子として、例えば図２に示すように温度提示体２５の中央に位置するペルチェ素子２５５の識別番号が温度変換テーブル１４２から読み出される。また、距離提示用の温度指定情報として、例えばユーザの指の温度より高い温度を発生させるための極性及びパルス幅を指定する情報が温度変換テーブル１４２から読み出される。さらに、当該温度の発生周期を指定する情報として、上記したように距離がＬ２以上離れている場合には周期Ｔ１を指定する情報が温度変換テーブル１４２から読み出される。そして、これら読み出された情報が操作支援情報に挿入されて、操作デバイス２Ａに向け送信される。

以後同様に情報処理装置本体１のＣＰＵ１１は、一定時間が経過するごとにステップＳ５１からステップＳ４２にもどり、ステップＳ４２〜ステップＳ５０において、上記したようにポインタの現在位置の検出、移動目標位置までの操作方向及び距離の算出、温度変換デーブル１４２からの温度制御情報の読み出し、及び操作支援情報の送出までの各処理を繰り返し実行する。

例えば、操作デバイス２Ａによりポインタが移動目標に向けて操作されて、当該移動目標までの距離が図９のＴＧｂに示すＬ２未満Ｌ１以上になると、温度の発生周期を指定する情報として周期Ｔ２を指定する情報が温度変換テーブル１４２から読み出され、この読み出された情報が操作支援情報に挿入されて操作デバイス２Ａに向け送信される。

また、ポインタが移動目標に向けてさらに操作されて、当該移動目標までの距離が図９のＴＧｃに示すようにＬ１未満になると、温度の発生周期を指定する情報として周期Ｔ３を指定する情報が温度変換テーブル１４２から読み出され、この読み出された情報が操作支援情報に挿入されて操作デバイス２Ａに向け送信される。
なお、上記温度の発生周期を指定する情報と共に、ユーザの指の温度より高い温度を発生させるための極性及びパルス幅を指定する情報も操作支援情報に挿入されて送出されることは、上記ＴＧａの場合と同様である。

また、上記ポインタの操作中に移動目標へのポインタの操作方向が変化した場合には、この変化後の操作方向に対応するペルチェ素子の識別番号が温度変換テーブル１４２から読み出され、操作支援情報により操作デバイス２Ａへ送出される。例えば、移動目標に対するポインタの操作方向が図９に示すＤ２又はＤ４に変化した場合には、これらの操作方向に対応するペルチェ素子２５２又は２５４の識別番号が操作支援情報により操作デバイス２Ａへ送出される。
なお、操作方向が変化しても、温度制御情報としてユーザの指の温度より低く設定された温度を発生させるための極性及びデューティ比を指定する情報が操作支援情報に挿入されて操作デバイス２Ａへ送出される点は、上記操作方向Ｄ１の場合と同じである。

これに対し、操作デバイス２Ａの駆動制御部２３は、ステップＳ６１により操作支援情報の受信を監視している。この状態で操作支援情報が受信されると、ステップＳ６２において、当該受信された操作支援情報がアラート用であるか否かを判定する。この判定の結果アラート用でなければステップＳ６５に移行し、ここで先ず上記受信された操作支援情報に含まれる操作方向に対応するペルチェ素子の識別番号をもとに、方向提示用のペルチェ素子の素子選択信号を駆動部２４に与える。またそれと共に、ステップＳ６６により、上記方向提示用のペルチェ素子に供給する駆動パルス信号の極性とデューティ比を指定する駆動制御信号を駆動部２４に与える。

この結果駆動部２４は、上記素子選択信号により指定されたペルチェ素子をスイッチ回路により選択し、かつ上記駆動制御信号により指定された極性及びデューティ比を有する駆動パルスを駆動パルス発生回路から発生し、上記スイッチ回路を介してペルチェ素子に供給する。

例えば、上記したように図９の操作方向Ｄ１に対応するペルチェ素子としてペルチェ素子２５１が指定された場合には、当該ペルチェ素子２５１が選択される。また、方向提示用の温度制御情報では、ユーザの指の温度より低く設定された温度を発生させるための極性及びデューティ比が指定されるので、例えば図６に示すように極性が「負」でかつユーザの指の温度より低く設定された温度を発生させるためのデューティ比を有する駆動パルス信号が生成されて、上記選択されたペルチェ素子２５１に供給される。この結果、ペルチェ素子２５１はユーザの指の温度より低い温度に連続的に冷却され、ユーザはこれによりポインタの操作方向を認識することが可能となる。

次に駆動制御部２３は、ステップＳ６７により、上記受信された操作支援情報に含まれる距離提示用のペルチェ素子の識別番号をもとに、距離提示用のペルチェ素子の素子選択信号を駆動部２４に与える。またそれと共に、ステップＳ６８により、当該距離提示用のペルチェ素子に供給する駆動パルス信号の極性、パルス幅及び周期を指定する駆動制御信号を駆動部２４に与える。

この結果駆動部２４は、上記素子選択信号により指定された距離提示用のペルチェ素子をスイッチ回路により選択し、かつ上記駆動制御信号によりパルス幅が指定された複数の正極性及び負極性のパルスを組み合わせた駆動パルスを、指定された周期で駆動パルス発生回路から発生し、上記スイッチ回路を介してペルチェ素子に供給する。

例えば、距離提示用のペルチェ素子としては温度提示体２５の中央に位置するペルチェ素子２５５がスイッチ回路により選択される。そして、図９に示したように移動目標の位置ＴＧａまでの距離がＬ２以上離れている場合には、駆動パルス発生回路から例えば図７（ａ）に示すようにパルス幅が制御された複数の正極性パルスと１個の負極性パルスとからなる駆動パルス信号が、長周期Ｔ１で繰り返し生成され、上記選択されたペルチェ素子２５５に供給される。この結果、ペルチェ素子２５５はユーザの指の温度より高い温度で長周期Ｔ１で間欠的に発熱する。このため、ユーザはこのペルチェ素子２５５の長周期Ｔ１による間欠的なパルス状の発熱により移動目標までの距離を、先に述べた操作方向提示用の連続的な冷却と区別して認識することが可能となる。
なお、距離提示用の駆動パルスは、複数の正極パルスとそれに続く複数の負極性パルスとから構成してもよい。また、各パルスのパルス幅は一定値にする必要はなく、パルスごとに異ならせるようにしてもよい。

また、ポインタが移動操作されて、例えば図９のＴＧｂに示すように移動目標までの距離がＬ２未満Ｌ１以上に近づくと、情報処理装置本体１から送られた操作支援情報に従い、駆動パルス発生回路からは例えば図７（ｂ）に示すようにパルス幅が制御された複数の正極性パルスと１個の負極性パルスとからなる駆動パルス信号が、周期Ｔ１より短い周期Ｔ２で繰り返し発生され、上記距離提示用として選択されたペルチェ素子２５５に供給される。

さらにポインタが移動目標に近づき、例えば図９のＴＧｃに示すように移動目標までの距離がＬ１未満になると、情報処理装置本体１から送られた操作支援情報に従い、駆動パルス発生回路からは例えば図７（ｃ）に示すようにパルス幅が制御された複数の正極性パルスと１個の負極性パルスとからなる駆動パルス信号が、周期Ｔ２よりさらに短い周期Ｔ３で繰り返し発生され、上記距離提示用として選択されたペルチェ素子２５５に供給される。

したがって、ユーザは上記距離提示用として選択されたペルチェ素子２５５のパルス状の発熱の周期がＴ１、Ｔ２、Ｔ３の順に段階的に短くなることを感知することで、ポインタが移動目標に近づいていることを認識することが可能となる。なお、各周期Ｔ１、Ｔ２、Ｔ３の値は任意に設定でき、また周期の数も３段階に限らず任意に設定できる。

なお、上記ポインタの移動操作中に移動目標に対する操作方向が変化した場合には、先に述べたように情報処理装置本体１から、新たな操作方向に対応するペルチェ素子の識別番号が操作支援情報により通知される。例えば、新たな操作方向がＤ２又はＤ４であれば、これに対応するペルチェ素子２５２又は２５４の識別番号が操作支援情報により通知される。このため、操作デバイス２Ａでは、当該操作支援情報により指示された新たな操作方向Ｄ２又はＤ４に対応するペルチェ素子２５２又は２５４が選択され、この選択された方向提示用のペルチェ素子２５２又は２５４が連続的に冷却駆動される。したがって、ユーザはこの連続的に冷却駆動されたペルチェ素子の位置の変化から、ポインタの新たな操作方向を認識することが可能となる。

ところで、上記ポインタの移動操作により、ポインタの位置が移動目標を通過するか、或いはウィンドウの端部からウィンドウ外へ出てしまったとする。この場合、情報処理装置本体１のＣＰＵ１１は、ステップＳ４５によりこのポインタの目標通過等を検出すると、ステップＳ４６に移行する。そして、アラート用ペルチェ素子の識別番号と、当該ペルチェ素子において発生させるアラート提示用温度の指定情報を温度変換テーブル１４２から読み出す。そして、ステップＳ４７において、上記読み出されたアラート提示用のペルチェ素子の識別番号とその温度制御情報とを含む操作支援情報を生成し、この生成した操作支援情報を操作インタフェース１５から操作デバイス２Ａに向け送信させる。

例えば、アラート用ペルチェ素子として、温度提示体２５を構成するすべてのペルチェ素子２５１〜２５９の識別番号が温度変換テーブル１４２から読み出され、かつ当該ペルチェ素子２５１〜２５９において発生させるアラート提示用温度の指定情報として、距離提示用の温度より高く設定されたアラート用の温度を指定するためのパルス幅又はデューティ比が温度変換テーブル１４２から読み出される。そして、この読み出されたアラート提示用のペルチェ素子２５１〜２５９の識別番号とその温度制御情報を含む操作支援情報が操作デバイス２Ａへ送出される。

これに対し操作デバイス２Ａの駆動制御部２３は、ステップＳ６２において、受信された操作支援情報がアラート用であるか否かを、当該操作支援情報に含まれるペルチェ素子の識別情報から判定する。そして、アラート用であればステップＳ６３に移行してアラート提示用のペルチェ素子として温度提示体２５を構成するすべてのペルチェ素子２５１〜２５９を選択するように駆動部２４に指示し、さらにステップＳ６４においてアラート提示用の温度を発生させるためのパルス幅又はデューティ比を有する駆動パルス信号の発生を駆動部２４に指示する。なお、アラート提示用の温度を発生させるためのパルス幅又はデューティ比は、ユーザの指の温度より十分に高くなるように大きな値に設定される。

この結果、駆動部２４では上記指示されたすべてのペルチェ素子２５１〜２５９がスイッチ回路により選択され、さらに駆動パルス発生回路から上記指示されたパルス幅又はデューティ比を有する駆動パルス信号が一定時間Ｔ４だけ発生されて、上記選択されたすべてのペルチェ素子２５１〜２５９に供給される。図８にこのアラート用駆動パルス信号の一例を示す。したがって、温度提示体２５を構成するすべてのペルチェ素子２５１〜２５９が一定時間だけ発熱する。しかも、その発熱温度は、ユーザの指の温度より十分に高い温度値となる。この結果ユーザは、この発熱によりポインタが移動目標を通過したか或いはウィンドウ外に出たことを明確に認識することができる。

上記一定時間Ｔ４のアラート用発熱動作が終了すると、操作デバイス２Ａの駆動制御部２３は、情報処理装置本体１から続いて送られる操作支援情報に従い、ステップＳ６５，Ｓ６６により新たな操作方向に対応するペルチェ素子を選択して連続的に冷却駆動させ、さらにステップＳ６７，Ｓ６８により温度提示体２５の中央に配置されたペルチェ素子を選択して移動目標までの距離に対応する周期で間欠的にパルス状発熱駆動させる。したがって、ポインタが移動目標を通過するか或いはウィンドウの端部から外へ出た後にも、ユーザは移動目標の方向とその距離を認識することが可能となる。
以上述べた一連の操作支援制御は、ユーザが移動目標のボタンを操作したことをステップＳ５２により検出したことを以て終了する。

以上述べたようにこの実施形態では、情報処理装置本体１において、ポインタの移動目標となるボタンが表示された状態で、一定時間ごとにステップＳ４２〜ステップＳ５０によりポインタの現在位置の検出、移動目標位置までの操作方向及び距離の算出、温度変換デーブル１４２からの温度制御情報の読み出し、及び操作支援情報の生成とその送出処理を実行する。また、操作デバイス２Ａにおいて、情報処理装置本体１から送られる操作支援情報が受信されるごとに、ステップＳ６２〜ステップＳ６８により方向提示用ペルチェ素子の選択とその連続的な冷却駆動制御、及び距離提示用ペルチェ素子の選択と距離に応じた周期による間欠的なパルス状発熱駆動制御を実行するようにしている。
したがって、ユーザは方向提示用ペルチェ素子の連続的な冷却動作によりポインタの操作方向を認識することが可能となり、さらに距離提示用ペルチェ素子のパルス状発熱の間欠周期により移動目標までの距離を認識することができる。

さらにこの実施形態では、ポインタの位置が移動目標を通過するか、或いはウィンドウの端部からウィンドウ外へ出た場合に、アラート用ペルチェ素子の識別番号と当該ペルチェ素子において発生させるアラート提示用温度の指定情報を含む操作支援情報を、情報処理装置本体１から操作デバイス２Ａへ送っている。そして、操作デバイス２Ａにおいて、上記操作支援情報に従いアラート提示用ペルチェ素子を選択して、この選択したペルチェ素子においてアラート用発熱動作を一定時間Ｔ４だけ行わせるようにしている。
したがって、ユーザはポインタの位置が移動目標を通過するか、或いはウィンドウの端部からウィンドウ外へ出たことを、上記アラート提示用ペルチェ素子の発熱により明確に認識することができ、さらに上記一定時間経過後に温度提示される新たな操作方向及び距離をもとにポインタの移動方向を修正することが可能となる。

なお、この発明は上記実施形態に限定されるものではなく、例えば以下のような各種変形が可能である。
前記実施形態では、ポインタの操作方向、移動目標位置までの距離及び移動目標位置を通り過ぎたときのアラートを９個のペルチェ素子２５１〜２５９を選択的に用いてその発熱により提示するようにした。しかし、それに限定されるものではなく、例えば図１０に示すように左ボタン２１１及び右ボタン２１２にそれぞれ温度提示体２５，２６を設ける。そして、温度提示体２５をマトリクス配列された９個のペルチェ素子により構成して、これらのペルチェ素子を選択的に駆動することによりポインタの操作方向を温度提示する。一方、温度提示体２６は１個のペルチェ素子により構成して、このペルチェ素子により移動目標位置までの距離と当該移動目標位置を通り過ぎた時のアラートを発熱により提示する。このようにすると、ポインタの操作方向と、移動目標位置までの距離及びアラートとを、別々の温度提示体２５，２６を用いて独立して温度提示することができるので、ユーザはこれらの操作支援情報を認識しやすくなる。

また、前記実施形態では移動目標位置までの距離をペルチェ素子のパルス状発熱の周期を異ならせることで表現するようにしたが、距離に応じてペルチェ素子が発生する温度を連続的又は段階的に異ならせることで表現するようにしてもよい。例えば、距離が短くなるに従いペルチェ素子の発熱温度が高くなるようにペルチェ素子を駆動制御する。これは、例えばペルチェ素子に供給する駆動パルスのデューティ比又は振幅値を可変制御することにより実現できる。また、前記実施形態では操作方向の温度提示に際し、ペルチェ素子を連続的に冷却駆動するようにしたが、距離提示の動作で述べたように間欠的にパルス状にペルチェ素子を冷却又は発熱駆動するようにしてもよい。

その他、情報処理装置の種類やその構成、ペルチェ素子の駆動方法、ポインタの操作方向及び移動目標位置までの距離に応じたペルチェ素子の駆動パターンや温度の設定等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の一実施形態に係わる情報処理装置のハードウエア及びソフトウエアの構成を示すブロック図である。 図１に示した情報処理装置の操作デバイスの外観を示す平面図である。 図２に示した操作デバイスに設けられる温度提示体の構成を拡大して示す平面図である。 図１に示した情報処理装置本体による操作支援処理手順と処理内容を示すフローチャートである。 図１に示した操作デバイスによる温度提示体の駆動制御処理手順と処理内容を示すフローチャートである。 ポインタの操作方向を温度提示する際に使用する駆動パルス信号の信号波形の一例を示す図である。 ポインタの現在位置と移動目標位置との間の距離を温度提示する際に使用する駆動パルス信号の信号波形の一例を示す図である。 ポインタが移動目標位置を通り過ぎたときにアラートを温度提示する際に使用する駆動パルス信号の信号波形の一例を示す図である。 図４及び図５に示した処理による実行される操作支援動作を説明するための図である。 この発明の他の実施形態に係わる操作デバイスの外観を示す平面図である。

符号の説明

１…情報処理装置本体、２Ａ，２Ｂ…操作デバイス、１１…ＣＰＵ、１２…バス、１３…プログラムメモリ、１４…データメモリ、１５…操作インタフェース、１６…表示インタフェース、１７…表示デバイス、２１…操作検出部、２２…送受信部、２３…駆動制御部、２４…駆動部、２５，２６…温度提示体、１３１…操作方向検出プログラム、１３２…操作距離検出プログラム、１３３…目標位置通過検出プログラム、１３４…支援情報生成プログラム、１４１…ポインタ移動履歴記憶部、１４２…温度変換テーブル、２１１…左ボタン、２１２…右ボタン、２１３…スクロールボタン、２５１〜２５９…ペルチェ素子。

Claims (10)

1. 表示画面にポインタを表示する機能を有する情報処理装置本体と、この情報処理装置本体に接続されかつ複数のペルチェ素子を２次元配列した温度提示体を操作部上に配設した操作デバイスとを具備し、
   前記情報処理装置本体は、
   前記表示画面に表示されるポインタの移動目標位置に対する操作方向を検出する手段と、
   前記検出された操作方向に対応するペルチェ素子の識別情報と、当該ペルチェ素子から発生させる温度を指示する第１の温度制御情報を含む第１の操作支援情報を生成する手段と、
   前記生成された第１の操作支援情報を前記操作デバイスへ送出する手段と
   を備え、
   前記操作デバイスは、
   前記情報処理装置本体から送出される第１の操作支援情報を受信する手段と、
   前記受信された第１の操作支援情報に含まれるペルチェ素子の識別情報及び第１の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記操作方向に対応する第１のペルチェ素子を選択し、当該選択された第１のペルチェ素子から前記第１の温度制御情報により指示される第１の温度を発生させるべく当該第１のペルチェ素子を駆動制御する第１の駆動制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記情報処理装置本体は、
   前記表示画面に表示されるポインタの現在位置から移動目標位置までの距離を算出する手段と、
   前記算出された距離を提示するためのペルチェ素子の識別情報と、前記算出された距離に対応する温度を発生させるための第２の温度制御情報とを含む第２の操作支援情報を生成する手段と、
   前記生成された第２の操作支援情報を前記操作デバイスへ送出する手段と
   を、さらに備え、
   前記操作デバイスは、
   前記情報処理装置本体から送出される第２の操作支援情報を受信する手段と、
   前記受信された第２の操作支援情報に含まれるペルチェ素子の識別情報及び第２の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記距離を提示するための第２のペルチェ素子を選択し、当該選択された第２のペルチェ素子から前記第２の温度制御情報により指示される第２の温度を発生させるべく当該第２のペルチェ素子を駆動制御する第２の駆動制御手段と
   を、さらに備えることを特徴とする請求項１記載の情報処理装置。
3. 前記第２の操作支援情報を生成する手段は、前記距離を提示するためのペルチェ素子の識別情報と、前記算出された距離に対応する温度を発生させるための振幅値又はデューティ比を指定する第２の温度制御情報を生成し、
   前記第２の駆動制御手段は、前記受信された第２の温度制御情報により指定された振幅値又はデューティ比を有する駆動信号を生成し、この生成した駆動信号を前記選択した第２のペルチェ素子に供給することを特徴とする請求項２記載の情報処理装置。
4. 前記第２の操作支援情報を生成する手段は、前記距離を提示するためのペルチェ素子の識別情報と、予め設定された距離提示用の温度を前記算出された距離に対応する周期で間欠的に発生させるための第２の温度制御情報を生成し、
   前記第２の駆動制御手段は、前記受信された第２の温度制御情報に従い、前記距離提示用の温度を前記距離に対応する周期で間欠的に発生させるための駆動パルス信号を生成し、この生成した駆動パルス信号を前記選択した第２のペルチェ素子に供給することを特徴とする請求項２記載の情報処理装置。
5. 前記情報処理装置本体は、
   前記第１の操作支援情報の送出後における表示画面上のポインタの位置の変化を監視することにより、当該ポインタの位置が前記移動目標位置を通り過ぎたか否かを判定する手段と、
   前記ポインタの位置が前記移動目標位置を通り過ぎたと判定された場合に、予め設定したアラート提示用のペルチェ素子の識別情報と、当該アラート提示用のペルチェ素子からアラート提示用の温度を発生させるための第３の温度制御情報とを含む第３の操作支援情報を生成する手段と、
   前記生成された第３の操作支援情報を前記操作デバイスへ送出する手段と
   を、さらに備え、
   前記操作デバイスは、
   前記情報処理装置本体から送出される第３の操作支援情報を受信する手段と、
   前記受信された第３の操作支援情報に含まれるアラート提示用ペルチェ素子の識別情報及び第３の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記アラート提示用のペルチェ素子を選択し、当該選択されたペルチェ素子から前記第３の温度制御情報により指示される第３の温度を発生させるべく当該アラート提示用のペルチェ素子を駆動制御する前記第３の駆動制御手段と
   を、さらに備えることを特徴とする請求項１乃至４のいずれかに記載の情報処理装置。
6. 表示画面にポインタを表示する機能を有する情報処理装置本体と、この情報処理装置本体に接続されかつ複数のペルチェ素子を２次元配列した温度提示体を操作部上に配設した操作デバイスとを具備する情報処理装置の操作支援方法であって、
   前記情報処理装置本体により、前記表示画面に表示されるポインタの移動目標位置に対する操作方向を検出する過程と、
   前記情報処理装置本体により、前記検出された操作方向に対応するペルチェ素子の識別情報と、当該ペルチェ素子から発生させる温度を指示する第１の温度制御情報を含む第１の操作支援情報を生成する過程と、
   前記情報処理装置本体により、前記生成された第１の操作支援情報を前記操作デバイスへ送出する過程と
   を備え、
   前記操作デバイスにより、前記情報処理装置本体から送出される第１の操作支援情報を受信する過程と、
   前記操作デバイスにより、前記受信された第１の操作支援情報に含まれるペルチェ素子の識別情報及び第１の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記操作方向に対応する第１のペルチェ素子を選択し、当該選択された第１のペルチェ素子から前記第１の温度制御情報により指示される第１の温度を発生させるべく当該第１のペルチェ素子を駆動制御する過程と
   を備えることを特徴とする操作支援方法。
7. 前記情報処理装置本体により、表示画面に表示されるポインタの現在位置から移動目標位置までの距離を算出する過程と、
   前記情報処理装置本体により、前記算出された距離を提示するためのペルチェ素子の識別情報と、前記算出された距離に対応する温度を発生させるための第２の温度制御情報とを含む第２の操作支援情報を生成する過程と、
   前記情報処理装置本体により、前記生成された第２の操作支援情報を前記操作デバイスへ送出する過程と、
   前記操作デバイスにより、前記情報処理装置本体から送出される第２の操作支援情報を受信する過程と、
   前記操作デバイスにより、前記受信された第２の操作支援情報に含まれるペルチェ素子の識別情報及び第２の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記距離を提示するための第２のペルチェ素子を選択し、当該選択された第２のペルチェ素子から前記第２の温度制御情報により指示される第２の温度を発生させるべく当該第２のペルチェ素子を駆動制御する過程と
   を、さらに具備することを特徴とする請求項６記載の操作支援方法。
8. 前記第２の操作支援情報を生成する過程は、前記距離を提示するためのペルチェ素子の識別情報と、前記算出された距離に対応する温度を発生させるための振幅値又はデューティ比を指定する第２の温度制御情報を生成し、
   前記第２のペルチェ素子を駆動制御する過程は、前記受信された第２の温度制御情報により指定された振幅値又はデューティ比を有する駆動信号を生成し、この生成した駆動信号を前記選択した第２のペルチェ素子に供給することを特徴とする請求項７記載の操作支援方法。
9. 前記第２の操作支援情報を生成する過程は、前記距離を提示するためのペルチェ素子の識別情報と、予め設定された距離提示用の温度を前記算出された距離に対応する周期で間欠的に発生させるための第２の温度制御情報を生成し、
   前記第２のペルチェ素子を駆動制御する過程は、前記受信された第２の温度制御情報に従い、前記距離提示用の温度を前記距離に対応する周期で間欠的に発生させるための駆動パルス信号を生成し、この生成した駆動パルス信号を前記選択した第２のペルチェ素子に供給することを特徴とする請求項７記載の操作支援方法。
10. 前記情報処理装置本体により、前記第１の操作支援情報の送出後における表示画面上のポインタの位置の変化を監視して、当該ポインタの位置が前記移動目標位置を通り過ぎたか否かを判定する過程と、
    前記情報処理装置本体により、前記ポインタの位置が前記移動目標位置を通り過ぎたと判定された場合に、予め設定したアラート提示用のペルチェ素子の識別情報と、当該アラート提示用のペルチェ素子からアラート提示用の温度を発生させるための第３の温度制御情報とを含む第３の操作支援情報を生成する過程と、
    前記情報処理装置本体により、前記生成された第３の操作支援情報を前記操作デバイスへ送出する過程と、
    前記操作デバイスにより、前記情報処理装置本体から送出される第３の操作支援情報を受信する過程と、
    前記受信された第３の操作支援情報に含まれるアラート提示用ペルチェ素子の識別情報及び第３の温度制御情報に従い、前記温度提示体を構成する複数のペルチェ素子の中から前記アラート提示用のペルチェ素子を選択し、当該選択されたペルチェ素子から前記第３の温度制御情報により指示される第３の温度を発生させるべく当該アラート提示用のペルチェ素子を駆動制御する過程と
    を、さらに具備することを特徴とする請求項６乃至９記載の操作支援方法。

Images