JP2002508860A - 表示スクリーンを備えたマウス状入出力装置およびその使用方法 - Google Patents

Abstract

(57)【要約】 盲人ユーザ用のコンピュータマウスおよびそれを使用する方法である。同マウスはその上部表面上に表示領域を有し、同表面には、コンピュータスクリーン表示の一部が、例えばピンの配列からなる部材を上昇および下降させることにより、触知的形態に再生される。モノクロ表示はピンの高さによりコード化される。カラー表示は多様な方法でコード化され得る。明度は、ピンの垂直運動の範囲としてコード化され、色合いは、ピン運動頻度としてコード化されるのが好ましい。盲人ユーザは、マウスパッド上の方々でマウスを移動させ、ピンの相対高さと頻度を感じ取ることにより、スクリーン表示を読みとる。

Description

【発明の詳細な説明】 表示スクリーンを備えたマウス状入出力装置およびその使用方法 発明の分野および背景 本発明は、コンピュータ入出力装置に関するものであり、より特定すると、ユ ーザに利用可能な入出力オプションを拡大させる、一体型表示スクリーンを備え たマウス状装置に関する。特に、同装置は盲人がコンピュータを使用するのをよ り容易にする。 ユーザとコンピュータとの間の相互作用の大半は、テキストやグラフィックス のような情報をモニタの表示スクリーン上に視覚表示することにより伝達される 。この相互作用方法が、盲人ユーザまたは視力の弱いユーザに適していないのは 、明らかである。例えば、カリフォルニア州Mountain ViewのTeleSensoryのPowe rBraille 40およびドイツのWiesenbachのBaum Products GmbHのINKAキーボード のように、テキストラインをブライユ式点字に変換する多様なインターフェイス 装置が入手できる。これら装置は、テキストのみが変換されるという制約を被り 、一度に１行分のテキストのみが表示される。ドイツのShuttgartのMetecのＤＭ Ｄ120060ドットマトリクス表示装置は、触れることにより読みとりができる形態 に、視覚表示全体を変換させている。テキストはブライユ式点字に変換され、グ ラフィカル情報は隆起ピンおよび沈降ピンからなる対応パターンへと変換される 。このフルスクリーン表示は、十分すぎるものでもあり、不十分すぎるものでも ある。一度に視覚表示全体を認識する視力保持ユーザとは異なり、盲人ユーザは 所与の時間に表示のわずかな部分にのみ接触し、そのように一部に触れる動作の 連続から、表示全体を再構成する、という点で十分すぎる。それ故、視覚表示全 体を一度に触知的な形態に変換させる必要はない。ピン全体の大半が移動させら れねばならない場合、表示のリフレッシュに20秒または20秒余りかかるという点 で、不十分すぎる。 盲人ユーザおよび視覚の弱いユーザがコンピュータにアクセスする際の別な制 約は、盲人ユーザまたは視覚の弱いユーザがスクリーン表示装置上に直接描いた り、描画の精度に関する直接フィードバックを得たりできる公知の装置が存在し ない、という点である。 従って、盲人ユーザおよび視力の弱いユーザが現在公知のインターフェイスよ りも効率性と柔軟性に富むコンピュータと相互作用できる、触知的コンピュータ インターフェイスの必要性が広く認識され、このようなインターフェイスを有す ることは極めて有利である。 発明の要旨 本発明によれば、スクリーン表示装置上に表示可能なデータにアクセスするコ ンピュータと通信するための、コンピュータインターフェイス装置が提供され、 同装置は、（a）第１表面および第２表面を有する剛性ハウジングと、（b）(i) 第２表面に隣接する平坦表面上の初期位置に関連した装置の位置、および（ii） 平坦表面上の初期配向に関連した装置の配向を、検知するための機構と、（c） データの位置が表示される範疇である第１表面上の表示領域と、（d）表示領域 にデータを表示するための表示機構とを、備える。 本発明によれば、スクリーン表示装置を有するコンピュータと通信する方法が 提供され、同方法は、（a）少なくとも１つの平坦表面を供与する工程と、（b） （i）第１表面および第２表面を有する剛性ハウジング、（ii）第２表面が少な くとも１つの平坦表面のうちの１つに隣接する時に、少なくとも１つの平坦表面 のうちの１つに関連した装置の位置、および、少なくとも１つの平坦表面のうち の１つに関連した装置の配向を検知するための機構と、（iii）第１表面上の表 示領域と、（iv）表示領域のスクリーン表示の一部を再生するための触知的表示 機構とを備える、少なくとも１つのインターフェイス装置を供与する工程と、（ c）表示領域のスクリーン表示の一部を再生する工程とを、含む。 本発明の革新的な点は、コンピュータマウスの一表面上のデータの表示である 。この表面は、本明細書中では、「上部」表面と称するが、これは、本発明の表 示領域が、マウスが使用中に載置される平坦表面から一番遠方にあるマウスの面 に、位置決めされるのが最も至便だからであるが、本発明の範囲は、側部表面の ようなマウスの別な表面上の表示領域の設置を含む。同様に、マウスの使用中に 平坦 表面に隣接するマウスの表面を、本明細書中では「下部」表面と称す。表示領域 は、以下で論じる小型ビデオスクリーンまたは触知的表示装置のような、マウス に一体的に内蔵される表示機構を含む。表示中のデータは、コンピュータモニタ の表示スクリーン上に同時に表示されてもよく、或いは、例えば、コンピュータ のメモリのような、どこか別な場所に常駐してもよい。 本発明は、ユーザがマウスを移動させると、マウス表示装置についてユーザが 行った変化に関して、ユーザがマウス自体の上部表面上に直接フィードバックを 獲得できるようにする。これは、コンピュータ化された芸術的効果の点で心理的 利点となり、すなわち、グラフィックスアーティストはマウスを用いて描画し、 自己の描画の結果を目視するが、これは自分が鉛筆で１枚の紙に描画した結果を 見るのと、丁度同じである。 更に、本発明は、コンピュータに格納されたデータ、すなわち、スクリーン上 に同時に表示されないデータ、または、異なる形態でのスクリーン表示における データの表示を可能にする。例えば、テキストは１つの言語でスクリーン上に表 示され得、テキストの異なる言語への変換は、マウス上に表示され得る。それで も、本明細書中の記載事項の焦点は、マウスの上部表面上のスクリーン表示の一 部をエコー処理することに置かれる。 本発明の範囲は、視覚表示装置を含めてこのような表示装置すべてを含むが、 本発明の焦点は、スクリーン上に視覚的表示中のデータの触知的表現を、視力の あるユーザがその情報を目で見ることができるのと同じように盲人ユーザが感じ ることができるようにする、触知的表示装置の提供にある。盲人ユーザは、平坦 表面上の方々でマウスを移動させることにより、スクリーン表示の異なる部分に アクセスし、それは丁度、視力のあるユーザが、平坦表面上の方々でマウスを移 動させることにより、カーソルを利用してスクリーン表示の異なる部分にアクセ スするのと同じである。現在公知の装置を用いて行われるように、ユーザは、自 分の指先を触知的表示を横断してスライドさせることにより、情報を感じ得る。 あるいは、ユーザは、マウスを移動させながら、触知的表示上の１つの位置に自 分の指先を置き、それにより、マウスが移動するにつれて、触知的表示の輪郭の 変化を感じ取り得る。更に、丁度、例えばマウス上のボタンを押すことにより、 視力のあるユーザがスクリーン表示を変化させるように、盲人ユーザは従来の様 式でスクリーン表示を変化させ得（例えば、描画し）、次いで、視力のあるユー ザが、得られた変化を目で見るように、盲人ユーザが、得られた変化を感じ取る ことができる。 本発明のマウスと従来の各コンピュータマウスとの間の重要な差異の１つとし て、本発明のマウスは、平坦表面上のその横方向位置とその角配向の両方を検知 する能力がなければならず、その結果、マウスがどれだけ回転されても、ユーザ に提示されるスクリーン表示の一部は常に同一方向に配向される（例えば、スク リーン表示部分の頂部はユーザから遠い位置に、スクリーン表示部分の底部はユ ーザに近い位置に）という点がある。これを行う１つの方法として、２つ以上の トラックボールを備えたマウスを設ける手段が挙げられる。マウスの角配向は、 トラックボールの位置から容易に推察できる。これを行う別な方法として、コン パスのような磁気配向センサーを備えたマウスを設ける手段がある。 図面の簡単な説明 本発明は、添付の図面を参照して、具体例としてのみ、ここに記載される。 図１Ａは、本発明に従ったマウスの実施態様を破断した、概略断面図である。 図１Ｂは、本発明に従ったマウスの別な実施態様を破断した、概略断面図であ る。 図２は、使用中の図１Ａのマウスの、側面図である。 図３Ａは、表示領域を示す、図１Ａのマウスの部分頂面図である。 図３Ｂは、表示領域の代替の実施態様を示す、図１Ａのマウスの、部分頂面図 である。 発明の詳細な説明 本発明はコンピュータマウスから構成され、その上部表面上に触知的表示領域 が設けられ、スクリーン表示の一部が再生され得る。本発明は、盲人ユーザおよ び視力の弱いユーザにより、コンピュータとの相互作用を目的として使用可能で ある。 本発明に従ったコンピュータマウスの原理および動作は、図面および添付の説 明を参照して、より良く理解され得る。 ここで図面を参照すると、図１Ａは、本発明のマウスの一実施態様10を破断し た概略断面図である。剛性ハウジング12は、上部表面14および下部表面16を有す る。上部表面14の表示順域20は複数の穴を有し、そこを通して複数のピンを突出 させ、幾つかのピンを、参照番号22で示す。ピン22はアクチュエータにより表示 領域20の穴を通して、１本のピンにつき１つのアクチュエータにより、上下に移 動させられ、幾つかのアクチュエータを参照番号24で示す。下部表面16の穴を通 して、２つのボール30が突出しており、これらはラバーで被膜されたスチールか ら作られるのが好ましい。トランスデューサー32がボール30と接触して設置され 、各ボール30につき２つのトランスデューサー32が互いに直交位置に配置される 。トランスデューサー32はボール30に回転自在に連結されるが、その意味は、ボ ール30の回転により、ボール30と接触している一方または両方のトランスデュー サー32の一部（例えば、エンコーダホイールシャフト）が回転可能になり、トラ ンスデューサー32がその回転を電気信号に変換することが可能となる。上部表面 14にはまた、１つ以上のボタン34が従来の様式で設けられる。アクチュエータ24 、トランスデューサー32、およびボタン34は、電気コネクタ38により従来の電子 回路36に接続される。回路36はコード40を介して、ホストコンピュータに接続さ れる。ボタン34およびトランスデューサー32からの信号がコンピュータに中継さ れる様式、および、コンピュータのスクリーン表示の一部を表す信号がアクチュ エータ24に中継されて、ピン20を上下運動させ、その結果、スクリーン表示のそ の部分を再生する様式は、当該技術では周知であり、本明細書中では詳細には説 明しない。 図１Ｂは、本発明のマウスの別な実施態様10’を破断した、概略断面図である 。マウス10’は実質的にマウス10と同一であるが、但し、以下に説明されるよう に、マウス10’は、位置と配向の両方を検知するために使用される２つのボール 30の代わりに、従来の様式で位置のみを検知するために使用される１つのボール 30’と、独立配向センサー35とを有する、という点を例外とする。配向センサー 35は、例えば、磁気センサーまたはジャイロスコープセンサーであり得る。 図２は、使用中のマウス10の側面図である。マウス10は、例えば従来型マウス パッドのような平坦表面50の上に載置される。ユーザは表示領域20上に１つ以上 の指先52を置き、従来の様式で、表面50上の方々でマウス10を移動させる。表面 50上のマウス10の位置および配向は、ボール30の回転に応答して、トランスデュ ーサー32により検知され、コード40を介してホストコンピュータに送信される。 ホストコンピュータは、コンピュータスクリーン表示の一部を表すデータを、表 面50上のマウス10の位置に対応して、コード40を介してマウス10に逆送信する。 ピシ22はそれらデータに従って上下移動させられ、指先52を介してユーザが感じ 取るデータの触知的表現を提供する。 図３Ａおよび図３Ｂは、マウス10の部分頂面図である。図３Ａは、表示領域20 の実施態様で、ピン22が矩形配列の穴をとおして突出しているのを例示する。こ の配列は具体例であり、本発明は、例えば、６角形のような好適な幾何学的配列 の全てを含む。図３Ｂは、表示領域20の実施態様で、ピン22が突出する際に通る 穴が、３つの指先形状、指先サイズの二次表示領域54、54’、および54"に制限 されるのを例示する。 上述のように、表面50上のマウス10の配向は、表面50上のボール30の相対位置 から推察される。ｘ₂およびｙ₂を、それぞれ、コード40により近い方のボール30 のｘ座標およびｙ座標とし、ｘ₁およびｙ₁を、それぞれ、コード40から遠い方の ボール30のｘ座標およびｙ座標とする。Δｘ＝ｘ₂−ｘ₁およびΔｙ＝ｙ₂−ｙ₁と する。0°の配向をΔｘ＝０および正のΔｙに対応させる。次に、マウス10の配 向角は逆タンジェント（Δｘ／Δｙ）である。例えば、Δｘ＝Δｙならば、マウ ス10は、ΔｘがゼロでΔｙが正である位置から、逆時計方向に45°回転させられ る。 表示スクリーン上のカーソルの位置と、マウスパッド上の従来型マウスの水平 方向位置との間の呼応が、使用と共に本道から外れがちなように、スクリーン表 示の配向と表面50上のマウス10の配向との間の呼応が本道から外れがちである。 それ故、マウス10の配向は、しばしば、例えば、0°の標準配向で再初期化され ねばならない。これは、標準配向に対応するべき物理的角度で表面50上にマウス 10を配向させ、かつ、コンピュータキーボードおよび／またはボタン34を介して コンピュータに適切なコマンドを入力することにより、行われる。スクリーン表 示の配向と、本発明のマウスの配向との間の呼応の安定性は、２つ以上のボール 30をマウスに設けることにより向上され得るが、その理由は、これが角度計算に 供与する冗長性にある。 表示領域20の基準点は、従来技術の視覚表示装置のスクリーンカーソルの触知 的同等物として機能する。この基準点は、例えば、図３Ａの表示領域20のような 四角形の表示領域のコーナーのうちの１つ、図３Ａの表示領域20の中心点、また は図３Ｂの二次表示領域54’の中心点のような、表示領域20の固有に同定可能な 点のいずれであってもよい。従来型マウスのボタンを押すことが、スクリーンカ ーソルの位置に関連する活動を開始するために採用されるのと丁度同じように、 ボタン34を押すことが、表示領域20に表現されているスクリーン表示の部分に相 対する基準点の位置に対応する、スクリーン表示の位置に関連する活動を開始す るために採用される。例えば、ボタン34を押すことは、基準点に対応するスクリ ーン表示上の点から始まる線を引く処理を開始するために採用され得る。視力の あるユーザがスクリーン表示上に自分の行為の結果を目で見ることが可能なのと 丁度同じように、ユーザは、表示領域20の結果を感じ取ることにより、このよう な活動の進行および正確さを監視し得る。 視覚表示を表示領域20の触知的表示に変換する際の１つの課題は、視覚的に認 知され得る情報の密度が、触知的に認知され得る情報の密度よりも大きいという 点である。これは、テキストの触知的表現において問題ではなく、ブライユ式点 字で容易に変換される。これはまた、モノクロ表示の変換において深刻な問題で もなく、というのも、例えば、２つの色のうちの薄暗い方の一方の色が、ピン上 昇位置により表現可能であり、例えば、２つの色のうちの明るい方の他方の色が 、ピン降下位置により表現され得るからである。真の課題は、触知的形熊のカラ ー表示を変換する点にある。カラー表示の色は３つの属性（色合い、明度、およ び彩度）を有し、これら３つ全てを触知的表示にコード化することは困難である 。モノクロ表示を変換するために利用されるアプローチは、強い明度コントラス トを伴うカラー表示に適用可能であるが、一般的なコントラストには利用され得 ない。本発明の好ましいアプローチは、色合いを、ピンの上下運動の頻度として 、 好ましくは３Ｈｚと５Ｈｚの間の範囲でコード化することであり、これは４つの 色合いのコード化に適しており、一方で、明度を同範囲のピンの運動としてコー ド化し、彩度を無視することである。もちろん、どの属性が表示され、どれが無 視されるか、という選択はユーザの管理下に置かれ得、その結果、例えば、ユー ザは、彩度を頻度としてコード化し、色合いを無視することを選択してもよい。 盲人ユーザまたは視力の弱いユーザが、本発明のマウスを１つしか使用しない ことに限定されるわけではないことが、理解される。盲人が自分の両手を使って ブライユ式点字を読むことが多いのと同じように、盲人ユーザは、片手に１個づ つ、２つのマウスを使用して、スクリーン表示の２つの異なる部分を一度に通読 することが可能である。そのために、２人の視力のあるユーザが本発明の２つの マウスを使用して、非ビジュアルコンピュータゲームをプレイすることも可能で ある。視力のあるユーザはまた、本発明のマウスを１つ使用して、２つの表示を 、一方を視覚的に、他方を触知的に、自分一人で同時に監視することも可能であ る。これに加えて、視力のあるユーザは本発明のマウスを使用して、例えば太陽 系惑星地図の表示のような、スクリーンの左側がデータ空間中でスクリーンの右 側に隣接する、ラップラウンド式に重なり合った表示の認識を向上させることが できる。 スクリーン表示と触知的表示との間の幾何学的な呼応が、好都合な異なる応用 例に適合するように変更され得ることも、理解される。特に、表示領域20におい て再生されたスクリーン部分のサイズは、変更され得る。スクリーン表示と触知 的表示との間の最も単純な呼応は、１本のピン22につき１ピクセルであるが、他 の対応が本発明の範囲に入る。例えば、２本以上のピン22を１ピクセルと対応さ せることにより、解像度が増大され得、２ピクセル以上を１本のピン22に対応さ せることにより、解像度が減少され得る。これに加えて、表示領域20のアスペク ト比は、スクリーンのアスペクト比と同一である必要はない。例えば、１本のピ ン22は、水平方向に１ピクセル間隔、垂直方向に２ピクセル間隔に対応する。 本発明は限定数の実施態様に関して記載されてきたが、本発明の多くの変更、 修正、および他の応用がなされ得ることが、理解される。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，Ｍ Ｗ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，Ｅ Ｓ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＬ，ＩＳ，ＪＰ ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ， ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，Ｍ Ｗ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ， ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 ローゼンブルム，ドミトリ イスラエル国 マーレー アドゥミム 98431，メボ ハギビム 26／10

Claims (1)

1. 【特許請求の範囲】 １． カーソルを採用したコンピュータスクリーン表示上で視覚的に表示可能 なデータにアクセスするコンピュータとの通信用の、コンピュータインターフェ イス装置であって、 (a) 第１表面および第２表面を有する剛性ハウジングと、 (b) 該第１表面上に配置されて、少なくとも１配列の選択可能に移動可能な 触知的ピンが、該スクリーン表示の少なくとも１つの選択された部分を表現する 、触知的表示であって、該配列が該カーソルを表わす基準点を含む、触知的表示 と、 (c) 該装置が沿って移動するところの該第２表面に隣接する平坦表面上の初 期位置に関連する該装置の位置と、該平坦表面上の初期配向に関連する装置の配 向とを検知する機構と、 (d) 該触知的表示により表現される該スクリーン表示の該選択された部分に 関連する該基準点の位置に対応する、該スクリーン表示中の位置に関連する活動 を開始するための、押圧可能ボタンと、 (e) 該検知された位置と配向を該コンピュータに供与し、該コンピュータに 格納されたデータに対応する信号を該コンピュータから受信し、および、該格納 データを表示するように、所定の様式で該触知的ピンを移動させるための、電子 回路とを備える、コンピュータインターフェイス装置。 ２． 前記電子回路は、前記スクリーン上に表示されるデータに対応する信号 を該コンピュータから受信するように作動し、かつ、該表示データを表示するた めに、前記触知的ピンを移動させるように作動する、請求項１に記載の装置。 ３． 前記電子回路は、前記コンピュータに格納されているが、前記スクリー ン上には表示されていないデータに対応する信号を該コンピュータから受信する ように作動し、かつ、該格納データを表示するために、前記触知的ピンを移動さ せるように作動する、請求項２に記載の装置。 ４． 各前記配列は、40ピンを有する２次元配列である、請求項３に記載の装 置。 ５． 各前記配列は、ユーザの指の先端による触知的接触のために構成された サイズおよび形状を有する、請求項４に記載の装置。 ６． 各前記配列は、所定の解像度で選択されたスクリーン部分を表現するよ うに作動する、請求項５に記載の装置。 ７． 前記解像度は、前記コンピュータスクリーンの１ピクセルあたり、前記 少なくとも１つの配列の少なくとも１本のピンである、請求項６に記載の装置。 ８． 各前記配列は、所定のアスペクト比で選択されたスクリーン部分を表現 するように作動する、請求項５に記載の装置。 ９． 前記触知的表示が前記コンピュータスクリーン上に表示されたモノクロ 画像に対応する画像を表示する場合、前記電子回路が作動して、前記ピンの異な る所定のそれぞれの変位により、より暗い色調とより明るい色調とをそれぞれ表 現する、請求項８に記載の装置。 10． 前記触知的表示が前記コンピュータスクリーン上に表示されたカラー画 像に対応する画像を表示する場合、前記電子回路が作動して、色合い、明度、お よび彩度からなる群のうちから少なくとも２つを表示するように、異なる所定の 方法で前記ピンを移動させる、請求項８に記載の装置。 11． 前記検知機構は、 前記ハウジング内に配置された１対の回転可能なボールと、 該回転可能なボールの各々について、そこに回転自在に連結される２つのトラ ンスデューサーとを含み、 該トランスデューサーが２つの直交する方向にある場合には、そのいずれか一 方についての該ボールの回転が検出され、それにより、前記平坦表面に相対する 該ボールの運動の表示を供与する、請求項８に記載の装置。 12． 前記検知機構は、配向センサーを含む、請求項８に記載の装置。 13． 前記配向センサーは、磁気センサーおよびジャイロスコープセンサーか らなる群から選択される、請求項12に記載の装置。