JP2004246921A - ポインティング・デバイス - Google Patents

Abstract

【課題】 安価で信頼性が高く、従来型のマウスと同様にユーザが使用できる、非機械式ポインティング・デバイスを提供する。
【解決手段】 本発明のポインティング・デバイス１は、結像可能な表面形状を有する操作面５に対して移動する平坦な底面６を有するハウジングを含み、ハウジングは上面２１と、平坦な底面の周囲と接続するスカート２０とを備えている。また、底面の開口部１３と、ハウジングの内側の開口部の近くに取り付けられ、操作面の表面形状を照明する照明光源２，３と、第１の軸と第２の軸の方向の、開口部を介して見える照明された表面形状に対する動きを示す動き指示信号を生成する光学式動き検出回路１２とを含んでいる。光学式動き検出動回路は、それぞれ出力を有する複数の光検出器１０と、光検出器のディジタル化された出力値の基準フレーム３１と、基準フレームの次に得られる光検出器のディジタル化されたサンプル・フレーム３２とを含むメモリを含み、さらに、比較フレームがサンプル・フレームと相関付けられて、第１の軸と第２の軸の方向の動きを確認する。
【選択図】 図１

Description

本発明は、コンピュータとその表示装置に使用されるポインティング・デバイスの関する。

コンピュータとその表示装置に使用される手で操作するポインティング・デバイスは、ほとんど一般的になっている。様々な装置のなかで特に最も人気のあるのは従来型（機械式）のマウスである。従来型のマウスは、通常、協力するマウス・パッドの操作面から底面をわずかな距離だけ持ち上げる低摩擦材料からなる３つ以上の下向きの突出パッドを備えた底面を有する。マウスの底面の中心には、ゴムを表面処理した(rubber surfaced)鋼ボール（以下、単にゴム・ボールと呼ぶ）の下側部分が出る穴が配置され、操作中、ボールは、重力によって下方にマウス・パッドの上面の方に引っ張られる。マウス・パッドは、通常、適切な構造物で覆われた独立気泡ゴム・パッド(closed cell foam rubber pad)である。
低摩擦パッドは、構造物上で滑りやすく、マウスを移動させたときにゴム・ボールが滑らずに回転することを可能にする。マウスの内部には、その赤道（マウスの底面と平行な大円）においてボールと接触し、回転を電気信号に変換するローラまたはホイールがある。マウスの外側ハウジングは、ユーザの手で覆われたときに「前後」軸（ユーザの前腕と同じ方向）とそれと直角な「左右」軸とを有するように形成される。ボールの赤道と接触する内部ホイールは、一方のホイールが、マウスの前後軸方向の運動成分によって生じるボールの回転だけに対応し、また他方のホイールが、左右軸方向の運動成分によって生じる回転だけに応答するように配置される。得られたホイールまたは接触ローラの回転は、そのような運動成分を表わす電気信号を生成する。（たとえば、前方と後方を表すＦ／Ｂと、左または右を表すＬ／Ｒ）これらの電気信号Ｆ／ＢとＬ／Ｒは、コンピュータに結合され、ソフトウェアが、その信号に応答して、マウスの動きによってポインタ（カーソル）の表示位置をΔｘとΔｙだけ変化させる。ユーザは、必要に応じて、表示されたポインタが所望の場所または位置にくるようにマウスを動かす。画面上のポインタが、対象のオブジェクトまたは場所を指したら、マウスを操作している手の指で、マウスの１つまたは複数のボタンのうちの１つのボタンをアクティブ化(activation)する。このアクティブ化は、何かのアクションをとる命令として作用し、その働きは、コンピュータ内のソフトウェアによって定義される。
米国特許第４,７９９,０５５号明細書

残念ながら、前述の通常の種類のマウスは、多くの欠点を有する。特に、マウス・ボールの劣化またはその表面の損傷、マウス・パッドの表面の劣化または損傷、および接触ローラの回転性能の劣化（たとえば、（ａ）ほこりや糸くずの汚れによるもの、（ｂ）摩耗によるもの、（ｃ）（ａ）と（ｂ）の両方によるもの）。これらはすべて、マウスを自在に操作するときの不規則かまたは完全な障害の原因になることがある。このようなエピソードは、画面上のカーソルが他のすべての方向に移動するが、たとえば下方にはカーソルを移動できないという不満をユーザに持たせることがある。したがって、業界では、交換を容易にしボールがはまる凹部を掃除するために、マウス・ボールを取外しできるようにすることにより対応してきた。また、マウス・ボールが汚れないようにすることが、マウス・パッドの導入の際の第１の目的であった。しかしながら、このような対応策が役に立たないようなときのマウスにとてもうんざりさせられたユーザもいる。マウスとマウス・パッドの交換は、活発な事業である。

すべてのこのような問題の根本的な理由は、従来型のマウスが、その構造と操作がほとんど機械的なものであり、機械的な力をどのように生成し伝達するかのかなり微妙な妥協(compromise)に大きく依存することである。

機械的な方法の代替として、光学的な方法を使用するいくつかの試みが以前からあった。それは、特別に印を付けられたマウス・パッド上のマウスの動きに応答し、特別にストライプを付けたマウス・ボールの動きに応答する光学検出器の使用を含んでいた。米国特許第４,７９９,０５５号は、あらかじめ特別に印が付けられた表面を必要としない光学式マウスを記載している。（開示された×方向とＹ方向の直角な２つの１画素幅のフォト・センサ線形アレイとその状態機械動き検出機構により、その光学式マウスは、組み込まれた特許(incorporated patent)の技術と初期の類似物になるが、組み込まれた特許の、ずらされ相関されたアレイ[領域内の画素パターン]技術は、かなり高性能で壊れにくいというのが我々の見解である）。今日まで、機械式マウスに多数のユーザが不満を抱いているにもかかわらず、そのような初期の光学的技術はいずれも、従来型の機械式マウスの満足できる代替として広く受け入れられていない。したがって、製造上の視点から実行することができ、比較的安価で、信頼性が高く、従来型のマウスと本質的に動作的等価物としてユーザが使用できる非機械式マウスがあればそれが望ましい。この要求は、なじんだ「感じ」を有し、望ましくない挙動がない新しいタイプの光学式マウスによって満たすことができる。さらに、その新しい光学式マウスの動作が、マウス・パッドとの協力性に依存せず、特別な状況であろうとそうでない状況であろうと、ほとんどのどのような表面でも操作できるとよい。

従来の機械式マウスを光学式の相当物に置き換える問題の解決策は、まるで人間の視覚と同じように、マウスの下の操作面の様々な特定の空間的表面形状を画素の配列に直接結像することによって動きを光学的に検出することである。一般に、この操作面は、ほとんど任意の平坦面でよく、詳細には、操作面は、マウス・パッドである必要はない。結像機構の下の操作面は、たとえば赤外線（ＩＲ）発光ダイオード（ＬＥＤ）で側面から照射される。驚くべきことに、種々様々な面が、適切な入射角度で照射されたときに、ハイライトと影の、たくさんの集まりを作り出す。その角度は、一般に、たとえば約５〜２０度と低く、本明細書では、それを「かすめ(grazing)」入射角と呼ぶ。紙、木、ホルミカ(formica)および塗装面はすべて、うまく使用できる。うまく使用できないのは、滑らかなガラスだけである（指紋を付けないかぎり）。これらの表面がうまく使用できる理由は、それらが、場合によっては人間の感覚だけでは知覚できない微細なテクスチャ(texture)を有するためである。

微細テクスチャ化面から反射されたＩＲ光は、適切な光検出器のアレイ（たとえば、１６×１６または２４×２４）に集束される。ＬＥＤは、性能の態様を最大にするようにサーボ制御された一定量または可変量の照明（たとえば、操作面のアルベドと協力する光検出器のダイナミック・レンジ）を連続的に放射することができる。あるいは、光検出器に結合された電荷累積機構を（電流シャット・スイッチによって）「閉じる」ことができ、ＬＥＤは、平均した量の光を供給して露光を制御するためにオンとオフに切り換えられる。ＬＥＤを消すと電力を節約でき、これは、バッテリ動作環境において重要な検討事項である。個々の光検出器の応答は、適切な分解能（すなわち、６または８ビット）にディジタル化され、メモリ・アレイ内の対応する場所にフレームとして記憶される。このように本発明のマウスは「目」を備え、本発明は、さらに、連続フレームとの比較を行うことにより動きを「見る」ためにその目を備える。

光検出器に投影される画像のサイズは、元の表面形状をたとえば２〜４倍に少し拡大したものであることが好ましい。しかしながら、光検出器が十分に小さい場合は、拡大しなくてよく、またそれが望ましい。光検出器のサイズとその間隔は、１つの画像表面形状に隣り合った光検出器が１つまたはいくつかになり、その逆にならないようなものである。したがって、個々の光検出器によって表わされる画素サイズは、操作面上の代表的な空間表面形状のサイズよりも概略小さいサイズの操作面上の空間領域に対応し、それは、マウス・パッドを覆う布の繊維のストランド、紙またはボール紙の繊維、塗装面の微視的変化、またはプラスチック・ラミネート上の型押しの微細表面形状の要素でもよい。光検出器のアレイの全体的なサイズは、いくつかの表面形状の画像を受けることができるような大きさであることが好ましい。このようにして、マウスが動くとき、そのような空間表面形状の画像が画素情報の変換パターンを生成する。アレイ内の光検出器の数と、その内容をディジタル化し捕捉するフレームのレートは、マジックアイ・マウスを操作面上でどれだけ速く移動させトラッキングできるかと関係する。トラッキングは、新しく捕捉したサンプル・フレームを以前に捕捉した基準フレームと比較して、動きの向きと大きさを確認することによって達成される。行うことができる１つの方法は、フレームのうちの１つの内容全体を、１画素の距離（光検出器に対応する）だけ、連続的に１画素オフセット試行シフトによって可能な８つの方向にそれぞれシフトすることである（たとえば、１つ横、１つ横で１つ下、１つ下、１つ上、１つ上で１つ横、他の方向に１つ横など）。最大８つまで試行が行われるが、何も動かなかったことも忘れてはならず、したがって９番目の試行「ヌル・シフト」も必要である。それぞれの試行シフトの後で、互いに重なるフレームの部分が、画素上で画素ベースで控除され、得られた差を合計して（好ましくは、二乗した後で）、その重なった領域内の類似性（相関性）の尺度を構成する。当然ながら、それよりも大きな試行シフトが可能であるが（たとえば、２つ横で１つ下）、ある時点で、伴う複雑さによって利点が損なわれ、小さな試行シフトでフレーム・レートを十分に高めるだけの方が好ましい。差が最小（最大の相関性）の試行シフトを、２つのフレーム間の動きの指示として得ることができる。すなわち、これにより、生のＦ／ＢとＬ／Ｒが提供される。生の移動情報が評価または累積され、都合のよい粒度(granularity)の表示ポインタ移動情報（Δ×とΔＹ）が適切な情報交換レートで提供される。

組み込まれた特許に記載され（そして、マジックアイ・マウスによって使用される）実際のアルゴリズムは、前述のアルゴリズムを改良し高性能化したものである。たとえば、光検出器が１６×１６のアレイであるとする。ある時間ｔ0に現れる光検出器の出力のディジタル化した値を記憶することによって、基準フレームを最初に取得することができる。後の時間ｔ1において、サンプル・フレームが取得され、別の組のディジタル化した値が記憶される。９つの比較フレームの新しい集まり（ヌル、１つ横、１つ横で１つ上、などが考えられる）を、「最後がどこであったか」を表わす基準フレームのバージョンと相関させたい。比較フレームは、サンプル・フレームが一時的にシフトされたものであり、シフトされると、比較フレームが基準フレームと正確に重ならなくなることに注意されたい。言うなれば、１つのエッジまたは２つの隣り合ったエッジが一致しなくなる。一致しないエッジに沿った画素の位置は、対応する相関性（すなわち、その特定のシフト）に奇与しないが、他はすべて奇与する。また、それらの他の画素の位置は、信号対雑音比をきわめて良好にする画素の実数である。「最も近い近隣」（すなわち、ヌル、１つ横、１つ上／下、その組み合わせに制限される）の動作では、相関性により、空間的対応性を有するすべての画素位置の二乗した差の合計から導出することができる９つの「相関値」が生成される（すなわち、他のフレーム内の画素位置と実際に対にされたあるフレーム内の画素位置。一致しないエッジは、そのように対にならない）。

シフトの仕方と相関値を得る方法について簡単に説明する。シフトは、一度にアレイの行と列全体を出力することができるメモリにオフセットをアドレス指定することによって達成される。専用の算術回路が、シフトする基準フレームを含むメモリ・アレイと、サンプル・フレームを含むメモリ・アレイとに接続される。特定の試行シフト（最も近いまたは近い近隣の集まりのメンバ）の相関値の公式化が、きわめて迅速に達成される。最良の機械的類推は、相関値がおそらくランダムであること以外、まるでチェッカ・ボードのように配置された透明と暗色のパターンの透明（基準）なフィルムを想像することである。ここで、同じ普遍的パターンを有する第２の（サンプル）フィルムが、ネガティブな画像（暗色部分と透明部分が反対）であることを除き、第１のフィルムに重なることを想像されたい。次に、このペアは、位置合わせされ光が当てられる。基準フィルムが、サンプル・フィルムに対して移動されるとき、この組み合わせを通過する光の量は、画像が一致する程度によって変化する。最少の光を通過させる位置が、最良の相関である。基準フィルムのネガティブな画像パータンが、サンプル・フィルムの画像からずらされた二乗または２(a square or two)である場合は、最少の光を通過させる位置は、そのずれと一致するものになる。最少の光を通す変位について説明し、マジックアイ・マウスに関して、相関性が最良の位置を考慮し、マウスがそれだけ移動したことを説明する。それは、実際に、ここで説明する画像相関性とトラッキング技法を実現するように構成された光検出器、メモリおよび算術回路を有する集積回路（ＩＣ）内で起こることである。

所与の基準フレームを連続するサンプル・フレームと共に再利用できる場合にはそれが望ましい。同時に、光検出器における新しい画像（次のサンプル・フレーム）から生じる９（または２５）の相関値のそれぞれの新しい集まり（ｔi、ｔi+1などにおける集まり）が、十分な相関性を含まなければならない。手持ち式マウスでは、通常、比較フレームのいくつかの連続した集まりを、ｔ0において取得した（１６×１６）基準フレームから獲得することができる。これは、最も新しい動きの方向と変位のデータ（前の測定から周知の速度と時間間隔に等しい）を維持することによって行うことができる。これにより、基準フレーム内の画素の集まりがどのようにシフトする（永久に！）か「予測(prediction)」が可能になり、それにより、次のサンプル・フレームでは、「最も近い近隣」を相関させることを期待することができる。この予測に対処するシフトは、基準フレームのいくつかを無効にするかまたは除去し、基準フレームのサイズを縮小し、相関性の統計的品質を低下させる。シフトされ縮小された基準フレームのエッジが、元の基準フレームだったものの中心に近づき始めるときが、新しい基準フレームが取得される。この動作の方式は、「予測」と呼ばれ、５×５の拡張した「近くの近隣(nearest nabor)」（ヌル、２つ横／１つ上、１つ横／２つ上、１つ横／１つ上、２つ横、１つ横、．．．）のアルゴリズムである比較フレームにも使用することができる。予測の利点は、内部相関手順を効率化する（２つの任意に関連付けられた１６×１６のデータ・アレイの比較をなくす）ことによって、トラッキング・プロセスの速度向上と、獲得する基準フレームに割り当てる時間の割合を減少させることである。

本発明のマジックアイ・マウスは、マウスが一般に備える通常のボタンの他に、コンピュータへの動き信号の生成を中止するもう１つのボタンを備えることができ、ポインタの画面上の位置決めを妨げることなくマウスを操作面上で物理的に再配置することができる。これは、オペレータがマウスを物理的に移動させる余地がないが、画面ポインタをまだ移動させる必要がある場合に必要とされることがある。これは、たとえば、４つものモニタをそれぞれが全体の「画面」の一部を表示するように配置された「シングル・ロジカル・スクリーン」（ＳＬＳ）として知られる表示システムを使用するＵＮＩＸシステムで起こる可能性がある。これらのモニタが４つ横一列に配置された場合は、単一の対応する最大マウス移動に必要な左右の距離は、通常許容されるものよりもかなり広くなる。たとえば拡張された右方向の変位のためにオペレータが行う通常の方策は、操作面（マウス・パッド、または雑然とした机の上の片隅）の右側でマウスを単に持ち上げ、それを左側に降ろして引き続き右に移動することである。必要なことは、この方策の間に動き指示信号が偽の挙動を受けないようにし、それにより、画面上のポインタが予期した形で挙動することである。「ホールド」ボタンの機能は、マウスが操作面に接触していないことを判定するマウスの下側の近接センサによって、あるいは画像のすべてまたは大部分が「暗色になった」ことに注目することによって自動的に行われる（それは、実際には、少し複雑であり、次のパラグラフでこの概念についてさらに詳しく説明する）。ホールド機能のない場合は、（ａ）マウスを持ち上げるときに視野が傾き、あるいは（ｂ）除去または交換の間の大きく異なる時間に結像された２つの異なる大きく離れた空間表面形状のフレームが、同じ表面形状の２つのフレーム間のわずかな距離を表すときに取得される場合の不都合な誤りによって、マウスの除去と交換の間に画像のわずかな傾きが起こることがある。実際のホールド・ボタンの都合のよい場所は、親指とその反対の薬指がマウスを掴んで持ち上げるマウスの側面に沿った底の近くである。また、マウスを持ち上げるために使用される把握力の自然な増大が、ホールド機能を連動させることになる。ホールド機能は、ホールド・ボタンの解放、適切な接近の検出、または妥当なディジタル化値の戻りに基づいて、任意選択の短い遅延を含むことがある。その遅延の間に、照明制御サーボ・ループまたは内部自動利得制御装置が安定する時間ができ、新しい基準フレームが動き検出の再開前に取得される。

次に、画像における画素のこの働きが「暗くなる」。当然ながら、照明ＬＥＤからの赤外線光は、前と同じ品質で光検出器に達しなくなり、これは、反射面が、離れすぎているかまたは単に視野にないためである。しかしながら、マジックアイ・マウスが、ひっくり返された場合、またはその結果として下側が強い光環境にさらされた場合は、光検出器の出力は任意のレベルになることがある。重要なことは、そのレベルが一定またはほぼ一定になることである。レベルが一定になる主な理由は、画像が集束(focus)しなくなり、すべての画像表面形状がぼんやりし、光検出器の集まり全体にわたって拡がることである。したがって、光検出装置は、ある平均レベルに一定になる。これは、集束した画像がある場合とは明らかに対照的である。集束された場合は、フレーム間の相関（１つ横、１つ横で１つ下、などを想起されたい）は、別個の現象を示す。

空間表面形状が、レンズ・システムにより光検出器上に正確にマッピングされトラッキングされ、マウスが、検出器から検出器に進むために表面形状に必要な正確な量と方向にがたがた動いたと仮定する。また、簡略化するために、表面形状が１つしかなく、その画像が光検出器のサイズであると仮定する。したがって、１つ以外のすべての光検出器が、ほとんど同じレベルであり、そのレベルではない１つの検出装置は、表面形状によって実質上異なるレベルにある。このようにきわめて理想化された条件の下では、相関性がきわめて良好に挙動することは明らかであり、システムにおける８つの「大きな」差と１つの小さな差（他の点ではかなり平坦面のシンク・ホール）は、最も近い近隣に９つの試行を使用する（また、動きがない場合もあることを想起されたい）[注：賢明な読者は、この比較的不自然な例における「大きな」差が、実際には、１つの画素だけに対応するかまたは起因し、おそらく「大きい」と呼ぶには値しないことに気づき、初期シフト・フィルム・アナロジを取り消すであろう。この例のフィルムを通過する光は、表面形状の１つの画素だけのものになる。かなり異なる画素の集まりを有するより通常の画像は、真に「大きな」差との差を大きくする。]

このようなきわめて理想化された条件は、通常の事例ではない。それは、たどる空間表面形状の画像が、光検出器のサイズよりも大きいものと小さいものが両方あり、またマウスの動きが連続的なものであり、そのような画像が一度に複数の検出器に入ることを可能にする経路をたどる方が標準的である。いくつかの検出器は、たとえば部分画像だけを受け取り、いくつかの検出器は、明るい部分と暗い部分両方のアナログ加算を実行する。その結果、シンク・ホールが拡がり（それと関連した光検出器の数の点で）、それに対応してシンク・ホールの深さが減少することがある。この状況は、重いボールがぴんと張っているがきわめて伸縮自在の膜に沿って転がることを想像することによって示すことができる。この膜は、離散整数デカルト座標系と関連付けられる。ボールが転がるとき、膜は任意の整数座標位置でどれだけ拡がるであろうか。まず、ボールがきわめて小さな直径であるがきわめて重いと想像し、次に、ボールが、大きな直径であるが同じ重さであると想像されたい。類推は、正確でないこともあるが、前述の「シンク・ホール」の概念を例示するのに役立つ。一般的なケースは、はっきりと定義されたシンク・ホールを有するほぼ平坦な面が、大きな凹部すなわちボウル型になることである。

我々は、様々な相関値で生成または記述された面を「相関面」呼び、様々なときにその表面形状に最も関心がある。

本明細書では、２つの目的を達成するためにこれらを説明する。第１に、マジックアイ・マウスが移動するときに相関面にある凹部の形状の移動により、光検出器の単なるサイズ／間隔よりも細かい粒度への補間が可能になる。本明細書では、このことを、本発明のマジックアイ・マウス（ポインティング・デバイス）がそれを行いそのときに残すことができる所見によって説明する。補間の十分な詳細についは、組み込まれた特許に記載されている。補間のさらに詳しい考察は不要と考えられる。第２は、これが前節の考察の本当の理由であるが、マジックアイ・マウスが持ち上げられたときに相関面の凹部がなくなり、相関性のほぼ等しい値（すなわち、「平坦な」相関面）で置き換わることの観察である。これが起きるとき、マジックアイ・マウスが空中に浮上していることをかなり確実に説明することができ、次に、適切な凹部（「ボウル」）が再び現れるまで、ホールド機能を自動的に起動することができる。

ホールド機能を起動するかまたは開始するもう１つの方法は、マジックアイ・マウスが、あるしきい値速度よりも速く移動され（また、それにより、おそらく、マウスが動いている利用可能な物理空間よりも遠くに画面ポインタを移動させるための方策において突然のリトレースの動きがある）ことに単に注目することである。速度しきい値を超えると、普通ならば移動と関連付けられる動き指示信号が、速度が適切なレベルよりも遅くなるまで抑制される。

本発明により、安価で信頼性が高く、従来型のマウスと同様にユーザが使用できる光学式マウスが提供される。

次に図１を参照すると、組み込まれた特許に記載されたタイプの従来技術の結像／ナビゲーション装置１の断面の簡略化した図を示す。ＬＥＤ２は、赤外線ＬＥＤでもよく、底面６の穴１３から操作面５の一部分である領域４に、レンズ３（別々のものではなく、ＬＥＤパッケージの一体部分でもよい）によって照射される光を放出する。平均入射角は、５〜２０度の範囲であることが好ましい。分かりやすくするために省略しているが、穴１３は、ＬＥＤ２からの光に対して透明であり、ほこりやちりなどの汚れがマジックアイ・マウスの内部に入らないようにする窓を備えていてもよい。操作面５は、マウス・パッドなどの特別な物体でもよく、より一般的には、滑らかなガラスを除くほぼすべてのものの表面でもよい。適切な材料の例には、紙、布、積層プラスチックの天板、塗装面、すりガラス（滑らかな面を下にした）、机パッド、本物の木、偽木などを含むが、これらに限定されない。一般に、５〜５００ミクロンの範囲のサイズの表面形状を有する任意の微細テクスチャ化面である。

微細テクスチャ化面の照明は、表面の高さの不規則さによって生成されるハイライトと影のパターンが強調されるように側方から行われると最も有効である。照明に適した入射角は、約５〜２０度の範囲である。（微小規模の）組成変化により反射率が単に変化するきわめて滑らかまたは平坦な面（たとえば、研磨され磨かれたもの）でもよい。そのようなケースでは（また、保証できると仮定して）、影を作り出す理由がないため、照明の入射角度は、９０°に近づいてもよい。しかしながら、そのような滑らかであるが微細な細部を有する表面は、我々が「任意の面」と言うときに通常考えるものではなく、かすめ角の入射照明を備えている場合には、より好ましく微細にテクスチャ化された「任意の面」で使用するように意図されたマジックアイ・マウスが、最もよく動作する。

照明された領域４の画像は、集積回路のパッケージ部分８ａの光学窓９を通して、光検出器のアレイ１０に投影される。これは、レンズ７によって行われる。また、パッケージ部分８ａは、独立した窓９とレンズ７を１つの同じ要素に組み合わせることにより、それらを不要にすることもできる。光検出器は、たとえば片側に１２〜２４個の検出器の方形アレイを含んでもよく、各検出器は、光電領域が４５×４５ミクロンで、中心と中心の間隔が６０ミクロンのフォト・トランジスタである。フォト・トランジスタは、次に電圧がディジタル化されメモリに記憶されるキャパシタを充電する。アレイ１０は、パッケージ部分８ｂに接着剤１１によって貼り付けられた集積回路ダイ１２の一部分に作成される。集積回路が適切な場所にどのように保持されているかの詳細、レンズの形状または構成、およびレンズの取付け方は示していないが、それらは、従来の方式で行うことができることは明らかである。また、光検出器の出力レベルに注目して、ＬＥＤ２から出る光の強さを調節することにより、領域４の照度の概略的なレベルを制御できることは明らかである。これは、連続制御、パルス幅変調、またはその両方の組み合わせでもよい。

読者は、再度、動き検出動作の詳細が、組み込まれた特許に完全に記載されている（発明の概要にも簡単に記載されている）ことを想起されたい。したがって、ここでは、その説明を繰り返す必要がない。

次に、本発明により構成されたマウス１４の底面図である図２を参照する。簡単に言うと、このマジックアイ・マウス１４の底面図は、ヒューレット・パッカード社による特定の従来型マウス、すなわちＣ１４１３Ａにきわめて類似している。大きな違いは、ボールがあるべき場所に、赤外線光に透明な保護レンズまたは窓１６があることである。これは、図１の説明で述べた穴１３の省略された透明窓である。また、掃除または交換のためにボールにアクセスできるようにする取外し可能な保持具として働く通常の回転環もない。図に示したものは、マウス１４の下面１５（図１の６に対応する）、低摩擦すべり部１９、および変形緩和部１８を有する接続ケーブル１７である。当然ながら、本発明のマジックアイ・マウス１４は、コードレス・マウスでもよく、コンピュータとの光学的または無線の通信リンクを備えていてもよい。

次に図３を参照すると、本発明の１つの態様によって構成されたマウス１４の側面斜視図を示す。本発明のこの態様は、ホールド機能である。ホールド機能は、マウスが空間的表面形状をたどっている操作面と適切な近さにないと判定したときに、コンピュータへの動き情報または信号の生成を中止するマジックアイ・マウスの動作の態様である。これにより、マジックアイ・マウスを取り上げ、移動させ、下に戻すことができ、あるいは、操作面を横切って、いわゆる「スワイプ(swiped)」させることができる。

詳細には、図３のマジックアイ・マウス１４は、オペレータがどっちの手を使うかにより右親指または左薬指の下になるように側面スカート２０の底面１５の近くに配置された少なくとも１つのホールド・ボタン２４を有する。他方の側（図示せず）に左親指または右薬指と接触するもう１つの対称的に配置されたボタンがあってもよい。

マウス１４は、従来通り、手のひらにすっぽりと入る面２１と、人指指と中指で操作する第１と第２の「普通の」マウス・ボタン２２と２３を有する。これらは、通常通りに動作する。

ボタン２４は、スワイプの最中にマウス１４を取り上げるために必要な掌握力の自然な高まりによってアクティブ化される。これらのボタンの片方または両方が押されたとき、ホールド機能がアクティブ化される。ホールドが持続されている間、コンピュータへの動き信号の送信が中断される。ホールドが終了した（ボタンが放された）とき、新しい基準フレームを得た後で、新しい動き信号がコンピュータに送られる。これは、スワイプを可能にし、ユーザが、ホールド機能を強制的に開始することができるという利点を有する。

また、マウスの底面の独立した近接センサの動作により、ホールド機能を自動的にアクティブ化することもできる。これは、図４に示され、ベース６の肩付き開口部２６が、上のスイッチ２８のレバー・アームによって押さえられた肩付きプランジャ２５を受ける。スイッチ２８は、プランジャが矢印２７の方向に大きく移動したときに、プランジャ２５の動きによってアクティブ化され、ホールド機能がアクティブ化される。独立した近接センサの正確な働きは選択の問題であるが、プランジャ２５によりマウスの重さによって作動するマイクロ・スイッチ２８のように単純、なものでもよく、その他の非機械的な方法でもよい。

ホールド機能を自動的にアクティブ化し非アクティブ化するさらにもう１つの方法は、光検出器アレイ１０のディジタル化データの性質を調べることである。光検出器の出力が十分に一定になると、光検出器アレイ１０には変化のある画像は投影されなくなると推測することができる。この均一性は、平坦またはほぼ平坦な相関面を生成することにより現れる。均一のレベルを別々に検出するのではなく（通常は存在しないハードウェアを使用する）、相関面（他の理由で必要な面）の形状を調べることが好ましい。平坦な相関面の最も可能性のある原因は、マウスが取り上げられたことである。この動作形態は、ホールド機能をアクティブ化する際に過度の遅れが生じないように、被写界(field)深度がかなり浅いことが必要である。そのような遅延は、画面ポインタの移動中に小さな人工物を生成する可能性がある。これは、マウスを持ち上げまたは移動するときのマウスの傾きによるわずかな意図しない画面ポインタの動きを含むことがある。ホールド機能のアクティブ化により（手動または自動で行われる）、動き信号の生成が再開される前に新しい基準フレームが強制的に獲得される限り、不適切な方向の正しい小さな動きのように見えるいくつかの新しいデータと古いデータの組み合わせから偽物の指示が生じる危険はないはずである。しかしながら、（たとえば、サンプル・フレームの）単なる均一レベルの検出の場合、まだ未決定の動きの間に、アルゴリズムを混乱させる光学的効果（明るい光源の反射）が起きないようにするのは困難な場合もある。相関面の形状はより確実な標識であることを理解されたい。前に述べたように、いわば画面ポインタの舵取りが、人間が行う増分的に駆動されるサーボ的操作であることを想起されたい。画面ポインタがまだそこにない場合は、必要に応じてマウスを動かしつづけるだけである。スワイプの最中の小さな摂動は、致命的なものでなく、実行する特定のアプリケーションによってはあまり顕著でないこともある。

次に図５を参照すると、ホールド／予測特性を含むマジックアイ・マウスの動作の態様を説明するフローチャート２９が示される。開始条件または位置３０があり、そこから、ステップ３１「基準フレームを獲得する」に達すると想定する。これは、ＬＥＤ２を照明し、光検出器のディジタル化した値の集まりをメモリ（図示しない）のアレイに記憶することを指す。次のステップ３２は、「サンプル・フレームを獲得する」である。これは、データが別のメモリ・アレイに記憶されること以外は同じアクションを指し、ステップ３１が実行されたときにあった場所に対するマウスの動きを反映することができる。ステップ３３「相関値を計算する」において、自動アドレス変換機構とメモリ・アレイからのきわめて広い幅のパスとによって支援されたある種のヘビー・デューティ専用算術ハードウェアによって、９（または、２５）個の相関値が迅速に計算される。ステップ３４「相関面に適切な凹みがあるか」において、ステップ３３で計算された相関値の集まりによって示された相関面の性質が検査される。相関面がボウル状に形成されているかどうかを知り、そうである場合は、いわば「どれだけの水がたまるか」を知ることを望む。

相関面の形が適切なボウル形の場合、パス３６は、次の節で詳しく説明する任意選択のステップ３７「ホールド・ボタンが押されたか」に至る。そうでない場合は、平坦な相関面または「ボウル形が不適切」な場合は、パス３５に沿って任意選択のステップ４２「遅延」に進む。このようにクオリファイヤ３４から出る原因はいくつか考えられ、たとえば、速度が極端に速い、操作面に表面形状が急になくなった、マウスが空中に浮いた、などである。明示的なＨＯＬＤボタンがない場合は、本発明は、出口パス３５により、スワイプ動作の空中浮遊の間にコンピュータへの動き信号を抑制することにより、適切なマジックアイ・マウスの挙動を実現する。

マジックアイ・マウスにＨＯＬＤボタンがある場合には、任意選択のクオリファイヤ３７があり、そこでＨＯＬＤボタン２４の状況（押されたかどうか）が決定される。そのボタンが押されるケースは、クオリファイヤ３４において不適切なボウルのものと同じに扱われる。すなわち、任意選択のステップ４２に至るパス３８が選択される。

任意選択のステップ４２は、いくつかの方法で有効な遅延を提供する。第１に、進行中にスワイプがある場合は、それに少し時間がかかり、その時間中結像しないことにより、バッテリの電力を節約することができる。また、遅延の働きは、フローチャート上で指の動きを止めるよりも少し複雑であると仮定する。ステップ３１「基準フレームを獲得する」は、ステップ４２にある遅延による影響を受け、遅延により、照明レベル制御操作が開始される仮定する。これにより、照明レベルなどの再調整の時間ができる。任意選択のステップ４２に「遅延」があるかどうかに関係なく、パス４３は、ステップ３１に戻り、別の動き検出サイクルが始まる。

再開するために、パス３９は、ステップ４０「基準フレームのずれを予測する」に至る。前に述べたように、予測に必要な変位を求めるためには、一般に、×方向とＹ方向の実際の速度と時間間隔の情報を獲得し維持する必要はない。必要とされる測定環境を想像することはできるが、ここで示したものは、そのうちの１つではない。その代わりに、予測のずれは、前のステップ３４における相関に対応する移動の量として得ることができる。

次のステップ４４は、「Δ×とΔＹを出力する」である。ここで、最後の測定サイクルからどれだけマウスの動いたかを記録する。相関を獲得するために必要なずれの量は、所望の量である。これらの値は、どの比較フレームを実際に相関させるかを注目することによって求めることができる（補間なしと仮定して）。これらの「生」のΔ×とΔＹの動きの値は、ステップ４４の生の値を生成する速度よりも遅い速度でコンピュータに送られる実行値に累積することができる。

クオリファイヤ４５において、「新しい基準フレームが必要か」どうか尋ねる。答えがＹＥＳの場合、パス４６は、ステップ４８「基準フレーム内の現在のサンプル・フレームを記憶する」に至る。（このサンプル・フレームの再利用により、実際の速度と予測プロセスの時間間隔を維持しなくてもよいことが簡単に分かる。別の新しい基準フレームを取得する場合は、多くのことが複雑になり、おそらく予測のためにＤ＝ＲＴすなわち距離の方程式を強制的に使用することになる。）

予測により、基準フレームに十分なずれがあり、その基準フレームが確実な相関を得られるように十分に比較フレームと重ならないときは、新しい基準フレームを必要とする。３〜５のずれの範囲内の場所（それ自体を再びリトレースしない）は、１６×１６の基準フレームの制限に関する。

クオリファイヤ４５の答えがＮＯで、基準フレームを交換する必要がない場合、パス４７により、ステップ４８から至るパスと共に、同じステップ４９に進む。ステップ４９「基準フレームを移動させる」は、基準フレームを表すメモリ・アレイ内で値を実際に永久的に移動させる。この移動は、予測量によるものであり、移動されたデータは失われる。基準フレームをずらした後で、パス５０は、ステップ３２「サンプル・フレームを獲得する」に戻り、次の測定サイクルが始まる。

次に図６を参照すると、図５のフローチャート２９のステップ４４をステップ５１〜５５と置き換えたようすを示す単純化したフローチャート部分５０を示す。これを行う目的は、既に説明した様々なホールド操作の方式と類似しており、その方式と共にまたはその代わりに使用することができる。図６に表わした修正の全般的な概念は、ステップ５５Ａをスキップして更新情報を何も送らないか、真でないときでもΔ×とΔＹのゼロも送ることによって（任意選択のステップ５５Ｂによって）、コンピュータを欺くことである。これは、ステップ５２が、マウスの動きの速度が、たとえば毎秒３〜６インチ（約７．６〜１５．２ｃｍ）を超えたことが確認された場合には必ず行われる。所与のマジックアイ・マウスに関して、そのような制限は、測定サイクルの速さが通常のマウスの動きよりも速いと仮定した場合に、いくつかの測定サイクル内の一定数の画素の変位として簡単に表される。この概念は、通常のマウスの動きが、おそらく多数（たとえば、１０〜２５）の連続する測定サイクルの間のすべての測定サイクルに新しい最も近くの隣り合った基準フレーム（５×５の近くの隣り合った操作のために最大限に移動されたものはもちろん）を必要としないというものである。そのようケースでは、マジックアイ・マウスは、クオリファイヤ３４のＮＯの答えとパス３５によってホールド・モードのヘアリー・エッジで動作することになる。仮定によれば、速度が速いと相関性が損なわれる）すなわち、新しい基準フレームを取得することは一般にきわめてまれであると思われる。当然ながら、マウスの速度が実際に速く、パス３５が使用されることは起こり得る。それは、当然のことである。しかし、測定サイクルの速さが、通常予想されるマウスの動きに対してそれほど速くない場合は、図６の技法を使用することが適切でないこともある。

ステップ５１は、前のステップ４４において、値Δ×およびΔＹのコンピュータへの実際の通信の後と前のものを表わす。この違いの注意を要する例は、マジックアイ・マウスの内部動き測定サイクルのレートがコンピュータとの情報交換のレートよりも高いために、コンピュータにまだ送り出されていない動きの内部累積である。いくつかのシステムでは、この累積された情報が、厳密にコンピュータに通知し続けるのではなくマウス内で使用される。そのような場合は、クオリファイヤ５２に関して、遂行する必要があるパス５３（および、迂回されるステップ５５Ａ）が、動きがあったことをコンピュータに知らせず、マウスの機能を失うことなくコンピュータを欺くことが望まれる。

マウスを持ち上げるのを模倣するための素早いリトレースの間にそのような累積を続けることが許される場合は、コンピュータは、最終的に速度が通常の速さに低下したときに勝つことができ、累積が最終的に送られ、画面のカーソルは、システム全体がどう動作するかによって適切な場所にスナップすることができる。そのようなケースでは、迂回ステップ５５Ａに残るコンピュータのものと共に、別の一組の累積を維持しなければならない。

当然ながら、コンピュータに送られる以外に累積されたΔ×およびΔＹのマウスによる内部使用がない場合もある。そのような場合には、迂回ステップ５５Ａにその累積を残すこと以外、何も行う必要はない。また、マウス内にそのような心配の原因となる累積がないだけでもよく、たとえば、そのような累積は、コンピュータ内のソフトウェアによって行われる。

最後に、図７を参照する。この図は、適切な凹部を有する近隣（５×５）の相関面５７のプロット５６である。２つの水平軸５８および５９は、マウスの動きの×軸とＹ軸を表わす。軸に沿って示された単位は画素である。軸５８と５９の平面には、真上の相関面の形状をさらに示すための滑らかにされ補間された等高線６０が描かれている。縦軸６１の相関の尺度は、本質的に任意の単位で表される。

以下に本発明の実施形態を要約する。
１．コンピュータ・システムなどのための手持ち式ポインティング・デバイス（１、１４、１５）であって、
結像可能な表面形状を有する操作面（５）に対して移動する平坦な底面（６）を有するハウジングを含み、
ハウジングがまた、人間の手を受けるように形成された上面（２１）を有し、
ハウジングがまた、平坦な底面の周囲と接続するスカート（２０）を有し、
ハウジングが、ほぼ上面のハンド・レストのかかと部分から上面の中指台の方向に延びる第１の軸と、第１の軸と直角な第２の軸とを有し、両方の軸が、底面に対して平行であり、 底面の開口部（１３、１６）と、
ハウジングの内側の開口部の近くに取り付けられ、操作面の結像可能な表面形状を照明する照明光源（２、３）と、
ハウジングの内側の開口部の近くに取り付けられ、第１の軸と第２の軸の方向の、開口部を介して見える照明された結像可能な表面形状に対する動きを示す動き指示信号を生成する光学式動き検出回路（１２）とを含み、
光学式動き検出動回路が、それぞれ出力を有する複数の光検出器（１０）と、
光検出器のディジタル化された出力値の基準フレーム（３１）と、基準フレームの次に得られる光検出器のディジタル化されたサンプル・フレーム（３２）とを含むメモリを含み、さらに、それぞれの基準フレームの移動バージョン（４９）の複数の比較フレームが、サンプル・フレームと相関付けられて、第１の軸と第２の軸の方向の動きを確認する（４４）手持ち式ポインティング・デバイス（１、１４、１５）。
２．既存の基準フレームが、比較フレームとの以前の相関に対応する量だけ移動される（４０）ことを特徴とする請求項１に記載のデバイス。
３．既存のサンプル・フレームが、新しい基準フレームとして周期的に取得される（４８）前記１項に記載のデバイス。

４．コンピュータ・システムなどの手持ち式ポインティング・デバイス（１、１４、１５）であって、
結像可能な表面形状を有する操作面（５）に対して移動する平坦な底面（１６）を有するハウジングを含み、
ハウジングがまた、人間の手を受けるように形成された上面（２１）を有し、
ハウジングがまた、平坦な底面の周囲と接続するスカート（２０）を有し、
ハウジングが、ほぼ上面のハンド・レストのかかと部分から上面の中指台の方向に延びる第１の軸と、第１の軸と直角な第２の軸とを有し、両方の軸が、底面に対して平行であり、 底面の開口部（１３、１６）と、
ハウジングの内側の開口部の近くに取り付けられ、操作面の結像可能な表面形状を照明する照明光源（２、３）と、
ハウジングの内側の開口部の近くに取り付けられ、第１の軸と第２の軸の方向の、開口部を介して見える照明された結像可能な表面形状に対する動きを示す動き指示信号を生成する光学式動き検出回路（１２）とを含み、
下面が操作面から選択した距離よりも離れたことを検出し、光学式動き検出回路に結合され、下面が操作面から選択した距離よりも離れたときに動き指示信号の生成を抑制する近接検出器（２４、３４／２７、２８）と、
を含むデバイス。
５．近接検出器が、スカート上のポインティング・デバイスをつかむ手の右親指または左薬指の下の位置に配置された少なくとも１つのスイッチ（２４）を含む前記４項に記載のデバイス。
６．近接検出器が、スカート上のポインティング・デバイスをつかむ手の左親指または右薬指の下の位置に配置された少なくとも１つのスイッチ（２４）を含む前記４項に記載のデバイス。
７．光学式動き検出回路が、それぞれ出力を有する複数の光検出器（１０）を含み、光検出器のディジタル化された出力値を含むメモリと近接検出装置が、メモリ内のディジタル化された値に結合された算術比較回路を含む前記４項に記載のデバイス。
８．近接検出器が、下面の近くに配置された圧力作動スイッチ（２７、２８）を含む前記４項に記載のデバイス。
９．光学式動き検出回路が、それぞれ出力を有する複数の光検出器（１０）と、ディジタル化された光検出器出力値の基準フレーム（３１）と、基準フレームの次に得られたディジタル化された光検出器出力値の比較フレーム（３２）とを含むメモリとを含み、新しい基準フレームと次の比較フレームが、動き指示信号の生成の抑制の終わりでかつ動き指示信号の生成の再開前（３５、３８）に得られる前記４項に記載のデバイス。
１０．新しい基準フレームは、底面が操作面から選択した距離だけ離れていることを近接検出装置が検出しなくなった時点を超える選択した量の遅延（４２）の後で得られる前記９項に記載のデバイス。

１１．コンピュータ・システムなどのポインティング・デバイス（１、１４、１５）であって、
結像可能な表面形状を有する操作面（５）に対して移動する平坦な底面（６）を有するハウジングを含み、
ハウジングがまた、人間の手を受けるように形成された上面（２１）を有し、
ハウジングがまた、平坦な底面の周囲と接続するスカート（２０）を有し、
ハウジングが、ほぼ上面のハンド・レストのかかと部から上面の中指台の方向に延びる第１の軸と、第１の軸と直角な第２の軸とを有し、両方の軸が、底面に対して平行であり、
底面の開口部（１３、１６）と、
ハウジングの内側の開口部の近くに取り付けられ、操作面の結像可能な表面形状を照明する照明光源（２、３）と、
ハウジングの内側の開口部の近くに取り付けられ、第１の軸と第２の軸の方向の、開口部を介して見える照明された結像可能な表面形状に対する動きを示す動き指示信号を生成する光学式動き検出回路（１２）と、
動き検出回路に結合され、時間期間内のポインティング・デバイスの動きが選択された限度を超えたことを検出し（５２）、それに応答して、動き指示信号の生成を抑制する（５３）検出器と、
を含むデバイス。
１２．光学式動き検出回路が、それぞれ出力を有する複数の光検出器（１０）と、ディジタル化された光検出器出力値の基準フレーム（３１）と、基準フレームの次に得られたディジタル化された光検出器出力値の比較フレーム（３２）とを含むメモリとを含み、新しい基準フレームと次の比較フレームが、ポインティング・デバイスの動きが制限された限度を超えたことを検出器が検出しなくなった後でかつ動き指示信号の生成の抑制の再開の前に得られる前記１１項に記載のデバイス。

従来技術の結像／ナビゲーション装置の簡略化した絵画的切断側面図である。 本発明により構成されたマウスの下面図である。 本発明の１つの態様により構成されたマウスの側面斜視図である。 図２と図３のマウスの基部にあり、ホールド機能を自動的にアクティブ化するために使用される簡略化した切断側面図である。 予測と呼ばれる機能と共に使用されるときのホールド機能の動作と関連したマジックアイ・マウス内部の動作の態様を説明する簡略化したフローチャートである。 図５のフローチャートを修正し、ホールド機能を起動する速度検出方法を示す簡略化した一部分の図である。 適切な凹部を有するプロットされた相関面の斜視図である。

符号の説明

１，１４，１５ ポインティング・デバイス
２，３ 照明光源
５ 操作面
６ 底面
１０ 光検出器
１２ 検出回路
１３，１６ 開口部
２４，３４／２７，２８ 近接検出器
３１ 基準フレーム
３２ サンプル・フレーム

Claims (2)

1. コンピュータ・システムなどのための手持ち式ポインティング・デバイス（１、１４、１５）であって、
   結像可能な表面形状を有する操作面（５）に対して移動する平坦な底面（６）を有するハウジングを含み、
   ハウジングがまた、人間の手を受けるように形成された上面（２１）を有し、ハウジングがまた、平坦な底面の周囲と接続するスカート（２０）を有し、
   ハウジングが、ほぼ上面のハンド・レストのかかと部分から上面の中指台の方向に延びる第１の軸と、第１の軸と直角な第２の軸とを有し、両方の軸が、底面に対して平行であり、 底面の開口部（１３、１６）と、
   ハウジングの内側の開口部の近くに取り付けられ、操作面の結像可能な表面形状を照明する照明光源（２、３）と、
   ハウジングの内側の開口部の近くに取り付けられ、第１の軸と第２の軸の方向の、開口部を介して見える照明された結像可能な表面形状に対する動きを示す動き指示信号を生成する光学式動き検出回路（１２）とを含み、
   光学式動き検出動回路が、それぞれ出力を有する複数の光検出器（１０）と、光検出器のディジタル化された出力値の基準フレーム（３１）と、基準フレームの次に得られる光検出器のディジタル化されたサンプル・フレーム（３２）とを含むメモリを含み、さらに、それぞれの基準フレームの移動バージョン（４９）の複数の比較フレームが、サンプル・フレームと相関付けられて、第１の軸と第２の軸の方向の動きを確認する（４４）ことを特徴とする手持ち式ポインティング・デバイス（１、１４、１５）。
2. コンピュータ・システムなどの手持ち式ポインティング・デバイス（１、１４、１５）であって、
   結像可能な表面形状を有する操作面（５）に対して移動する平坦な底面（１６）を有するハウジングを含み、
   ハウジングがまた、人間の手を受けるように形成された上面（２１）を有し、
   ハウジングがまた、平坦な底面の周囲と接続するスカート（２０）を有し、
   ハウジングが、ほぼ上面のハンド・レストのかかと部分から上面の中指台の方向に延びる第１の軸と、第１の軸と直角な第２の軸とを有し、両方の軸が、底面に対して平行であり、 底面の開口部（１３、１６）と、
   ハウジングの内側の開口部の近くに取り付けられ、操作面の結像可能な表面形状を照明する照明光源（２、３）と、
   ハウジングの内側の開口部の近くに取り付けられ、第１の軸と第２の軸の方向の、開口部を介して見える照明された結像可能な表面形状に対する動きを示す動き指示信号を生成する光学式動き検出回路（１２）とを含み、
   下面が操作面から選択した距離よりも離れたことを検出し、光学式動き検出回路に結合され、下面が操作面から選択した距離よりも離れたときに動き指示信号の生成を抑制する近接検出器（２４、３４／２７、２８）と、
   を含むことを特徴とするポインティング・デバイス。

Images