JP2004348739A - 光学的にクリックを検出する方法およびシステム - Google Patents

Abstract

【課題】 指のクリック動作を検出する。
【解決手段】 光センサ（１４０）における人間の指（２０）の画像の画像信号（５５）を受信するステップ（６０５）と、画像信号を分析して（６１０）、画像信号（５５）が指のクリック動作（２６０）を表わしているか否かを判定するステップ（６１５）とを含んでなる指のクリック動作（２６０）を検出するための方法。また、人間の指を押し付けることができる表面（１１５）を備えるフィンガ・インターフェイス（１１０）と、フィンガ・インターフェイスの表面に押し付けられた人間の指（２０）を照射する光源（１２０）と、反射した光（１２８）の画像をキャプチャーし、指のクリック動作の検出に用いる画像信号を送り出す光画像センサ（１４０）とを有する画像化システム（１０）。
【選択図】 図６Ａ

Description

本発明は、一般に、画像を取得する分野に関するものである。とりわけ、本発明は、クリック検出のため、指紋の画像を取得して、処理するためのシステムおよび方法に関するものである。

パーソナル・コンピュータ、ラップトップ・コンピュータ、無線電話、および、携帯端末（ＰＤＡ）といった多くの電子装置には、スクリーン上においてカーソルまたはポインタを制御するためのナビゲーション機構が設けられている。これまで、ＰＣ用途における最も一般的なナビゲーション機構はマウスである。最近になって、順次画像を移動方向において相関させるトラッキング・アルゴリズムを利用して、ほぼ任意のいかなる表面におけるナビゲーションをも可能にする光学式マウスが開発された。

例えば、ここで、引用することにより、その開示の全てが本明細書の一部をなすものとする「PROXIMITY DETECTOR FOR A SEEING EYE MOUSE」と題する米国特許第６，２８１，８８２号明細書には、マウスの下の表面の空間特徴を画像化し、順次画像を比較して、移動方向および量を確認する光学式マウスの記載がある。さらに、ここで、引用することにより、その開示の全てが本明細書の一部をなすものとする「MOUSELESS OPTICAL AND POSITION TRANSLATION TYPE SCREEN POINTER CONTROL FOR A COMPUTER SYSTEM」に記載のように、指の動きを検出して、その指の動きをスクリーン上におけるカーソルまたはポインタの対応する動きに変換する、光フィンガ・ナビゲーション装置も開発されている。

しかし、今日、市場において入手可能な光学式マウスは、依然として、関連電子装置によって提供されるアプリケーションにアクセスするのに、ボタン、または、他の電気機械式選択装置を利用する必要がある。例えば、一般に、ユーザは、マウスによって得られるナビゲーション機構を利用して、スクリーン・ポインタまたはカーソルをスクリーン上の所望の位置につけ、次に、「クリック」または「ダブル・クリック」して、カーソルによって強調表示または指し示されたアプリケーションにアクセスする。携帯電話、ラップトップ・コンピュータ、携帯端末、電子式マウス、および、他の電子装置の設計において小型化の傾向が強まるにつれて、電子装置の表面に独立した選択ボタンのためのスペースを設けるのは、容認できなくなる可能性がある。

従って、本発明の目的は、小型電子装置および／または携帯用電子装置において必要とされるスペース量を最小限に抑える、クリック事象を検出するための光学式機構を提供することにある。

本発明の実施態様によれば、検知領域内にある人間の指の画像をキャプチャーして、指持ち上げ動作または指下ろし動作といった、指のクリック動作の検出に用いられる、その画像に関連した画像信号を送り出す画像取得装置が得られる。光源によって、ユーザが指の一部を載せるフィンガ・インターフェイスが照射される。指から反射する光は、光センサによって画像に対応する画像データとしてキャプチャーされる。画像データに関連して、少なくとも１つの画像信号が生じる。画像信号を利用して、指のクリック動作が検出される。指のクリック動作の組み合わせを利用して、クリック事象が検出される。

実施態様の１つでは、画像信号は、指の動きの量および方向を確認するナビゲーション情報の信頼性を表わすトラッキング品質信号である。もう１つの実施態様では、画像信号は、画像をキャプチャーするのに利用されるシャッタ速度に対応するシャッタ速度信号である。さらにもう１つの実施態様では、画像信号は、画像と表面パターン標識との間の一致を表わす一方向性信号である。

さらなる実施態様によれば、画像信号を受信して、指持ち上げ動作または指下ろし動作といった、指のクリック動作が生じたか否かを判定するための画像処理システムを備えた画像化システムが得られる。さらに、画像処理システムは、指持ち上げ動作および指下ろし動作の組み合わせに基づいて、シングル・クリック、ダブル・クリック、または、トリプル・クリックといったクリック事象を検出するように構成されている。例えば、実施態様の１つでは、シングル・クリック事象は、指持ち上げ動作が生じ、指下ろし動作がそれに後続すると検出されるが、ここで、指持ち上げ動作と指下ろし動作は、ある設定可能な時間範囲内において、時間的に離隔している。

他の実施態様によれば、光学フィンガ・ナビゲーション機構と連係して、光学クリック検出機構を利用することが可能になり、この場合、画像データは、順次画像を相関させて、指の動きの量および方向を示すナビゲーション情報を確認することが可能なトラッキング・アルゴリズムを用いて処理される。さらに、光学指認識機構または光学スタイラス機構のような他の光学応用例に関連して、光学クリック検出方法を利用することも可能である。

光学機構を利用して、クリック事象を検出すると、電子装置においてアプリケーション選択機能を実施するためのサイズが縮小され、コストが低下することになる。さらに、本発明によれば、上述のものに加えて、または、その代わりに、他の特徴および利点を備えた実施態様が得られる。これらの特徴および利点の多くは、添付の図面に関連した以下の説明から明らかになるであろう。

本発明の重要な見本となる実施態様を示し、引用することにより本明細書の一部となされている添付の図面を参照しながら、開示の発明について説明する。

特に、典型的な実施態様を参照しながら、本出願の数多くの新規の教示について述べることにする。ただし、云うまでもないが、これらの実施態様によって示されるのは、本明細書における新規の教示に関する多くの有益な用途のほんのわずかな例でしかない。一般に、本明細書においてなされる記述は、必ずしも、特許請求の範囲に記載されているさまざまな発明のいずれかに制限を加えるものではない。さらに、記述の中には、本発明の特徴によっては、当てはまるものもあれば、当てはまらないものもあり得る。

図１には、本発明に利用して、指のクリック動作を検出することが可能な、典型的な画像化システム１０が例示されているが、これらについては、図２Ａおよび図２Ｂに関連してさらに詳細に後述する。例えば、指のクリック動作は、指持ち上げ動作または指下ろし動作とすることが可能である。シングル・クリック、ダブル・クリック、トリプル・クリック、または、他の任意の複数クリックといった、クリック事象を表わす、指のクリック動作の組合せを検出することが可能である。クリック事象は、従来のマウスにおけるセレクタ・キーの動作に類似している。しかし、クリック事象中、実際の「クリック」は生じない。

画像化システム１０には、人間の指の画像を表わした画像データ５０をキャプチャーするための画像取得装置１００と、画像データ５０を処理して、クリック事象を検出するための画像処理システム２００が含まれている。以下で用いられるように、「指」という用語には、任意の人体部分（例えば、手指、親指、足指、舌等）が含まれる。

画像取得装置１００には、ユーザが指２０を押し付けて、指２０を移動させることが可能な上面１１５を備えたフィンガ・インターフェイス１１０が含まれている。上面１１５は、フラットにすることもできるが、あるいは、わずかに湾曲させるほうが望ましいかもしれない。例えば、凸状に湾曲させると、上面１１５の検知領域を拡大するのに役立つ。検知領域は、上面１１５に押し付けられた指２０の画像をキャプチャーするため焦点が合わせられた上面１１５の一部である。望ましい実施態様の場合、検知領域には、フィンガ・インターフェイス１１０の上面１１５全体が含まれる。フィンガ・インターフェイス１１０は、フィンガ・インターフェイス１１０の上面１１５を照射する光源１２０から放出された光に対して透明なガラスまたは他の耐摩耗性材料から形成することが可能である。

フィンガ・インターフェイス１１０は、装置１００が少なくとも指の先端の一部の画像をキャプチャーできるようにするのに十分なサイズを備えている。実施態様の１つでは、フィンガ・インターフェイス１１０は、少なくとも一次元において人間の指の先端領域より狭い検知領域をもたらすように、細長い形状をしている。人間の指の先端領域は、一般的な９×１２ｍｍの検知領域と定義される。図１に示す軸を利用すると、実施態様の１つにおいて、フィンガ・インターフェイス１１０は、ｙ方向に細長い。一例を挙げると、フィンガ・インターフェイス１１０は、ｙ方向において約７〜９ｍｍで、ｘ方向において１ｍｍである。他の実施態様には、領域の拡大という代償を払って性能の向上を可能にするため、領域によっては２ｍｍまで、フィンガ・インターフェイス１１０をｘ方向に拡大することが可能なものもある。

図１に示すように、ユーザの指２０は、指先から指２０の付け根までの指２０の全長がほぼｘ方向に向き、指２０の両側間にわたる指２０の幅がほぼｙ方向に向くようにして、フィンガ・インターフェイス１１０上に載せられる。従って、指２０の全長は、図示のように、フィンガ・インターフェイス１１０の細長い方向に対して直交しているので、指２０の幅にわたる、指２０の先端の一部の画像がキャプチャーされることになる。ただし、云うまでもないが、他の実施態様の場合には、指２０の全長は、フィンガ・インターフェイス１１０の細長い方向に対して任意の配向をとることが可能である。例えば、指２０の全長は、フィンガ・インターフェイス１１０の細長い方向に対して平行にすることが可能である。図９Ａには、細長いフィンガ・インターフェイス１１０を組み込んだ電子装置の一例が示されている。

他の実施態様には、フィンガ・インターフェイス１１０を横切る指の動きを必要とせずに、指の完全な画像がキャプチャーされるように、フィンガ・インターフェイス１１０をエリア・インターフェイス（図９Ｃに示すように）とすることが可能なものもある。さらに他の実施態様には、フィンガ・インターフェイス１１０を、米国特許第６，０５７，５４０号明細書に示され、解説されているタイプのロッド・レンズとすることが可能なものもある。図９Ｂには、ロッド・レンズを組み込んだ電子装置の一例が示されている。

光源１２０は、任意の適合する電磁放射線（光１２５）源とすることが可能である。例えば、制限するわけではないが、光源１２０は、単一発光ダイオード（ＬＥＤ）、フィンガ・インターフェイス表面１１５の異なる部分を照射するように配置された複数ＬＥＤ、または、所望の平均強度で光１２５を放出するように設計されたＬＥＤアレイとすることが可能である。光源１２０から放出される光１２５の波長は、人間の皮膚からの光１２５の反射を最大にし、反射光１２８と望ましくない光信号の識別を可能にするように選択される。さらに、光１２５の波長は、ユーザまたはメーカの選好に基づいて選択することも可能である。例えば、メーカによっては、特定の用途において、赤色光よりも青色光を選択する可能性がある。光源１２０は、安定した照射量または可変照射量の連続モードで「オン状態」にするか、あるいは、光源１２０をパルス動作でオン／オフして、平均光量のサーボ制御により露光を制御する、デューティ・サイクル・モードで「オン状態」にすることが可能である。照射強度は、任意の既知技法を用いて制御することが可能である。

照射光学素子（図示しない）を利用して、所望の入射角でフィンガ・インターフェイス１１０に光１２５を向けることも可能である。例えば、照射光学素子は、ＬＥＤドーム・レンズ、または、光の損失量を最小限に抑えて、フィンガ・インターフェイス１１０に光１２５を送る光パイプから構成することが可能である。当該技術において既知のように、不透明材料を照射するのに望ましい入射角は、５〜２０度の範囲内のかすめ角である。この範囲の入射角であれば、画像化される物体に固有の構造特徴を表わした画像データのＳ／Ｎ比が高くなる。しかし、皮膚の透明性のために、ユーザの指２０の画像を表わす画像データ５０を適切にキャプチャーするのに、こうした斜角は必要ではない。従って、入射角の選択は、主として、用いられるＬＥＤの数およびタイプ、ｚ方向における画像取得装置１００の厚さ、および、用いられる光学素子（照射および画像転送）といった、画像取得装置１００の設計によって決まる。さらに、他の実施態様では、入射角に応じて、全内反射（ＴＩＲ）メカニズムまたは反射光メカニズムを利用して、フィンガ・インターフェイス１１０の表面１１５に光１２５を送ることが可能なものもある。

指２０の先端をフィンガ・インターフェイス１１０の上面１１５に押し付けると、微小テクスチャの特徴と総称される、皮膚の隆線および凹線が、上面１１５の平面において観測できる。画像転送光学系１３０によって、それらの微小テクスチャの特徴から反射した光１２８は、ＣＣＤ（電荷結合素子）、ＣＭＯＳ−ＡＰＳ（相補型金属酸化膜半導体−アクティブピクセル・センサ）、または、当該技術において既知の他の任意のタイプの光センサとすることが可能な、光画像センサ１４０の一部をなす光検出器アレイに送られる。光画像センサ１４０は、拡大／縮小機構を併用することによって、シリコン領域を縮小することができるので、熱または容量性画像センサよりも望ましい。熱および容量性画像センサは、一般に、検知領域と同等のサイズのシリコン領域を必要とする。さらに、容量性画像センサは、静電気放電に影響されやすい可能性があり、このため、Ｓ／Ｎ比が低下し、従って、画像が劣化する可能性がある。

光画像センサ１４０は、各光検出器において測定される反射光１２８の強度を表わした画像データ５０の形で、微小テクスチャの特徴の画像を得る。各光検出器によって、画像の画素（ピクセル）がキャプチャーされ、全てのピクセルを組み合わせて、完全な画像が形成される。光検出器は、例えば、フィンガ・インターフェイス１１０の形状に対応する形状のアレイをなすように配列されたフォトダイオードまたはフォトトランジスタとすることが可能である。例えば、フィンガ・インターフェイス１１０がｙ方向に細長い場合、センサ１４０もｙ方向に細長くすることが可能である。細長いアレイのサイズは、光学素子の倍率によって決まる。例えば、ある実施態様の場合、光学素子の倍率は、１：３の比率で１未満である。従って、検知領域（上面１１５）のサイズが９ｍｍ×１ｍｍの場合、センサ１４０のサイズは、３ｍｍ×０．３ｍｍしか必要ないことになる。指先２０の特徴は、人間の裸眼で検分するのに十分な大きさがあるので、センサ１４０のコストを低減し、さらに、画像取得装置１００のサイズも縮小するため、１未満の倍率を用いて、センサ１４０領域を縮小することが可能である。ただし、云うまでもないが、画像取得装置１００のサイズ制約条件およびメーカの選好に従って、１未満、ほぼ１、または、１を超える他の倍率を利用することも可能である。

各光検出器は、５〜６０μｍ四方の感光領域を備えており、光検出器間の間隔は、センサ１４０の所望の空間解像度を実現するように設計されている。例えば、３ｍｍ×０．３ｍｍのピクセル領域上において、９ｍｍ×１ｍｍの指検知領域で４００ｄｐｉの解像度を実現するには、２１μｍ×２１μｍのサイズの１４４×１６個の光検出器が必要になる。所望の解像度にもかかわらず、光検出器のサイズ、および、光検出器間の間隔は、画像の微小テクスチャの特徴毎に少なくとも１つの（できれば、２つ以上の）光検出器を備えるように構成されており、光検出器アレイの全体サイズは、いくつかの微小テクスチャの特徴を備えた画像を受けるのに十分な大きさにされている。

画像センサ１４０は、画像データ５０を処理して、クリック事象を検出することが可能な画像処理システム２００内のプロセッサ２１０に画像データ５０（例えば、ピクセルのｒａｗ値）を供給する。プロセッサ２１０は、任意のマイクロプロセッサ、マイクロコントローラ、または、画像データ５０の処理およびクリック事象の検出が可能な他の処理装置とすることが可能であり、画像センサ１４０と同じチップに埋め込むことも可能である。画像センサ１４０は、さらに、クリック事象の検出に用いられるように、プロセッサ２１０に画像信号５５を供給することも可能である。他の実施態様には、プロセッサ２１０によって画像データ５０を処理して、クリック事象の検出に用いられる画像信号５５を決定することが可能なものもある。

実施態様の１つでは、画像信号５５は、指の動きの量および方向を確認するナビゲーション情報の信頼性を表わしたトラッキング品質信号とすることが可能である。もう１つの実施態様では、画像信号５５は、画像のキャプチャーに利用されるシャッタ速度に対応するシャッタ速度信号とすることが可能である。さらにもう１つの実施態様では、画像信号５５は、画像と表面パターン標識との一致を表わす一方向性信号とすることが可能である。これらの画像信号については、それぞれ、図４Ａ〜図４Ｃに関連してさらに詳細に後述することにする。ただし、云うまでもないが、図４Ａ〜図４Ｃに解説の画像信号の代わりに、または、それに加えて、他の画像信号を利用することも可能である。

プロセッサ２１０は、画像信号５５を利用して、指持ち上げ動作または指下ろし動作といった指のクリック動作を検出する。タイマ２３０によってモニタされる設定可能時間範囲内における、または、所定の記憶されている設定可能時限までにおける指持ち上げ動作と指下ろし動作の組み合わせに基づいて、プロセッサ２１０は、シングル・クリック、ダブル・クリック、または、トリプル・クリックといったクリック事象を検出することが可能である。例えば、実施態様の１つでは、指持ち上げ動作が生じ、それに指下ろし動作が後続すると、シングル・クリック事象が検出されるが、ここで、指持ち上げ動作と指下ろし動作は、設定可能時間範囲内において時間的に離隔している。もう１つの実施態様では、設定可能時間範囲内において時間的に離隔した２つのシングル・クリック事象が生じると、ダブル・クリック事象が検出される。

画像化システム１０は、単一電子装置内に、または、複数電子装置内に含むことが可能である。例えば、画像取得装置１００は、マウスのような遠隔電子装置に実装可能であり、一方、画像処理システム２００は、マウスに対するインターフェイスを備えたパーソナル・コンピュータに実装可能である。もう１つの例として、画像取得装置１００および画像処理システム２００は、両方とも、携帯電話、ラップトップ・コンピュータ、または、ＰＤＡのような小型電子装置および／または携帯電子装置に実装可能である。もちろん、画像化システム１０全体が単一電子装置に実装される場合には、画像処理システム２００は、画像取得装置１００内に含むこともできるし、あるいは、画像取得装置１００に接続することも可能である。

画像取得装置１００は、電子装置の要件によって決まるｚ方向の厚さを有している。例えば、多くの電子装置では、５ｍｍ未満の厚さが指示されている。電子装置の厚さ仕様内において画像取得装置１００を構成するため、光の光学通路を折り返したり、あるいは、光学素子のサイズを縮小するための各種技法を利用することが可能である。例えば、本願出願人によるいくつかの米国特許出願の明細書を参照すると、本発明に利用することが可能なタイプの折り返し光学素子および縮小サイズ光学素子の例が示されている。

次に図２Ａおよび図２Ｂを参照すると、典型的な指のクリック動作が例示されている。図２Ａには、指持ち上げ動作が例示され、図２Ｂには、指下ろし動作が例示されている。図２Ａに示すように、ユーザの指が、フィンガ・インターフェイス１１０の上面１１５からｚ方向に離れるところが示されている。この動作は、指持ち上げ動作２４０と呼ばれる。図２Ｂには、ユーザの指が、フィンガ・インターフェイス１１０の上面１１５に向かってｚ方向に近づくところが示されている。この動作は、指下ろし動作２５０と呼ばれる。

次に図３を参照すると、指持ち上げおよび指下ろし動作の検出は、部分的に、画像取得装置１００によって撮影される画像の微小テクスチャの特徴の視認性に基づいている。こうした微小テクスチャの特徴には、画像化される指先の一部の隆線２５ａおよび凹線２５ｂが含まれている。指２０から反射して、フィンガ・インターフェイス１１０を透過する光１２８は、光学素子１３０によって、光検出器１４５のアレイを備えた画像化センサ１４０に集束させられる。光学素子１３０は、指紋の一部（例えば、指紋の隆線２５ａまたは指紋の凹線２５ｂ）から反射した光１２８を対応する光検出器１４５に集束させて、フィンガ・インターフェイス１１０の検知領域内において見ることが可能な指紋２５を表わした画像データを生じさせる。

次に図４Ａ〜図４Ｃを参照すると、画像データおよび画像データに関連した他の情報から、指持ち上げ動作または指下ろし動作といった指のクリック動作の検出に用いられる、１つ以上の画像信号を生成することが可能である。画像信号の変化をモニタすることによって、指持ち上げ動作および指下ろし動作を検出することができる。特定の画像信号の値の変化が、指のクリック動作の生じたことを表わしているか否かを判定するため、画像信号に関連した典型的な値および典型的な変化を考慮すべきである。典型的な値および変化は、特定の用途に向けたものであり、部分的に、画像取得装置の内部照射パターン、ユーザの指からの予測反射率、必要な感度、および、他の変数によって決まる可能性がある。従って、図４Ａ〜図４Ｃにおける事象を表わした信号変化は、例証のために示されただけのものであって、指のクリック動作の検出に必要な変化量または値を正確に表わしていない場合もあり得る。

実施態様の１つでは、図４Ａに示すように、画像信号の１つは、フィンガ・インターフェイスを横切る指の動きを追跡するシステムの能力に関連した、画像の質を測定するために用いられるトラッキング品質信号とすることが可能である。例えば、トラッキング品質は、指が表面にしっかりと触れていないために、指に焦点が合わない場合、または、指が隆線の方向に動く場合、不十分または低くなったと考えられる。

図４Ａにおいて、トラッキング品質信号は、新しい画像が撮影される毎に、時間と対照してグラフ化されている。現在のトラッキング品質信号の値と前のトラッキング品質信号の値を比較することによって、指持ち上げ動作および指下ろし動作を検出することが可能である。例えば、時間（Ｔ₁）におけるトラッキング品質信号値が、直前のトラッキング品質信号値未満の場合、指持ち上げ動作２４０を検出することが可能である。画像のトラッキング品質の下落は、多くの場合、ユーザの指がフィンガ・インターフェイスから離れ、従って、画像の焦点が悪化していることを表わしている。同様に、時間（Ｔ₂）におけるトラッキング品質信号値が、直前のトラッキング品質信号値を超える場合、指下ろし動作２５０を検出することが可能である。

もちろん、指のクリック動作は、他のまたは付加的な数学的または分析プロセスを用いて検出することも可能である。例えば、指のクリック動作は、トラッキング品質信号しきい値を利用して検出することが可能である。現在のトラッキング品質信号値が変化して、第１のトラッキング品質信号しきい値未満になると、指持ち上げ動作を検出することが可能であり、現在のトラッキング品質信号値が変化して、第２のトラッキング品質信号しきい値を超えると、指下ろし動作を検出することが可能である。トラッキング品質信号しきい値は、現在のトラッキング品質信号値と直前のトラッキング品質信号値との単純な比較に関連して利用することも可能である。トラッキング品質信号しきい値を利用すると、間違った指のクリック動作検出回数の減少、および／または、クリック事象を検出するためのより正確な時間期間の設定が可能になる。もう１つの例として、現在のトラッキング品質信号値と、前回トラッキング品質信号値および後続トラッキング品質信号値の両方との比較に基づいて、指のクリック動作を検出することも可能である。

指持ち上げ動作２４０および指下ろし動作２５０のいずれかの検出は、それだけで、クリック事象を表わすものではない。クリック事象の発生を表わすのは、設定可能な時間期間内における、指持ち上げ動作２４０と、それに後続する指下ろし動作２５０の組み合わせである。従って、時間Ｔ₁における指持ち上げ動作２４０の検出と時間Ｔ２における指下ろし動作２５０との時間差（∈Ｔ₁）は、クリック事象が発生したか否かを表わしている。同様に、もう１つの指持ち上げ動作２４０の検出（例えば、時間Ｔ₃における）ともう１つの指下ろし動作２５０（例えば、時間Ｔ₄における）との時間差（例えば、∈Ｔ₃）は、クリック事象がもう一度発生したか否かを表わしている。

図５Ａには、指持ち上げ動作の検出と指下ろし動作の検出との時間差（∈Ｔ₁および∈Ｔ₃）をグラフ化した時間線が示されている。時間線は、時間Ｔ₀における指持ち上げ動作の検出時から開始される。クリック事象を検出することが可能な設定可能時間期間が、Ｔｃ＿ｍｉｎとＴｃ＿ｍａｘとの間として示されている。クリック事象には、一般に、指持ち上げ動作と指下ろし動作との間の短い時間がある。従来のマウスと同様、この時間期間は、それぞれに異なるユーザに合わせて設定することが可能である。しかし、一般的な時間期間は、Ｔｃ＿ｍｉｎ＝０．１秒の最小値とＴｃ＿ｍａｘ＝０．３秒の最大値との範囲内である。指持ち上げ動作の検出と指下ろし動作の検出との時間差が、この設定可能な時間期間の範囲外である場合、指持ち上げ動作の検出は、ただ単に、セッションの終了を表わすものにすぎない可能性があり、従って、クリック事象は検出されない。

次に図５Ｂを参照すると、Ｔｄ＿ｍｉｎとＴｄ＿ｍａｘとして表示された、連なったクリック事象間の時間期間をモニタすることによって、シングル・クリックが生じたか、あるいは、複数（ダブル、トリプル等）クリックが生じたかを判定することも可能である。図５Ｂの時間線は、時間Ｔ₀における第１のクリック事象の完了検出時（クリック事象の指下ろし動作検出時）から開始される。シングル・クリック時間期間と同様、複数クリック時間期間も、それぞれに異なるユーザおよびそれぞれに異なる用途に合わせて別々に設定することが可能である。従って、図４Ａに示すように、第１のクリック事象の終了検出時（Ｔ₂）と第２のクリック事象の開始検出時（Ｔ₃）との時間差（∈Ｔ₂）が、Ｔｄ＿ｍｉｎとＴｄ＿ｍａｘの間である場合、ダブル・クリックが検出される。他の実施態様では、複数クリック事象の検出に用いられる時間差は、用途に応じて、第１のクリック事象の開始検出から第２のクリック事象の開始または終了検出までの間、または、第１のクリック事象の終了検出から第２のクリック事象の終了検出までの間で測定可能なものもある。同様の時間期間を利用して、トリプル・クリック事象以上のクリック事象を検出することも可能である。

もう一度図４Ｂおよび図４Ｃを参照すると、トラッキング品質信号以外の画像信号を利用して、指持ち上げ動作および指下ろし動作を検出することが可能である。例えば、図４Ｂに示すように、画像信号は、画像のキャプチャーに用いられるシャッタ速度を指定するシャッタ速度信号とすることも可能である。シャッタ速度は、ピクセル値の読み取り前に、センサが、光を検出する時間期間を表わしている。シャッタ速度が速くなると、検出時間が短くなる。センサは、シャッタ速度を制御して、ダイナミック・レンジの広い画像が得られるようにする。シャッタ速度が不適切であると、暗すぎるか、明るすぎる画像が生じ、ダイナミック・レンジが制限される。シャッタ速度信号値は、検査される指の皮膚の色、背景照明レベル、および、指の配置に応じて変化する。従って、シャッタ速度は、指がフィンガ・インターフェイスと接触しているか否かによって変化することになる。

図４Ａに関連して上述したように、現在のシャッタ速度信号値と前のシャッタ速度信号値を比較するか、または、他の数学的または分析プロセスによって、指持ち上げ動作および指下ろし動作を検出することが可能である。例えば、時間（Ｔ₁）におけるシャッタ速度信号値が、直前のシャッタ速度信号値（不図示）未満の場合、指持ち上げ動作２４０を検出することが可能である。シャッタ速度の低下は、多くの場合、ユーザの指がフィンガ・インターフェイスから離れ、従って、ユーザの指によって反射される光のレベルが低下していることを表わしている。同様に、時間（Ｔ₂）におけるシャッタ速度信号値が、直前の（時間Ｔ₁における）シャッタ速度信号値を超える場合、指下ろし動作２５０を検出することが可能である。画像が明るくなるほど、シャッタ速度が速くなり、検出時間が短くなる。

図４Ｃに示すように、指持ち上げ動作または指下ろし動作の検出に利用可能なもう１つの画像信号は、画像と表面パターン標識の一致を測定する一方向性信号である。指紋は、一般に、同じ方向に向いた多くの隆線から構成されている。指紋における渦巻きは、一般に、指先の腹近くに存在するが、タッピングために用いられるのは、爪の伸びている付近の指先の先端部である。従って、検知領域内におけるタッピングに用いられる指領域に存在するのは、主として側方の隆線である。従って、一方向性信号によって、画像内におけるこうした側方の隆線（表面パターン標識）の視認性が測定される。

図４Ａに関連して上述のように、現在の一方向性信号値と前の一方向性信号値を比較するか、または、他の数学的または分析プロセスによって、指持ち上げ動作および指下ろし動作を検出することが可能である。例えば、時間（Ｔ₁）における一方向性信号値が、直前の一方向性信号値未満の場合、指持ち上げ動作２４０を検出することが可能である。一方向性信号値の低下は、多くの場合、ユーザの指がフィンガ・インターフェイスから離れ、従って、指紋の側方の隆線の視認性が低下していることを表わしている。同様に、時間（Ｔ₂）における一方向性信号値が、直前の（時間Ｔ₁における）一方向性信号値を超える場合、指下ろし動作２５０を検出することが可能である。一方向性信号値が増すのは、指紋の側方の隆線の焦点が合うようになることに相当する。

下記の表は、指のクリック動作（指持ち上げ動作および指下ろし動作）およびクリック事象の検出とさまざまな画像信号値とを相関させたものである。

次に図６Ａを参照すると、指のクリック動作を検出するための典型的なプロセス６８０が例示されている。画像を取得すると（ブロック６００）、画像に関連した現在の画像信号が生成される（ブロック６０５）。現在の画像信号を分析して（ブロック６１０）、指持ち上げ動作または指下ろし動作といった、指のクリック動作が生じたか否かが判定される（ブロック６１５）。指のクリック動作が生じた場合、指のクリック動作の検出が表示される（ブロック６２０）。指のクリック動作が検出されない場合、後続画像が得られ（ブロック６００）、指のクリック動作が検出されるまで、このプロセスが繰り返される。

次に図６Ｂを参照すると、クリック事象を検出するための典型的なプロセス６８０が例示されている。図６Ａにおいて上述のように、指持ち上げ動作を検出すると（ブロック６２５）、指持ち上げ時間が確認され（ブロック６３０）、指下ろし動作が検出されるまで、図６Ａに示す指のクリック動作検出プロセスが繰り返される（ブロック６３５）。指下ろし動作が検出されると（ブロック６４０）、指下ろし時間が確認され（ブロック６４５）、指持ち上げ時間と比較される。指下ろし時間と指持ち上げ時間との差が、所定の設定可能時限内であれば（ブロック６５０）、クリック事象が検出される（ブロック６５５）。別様であれば、後続の指持ち上げ動作が検出されるまで（ブロック６２５）、このプロセスが繰り返される。

もちろん、図６Ｂに示すプロセスの付加または代替プロセスを利用して、クリック事象を検出することも可能である。例えば、タイマを利用して、指持ち上げ動作の検出と指下ろし動作の検出との間の時間をモニタすることが可能であり、タイマ値、または、タイマが満了しているかまたは満了していないかによって、クリック事象が生じたか否かを表わすことが可能である。

図６Ｃには、複数クリックを検出するための典型的なプロセスが例示されている。図６Ｂにおいて上述のように、クリック事象が検出されると（ブロック６６０）、第１のクリック時間が確認され（ブロック６６５）、第２のクリック事象が検出されるまで、図６Ｂに示すクリック検出プロセスが繰り返される（ブロック６７０）。第２のクリック事象が検出されると（ブロック６７５）、第２のクリック時間が確認され（ブロック６８０）、第１のクリック時間と比較される。第２のクリック時間と第１のクリック時間の差が、所定の設定可能時限内にある場合（ブロック６８５）、ダブル・クリック事象が検出される（ブロック６９０）。別様であれば、シングル・クリック事象が検出される（ブロック６９５）。

もちろん、図６Ｃに示すプロセスの付加または代替プロセスを利用して、複数クリック事象を検出することも可能である。例えば、タイマを利用して、第１のクリック事象の検出と後続クリック事象の検出との間の時間をモニタすることが可能であり、タイマ値、または、タイマの満了または非満了によって、複数クリック事象が生じたか否かを表わすことが可能である。

図７は、本発明の画像化システム１０の典型的なハードウェアおよび処理コンポーネントを例示したブロック図である。画像化システム１０には、それに投射された画像をキャプチャーして、その画像を表わすアナログ信号３４５を発生するための光検出器アレイ１４８を備えたセンサ１４０が含まれている。行デコーダ３１０および列デコーダ３２０が、光検出器アレイ１４８の行および列を選択して、ピクセル値を表わしたアナログ信号３４５を読み取り、光検出器をリセットする。アナログ信号３４５は、列増幅器３３０によって増幅されて、プログラマブル利得回路３４０に供給された後、アナログ・ディジタル変換器（ＡＤＣ）３５０によって対応するディジタル信号３５５に変換される。ＡＤＣ３５０は、２５フレーム／秒〜５００フレーム／秒の速度で動作可能な６ビット、８ビット、または、１０ビットＡＤＣとすることが可能である。

画像化システム１０には、さらに、プロセッサ２１０によるディジタル信号３５５の処理に適したモードを選択するためのモード・スイッチ２２０が含まれている。クリック検出プロセスと選択モードを関連させて用いることが可能である。例えば、選択モードは、指の動きによってスクリーン上におけるカーソル位置を制御するフィンガ・ナビゲーション・モード、または、フィンガ・ストロークを利用して、簡便かつ効率よく、書記文字、数、句読記号、および、他の情報伝達の書記形式が表示されるスタイラス・モードとすることが可能である。さらに、画像化システムは、キャプチャーされた指紋の画像と指紋の記憶済みの画像を比較して、ユーザを認証する指認識モードといった、クリック・プロセスを利用しない他のさまざまなモードで動作可能である。

例えば、フィンガ・ナビゲーション・モードでは、ディジタル信号３５５が、モード・スイッチ２２０によって、ナビゲーション・エンジン３７０に供給され、前の画像と比較した現在の画像の移動方向および量を表わすナビゲーション情報３７５が確認される。いくつかの異なる機構を利用して、フィンガ・ナビゲーション・モード、指認識モード、および、スタイラス・モード中に用いられるナビゲーション情報を確認することが可能である。

例えば、ここで、引用することにより、その開示の全てが本明細書の一部をなすものとする米国特許第６，１７２，３５４号明細書、発明の名称「ＯＰＥＲＡＴＯＲ ＩＮＰＵＴ ＤＥＶＩＣＥ」に記載のように、動きは、前の画像のサンプル領域におけるパターンと現在の画像の全可視領域のパターンを相互相関させることによって検出される。円調和関数を利用して、前の画像と比較した現在の画像の動きを求め、回転不変ナビゲーション情報が得られるようにする。本明細書において、その開示の全てを引用することにより、本願の一部をなすものとする米国特許第６，１９５，４７５号明細書、発明の名称「ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ ＦＯＲ ＨＡＮＤＨＥＬＤ ＳＣＡＮＮＥＲ」には、ナビゲーション情報を確認するためのもう１つの方法の記載がある。米国特許第６，１９５，４７５号明細書では、サンプル・フレームと基準フレームとの関係を表わす相関データの相関曲面を一般的な２次元テイラー級数展開としてモデル化して、基準フレームとサンプル・フレームの両方に含まれる基準特徴の変位を確認する。ここで、引用することにより、その開示の全てが本明細書の一部をなすものとする米国特許第５，５７８，８１３号明細書、発明の名称「ＦＲＥＥＨＡＮＤ ＩＭＡＧＥ ＳＣＡＮＮＩＮＧ ＤＥＶＩＣＥ ＷＨＩＣＨ ＣＯＭＰＥＮＳＡＴＥＳ ＦＯＲ ＮＯＮ−ＬＩＮＥＡＲ ＭＯＶＥＭＥＮＴ」には、もう１つのナビゲーション機構が教示されている。米国特許第５，５７８，８１３号明細書に記載のナビゲーション機構は、順次フレーム内における特徴位置を比較することによって、画像データの順次フレームを相関させる。

ナビゲーション・エンジン３７０は、クリック・エンジン２６０とインターフェイスして、フィンガ・ナビゲーション・モード中におけるクリック事象を検出することが可能である。信号プロセッサ３６０は、クリック事象の検出に用いられる画像信号５５を生成して、クリック・エンジン２６０に供給する。画像信号５５は、画像を表わすディジタル信号３５５に基づいて生成することもできるし、あるいは、画像センサ１４０から直接得られたセンサ情報から生成することも可能である。従って、特定の画像に関する画像信号５５が得られるが、その画像信号は、画像データそれ自体を表わすディジタル信号３５５と直接的な関係がない可能性がある。実施態様によっては、信号プロセッサ３６０は、センサ１４０自体の内部に実装することが可能である。クリック・エンジン２６０は、タイマ２３０にアクセスして、指持ち上げ動作と指下ろし動作との間の時間、および、順次クリック事象間の時間を測定し、生じたのがシングル・クリックか、複数クリックか、あるいは、クリックが生じなかったのかを判定する。クリック・エンジン２６０は、さらに、ユーザによって実施されたクリック・タイプを（指を持ち上げただけか、シングル・クリックか、または、複数クリックかを）識別するクリック情報２６５を出力する。

スタイラス・モードの場合、ディジタル信号３５５が、モード・スイッチ２２０によって、ナビゲーション・エンジン３７０に供給され、移動方向および量を表わすナビゲーション情報３７５が確認される。ナビゲーション情報３７５は、スタイラス・エンジン３９０に供給され、ナビゲーション情報３７５と文字、数、句読記号、および、他の情報伝達の書記形式（今後は、文字と総称する）の識別に用いられるフィンガ・ストロークが相関させられる。ナビゲーション・エンジン３７０は、さらに、クリック・エンジン２６０とインターフェイスして、指持ち上げ動作がいつ生じたかを表わすクリック情報２６５を受信し、そのクリック情報２６５をスタイラス・エンジン３９０に供給して、ある文字の完了と別の文字の開始を指示する。スタイラス・エンジン３９０は、ホスト（またはプロセッサ）が、画像取得装置を組み込んだ電子装置に結合されたディスプレイ上において、ユーザに対応する文字を表示するために利用可能な文字コード３９５を出力する。例えば、ディスプレイは、携帯電話のＬＣＤのように、電子装置上に配置することが可能である。もう１つの例として、ディスプレイは、画像取得装置を組み込んだマウスに接続された、パーソナル・コンピュータに接続されているスクリーン上に配置することも可能である。もちろん、ナビゲーション・エンジン３７０、指紋エンジン３８０、および、スタイラス・エンジン３９０には、上述の機能を実施するために必要なハードウェア、ソフトウェア、および／または、ファームウェアが含まれており、オブジェクト指向プログラミングを含む任意のタイプのプログラミング技法を利用して、プログラミングを施すことが可能である。

指認識モードの場合、ディジタル信号３５５が、モード・スイッチ２２０によって、指紋エンジン３８０に供給され、指紋と前に記憶された指紋とが照合される。画像取得装置の検知領域が、単一画像内において指紋の完全な画像をキャプチャーするのに十分でなければ、ユーザが画像取得装置のフィンガ・インターフェイス上において指を動かす際に複数画像を撮影することが可能であり、それらの画像にステッチをかけて、指紋の１つの完全な画像が得られるようにすることが可能である。ステッチングが必要な場合、画像のステッチングに備えて、現在の画像と前の画像とのオーバラップ量を決定するため、ディジタル信号３５５は、モード・スイッチ２２０によってナビゲーション・エンジン３７０にも供給され、移動量（ナビゲーション情報３７５）が求められる。指紋の完全なディジタル画像を形成するのに必要なディジタル画像の数は、検知領域、フレーム・レート、および、指の動作速度に応じて変化する。しかし、結果生じる完全なディジタル画像にステッチをかけて、７ｍｍ×１２ｍｍまたは９ｍｍ×１２ｍｍ（フィンガ・インターフェイスのサイズによって決まる）の全検知領域に相当するディジタル信号セットを形成するのが望ましい。こうしたディジタル信号は、指紋照合に十分な数の細部（指紋における末端および分岐部）を得るために必要である。指紋エンジン３８０は、指紋の完全な画像または指紋照合の分析結果を表わすことが可能な指紋情報３８５を出力する。

モード・スイッチ２２０は、ユーザの所望する用途に従ってユーザがトグルするか、タスクの完了時にトグルするようにプリセットするか、あるいは、その両方とすることが可能である。例えば、実施態様の１つでは、モード・スイッチ２２０は、指認識モードに初期設定し、確実な指紋認証が行われると、自動的に、フィンガ・ナビゲーション・モードまたはスタイラス・モードにトグルすることが可能である。他の実施態様では、上述のクリック・プロセスを利用して、モード・スイッチをトグルすることが可能なものもある。

図８Ａおよび図８Ｂには、画像取得装置１００の実装設計の２例が示されている。画像取得装置１００は、簡略化のため、矩形ハウジング５５０内に組み込まれているものとして示されている。ただし、云うまでもないが、他の形状および設計も可能である。さらに、ハウジング５５０の上面５６０は、画像取得装置１００を実装する電子装置の表面の一部を形成することが可能である。フィンガ・インターフェイス１１０は、ハウジング５５０の上面５６０から上方に突き出して、ユーザが位置を確かめ、探りやすい表面を形成している。さらに、フィンガ・インターフェイス１１０は、図示のように、フィンガ・インターフェイス１１０と接触する指領域を拡大するため、凸状表面１１５を備えている。図８Ｂには、さらに、フィンガ・インターフェイス１１０を横切る指の動きをある非回転動作をなすようにガイドする、ハウジング５５０の上面５６０の機械的に設計されたグルーブ５６５が例示されている。フィンガ・ナビゲーションおよび指認識中における指の回転を減らすことによって、処理の複雑性が軽減される。

当業者には明らかなように、本出願において解説の新規の概念は、広範囲にわたる用途において修正および変更を加えることが可能である。従って、特許で保護される内容の範囲は、論考した特定の典型的な教示のいずれかに制限すべきではなく、代わりに、添付の請求項によって定義される。

画像取得システムおよびクリック事象を検出可能な画像処理システムを備えた画像化システムを例示したブロック図である。 本発明の実施態様による指持ち上げ動作および指下ろし動作の絵画的表現図である。 本発明の実施態様による画像取得装置の主要コンポーネントの拡大された略断面図である。 クリック事象の検出に利用されるさまざまな画像信号を例示したグラフである。 クリック事象の検出に利用されるさまざまな画像信号を例示したグラフである。 クリック事象の検出に利用されるさまざまな画像信号を例示したグラフである。 シングル・クリック事象およびダブル・クリック事象の検出を例示したタイムチャートである。 指のクリック動作を検出するための典型的なプロセスを例示したフローチャートである。 クリック事象を検出するための典型的なプロセスを例示したフローチャートである。 シングル・クリック事象およびダブル・クリック事象を検出するための典型的なプロセスを例示したフローチャートである。 本発明の画像化システムの典型的なハードウェアおよび処理コンポーネントを例示したブロック図である。 画像取得装置パッケージの平面図である。 本発明の画像化システムを実装するさまざまな電子装置を例示した図である。

符号の説明

１０ 画像化システム
２０ 指
１１０ フィンガ・インターフェイス
１１５ フィンガ・インターフェイスの表面
１２０ 光源
１４０ 光画像センサ
２００ 画像処理システム

Claims (10)

1. 光センサの検知領域内における人間の指の一部の画像に関連した画像信号を受信するステップと、
   前記画像信号を分析して、前記画像信号が指のクリック動作を表わしているか否かを判定するステップと
   を含んでなる指のクリック動作を検出するための方法。
2. 前記分析ステップが、前記画像信号と前に受信した画像信号を比較し、前記画像信号と前に受信した画像信号との差が指のクリック動作を表わしているか否かを判定するステップを有することを特徴とする請求項１に記載の方法。
3. 前記分析ステップが、前記画像信号としきい値を比較し、前記画像信号が指のクリック動作を表わしているか否かを判定するステップを有することを特徴とする請求項１に記載の方法。
4. 前記画像信号に基づいて指のクリック動作を検出するステップと、
   もう１つの指のクリック動作が検出されるまで、少なくとも１つの追加画像について、前記受信ステップと前記分析ステップを繰り返すステップと
   をさらに有する請求項１に記載の方法。
5. 前記クリック動作の前記検出ステップが、前記光センサの前記検知領域から前記人間の指の一部が離れる動きを示す指持ち上げ動作を検出するものであり、
   前記繰り返しステップが、前記人間の指の先端の一部が前記光センサの前記検知領域に向かう動きを示す指下ろし動作を検出するものであり、
   前記指持ち上げ動作の検出に引き続いて、ある設定可能な時間範囲内に、前記指下ろし動作が検出されると、シングル・クリック事象を検出するステップをさらに有することを特徴とする請求項４に記載の方法。
6. ある設定可能な複数クリック時間範囲内に検出される２つ以上のシングル・クリック事象を含む、複数クリック事象を検出するステップをさらに有することを特徴とする請求項５に記載の方法。
7. 前記画像信号が、前記画像のトラッキング品質を測定するトラッキング品質信号と、前記画像のキャプチャーに用いられるシャッタ速度を指定するシャッタ速度信号と、前記画像と表面パターン標識との一致を測定する一方向性信号とから構成されるグループから選択されることを特徴とする請求項１に記載の方法。
8. フィンガ・ナビゲーション・モード、指認識モード、または、スタイラス・モードのいずれかである選択動作モードにおいて、前記光センサの前記検知領域内にある前記人間の指の一部の動きから生じる一連の画像を表わした画像データの処理を行なうステップと、
   前記指のクリック動作の検出に関連したクリック情報を提供するステップと、
   前記クリック情報を利用して前記選択動作モードを選択するステップと
   をさらに有することを特徴とする
   請求項１に記載の方法。
9. 人間の指の少なくとも一部を押し付けることが可能なその表面に検知領域を備えるフィンガ・インターフェイスと、
   光を発して、前記フィンガ・インターフェイスの前記表面に押し付けられた前記人間の指の前記一部を照射する光源と、
   前記人間の指の前記一部から反射した光をその画像としてキャプチャーし、指のクリック動作の検出に用いるため、前記画像に関連した画像信号を送り出す光画像センサと
   を有する画像化システム。
10. 前記画像信号を受信して、前記画像信号を分析し、前記画像信号が指のクリック動作を表わしているか否かを判定するように接続された画像処理システムがさらに含まれ、
    前記画像処理システムが、前記指のクリック動作の検出を示すクリック情報をさらに出力することを特徴とする請求項９に記載の画像化システム。
    
    

Images