JP2006073008A - スクリーンポインタの位置を制御する装置 - Google Patents

Abstract

【課題】 光学ナビゲーションにおける固定パターンノイズを低減する。
【解決手段】 反射された画像を生成するために、イメージング面１２４を照明するように構成された光源１１８と、該反射された画像に基づいてデジタル画像を生成し、該デジタル画像に基づいて移動計算を行い、該移動計算に基づいてイメージング面１２４と装置１００との間の相対的な移動を示す移動データを生成するように構成されたナビゲーションセンサ１０２であって、該移動計算は前記デジタル画像内の固定されたパターンノイズを減衰することを含むものであるナビゲーションセンサ１０２とを含んでなる、スクリーンポインタの位置を制御する装置１００を提供する。
【選択図】 図１

Description

コンピュータおよびそのディスプレイを使用するために手動で操作されるポインティングデバイスを使用することは、ほぼ一般的になっている。種々のタイプのポインティングデバイスのある形態は、マウスパッドと共に使用する従来の（機械式）マウスである。機械式マウスは、典型的には、マウスの移動とともにマウスパッド上を転がる、ゴム面により覆われた鋼鉄製の球を含む。マウスの内部にはローラまたはホイールがあり、ローラまたはホイールは、ボールの赤道部（equator）と接触し、マウスの移動の直交する成分を表す電気信号へとボールの回転を変換する。これらの電気信号はコンピュータに結合されており、コンピュータではソフトウェアが信号に応答して、マウスの移動に従ってΔＸとΔＹだけポインタ（カーソル）の表示位置を変える。

従来の機械式マウスなどの機械的なタイプのポインティングデバイスに加えて、光学ポインティングデバイスも開発されている。光学ポインティングデバイスのある形態では、指またはデスクトップなどのナビゲーション面と光学ポインティングデバイス内のイメージセンサとの間の相対的な移動を光学的に感知して、移動情報へと変換する。光源は、ナビゲーション面を照明して、相対的な移動を感知するためにイメージセンサが受信した反射された画像を生成する。光源は、非コヒーレント光源または部分コヒーレント光源でありうる。

光学ポインティングデバイスにおいて典型的に使用される電子イメージセンサは、主に、電荷結合素子（ＣＣＤ）と、相補型金属酸化膜半導体の能動ピクセルセンサ（ＣＭＯＳ−ＡＰＳ）との２つのタイプである。両方のタイプのセンサは、典型的には、パターンに構成された多くの光検出器（たとえばピクセル）のアレイを含む。各個別の光検出器は、光検出器の位置に入射する光の強度に比例する大きさを有する信号を出力するように動作する。そして、これらの出力信号を処理して操作し、複数の個別の画素（ピクセル）を含む画像を生成する。画像内の各ピクセルはイメージセンサ内の光検出器のうち１つに対応する。

イメージセンサとナビゲーション面との間の相対的な移動のトラッキングは、時間と共に生成される画像を、相関アルゴリズムを使用して比較することに基づく。動いている間に連続的に生成される画像について各ピクセル位置において測定された光強度の変化は、移動の量および方向を明らかにする。従って、イメージセンサがナビゲーション面を移動すると、これらの強度変調は絶えず変動し、これらの変動する強度変調はコンピュータ上でポインタをガイドするための情報を提供する。

しかし、これらの光学ポインティングデバイスは、典型的には固定パターンノイズ、すなわちイメージセンサの移動に従って変化しない生成またはキャプチャされた画像内の強度の変調に敏感である。すなわち、この固定パターンノイズは、ナビゲーション面とイメージセンサとの間の相対的な移動から生じるものではない。その代わりに、固定パターンノイズは、イメージセンサ中の欠陥ピクセル、および／または、粒子の汚染、光源の不均一性から生じる。生成された画像のこの部分は時間と共に変わることはないので、この固定パターンノイズは、ナビゲーション面に対するイメージセンサの移動を決定するのを妨げる。したがって、この相対的な移動を非常に正確にトラッキングするためには、この固定パターンノイズを除去または補償することが必要である。

デジタルイメージセンサはシリコンの欠陥等の不純物の汚染など、製造エラーからいくつかの欠陥ピクセルをしばしば含むので、デジタルイメージセンサは固定パターンノイズの１つの源となりうる。欠陥ピクセルは、入射光に不適切に応答するので、キャプチャされた画像内に固定パターンノイズとして観察される不正確なセンサ値を生成する。欠陥ピクセルの種類は、主に、高いスタック、低いスタック、または異常な感度との３つである。高いスタックのピクセルは非常に高いかフルスケールに近い出力を有し、低いスタックのピクセルは非常に低いかゼロに近い出力を有する。感度異常ピクセルは、同じ光の条件に曝露されたときに所定の量を超える隣接ピクセルとは異なるセンサ値を生成する。光学ポインティングデバイスのイメージセンサが高いスタックピクセルまたは低いスタックピクセルなどの欠陥ピクセルを含む場合には、これらのピクセルからの値は変わらないので、ナビゲーション計算をゆがめてエラーの原因となる。感度異常ピクセルからの値は変更することができるが、そのような感度異常ピクセルは予測通りに動作しないのでエラーの原因となりうる。

製造工程後および顧客の使用中に発生する他の状態によっても、一部のピクセルは、欠陥ピクセルのようにしばしば作動し、固定パターンノイズを生成する場合がある。ほこり、または、汚れ、繊維などの外部粒子汚染がアレイに付き、光アレイの一部のピクセルを遮断し、欠陥ピクセルのような動作を招くことがある。ほこりまたは汚れは、照明源または集光光学素子にも付き、ナビゲーション面の照明を不均一にし、最終的には、生成された画像内のピクセルが欠陥ピクセルのような動作をする原因となる。最後に、コヒーレント光源を含む光学ポインティングデバイスは、非コヒーレント光源を有する光学ポインティングデバイスより固定パターンノイズからのエラーの影響を受けやすい。

さらに、光源自体の不均一は、粒子汚染とは無関係に、光検出器アレイの一部のピクセルの表示を非常に「暗く」し、これによって欠陥ピクセルのような動作を示して固定パターンノイズを生成する場合がある。この状況により、比較的きれいなガウスビームを生成するために、使用されるレーザのタイプおよびパッケージングに特別の制限が生まれる。特別なパッケージング被覆（packaging cans）および高性能レーザ源は、光学ポインティングデバイスのコストを上げる。これらのコストの高い光源であっても、光学ポインティングデバイスは、イメージセンサ内の欠陥ピクセルおよび／または粒子の汚染に対して敏感でありうる。

以上の理由により、光学ナビゲーションにおける固定パターンノイズは依然として問題である。

本発明の一形態は、スクリーンポインタの位置を制御する装置を提供する。この装置はイメージング面を照明して反射された画像を生成する光源を含む。この装置は、ナビゲーションセンサを含み、反射された画像に基づいてデジタル画像を生成し、デジタル画像に基づいて移動計算を行い、移動計算に基づいてイメージング面と装置の間の相対的な移動を示す移動データを生成する。ここで、移動計算は、デジタル画像内の固定パターンノイズを減衰することを含む。

以下の詳細な記載では、本明細書の一部を形成し、本発明を実行する特定の実施形態を例示するための付随する図面を参照する。この点に関して、「上」、「下」、「前」、「後」「リーディング」「トレーリング」などの方向を指す用語は、説明する図面（複数可）の方向を参照するのに使用される。本発明の実施形態の構成要素は多くの異なる方向に配置されるので、方向を示す用語は例として使用されるものであって限定するために使用されるものではない。本発明の範囲から逸脱することなく、他の実施形態も使用でき、構造的または論理的な変更も可能であることを理解されたい。したがって、以下の詳細な説明は限定的な意味として理解すべきではなく、本発明の範囲は添付の請求項によって定義される。

背景技術の部分に説明したように、粒子の汚染、光源の不均一性、製造欠陥による固定パターンノイズは、特にコヒーレント照明を使用する光学ポインティングデバイスの性能に悪影響を与えうる。これらの光学ポインティングデバイス内の固定パターンノイズを完全に除去するのは難しい。

したがって、本発明の一形態は、固定パターンノイズに対処する補償機構を提供する。一実施形態では、補償は、画像を取得した後にナビゲーションプロセッサが行なう、画像のデジタル処理の中に含まれる。本発明の一形態では、ナビゲーションプロセッサが行なうデジタル処理または計算は、取得したデジタル画像内の画像効果に対して低い感度（すなわち高い許容範囲）を有する。従って、本発明の一形態は、光学ポインティングデバイスがキャプチャしたデジタル画像から固定パターンノイズを分離またはフィルタリングすることにより、固定パターンノイズを減衰する方法を提供する。

補償機構はコヒーレント照明または部分コヒーレント照明に対して特に有効なので、これを使用して、非コヒーレント光源を使用する光学ポインティングデバイス内の固定パターンノイズを減衰することができる。また、非コヒーレント光学ポインティングデバイスも、コヒーレント光源を使用する光学ポインティングデバイスよりも目立たないが、同じ固定パターンノイズの源により性能が低下する。したがって、本発明の補償機構は、コヒーレント光源だけに制限されるものではない。

図１は、本発明の一実施形態による光学ポインティングデバイス１００の主な構成要素示す構成図である。光学ポインティングデバイス１００は、光学ナビゲーションセンサ集積回路（ＩＣ）１０２と、光源１１８と、レンズ１２０とを含む。光学ナビゲーションセンサ１０２は、デジタル入出力回路１０６と、ナビゲーションプロセッサ１０８と、アナログデジタルコンバータ（ＡＤＣ）１１２と、光検出器アレイ（光アレイ）１１４と、光源ドライバ回路１１６とを含む。一実施形態では、光学ポインティングデバイス１００は、デスクトップパーソナルコンピュータ、ワークステーション、ポータブルコンピュータまたはその他のデバイスのための光学マウスである。別の実施形態では、光学ポインティングデバイス１００は、光学的に指紋を感知するポインティングデバイスまたはその他のポインティングデバイスとして構成される。

動作においては、一実施形態によれば、光源１１８は、デスクトップまたは他の適切なイメージング面であるナビゲーション面１２４上へと光１２２を放射し、反射された画像が生成される。一実施形態では、光源１１８は、コヒーレント光源または少なくとも部分コヒーレント光源である。一実施形態では、光源１１８はレーザである。本発明の一形態では、光源１１８は、面発光型半導体レーザ（ＶＣＳＥＬ）ダイオードである。本発明の別の形態では、光源１１８は、端面放射型レーザダイオードである。他の実施形態では、光源１１８は、発光ダイオード（ＬＥＤ）光源などの非コヒーレント光源である。

本発明の一形態では、光源１１８は、シングルモードレーザまたはマルチモードレーザを含み、種々のパッケージングカンに収容され、保護ガラスカバーはある場合もない場合もある。特に、本発明の実施形態は固定パターンノイズの影響を最小限にする機能があるため、従来コヒーレント光源に関連した厳格な設計上の制約およびテスト制約（例えばノイズバンド制限）を緩和することができる。したがって、典型的にはＬＥＤ光源と共に使用される安価な光源パッケージカンをレーザ光源に使用することができ、また、高価なシングルモードダイオードの代わりにマルチモードダイオードなどの安価なレーザ光源を使用することができる。

光源１１８はドライバ回路１１６によって制御され、ドライバ回路１１６は制御線１１０を介してナビゲーションプロセッサ１０８によって制御される。一実施形態では、ナビゲーションプロセッサ１０８は、制御腺１１０を使用してドライバ回路１１６への電力供給をオンまたはオフにして、これに対応する光源１１８への電力供給をオンまたはオフにする。

表面１２４から反射した光は、レンズ１２０によって光検出器アレイ１１４上へと導かれる。光検出器アレイ１１４中の各光検出器（ピクセルと呼ぶ）は、光検出器の入射光の強度に基づいて大きさが変わる信号を提供する。光検出器アレイ１１４からの信号は、アナログデジタルコンバータ１１２に出力される。アナログデジタルコンバータは、信号を適切な解像度（例えば８ビット）のデジタル値へと変換する。デジタル値は、デスクトップもしくは光学ポインティングデバイス１００の下にある他のナビゲーション面の一部のデジタル画像またはデジタル表現を表す。アナログデジタルコンバータ１１２が生成したデジタル値は、ナビゲーションプロセッサ１０８に出力される。ナビゲーションプロセッサ１０８が受信したデジタル値は、メモリ１１１内にフレームとして記憶される。

好ましくは、光検出器アレイ１１４の全体の大きさは、いくつかの特徴を有する画像を受信することができるほど十分に大きい。このような空間的な特徴の画像は、光学ポインティングデバイス１００がナビゲーション面１２４を移動すると共に、ピクセル情報の変換されたパターンを生成する。アレイ１１４内の光検出器の数と、これらの内容がキャプチャされてデジタル化されるフレームレートとは、光学ポインティングデバイス１００が面上を移動してさらにトラッキングできる速度に共に影響を与える。ナビゲーションプロセッサ１０８は、新しくキャプチャされたサンプルフレームとすでにキャプチャされている基準フレームとを比較して、移動の方向および量を確認することによりトラッキングを行なう。この画像比較を介したトラッキングは、既知のパターン認識方法、相互相関（cross-correlation）法、または画像の移動データを計算する他の既知の画像比較方法を使用して行なうことができる。

一実施形態では、ナビゲーションプロセッサ１０８は、一連のフレームの相互相関を行なって移動情報を決定する。本発明の一形態では、ナビゲーションプロセッサ１０８は、フレームのうちの１つのフレーム全内容を、（１つオーバー、１つオーバーと１つダウン、１つダウン、１つアップ、１つアップと１つオーバー、別の方向に１つオーバーなどの）１つのピクセルオフセット試行シフトが許可する８つの各方向について、連続的に１つのピクセルの距離だけシフトする。これは、多くとも８つの試行になる。さらに、移動がない場合もあるので、第９の試みである「ヌルシフト（null shift）」も使用される。各試行シフトの後に、ナビゲーションプロセッサ１０８は、ピクセル毎にフレームの互いに重複する部分を引き、得られた差を好ましくは二乗して合計し、この重複領域内の同一性（相関）の測定値を形成する。別の実施形態では、（たとえば、２つオーバーと１つダウンなどの）より大きな試行シフトを使用してもよい。最小の違い（最大の相関性）を伴う試行シフトが、２つのフレーム間の移動指標として得られる。すなわち、これは生の移動情報を提供し、この生の移動情報をスケーリングまたは蓄積して、便利な細分度の移動情報（ΔＸおよびΔＹ）を適切な情報交換レートで提供することができる。これは、データ線および制御線１０４上のデジタル入力／出力回路１０６によってホストデバイスに出力される。また、光学ポインティングデバイス１００は、データ線および制御線１０４を介して、ホストデバイスからデータと制御信号を受信するように構成される。

本発明の一形態では、記載されたピクセルシフト方法は、多数のピクセルオフセットシフトを使用して行うことができる。

本発明の一形態では、上述した連続的な不変のデジタル画像を画像比較して移動情報を決定するのではなく、ナビゲーションプロセッサ１０８は、連続的に修正されたデジタル画像に基づいて画像比較を行って移動を計算し、ほこりまたは他の源など取得されたデジタル画像内の固定ノイズパターンを減衰するように構成される。

デバイス１００がキャプチャしたデジタル画像内の固定パターンノイズの源により、ピクセルは、不適切なピクセル値を有するが経時的な変化はほとんどない。したがって、本明細書では、粒子汚染によって影響を受けたピクセルを欠陥ピクセルまたは固定ノイズピクセルと呼ぶ。固定ノイズピクセルは、粒子汚染の他に、光アレイ内のシリコン欠陥などの他の問題が原因の場合もある。固定ノイズピクセルは「オン」または「オフ」の状態だけを示すピクセル、望ましい強度より大きいかまたは小さい強度を生成するピクセル、または、矛盾した動作またはランダムな動作を伴うピクセルなどの、異常なピクセルまたは動作しないピクセルを含むものとして定義される。欠陥の原因が何であっても、これらのピクセルは、キャプチャされたデジタル画像の中にほぼ一貫したパターンのノイズを形成する。これを固定ノイズパターンと呼ぶ。

本発明の一形態は、欠陥の原因にかかわらず、一般に固定ノイズピクセルに対して低い感度を有する移動データを生成する方法を提供する。次に、図２から図７を参照して、本発明の種々の実施形態によってナビゲーションプロセッサ１０８が行うノイズを減衰する移動計算を説明する。

図２は、本発明の一実施形態によるナビゲーションプロセッサ１０８の主な構成要素を示す構成図である。本発明の一形態では、ナビゲーションプロセッサ１０８は、メモリ１１１と、画像コンパレータ１５０と、ノイズ減衰装置１６０とを含む。本発明の一形態では、画像コンパレータ１５０は、相関モジュール１５２を含む。また、本発明の別の形態では、画像コンパレータ１５０は、パターン認識モジュール１５４を含む。ノイズ減衰装置１６０は、画像バッファ１６２を含み、固定ノイズ分離装置１６４および／または固定ノイズフィルタ１６６をさらに含む。

画像コンパレータ１５０は、アナログデジタルコンバータ１１２から得られた連続的なデジタル画像を使用し、これらを比較して移動の量および方向を決定する。画像コンパレータ１５０の相関モジュール１５２は連続的なデジタル画像の相互相関比較を行って移動計算を行ない、パターン認識モジュール１５４は連続的なデジタル画像内のパターンを比較して移動計算を行なう。

ノイズ減衰装置１６０は、（たとえばサンプル画像と基準画像などの）デジタル画像のコピーを画像バッファ１６２内に記憶し、これを使用して、画像コンパレータ１５０内で移動データを計算するのに先立って、固定パターンノイズを識別して減衰する。特に、移動が生じると、デジタル画像のコピーは画像バッファ１５２内に記憶されて、そして（たとえば、５０フレーム、１００フレーム、１５０フレーム、２００フレーム、またはこれ以上のフレームごとに）定期的に、ピクセル毎に記憶された画像の平均値を算出し、固定ノイズのパターンを明らかにすることによって合成画像を構成する。そして、ノイズ減衰装置１６０は、この固定パターンノイズのパターンを使用してデジタル画像を修正してから移動データを計算する。これによって、固定パターンノイズを補償しながら光学ポインティングデバイスの移動情報を正確に生成する。

本発明の一形態では、ノイズ減衰装置１６０の固定ノイズ分離装置１６４は、デジタル画像の固定ノイズピクセルを他の可変ノイズまたは低ノイズ部分から分離または除去することにより、固定ノイズパターンを減衰するように動作する。本発明の別の形態では、ノイズ減衰装置１６０の固定ノイズフィルタ１６６は、論理演算を介してピクセル毎にデジタル画像（たとえば比較するサンプル画像と基準画像）を修正し、固定パターンノイズの強度に対応する量だけ各ピクセル値の強度から差し引くことによって、固定ノイズパターンを減衰するように動作する。次に、図３から図７に示す移動データを生成する方法を含む本発明の実施形態と関連して、画像バッファ１６２と固定ノイズ分離装置１６４と固定ノイズフィルタ１６６とを含むノイズ減衰装置１６０をより詳細に説明する。

図１では、ノイズ減衰装置１６０は、ナビゲーションプロセッサ１０８の一部として示されているが、本発明の別の形態では、ノイズ減衰装置１６０は、ナビゲーションプロセッサ１０８の外に配置された別のモジュールを含みうる。この構成では、ノイズ減衰装置１６０は、アナログデジタルコンバータ１１２とナビゲーションプロセッサ１０８との間に配置され、ノイズ減衰装置１６０は、アナログデジタルコンバータ１１２からのデジタル画像を操作してから、ナビゲーションプロセッサに入力して画像比較および関連処理を行なう。

図３は、本発明の一実施形態による移動データを生成する方法２００を示すフロー図である。一実施形態では、方法２００は光学ポインティングデバイス１００を使用して行われ、別の実施形態では、方法２００は移動データを生成する他のデバイスを使用して行われる。方法２００は、第１の部分２０２と第２の部分２０４とを含む。第１の部分２０２と第２の部分２０４とは、移動データ生成の、異なるが関連した側面を表す。第１の部分２０２と第２の部分２０４とは、一般に、定期的な相互作用で互いに平行して同時に動作する。特に、方法２００の第１の部分２０２は、一般に、基準画像およびサンプル画像を取得することと、これらを比較して移動情報を決定するといったシーケンスを繰り返すことにより、移動情報を生成することを表す。方法２００の第２の部分２０４は、一般に、移動が起きたときにサンプル画像（方法２００の第１の部分２０２で取得された）を記憶することと、大量の記憶されたサンプル画像の合成フレームを構成し、サンプル画像内に一貫している固定ノイズを識別すること、方法２００の第１の部分２０２において比較した各基準画像およびサンプル画像からこの固定ノイズを減衰することを表す。従って、第１の部分２０２は第２の部分２０４に画像を供給し、第２の部分２０４は後から第１の部分２０２へのフィードバック機構として動作し、第１の部分２０２において行なわれた計算から固定ノイズを減衰する。

方法２００の第１の部分２０２は、ボックス２１０において光アレイ１１４を介して基準画像を得ること、ボックス２１２において光アレイ１１４を介してサンプル画像を得ることを含む。取得した画像はアナログデジタルコンバータ１１２によってデジタル画像に変換され、デジタル画像はナビゲーションプロセッサ１０８へと出力される。２１４では、ナビゲーションプロセッサ１０８は、デジタルサンプル画像および基準画像から固定パターンノイズを任意選択的に減衰する。すなわち、ナビゲーションプロセッサ１０８は、移動計算の一部として方法２００の第２の部分２０４から情報を使用して固定ノイズを軽減する時と頻度について制御を保持する。したがって、固定ノイズパターンに関するサンプル画像および基準画像の補正を連続的に行ってもよく、または、ナビゲーションプロセッサ１０８によって選択された時間または間隔で行ってもよい。

図３の２１６では、ナビゲーションプロセッサ１０８は、画像コンパレータ１５０を介して基準画像およびサンプル画像について画像比較を行い、比較に基づいて移動の大きさおよび方向を決定する。画像比較は、相関モジュール１５２もしくはパターン認識モジュール１５４、または他の画像比較技術のいずれかを使用して、ナビゲーションプロセッサ１０８を介して行なうことができる。

図３の２１８では、ナビゲーションプロセッサ１０８は、ステップ２１６において行った画像比較に基づいて移動情報を生成し、デジタル入出力回路１０６を介して移動情報をホストデバイスに出力する。さらに、（２１２において取得された）この移動情報およびサンプル画像のコピーは、出力経路２１９を介して方法２００の第２の部分２０４の決定ボックス２５０に出力される。

方法２００の２２０では、基準画像をサンプル画像に置き換える。このサンプル画像は、方法２００の次の繰り返しに関して基準画像となる。そして、２１２において別のサンプル画像を取得し、方法２００は、２１４または２１６の開始から繰り返される。方法２００は、任意の所望の回数だけ繰り返すことができる。

方法２００の第２の部分２０４は、複数の記憶されたサンプル画像を使用して補償機構を提供し、（２１４において）基準画像およびサンプル画像から固定パターンノイズを減衰してから、方法２００の第１の部分２０２の２１６において画像比較を行なう。特に図３の２５０に示すように、出力経路２１９を介して２１８から出力された移動情報を評価し、移動があったかどうかを決定する。少なくとも半ピクセルの移動を含む移動を、これらの目的のための移動とみなす。ナビゲーション面に対するイメージセンサの移動がなかった場合には、第２の部分２０４の経路に沿った別の動作は行なわれない。

移動があった場合には、図３の２６０において、第２の部分２０４の経路を完了する。この経路は、方法２００の第１の部分２０２からの最も新しいサンプル画像のコピーを画像バッファ１６２に記憶する第１の動作を含む。もちろん、移動があるたびに、最も新しいサンプル画像を画像バッファ１６２内に記憶する。

方法２００の２６２では、画像バッファ１６２内のすべてのサンプル画像を定期的に組み合わせて合成画像を構成する。合成画像は、記憶された画像の各ピクセルについての平均値を含み、平均強度値は、画像についてピクセル毎に計算される。一実施形態では、約１万の記憶されたサンプル画像を使用して合成画像を構成する。本発明の一形態では、各サンプル画像を画像バッファ１６２中に記憶すると、サンプル画像とすでに記憶されているサンプル画像との平均値を、ピクセル毎に計算する。このようにして、新しい各サンプル画像は、画像バッファ１６２内にすでに記憶されている画像から生成された連続的なサンプル画像の合成にすぐに組み込まれる。合成画像を構成するために使用する画像の数を（例えば、５０、１００、１５０、２００以上に）変えることができ、また、画像は、固定パターンノイズの特有の画像効果を検出するのに十分な大きさのフレームの数に相応するように選択される。合成画像を構成するために使用するフレームの数は、独特な固定ノイズパターンが発生した頻度、および／または、光学ポインティングデバイス使用時に観察された固定ノイズパターンの量／大きさ、他の因子に応じて、（数をより多くするか少なくするなどを）選択して変更することができる。

本発明の別の形態では、２６２において、各サンプル画像は、画像バッファ１６２に記憶されて収集され、複数のフレームが記憶されてからこれらのサンプル画像を単一の合成画像へと平均化する。この合成画像の中で使用される画像の数は、上述したように選択される。

方法２００の２６４では、合成画像を評価して、あらかじめ定義されたノイズ閾値を超える強度値を有するピクセル位置を識別する。これらのピクセル位置は、固定ノイズピクセル、すなわち移動データの正確な生成を混乱させるほど高い持続的なノイズレベルを有するピクセルであるとみなされる。あらかじめ定義されたノイズ閾値は、画像コンパレータ１５０が許容できるノイズの量によって決定される。また、このノイズ閾値は、アナログデジタルコンバータ１１２の性能特性およびナビゲーションプロセッサ１０８内の従来の画像フィルタリング設定にも関する。

フレームごとに異なるノイズをピクセル毎に平均化すると比較的小さい強度値が生成されるが、一方、フレームごとに一般に同じ位置にとどまるノイズはピクセル毎に平均化すると比較的高い強度値が生成されるため、多数のフレーム（すなわちサンプル画像）の平均に基づいて合成画像を構成することにより、固定ノイズピクセルと可変ノイズピクセルとの間のコントラストが強調される。すなわち、合成画像の中では、多くのフレームにわたって一定して同じ位置にある高ノイズのピクセルは、多くのフレームにわたって位置または強度が変わる他のノイズピクセルよりはるかに明るく表示される。この機能により、移動情報内において固定パターンノイズによるエラーを識別する機能が緩和され、エラーが限定される。

本発明の一形態では、固定ノイズピクセルまたは固定ノイズパターンの検出は、掃除または他の動作により光学ポインティングデバイス１００のメンテナンスを行ない、検出された固定ノイズを改善するという警告の形態によって、ナビゲーションセンサ１０２を介してユーザに伝えることができる。

２６６では、ピクセル毎に、サンプル画像と基準画像とのピクセルに対応する合成画像から、固定パターンノイズのマップを構成する。本発明の一形態では、固定ノイズのマッピングされた情報は、出力経路２８０を介して、方法２００の第１の部分２０２の２１４に出力される。ここで、この固定パターンノイズのマップを使用してサンプル画像および基準画像を減衰し、固定パターンノイズに対する感度を低減してから２１６において画像比較および移動計算を行なう。

別の形態の実施形態では、２６２において合成画像を構成した後に、この合成画像を出力経路２８２を介して、方法２００の第１の部分２０２の２１４にすぐに出力し、これを使用してサンプル画像および基準画像から固定パターンノイズを減衰してから、２１６において画像比較および移動計算を行なう。

したがって、方法２００の第１の部分２０２は、連続的に実行され、光学ポインティングデバイスの一般的な動作に関する移動動作を生成する。この間に、方法２００の第２の部分２０４は、並列的に実行され、第１の部分２０２と第２の部分２０４との間では継続的に相互作用が行なわれる。特に、情報は、第１の部分２０２の繰り返すときに、最も新しいサンプル情報および移動情報のコピーの形態で、（出力経路２１９を介して）第２の部分２０４に渡される。さらに、（２６２において生成される）合成画像または（２６６において生成される）固定ノイズマップなどの情報は、出力経路２８２または２８０を介して第１の部分２０２にそれぞれ戻される。

図４は、２１４（図３）で方法２００の一部として行われるように、光学ポインティングデバイス１００の固定パターンノイズを減衰する方法３００を示すフロー図である。３０２において、（方法２００の第２の部分２０４の２６６から取得された）サンプル画像および基準画像を固定パターンノイズのマップと比較して、サンプル画像および基準画像において、固定ノイズマップ内の高ノイズピクセルの位置に対応するピクセル位置を識別する。３０４では、サンプル画像および基準画像において固定ノイズパターンのマップ上の高ノイズピクセルに対応するピクセルを除去することによって、修正されたサンプル画像および基準画像を構成する。３０６では、修正されたサンプル画像および基準画像を供給し、互いを相対的に比較して移動データを生成する。ナビゲーションセンサ１０２を使用して方法３００を行なう時には、この画像比較は、ナビゲーションプロセッサ１０８の画像コンパレータ１５２が行う。修正されたサンプル画像および基準画像の比較に基づいた移動データは、デジタル画像の残りの部分から固定パターンノイズを分離することにより、固定パターンノイズが比較的に除かれた移動情報を生成するので、移動計算は、固定パターンノイズを含まない移動データをもつピクセルだけについて行われる。

図５は、移動計算を行う際に可変ノイズピクセルまたは低ノイズピクセルから一貫した高ノイズピクセルを分離するために図４の方法３００において使用される、固定パターンノイズと修正されたデジタル画像とのマップを視覚的に示した図である。方法３００は、ナビゲーションプロセッサ１０８（図２を参照）のノイズ減衰装置１６０の分離装置モジュール１６４、または他の適切なモジュールにより行うことができる。マップ３５０は、固定ノイズピクセル３５６と、通常ピクセル領域３５２と、固定ノイズパターン領域３５４とを含む。方法３００において使用されるように、領域３５４の大きさおよび形状は、固定ノイズピクセル３５６を囲み、これらを可変ノイズピクセルおよび／または低ノイズピクセルを囲む部分３５２から分離するように選択される。そして、固定ノイズマップの領域３５４をガイドとして使用して、残りのピクセル部分３６２からサンプルまたは基準画像３６０の領域３６４内のピクセル（位置が領域３５４に対応するピクセル）を除去して、これらの固定ノイズピクセルを画像比較から除去し、移動情報を生成する。

図６は、方法２００の一部として２１４において行われるように（図３）、図１に示す光学ポインティングデバイス１００の移動データを生成する方法４００を示すフロー図である。方法４００は、ナビゲーションプロセッサ１０８（図２）のノイズ減衰装置１６０のフィルタモジュール１６４、または他の適切なシステムにおいて行うことができる。方法４４０では、４０２において、論理演算装置を介して、（図３の方法２００の２６２において生成された画像である）合成画像を供給し、ピクセル毎に基準画像およびサンプル画像について各ピクセル値を調節して、修正されたサンプル画像および基準画像を構成する。論理演算装置は、サンプル画像および基準画像のピクセル値にピクセル毎に合成画像のピクセル値を適用し、サンプル画像内および基準画像内の固定パターンノイズを減衰する、（たとえば減算器、乗算器、除算器、加算器などの）任意の１以上の論理演算を含む。この演算により、サンプル画像および基準画像からの持続的な高ノイズピクセル、すなわち固定ノイズピクセルを効果的にフィルタリングして除去することができる。

このフィルタリングの後に、方法４００の４０４では、修正されたサンプル画像および基準画像を供給して互いに相対的に比較して移動データを生成する。ナビゲーションセンサ１０２を使用して方法３００を行う時には、ナビゲーションプロセッサ１０８の画像コンパレータ１５２が画像比較を行う。修正されたサンプル画像および基準画像の比較に基づいた移動データにより、デジタル画像の各ピクセルから任意の量の固定パターンノイズをピクセル毎にフィルタリングすることにより、固定パターンノイズを比較的含まない移動情報が生成される。最後にこのフィルタリング方法４００を使用して、方法３００（図４および図５）、または方法２００の第２の部分２０４の２６４、２６６（図３）で行ったように、固定ノイズパターンのマップを構成することなく、固定ノイズを減衰することができる。

図７は、図６の方法４００の動作の側面を示す図である。図７に示すように、サンプル画像および基準画像４１０はピクセル４１１を含み、固定ノイズマスク４１２は画像４１０のピクセル４１１の位置に対応するピクセル４１３を含む。（たとえば減算器、除算器、乗算器、加算器などの）論理演算４１４は、複合マスク４１２のピクセル４１３の値をサンプル／基準画像４１０のピクセル４１１に供給して、固定パターンノイズがフィルタリングされたピクセル４１７を有する修正されたサンプルおよび基準画像４１６を生成する。

本発明の実施形態により、経時的に持続する高ノイズピクセルを識別するガイドとして、記憶されたサンプル画像を使用し、これらを移動計算から分離するかまたはサンプル画像および基準画像からフィルタリングして除去することにより、異なる源から生じる固定ノイズパターンが存在していても、光学ポインティングデバイスを継続して使用することができる。これらの実施形態は、非コヒーレント照明であってもコヒーレント照明でであっても有効である。さらに、固定ノイズパターンまたは固定ノイズピクセルの検出を使用して、掃除または他の作業の形態のデバイスのメンテナンスが必要であるという警告をユーザにすることができる。

当業者には理解されるように、ナビゲーションプロセッサ１０８、画像コンパレータ１５０、および／または、ノイズ減衰装置１６０を含む光学ポインティングデバイス１００および５００によって実行される機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらを任意に組み合わせた形式により実施できる。この実施は、マイクロプロセッサ、プログラマブル論理デバイス、状態マシンを介して行うことができる。本発明の構成要素は、１以上のコンピュータに読み取り可能な媒体上でソフトウェア内に常駐することができる。本明細書において使用されるコンピュータに読み取り可能な媒体という用語は、たとえば、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリなどの揮発性または不揮発性の任意の種類のメモリを含む用語として定義される。

本明細書では特定の実施形態を図示および記述したが、当業者であれば、本発明の範囲から離れることなく、図示されて説明された特定の実施形態の代わりに種々の代替および／または等価の実施が可能であることを理解するであろう。本出願は、本明細書に記載された特定の実施形態の任意の適応例または変形例をカバーすることを意図している。したがって、本発明は、請求項および請求項の均等物によってのみ限定されることを意図している。

本発明の一実施形態による光学ポインティングデバイスの主な構成要素を示す構成図である。 本発明の一実施形態による光学ポインティングデバイスの別の構成要素を示す構成図である。 本発明の一実施形態による光学ポインティングデバイスによって移動データを生成する方法を示すフロー図である。 本発明の一実施形態による、デジタル画像から固定パターンノイズを分離する、移動データを生成する方法を示すフロー図である。 本発明の一実施形態による、移動データを生成する方法と関連する固定パターンノイズのマップを示す図である。 本発明の一実施形態による、デジタル画像内の固定パターンノイズをフィルタリングする、移動データを生成する方法を示すフロー図である。 本発明の一実施形態による、移動データを生成する方法と関連する固定パターンノイズのフィルタリングを示す図である。

符号の説明

１００ 光学ポインティングデバイス
１０２ 光学ナビゲーションセンサ集積回路
１０４ データ制御線
１０６ デジタル入出力回路
１０８ ナビゲーションプロセッサ
１１１ メモリ
１１２ アナログデジタルコンバータ
１１４ 光検出器アレイ
１１６ 光源ドライバ回路
１１８ 光源
１２０ レンズ
１２２ 光
１２４ ナビゲーション面
１５０ 画像コンパレータ
１５２ 相関モジュール
１５４ パターン認識モジュール
１６０ ノイズ減衰装置
１６２ 画像バッファ
１６４ 固定ノイズ分離装置
１６６ 固定ノイズフィルタ

Claims (10)

1. 反射された画像を生成するために、イメージング面を照明するように構成された光源と、
   該反射された画像に基づいてデジタル画像を生成し、該デジタル画像に基づいて移動計算を行い、該移動計算に基づいて前記イメージング面と前記装置との間の相対的な移動を示す移動データを生成するように構成されたナビゲーションセンサであって、該移動計算は前記デジタル画像内の固定されたパターンノイズを減衰することを含むものであるナビゲーションセンサと
   を含んでなる、スクリーンポインタの位置を制御する装置。
2. 前記ナビゲーションセンサは、画像コンパレータとノイズ減衰装置とを含むプロセッサを含み、前記画像コンパレータは、その各々がデジタル画像を比較して移動計算を行うように構成されるパターン認識モジュールと相互相関モジュールとのうち少なくとも１つを含むものである請求項１に記載の装置。
3. 前記ノイズ減衰装置は、画像バッファと、ノイズ分離装置およびノイズフィルタとのうちの少なくとも１つとを含んでおり、該画像バッファは、前記イメージング面に対してナビゲーションセンサが動くとデジタル画像を記憶するように構成されている請求項２に記載の装置。
4. 前記ノイズ減衰装置は、前記画像バッファに記憶され、画像の強度値がピクセル毎に平均化された複数の画像から複合画像を定期的に構成して複合画像を生成するものであり、
   前記ノイズ減衰装置のフィルタは、前記合成画像の平均ピクセル値をピクセル毎に論理演算を介して各デジタル画像に適用することによって、前記デジタル画像から固定パターンノイズを減衰するように構成されている請求項３に記載の装置。
5. 前記ノイズ減衰装置は、前記合成画像においてあらかじめ定義されたコントラスト閾値より大きなローカルコントラスト値を有するピクセル位置を高ノイズピクセルとして識別するように構成されている請求項３に記載の装置。
6. 前記ノイズ減衰装置は、高ノイズピクセルのマップを構成して固定パターンノイズの領域を識別するように構成されており、
   前記ノイズ減衰装置の分離装置は、移動計算に先立って、前記固定パターンノイズの領域内のピクセル位置に対応するピクセルを前記デジタル画像から除去するものである請求項５に記載の装置。
7. 前記ナビゲーションセンサにおける移動計算は、前記移動計算における連続的なデジタル画像の比較に先立って、固定ノイズ減衰マスクを前記デジタル画像に定期的に適用しながら、前記デジタル画像に基づいて移動計算を実質的に連続的に行うことを含む請求項１に記載の装置。
8. 前記固定ノイズ減衰マスクを適用することは、前記合成画像の各ピクセルがピクセル毎に計算された前記記憶された画像のピクセル値の平均である、複数の記憶されたデジタル画像の合成画像を構成することを含む請求項７に記載の装置。
9. 前記光源は、少なくとも部分コヒーレント光源と、非コヒーレント光源とのうちの少なくとも１つを含む請求項１に記載の装置。
10. 前記請求項１から９のいずれかに記載の装置を使用して光学ポインティングデバイスの移動データを生成する方法であって、
    少なくとも部分的にコヒーレントな光源によりイメージング面を照射して、反射された画像を生成するステップと、
    前記反射された画像に基づいてデジタル画像を生成するステップと、
    前記デジタル画像内の固定パターンノイズを減衰する移動計算を行うことを含む、前記デジタル画像に基づいて移動データを生成するステップと
    を含んでなる方法。

Images