JP2017525037A - ノイズ軽減のための方法および電子機器 - Google Patents

Abstract

本発明は、全体として、指紋センサによって獲得される画像の乱れを除去するための方法に関し、特に、ノイズ低減のために適用された方法に感知原理を組み込むことによる、取得された指紋画像のノイズの低減に関し、ノイズが低減した画像は、指紋パターンの表現を決定するために使用される。本発明の利点は、指紋センサを使用して獲得された指紋画像からの指紋パターンの決定の向上を含む。本発明はまた、対応する電子機器およびコンピュータプログラム製品に関する。

Description

本発明は、指紋センサによって獲得される画像の乱れを除去するための方法に関し、具体的には、ノイズ低減のために適用された方法に感知原理を組み込むことによる、取得された指紋画像のノイズの低減に関し、ノイズが低減した画像は、指紋パターンの表現を決定するために使用される。本発明はまた、対応する電子機器およびコンピュータプログラム製品に関する。

種々のタイプの生体認証システムが、電子機器にアクセスする際の安全性を向上し、それによってユーザの利便性を高めるために、ますます使われている。特に、指紋センサは、例えばその小さな形状要素、高い性能、およびユーザ受け入れのために、そのような機器にうまく統合されている。種々の利用可能な指紋感知原理（静電容量式、光学式、熱式等）の中で、静電容量感知が最も一般的に使われており、特に、大きさおよび電力消費が重要な課題である用途において使われている。

全ての容量指紋センサは、いくつかの感知素子と、指紋センサの表面に乗せられた指との間の静電容量を示す測定値を提供する。指紋画像の取得は、典型的には、二次元に配置された複数の感知素子を備える指紋センサを使って行われ、ブロックベース技術が、指紋画像を取得するための指紋センサに適用され、感知素子のブロックが順次サンプリングされうる。例として、一列に近接して配置された八つの感知素子のブロックが、同時にサンプリングされうる。

センサにおけるノイズの存在は、感知素子の各ブロックをサンプリングする際に読み取られるデータ値に誤差を導入する。この誤差は、グラウンドなど、一定のゼロオフセット基準から潜在的に変化するオフセットとして現れる。感知素子のブロックは順次スキャンされるため、およびセンサにおけるノイズの量は時間経過で変化しうるため、異なる誤差が感知素子の各ブロックで起こりうる。

このノイズ問題は、慣習的には、指紋センサのハードウェアを構成することによって補償されてきた。しかしながら、ソフトウェアまたはファームウェアのアプローチが、補償の量が柔軟に制御できるため、有利でありうる。また、ソフトウェアまたはファームウェアのアプローチは追加のシリコン領域またはシリコン開発スケジュールを消費せず、計算上、比較的安価である。

ノイズ軽減のための例示のソフトウェア実装は、ＵＳ２０１４／００１５７７４Ａ１に開示されており、取得されたセンサデータは、指紋センサによって導入されたノイズを補償するために調整される。ＵＳ２０１４／００１５７７４Ａ１によれば、冗長感知素子が、指紋センサのブロックベースのサンプリングについて導入され、同じ冗長感知素子が、二つの順次サンプリングされるブロックの各一つによってサンプリングされる。オフセットは、同じサンプリング素子の冗長サンプリング間の差に基づいて計算され、第二のブロックは、計算された差に基づいて調節される。

ＵＳ２０１４／００１５７７４Ａ１は、ブロックベースの感知技術を適用する際、ノイズ軽減への興味深いアプローチを導入するが、開示されたアプローチは、各列で最初に取得されたサンプルに大きく頼り、よって全体の結果が、この第一のサンプルの有効性に大きく依存する。よって、指紋画像に適用されるソフトウェアベースのノイズ軽減技術について、さらなる改良の余地があると見られる。

従来技術の、上述のおよび他の欠点に鑑みて、本発明の目的は、指紋センサを使用して獲得された指紋画像のノイズを扱うための改良された方法を提供することである。特に、本発明の発明者は、最適化されたサンプリングパターンの選択が望ましく、選択されたサンプリングパターンについての知識は、取得した指紋画像のさらなる処理に含まれることを発見した。

したがって、本発明の態様によれば、複数の感知素子を備える指紋センサを使用して獲得された指の指紋パターンの表現を決定する方法が提供され、該方法は、サンプリング行列を選択するステップであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表すステップと、前記指紋センサを使用してかつ前記サンプリング行列に従って前記指紋画像を取得するステップと、線形フィルタを前記取得した指紋画像に適用するステップであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられるステップと、前記フィルタされた指紋画像に基づいて前記指紋パターンの前記表現を決定するステップと、を備える。

本発明は、指紋センサを備えるシステムの典型的な実施は、全センサのうち選択された部分のみを一度にサンプリングされるようにするという認識に基づく。指紋センサを使った指紋画像の典型的な取得は、指紋画像の部分を連続して取得することと、それらの部分を一つの指紋画像に結合することと、を備える。そのような連続した取得方式の結果として、指紋画像の部分のそれぞれを取得する時に存在する可能性のある事変のまたはランダムなノイズは、指紋画像の部分のそれぞれについて幾分異なりうる。よって、アーチファクトが画像に導入されうる。

しかしながら、本発明によれば、コンピュータ実施される方法が指紋画像の後処理に適用され、指紋画像を取得するために用いられるサンプリングストラテジが考慮されうる。具体的には、本発明によれば、リニアフィルタが指紋画像に適用され、リニアフィルタは、サンプリングストラテジを考慮するように設定される。サンプリングストラテジは、本発明によれば、指紋センサを使って指紋画像を取得するためのサンプリングパターンを表すサンプリング行列と認識される。

したがって、本発明の利点は、指紋画像の改良された構成、および、典型的には指紋センサを備えるシステムで使用される指紋パターンの決定についてのより良い性能の可能性を含む。これは特に、本発明によるフィルタリング方式が、指紋画像が実際にどのように取得されたかに密に依存するために、達成される。さらに、本方法はコンピュータ実施される後処理方式であるので、ノイズ軽減のための一般的な従来技術のアプローチである、指紋センサのハードウェアの調整の必要がない。むしろ、本発明の方法は、指紋画像を取得するための典型的なフローの構成要素として挿入されうる。本発明の方法は、典型的には任意のタイプのノイズを扱うことができ、特に、下記にさらに詳述するように、コモンモードノイズ（ＣＭＮ）に関して有用である。

本発明の方法は、典型的には、指紋センサを制御する、または指紋センサが要素を形成するシステムと別に配置されるプロセッサによって実行されるコードとして実施されるが、本発明の概念は、代替的には（または部分的には）例えばＡＳＩＣまたは同様のものの機能ブロックとして実施されうる。そのような実施の任意の組み合わせが、本発明の範囲内で可能である。

典型的には、サンプリング行列は、指紋センサの空間的実装に基づいた構造を有する。サンプリング行列の正確な構造およびサンプリング行列の最適化された選択は、下記にさらに説明される。

本発明の可能な代替の実施形態では、前記指紋センサは二次元指紋センサであり、前記サンプリング行列は、前記複数の感知素子の選択された部分に対応する。指紋センサは、上記に示したように、例えば静電容量式、光学式、または熱式感知技術を含む任意の種類の現在または将来の指紋感知原理を使用して実装されうる。しかしながら、現在は静電容量感知が最も好ましい。さらに、一次元センサもまた可能であり、本発明の範囲内である。

同様に、本発明によれば、本発明の方法を指紋画像の多獲得に関して適用することも可能であり、複数の画像が、指紋パターンを決定する可能性をさらに高めるために結合されうる。したがって、本発明の方法によって提案されるフィルタリング方式は、単一の指紋画像の取得に使われるサンプリングパターンに加えて、それに続く複数の指紋画像のサンプリングも提供する。

本発明の可能な実施形態では、および指紋画像の多獲得に関しては、サンプリング行列は、続いて獲得される指紋画像について変化しうる。続いて獲得される指紋画像中の同時にサンプリングされる画素を変更することによって、本発明のフィルタリング方式に沿って使用されうる重複情報を与える。

サンプリング行列は、例えば、複数の感知素子の選択された部分を、近接して配置された感知素子のグループと定義しうる。代替的には、複数の感知素子の選択された部分は、二次元センサにわたって空間的に分離されうる。サンプリングされた画素を広げることによって、より多くの画素を同時にサンプリングするのと同様の結果を与える。サンプリングされた画素によって十分大きな面積がカバーされる場合、平均画素の和が大体一定になるため、指紋画像から乱れを除去することは容易である。

本発明の好適な実施形態では、前記サンプリング行列は、取得した指紋画像内の最小化されたノイズの量に対応するよう選択される。サンプリング行列の選択は反復するように為され、取得された指紋画像内の認知されたノイズの量は最少まで低減されうる。選択は、あるいは、指紋センサの構造に関する所定の仮定に基づいて計算されうる。このことは、本発明の詳細な説明についてさらに詳述される。

好ましくは、本方法はさらに、前記指紋画像内にノイズが存在する対数尤度比を決定するステップと、前記対数尤度比を所定の閾値と比較するステップと、前記対数尤度比が前記閾値を超えた場合にのみ、前記指紋画像のフィルタリングを行うステップと、を備える。ノイズが画像内に存在しそうかを決定するための方式を導入することによって、適切な指紋画像の取得、およびしたがって指紋パターンの決定をさらに向上することが可能でありうる。本発明の可能な実施では、任意のフィルタリングを行う前に、上述の追加のステップを“とりあえず”導入することが可能でありうる。すなわち、ノイズの尤度が所定の閾値よりも低い場合、上述のようなフィルタリング方式は行われない。しかしながら、代替として、ノイズレベルが所望のレベルよりも高いと決定された場合、指紋画像を再取得するために、ノイズ尤度決定の概念を
“単独で”使うことが可能でありうる。なお、複数の行を備える二次元指紋センサについての対数尤度比は、例えば一行ずつ計算され、それから（例えばスライディングウィンドウ平均フィルタを使って）いくつかの行にわたってフィルタリング（平均）されうることに留意されたい。

本発明の可能な代替の実施形態では、前記対数尤度比を決定するステップは、ノイズが存在しないことを仮定するために尤度関数を求めることと、前記サンプリング行列に従ってノイズが存在することを仮定するために前記尤度関数を求めることと、を備える。この実施は、ノイズが存在しないと仮定する場合もサンプリング行列が考慮されるため、追加の利点を有しうる。しかしながら、そのような実施は、サンプリング行列が、ノイズが存在するという仮定についてのみ考慮される場合の代替として提供される。

本発明の好適な実施形態では、本方法は、非線形のマッピング関数を前記取得した指紋画像に適用するステップをさらに備え、前記非線形のマッピング関数は例えば対数関数でありうる。非線形のマッピング関数を取得した指紋画像に適用することは、乗法的効果を加法的にするという利点を有する。

本発明の他の態様によれば、画素のアレイを有する指紋センサと、前記指紋センサに電気接続された制御ユニットと、を備える携帯用電子機器が提供され、前記制御ユニットは、サンプリング行列を選択することであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表すことと、線形フィルタを前記取得した指紋画像に適用することであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられることと、前記フィルタされた指紋画像に基づいて指紋パターンの表現を決定することと、のために構成される。

本発明の本態様は、本発明の前の態様に関して上述したものと同様の利点を提供する。また本発明は、例えば、コモンモードノイズ（ＣＭＮ）などのノイズが容易に導入されうる使用例において、電子機器の信頼性の向上を提供する。上述のように、そのようなシナリオは、例えば、電子機器がスイッチモード電源に接続される場合でありうる。

本発明によれば、制御ユニットは、好ましくは、ＡＳＩＣ、マイクロプロセッサ、または指紋センサの動作を制御するための任意の他の型の演算装置である。そのように、制御ユニットは、第二のユーザ入力装置の不可欠な部分を形成しうる。しかしながら、制御ユニットはまた、例えば電子機器の全体の動作を制御するために構成される、携帯用電子機器に具備される全体制御ユニットでもありうる。

指紋センサは、上記に示したように、例えば静電容量式、光学式、または熱式感知技術を含む任意の種類の現在または将来の指紋感知原理を使用して実装されうる。しかしながら、現在は静電容量感知が最も好ましい。

上述のように、任意のタイプの指紋センサ、すなわち一次元および二次元指紋センサのどちらも採用されうる。本発明の可能な実施では、前記指紋センサは、少なくとも１６０×１６０画素、より好ましくは１９２×１９２画素、最も好ましくは２０８×８０画素を備える。さらなる解像度が可能であり、本発明の範囲内である。携帯用電子機器は、例えば携帯電話またはタブレットでありうる。

フィルタリングは、アナログまたはデジタル信号で実行されうる、かつ、指紋センサ部品または、携帯電話またはコンピュータ等のホストプロセッサ内など、指紋センサ部品外で行われうる。

本発明のさらなる態様によれば、携帯用電子機器を制御するよう適応された制御ユニットのコンピュータプログラム手段を格納したコンピュータ可読媒体を備え、前記携帯用電子機器は指紋センサおよび制御ユニットを備えるコンピュータプログラム製品が提供され、前記コンピュータプログラム製品は、サンプリング行列を選択するためのコードであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表すコードと、前記指紋センサを使用してかつ前記サンプリング行列に従って前記指紋画像を取得するためのコードと、線形フィルタを前記取得した指紋画像に適用するためのコードであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられるコードと、前記フィルタされた指紋画像に基づいて指紋パターンの表現を決定するためのコードと、を備える。本発明の本態様もまた、本発明の前の態様に関して上述したものと同様の利点を提供する。

上述のように、制御ユニットは好ましくは、ＡＳＩＣ、マイクロプロセッサ、または任意の他の型の演算装置である。同様に、本発明のシステムを作動するための制御ユニットによって実行されるソフトウェアは、取り外し可能な不揮発性ランダムアクセスメモリ、ハードディスクドライブ、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ、ＳＤメモリカードのうち一つを含む任意の型のメモリ装置であるコンピュータ可読媒体、もしくは当業界で既知の同様のコンピュータ可読媒体に格納されうる。

要約すると、本発明は全体として、指紋センサによって獲得される画像の乱れを除去するための方法に関し、特に、ノイズ低減のために適用された方法に感知原理を組み込むことによる、取得された指紋画像のノイズの低減に関し、ノイズが低減した画像は、指紋パターンの表現を決定するために使用される。本発明の利点は、指紋センサを使用して獲得された指紋画像からの指紋パターンの決定の向上を含む。

本発明のさらなる特徴および利点は、付属のクレームおよび以下の説明を検討すると明らかになるであろう。当業者は、本発明の異なる特徴が組み合わされて、以下に説明される以外の実施形態を、本発明の範囲から逸脱することなく作り出しうることを認識する。

本発明の種々の態様は、その特定の特徴および利点を含めて、以下の詳細な説明および付属の図面から、容易に理解されるであろう。
本発明の例示的実施形態による指紋感知システムの用途の模式図。 切り替えられた電源からのコモンモードノイズの代表的な図。 本発明による指紋感知システムの第一の実施形態の模式図。 本発明による指紋感知システムの第二の実施形態の模式図。 ノイズの多い指紋画像。 異なるサンプリング構成。 異なるサンプリング構成。 異なるサンプリング構成。 異なるサンプリング構成。 異なるサンプリング構成。 本発明の現在好適な実施形態による、本発明の例示のステップを開示するフローチャート。 図６に示したフローチャートの実用図。 図６に示したフローチャートの実用図。 図６に示したフローチャートの実用図。 図６に示したフローチャートの実用図。 図６に示したフローチャートの実用図。

本発明はここで、本発明の現在好適な実施形態が示される付属の図面を参照して、以下より完全に説明される。しかしながら、本発明は、多くの異なる形態で実施されてよく、ここで述べる実施形態に限定されると見なすべきではない。むしろこれらの実施形態は、徹底性と完全性のために提供され、本発明の範囲を当業者に完全に伝えるものである。全体を通して、同様の参照記号は同様の要素を参照する。

ここで、図面、特に図１に戻ると、本発明の実施形態による指紋感知システムの例示の用途が、統合された指紋感知システム２を有する携帯電話１の形態で模式的に示される。指紋感知システム２は、例えば、携帯電話１のロックを解除するためおよび／または携帯電話を使って実行される取引を認証するため等に使われうる。

図１に示されるように、携帯電話１は、ＡＣコンセント４に連結された充電器３を使って充電されている。電話の充電は、コモンモードノイズを導入しうる。コモンモードノイズは、携帯電話１をコモンモードノイズの電位に追従させ、携帯電話１は電気的に“上下にバウンドする”。

コモンモードノイズは、携帯電話１の視点から、ユーザを電気的にノイズが多く見せる。このことは、携帯電話１とユーザとの間の電位差の判定に依存する携帯電話１の使用に影響を及ぼしうる。そのような使用は、例えば、容量タッチスクリーンの使用および指紋感知システム２の使用を含む。

好ましくは、および当業者に明らかなように、図１に示される携帯電話１は、ＷＬＡＮ／Ｗｉ―Ｆｉ通信用の第一のアンテナ、遠距離通信用の第二のアンテナ、マイクロフォン、スピーカ、および電話制御ユニットをさらに備えうる。さらなるハードウェア素子が、もちろん携帯電話に具備される可能性がある。尚さらに、本発明は、ラップトップ、遠隔制御、タブレットコンピュータ、または任意の他のタイプの、現在または将来の同様に構成される機器などの、任意の他のタイプの携帯用電子機器に関して適用可能でありうる。

図２は、図１の充電器３からのコモンモードノイズの代表的な図である。図２に見られるように、コモンモードノイズは、比較的高い振幅で低周波成分（ＡＣ電源周波数によって５０／６０Ｈｚ）を有し、より低い振幅で高周波スイッチモード成分（図２の拡大部分）を有しうる。特にコモンモードノイズの高周波成分は、指紋感知システムへの問題を引き起こしうる。以下では、本発明の種々の実施形態が、そのような問題をどのように、少なくとも部分的に軽減するかを説明する。

まず、本発明による指紋システムの二つの実施形態（一つはタッチセンサベースのシステム、一つはスワイプセンサベースのシステム）を、図３ａ−ｂを参照して説明する。

図３ａは、タッチセンサベースの指紋感知システムを、好ましくは二次元のセンサアレイ１０および、例えばユーザの指に励振信号を提供するための導電ベゼルまたはフレーム１１を備えた、パッケージされたタッチセンサ部品９の形状で、模式的に示す。図３ａには明示されないが、センサ部品９はまた、電源インターフェースおよび通信インターフェースも備える。

センサアレイ１０は、多くの感知素子１２（図が散らかるのを避けるために、一つの感知素子のみが参照番号で示される）を備え、それぞれの感知素子は、感知素子１２に具備される感知構造（トッププレート）とセンサアレイ１０の上面に接触する指の表面との間の距離を感知するよう制御可能である。図３ａのセンサアレイ１０の拡大部分では、感知素子の第一グループ１３はＳｅｎｓｉｎｇの‘Ｓ’とマークされ、感知素子の第一グループは、全て一度にまとめて感知される。

図３ｂは、スワイプセンサベースの指紋感知システムを、センサアレイ２０およびユーザの指に励振信号を提供するための導電片２１ａおよび２１ｂを備えた、パッケージされたスワイプセンサ部品１９の形状で、模式的に示す。
。図３ｂには明示されないが、センサ部品１９はまた、電源インターフェースおよび通信インターフェースも備える。

センサアレイ２０は、一つまたはいくつかの列の感知素子１２（図が散らかるのを避けるために、一つの感知素子のみが参照番号で示される）を備え、それぞれの感知素子は、感知素子１２に具備される感知構造（トッププレート）とセンサアレイ２０の上面に接触する指の表面との間の距離を感知するよう制御可能である。図３ｂのセンサ部品１９の拡大部分では、感知素子のグループ２３は、グループベースの感知方法を示す図３ａについてと同様に、Ｓｅｎｓｉｎｇの‘Ｓ’とマークされる。

図３ａ−ｂの指紋センサ部品９、１９は、ＣＭＯＳ技術を用いて有利に製造されうるが、他の技術および工程もまた実行可能でありうる。例えば、絶縁基板が使用されうるおよび／または薄膜技術が製造工程のいくつかまたは全ての工程ステップに利用されうる。

ここで、容量測定原理を適用する指紋センサを使って獲得された、ノイズの多い指紋画像４００を示す図４に移る。上述のように、起こりうるノイズの一つの種類はＣＭＮのノイズであり、ＣＭＮは、所望の信号および、所望の信号が対比して測定される基準信号の両方に注入されるノイズである。所望の信号理想的な差の測定が基準信号に対して行われる場合、ＣＭＮは、従って完璧に打ち消され、よって所望の信号の測定を低下させない。しかしながら、実際には、ＣＭＮの良好な除去を達成することは、例えば不完全な打消、および同じＣＭＮによって影響されない他の信号への寄生容量のために、大変難解でありうる。一例は、ＣＭＮ信号に追従せず、よって絶対ＣＭＮレベルを直接曝露するアース接地への静電容量のものである。

上述のように、これは、例えば指紋センサまたは容量タッチスクリーン用の、容量測定原理を利用するシステムにおいて特に問題である。さらに、例えば充電器の一定のスイッチモード電源から来るＣＭＮの信号レベルは、例えば指紋感知システムのベゼルに供給される駆動電圧と比べて、例えば４０Ｖピークツーピーク電圧と、大変大きくありうる。結果として、ＣＭＮの大きな信号レベルが、結果指紋画像の支配干渉になりうる。

ＣＭＮが測定に影響するやり方によれば、ノイズは、典型的には乗法式としてモデル化されうる。すなわち、ＣＭＮの量は、指紋の値に応じて増減する。本発明による方法はまた、例えば加法的ノイズ等、他の種類のノイズカップリングもサポートし、例えば乗法的効果を加法的にするための対数関数などの、非線形のマッピング関数が入力信号に適用されうることが強調されるべきである。

既存のソリューションと比較すると、本発明による方法の主要な利点は、ＣＭＮ軽減を向上するために利用される感知原理の構成を導き、そしてその後、この知識をＣＭＮ検出、評価、および除去に組み込めることである。

本発明の可能な実施では、１）ＣＭＮの軽減を改善するためのサンプリングの設定、２）ＣＭＮが存在するかを検出、３）フィルタリングによってＣＭＮを除去する手段の提供を含む三つのステップの工程が提供される。

検出はフィルタリングと同様の技術によるため、フィルタリングは最初に説明され、次いでノイズ検出を説明する。フィルタリングは、典型的には、ＣＭＮの一次元または二次元の直線最小平均二乗誤差（ＬＭＭＳＥ）推定値で構成され、入力からのＣＭＮ推定値の打ち消しが、明示的または暗示的に追従する。

ＣＭＮ推定値は、サンプリング工程およびノイズの特徴を考慮に入れながら、同時に注目信号の構造を活用するように導かれた。このことは、ノイズの最良の除去を提供するために、サンプリング工程の影響を査定および最適化できるという利点を有する。指紋センサシステムの例では、注目信号は、指紋の画像でありうる。ＬＭＭＳＥフィルタリングに使われる同じ構造は、続いて説明される一般化尤度比検定（ＧＬＲＴ）で再使用される。

ＣＭＮは、空間的サンプリング次元、すなわち画像の画素間にわたって一定であるとされうるため、サンプリング手順は、所望の（指紋）信号をＣＭＮの信号から分離するために重要なファクタである。よって、空間的および時間的なサンプリング手順は、ノイズの良好な軽減を達成する鍵である。そのような時空サンプリング構成の例は、図５ａ−５ｅをさらに参照すると、以下のようであり、所望により組み合わせられうる。

・全てのサンプルが独立して収集される個別サンプリング。図５参照。
・局所的空間領域が同時にサンプリングされるブロックサンプリング。図５ｂ参照。
・空間的サンプルの重複ブロックが、一度に一ブロックサンプリングされる重複サンプリング。図５ｃ参照。
・非重複空間ブロックが独立してサンプリングされる並列サンプリング。ブロックは、例えば空間的に分配されうる。図５ｄ参照。
・時変空間サンプリング手順。図５ｅ参照。

用いられるサンプリング手順とフィルタリングとの関連を提供する詳細な数学的説明が、以下に続く。この説明を通して、太字の小文字（例えばｘ）は列ベクトルを示し、太字の大文字（例えばＸ）は行列を示す。行列転置は（・）^Ｔと示され、Ｘi,j:kは、Ｘの要素[(i,j),(i,j+1),・・・,(i,k)]を含むベクトルである。恒等行列はIと示され、０または１は、全ての要素が値０または１をもつベクトル（または行列）である。行列トレースはｔｒ｛・｝によって示され、［数１］は実数値変域を示す。

ＣＭＮの軽減を向上するためのサンプリングを決定する際、感知システムによって獲得される画像を［数２］とし、Ｍは画像の行の数であり、Ｎは列の数である。

画像の平均値［数３］は、ゼロ平均の画像［数４］を得るよう、獲得された画像から減算することができる。そのようなマッピングは常に可能であるため、Ｙは、下記の導出において注目画像となる。

行列Ｙの“ベクトル化された”バージョンは、［数５］とされ、Ｙにおける全ての行ベクトルの転置が一行ずつそれぞれの上に積層されることを意味する。

これは、［数６］であることを意味し、システムは、下記の線形モデル
ｙ＝Ｓｃ＋ｆ（方程式２）
によって説明できる。

［数７］は、ＣＭＮベクトル［数８］がどのように画像Ｙに影響するかを説明する空間サンプリング行列であり、Ｂは空間サンプリングブロックサイズである。空間サンプリングブロックサイズは、よって、いくつの所望の（指紋）サンプルが、同時に取得されるか、およびそれによって同じＣＭＮの認識を共有するかを特定する。

ベクトル［数９］は、所望の（指紋）信号ならびに任意の追加のノイズの存在を示す。

方程式２の線形モデルのＬＭＭＳＥ推定値は［数１０］のように算出できることが周知であり、Σ_ｆは指紋の空間共分散行列を示し、Σ_ｃはＣＭＮサンプルの共分散行列であり、どちらもゼロ平均とされる。時間的に複数のサンプルが実行される場合、Ｓを時空サンプリング行列に設定することによって、および共分散行列Σ_ｆおよびΣ_ｃをそれぞれ指紋およびＣＭＮの時空共分散行列に設定することによって、この態様もカバーするようモデルを直接拡張でき、それによってＭＮを超える総数のサンプルを生成する。そのような時空フィルタリングは、指紋が画像間でほんの僅かだけ変化する場合に有益でありうる。

また、良好なサンプリング手順を決定する際に注目されるのは、推定値［数１１］の事後共分散行列［数１２］であり、［数１３］とされる。

ＣＭＮ推定値に誤差がない、すなわち、［数１４］が理想であるが、これは一般に不可能である。

したがって、Ｓを決定するサンプリング手順は、ＣＭＮをできるだけうまく除去する能力のために非常に重要であり、どのようにサンプリングするかの設計／選択は、したがってこれの非常に重要な態様である。Σ_ｃおよびΣ_ｆは完全に先験的に既知であるという理想的な仮説のもとでは、［数１５］によって与えられる事後誤差を最小限にするなどのためにサンプリングを選択することは合理的な選択であるが、他の最適化対象もまた用いられうる。

サンプリングブロックサイズおよび関連したＨＷの制約もまた、この最適化における役割を果たすため、これは、［数１６］などの最適化方法が誘導に用いられうる重要な設計問題である。

この誘導の例として、完全な画像を同時にサンプリングする特別なケース、すなわちＳ＝１が全て一のベクトルでありつつ、Σ_ｆがこのサンプリング空間に直接広がらないと仮定するケースでは、１^Ｔ（１１^Ｔ＋Σ_ｆ）^−１１＝１であるので、［数１７］をもたらす。

ＣＭＮの完全な推定値、およびそれに続く打消しを示すこの特別なケースは、仮定した指紋の共分散構造を利用するよう最適化された特定のサンプリング設計を有することで達成可能であり、実際に実施するのは非常に難解でありうる。しかしながら、全体的な原理は、指紋およびＣＭＮの前の共分散知識を利用することによって、続く打消しのための最良のＣＭＮ推定値を提供するためにサンプリング手順を最適化することである。

ここで説明されるＬＭＭＳＥフィルタは概してＣＭＮを推定するために使うことができるが、この実施の複雑性は概して大きく、この完全なソリューションへの一つの可能な近似値は、例えば水平および／または垂直寸法にわたってクロネッカ―構造を利用することによって得ることができる。所望の信号およびＣＭＮが局所的にのみ相関するとされうる場合、ＬＭＭＳＥフィルタへの（ブロック）スライディングウィンドウ近似値もまた、実施を容易にするために、単体でまたはクロネッカ―構造と共に使われうる。

ＣＭＮベクトルはｃ〜Ｎ（０，ＰｃＩ）によって与えられるものとし、ＰｃはＣＭＮ駆動信号の電力を示し、Ｎは正規分布を示す。これは、方程式３のＬＭＭＳＥソリューションは［数１８］

であることを意味し、指紋ベクトルは［数１９］によって与えられるものとされる。

方程式５では、Ｐ_ｆは、指紋からの信号の電力を表し、Σ_ｆ，ｙは指紋の垂直方向の共分散を示し、Σ_ｆ，ｘは水平方向の共分散である。画像ＹへのＣＭＮの影響が［数１９］によって表せる場合、方程式５は、［数２１］となり、これは、ＣＭＮ全体が、それぞれＳ_ｙおよびＳ_ｘで表される垂直および水平方向のノイズ成分を有するようにされることを意味する。

センサシステムは、画像Ｙが、いくつかの画素を同時にサンプリングすることによって構成され、これをＳの構造に組み込めるように設計できる。

異なる獲得方法の例が、ここに挙げられる。
・Ｙの行のＢ＝Ｌｘ画素が同時に獲得され、［数２２］を導く水平サンプリング。

・Ｙの列のＢ＝Ｌｙ画素が同時に獲得され、［数２３］を導く垂直サンプリング。

・画像のＢ＝Ｌｙ×Ｌｘ画素の局所ブロックが同時に獲得され、［数２４］を導く局所二次元サンプリング。

・画像の多数の画素Ｂが同時に獲得され、全体行列Ｓで示される全体二次元サンプリング。

が挙げられ、ベクトル１の大きさは、同時に獲得される画素の数によって与えられる。上述の特別なケースのＳを方程式６に挿入すると、サンプリング構造を利用するソリューションを生む。予想されるＣＭＮの種類、および達成可能なサンプリング構造に関するＨＷの制約に基づき、適切なサンプリング構造および関連したＳ行列が、例えば方程式４によって与えられるような最適化基準に基づいて選択されうる。フィルタを設定する際に、サンプリング構造をどのように利用できるかを示す例として、水平サンプリングの場合、［数２５］が与えられる。

この表現は、［数２６］と書き換えられる。

水平サンプリングでは［数２７］および［数２８］ を意味する［数２９］を定義することによって、方程式８の表現は、［数３０］と簡略化できる。

［数３１］の特異値分解（ＳＶＤ）および共分散行列［数３２］の固有値分解を行うことによって、方程式９の表現は、［数３３］となる。

方程式１０に存在するクロネッカ―構造のために、これは、水平空間寸法と垂直空間寸法との間の離間を利用することによって効率的に実施することができる。水平または垂直方向における一次元処理の特別なケースは、Ｓ_ｘおよびΣ_ｆ，ｘまたはＳ_ｙおよびΣ_ｆ，ｙがそれぞれ対角行列である上記の表現の特別なケースである。

方程式３の全体のＬＭＭＳＥ表現において、共分散行列Σ_ｃは、コモンモードノイズについての前の情報を表す。上記のクロネッカ―構造の表現では、これまでΣ_ｃは、表現を単純化して実施の複雑度を低下させるので、スケール恒等行列とされてきた。しかしながら、ＣＭＮに関する先験的な知識が利用可能であり、これを、推定の正確性の向上のためにΣ_ｃに組み込むことができる。しかしながら、クロネッカ―構造が効率的な実施のために利用される際、このクロネッカ―構造は、対数尤度項［数３４］および先のものΣ_ｃが共通の基底変数を共有する場合にのみ、直接利用することが可能になる。これは達成することが難易であり、ＣＭＮについての前の情報を効率的に組み込むことを難しくしうる。

この問題への可能なソリューションは、対数尤度項からの基底変数またはその逆を使用した先のものに近似することである。
この一例は、先のものを［数３５］の形式にすることであり、Ｖ_ｘおよびＶ_ｙはそれぞれ水平および垂直基底変数であり、Ｄ_ｘおよびＤ_ｙは、ＣＭＮの先験的な情報に近似した関連する範囲である。

使われる基底変数は、その際対数尤度項［数３６］から抽出されうるか、もしくは、例えば固定ＤＣＴ基底変数など共通の基底変数が、対数尤度項および先の項の両方に実施されうる。

ここで、一般化尤度比検定（ＧＬＲＴ）の実施の概念に戻る。一般化尤度比検定は、データの多変量分布がよりＣＭＮを含みそうか調べることによって実行できる。これは、ＣＭＮがない逆仮説に対するＣＭＮの仮説の尤度を求めることによって達成できる。仮説がゼロ平均の多変量正規分布としてモデル化できるとすると、これは、結果Ｈ_ｃｍｎ：ｙ〜Ｎ（０，Ｐ_ｆ+ｃΣ_ｆ+ｃ）となり、Ｐ_ｆ+ｃΣ_ｆ+ｃは、概して未知のパワーレベルであるＰ_ｆ+ｃを有する、指紋およびＣＭＮの全信号共分散行列である。同様に、ＣＭＮがない逆仮説については、結果としてＨ_{ｎｏ−ｃｍｎ}：ｙ〜Ｎ（０，Ｐ_ｆΣ_ｆ）となり、Ｐ_ｆΣ_ｆは、概して不明なパワーレベルであるＰ_ｆを有する指紋の全信号共分散行列である。多変量ガウス尤度関数から、ＧＬＲＴは、［数３７］と書き換えられ、対数尤度比スコアＬＬＲが所定の閾値を超えると、ＣＭＮが存在すると断言される。

指紋およびＣＭＮは加法的かつ独立してΣ_ｆ+ｃ＝Σ_ｆ+ＳΣ_ｃＳ^Ｔを導くと仮定することにより、行列反転補題［数３８］を用いることによって、方程式１１の実施の複雑度を減らすことができる。

ここで、コレスキーファクタは、［数３９］と定義される。

これにより、方程式１１は、［数４０］と書き換えられる。

ＣＭＮ検出のためのＬＬＲを算出する代替のアプローチは、［数４１］のように正規化共分散行列を用いて対数尤度比を直接求めることであり、［数４２］および［数４３］である。

選択されたＬＬＲを算出する必要がある行列は、オフラインであらかじめ算出されてフィルタバンクに入力されうるか、もしくは、Σ_ｆ+ｃおよびΣ_ｆの更新された推定値に応じてオンラインで算出されうる。所望であれば、代替のアプローチにおける行列Ｆの低ランク近似が、実施を容易にするために利用されうる。

サンプリングが水平（または垂直）方向のいずれかで為される本発明の一実施形態では、一つの選択肢は、各行（または列）を個別に処理することによって、一次元ＬＭＭＳＥ推定およびＣＭＮのＧＬＲＴを行うことである。そのような処理の利点は、ＬＭＭＳＥ推定値の計算の複雑さを低減することである。水平サンプリングについては、画像Ｙの各行が抜き出されるが、それはｙ＝Ｙ_{ｉ，１：Ｎ}でｉ＝［１，…，Ｍ］を意味し、それはベクトルｙがここでは単にＮ次元であることを意味する。

同様に、垂直サンプリングについては、画像の各列が抜き出されるが、それはｙ＝Ｙ_{１：Ｍ，ｊ}でｊ＝［１，…，Ｎ］を意味し、それはベクトルｙがここでは単にＭ次元であることを意味する。

そのような一次元設定では、一般化尤度比検定（ＧＬＲＴ）は、一行ずつ（または一列ずつ）行うことができ、それは、水平サンプリングのＭ対数尤度値（または垂直サンプリングのＮ値）は、画像全体について算出できることを意味する。

対数尤度値を計算すること（すなわちＧＬＲＴを行うこと）も、各列（または行）について実行可能であり、これらはそれからＣＭＮ検出に使うことができる。本発明の一実施形態では、ＧＬＲＴは、一行（または一列）につき一つの対数尤度値を出力し、これらの値は、ＣＭＮ検出に使われる閾値と比較される前に、いくつかの行（または列）にわたってフィルタ／平均することができる。さらに、対数尤度値のフィルタリングはまた、スライディングウィンドウ平均を行うことによって為され、この出力は、閾値と比較することができる。

ここで、関連した図６および図７ａ−ｅに移る。図６は、指紋センサを使って指紋パターンを決定するための、本発明による基本のステップ示すフローチャートである。図７ａ−７ｅは、方法ステップのいくつかの対応する実用図を提供する。図７ａについて提供される指紋センサは、８×８画素を有するものが例示される二次元センサである。なお、８×８画素の使用は、本発明の方法の説明を簡略化するためのみに用いられることに留意されたい。よって、任意の数の画素が使われうる。図３ａに関して上述したように、そのような指紋センサは複数の感知素子を備え、各感知素子は、対応する感知素子と指との間の容量結合を示す画素信号を提供するための出力を有する。しかしながらさらに、例えば一次元センサ、および異なる感知技術を採用するセンサを含む、他のタイプの指紋センサが使われうる。

指紋センサの提供に続いて、指紋共分散行列（Σ_ｆ）およびノイズ（ＣＭＮ）共分散行列（Σ_ｃ）が選択される。図７ｂに示したように、選択された共分散行列に基づいて、サンプリング手順が、サンプリング行列（Ｓ）によって決定および特定される。サンプリング行列（Ｓ）のサイズは、指紋センサのサイズおよび、選択されたいくつかの感知素子のサンプリングのためのブロックサイズによって定義される。提供された図では、サンプリングサイズは四（すなわち、一度に四つの画素をサンプリングする）と選択される。方程式２に関して提供される考察によると、サンプリング行列（Ｓ）は、［数４４］と定義され、Ｍは指紋センサの行の数を示し、Ｎは指紋センサの列の数を示し、Ｂは一度にサンプリングされる画素の数である。この定義および指紋センサの例示のサイズ／一度にサンプリングされる画素の数に基づくと、サンプリング行列（Ｓ）は、６４行および１６列を備えると定義される。

したがって、図７ｂに示すサンプリング行列の列のそれぞれは、各センササンプリングを表す。図７ｂでは、サンプリングパターンは、図５ｂに示すサンプリングストラテジ、すなわちセンサの左上から右下に向かう２×２画素の正方形のブロックベースのパターンに対応するよう選択される。図７ｂに示されるものは、各連続サンプルについてサンプリングされる画素を示し、ゼロは、サンプリングされない画素について示される。図５ａ−５ｅに関して示されるように、他のサンプリングストラテジが選択されうるが、好ましくは、取得された指紋画像内のノイズの量が最小化されるように選択されうる。

サンプリング行列／サンプリングストラテジの設定に続いて、指紋センサが適宜サンプリングされ、指紋画像が取得される。図７ｃに示されるように、指紋画像はノイズの多い画像であり、ノイズパターンは、上述のブロックベースの連続サンプリングストラテジに依存する。

本発明によれば、方程式１１に関して上述した、および選択されたサンプリング行列に基づいたノイズ検出方式は、取得した指紋画像に存在するノイズの尤度の決定に適用される。尤度は、二つの競合モデル、すなわちノイズが存在するという仮定に基づいた第一のモデルおよびノイズが存在しないという仮定に基づいた他のモデルを設定することによって決定される。本発明によれば、少なくともノイズが存在すると仮定される使用モデルは、選択されたサンプリング行列を考慮する。ノイズが存在しないと仮定される使用モデルについて、選択されたサンプリング行列を考慮することも可能でありうる。

対数尤度比は決定され、所定の閾値と比較される。ノイズの尤度が（閾値と比較して）“高すぎる”と決定された場合は、プロセスは、方程式５−１０に関して上述したようにＬＭＭＳＥを使用してＣＭＮなどのノイズを推定するステップに続く。

ノイズが存在すると決定された場合、（線形）フィルタを、ノイズ軽減に使用されるよう設定するためにも、選択されたサンプリング行列が考慮される。取得された、ノイズの多い指紋画像は、続いて、典型的にはウィンナーフィルタである“サンプリング行列依存フィルタ”を使用してフィルタリングされ、図７ｄに示すようにノイズの少ない“クリーンな”画像が形成される。図７ｄに見られるように、“ブロックアーティファクト”が除去された。ノイズの少ない指紋画像が形成されると、図７ｅに示すように、当業者に既知の任意の方法で、例えばアーチ、ループなどを形成する隆線を発見することを含めて、指紋パターンをより良く決定することが可能になりうる。指紋画像パターンを決定するためのさらなる後処理もまた、本発明の範囲内で可能である。

本開示の制御機能は、既存のコンピュータプロセッサを使用して、もしくは特殊目的または他の目的のために組み入れられた、適切なシステムのための特殊目的のコンピュータプロセッサによって、もしくは配線システムによって実施されうる。本開示の範囲内の実施形態は、機械実行可能な指令またはそれに格納されたデータ構造を運ぶまたは有するための機械可読メディアを備えるプログラム製品を含む。そのような機械可読メディアは、汎用目的または特殊目的コンピュータ、またはプロセッサを有する他の機械によってアクセスできる任意の利用可能なメディアでありうる。例として、そのような機械可読メディアは、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光学ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージ機器、または、所望のプログラムコードを機械実行可能な指令またはデータ構造の形式で運ぶまたは格納するために使用でき、汎用目的または特殊目的コンピュータまたはプロセッサを有する他の機械によってアクセスできる任意の他の媒体を備えうる。情報が、ネットワークもしくは他の通信接続（有線、無線、もしくは有線と無線の組み合わせのいずれか）を介して機械に送信または提供されると、機械は接続を、適切に機械可読媒体であると見なす。したがって、任意のそのような接続は、適切に機械可読媒体と称される。上記の組み合わせもまた、機械可読メディアの範囲内に含まれる。機械実行可能な指令は、例えば、汎用コンピュータ、特殊目的コンピュータ、または特殊目的処理機械に一定の機能もしくは機能のグループを実行させる指令およびデータを含む。

図は順序を示しうるが、ステップの順は描写されたものと異なりうる。また、二つ以上のステップが、同時または部分的に同時に実行されうる。そのような変形は、選択されたソフトウェアおよびハードウェア、および設計者選択に依る。全てのそのような変形は、本開示の範囲内である。同様に、ソフトウェア実施は、ルールベースの論理、および種々の接続ステップ、処理ステップ、比較ステップ、および決定ステップを達成するための他の論理を有する標準のプログラム技術で達成されうる。さらに、本発明がその特定の例示の実施形態を参照して説明されていても、多くの異なる変更、修正などが当業者に明らかになるであろう。

また、開示された実施形態の変形が、請求項に係る発明を実施する際に図面、明細書、および付属の請求の範囲を検討することで、当業者によって理解および実行されうる。さらに、請求の範囲において、“備える”という用語は他の要素もしくはステップを除外するものではなく、不定冠詞“ａ”または“ａｎ”は、複数を除外するものではない。

Claims (15)

1. 複数の感知素子を備える指紋センサを使用して獲得された指の指紋パターンの表現を決定する方法であって、
   サンプリング行列を選択するステップであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表す、ステップと、
   前記サンプリング行列に従って前記指紋センサを使用して前記指紋画像を取得するステップと、
   線形フィルタを、取得した前記指紋画像に適用するステップであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられる、ステップと、
   フィルタリングされた前記指紋画像に基づいて前記指紋パターンの前記表現を決定するステップと、を備える方法。
2. 前記指紋センサは二次元指紋センサであり、前記サンプリング行列は、前記複数の感知素子の選択された部分に対応する、請求項１に記載の方法。
3. 前記複数の感知素子の前記選択された部分は、近接して配置された感知素子のグループとして選択される、請求項１または２に記載の方法。
4. 前記複数の感知素子の前記選択された部分は、前記指紋センサにわたって空間的に分離される、請求項１または２に記載の方法。
5. 前記サンプリング行列は、前記取得した指紋画像内の最小化されたノイズの量に対応するよう選択される、請求項１に記載の方法。
6. 前記指紋画像内にノイズが存在する対数尤度比を決定するステップと、
   前記対数尤度比を所定の閾値と比較するステップと、
   前記対数尤度比が前記閾値を超えた場合にのみ、前記指紋画像のフィルタリングを行うステップと、をさらに備える、請求項１に記載の方法。
7. 前記対数尤度比を決定するステップは、ノイズが存在しないことを仮定するために尤度関数を求めることと、前記サンプリング行列に従ってノイズが存在することを仮定するために前記尤度関数を求めることと、を備える、請求項１に記載の方法。
8. 非線形のマッピング関数を前記取得した指紋画像に適用するステップをさらに備える、請求項１に記載の方法。
9. 前記非線形のマッピング関数は対数関数である、請求項８に記載の方法。
10. 前記線形フィルタはウィンナーフィルタである、請求項１に記載の方法。
11. 画素のアレイを有する指紋センサと、
    前記指紋センサに電気接続された制御ユニットと、を備える携帯用電子機器であって、
    前記制御ユニットは、
    サンプリング行列を選択することであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表すことと、
    線形フィルタを、取得した前記指紋画像に適用することであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられることと、
    前記フィルタリングされた指紋画像に基づいて指紋パターンの表現を決定することと、のために構成される、携帯用電子機器。
12. 前記指紋センサは容量感知技術を採用する、請求項１１に記載の携帯用電子機器。
13. 前記指紋センサは、少なくとも１６０×１６０画素、より好ましくは１９２×１９２画素、最も好ましくは２０８×８０画素を備える、請求項１１または１２かに記載の携帯用電子機器。
14. 前記携帯用電子機器は携帯電話である、請求項１１乃至１３のいずれか一項に記載の携帯用電子機器。
15. 携帯用電子機器を制御するよう適応された制御ユニットのコンピュータプログラム手段を格納したコンピュータ可読媒体を備え、前記携帯用電子機器は指紋センサおよび制御ユニットを備える、コンピュータプログラム製品であって、
    サンプリング行列を選択するためのコードであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表す、コードと、
    前記指紋センサを使用してかつ前記サンプリング行列に従って前記指紋画像を取得するためのコードと、
    線形フィルタを、取得した前記指紋画像に適用するためのコードであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられるコードと、
    前記フィルタリングされた指紋画像に基づいて指紋パターンの表現を決定するためのコードと、を備えるコンピュータプログラム製品。

Images