JP2018506124A - インタラクティブタッチスクリーンおよびセンサアレイ - Google Patents

Abstract

デバイスのタッチ感知スクリーンおよびディスプレイを含むタッチシステムを含む、物体の1つまたは複数のセンサイメージを取り込むための物体検出システムが提供される。この物体検出システムは、センサアレイおよび処理構成要素を含むセンサシステムをも含む。センサアレイは、タッチ感知スクリーンに結合され、処理構成要素は、物体がタッチ感知スクリーンによって検出される時に物体の1つまたは複数のイメージを取り込むように構成される。センサアレイの少なくとも一部は、タッチ感知スクリーンの少なくとも一部とオーバーラップする。

Description

関連出願の相互参照
本願は、その全体が参照によって本明細書に組み込まれている、2015年2月20日に出願した米国特許非仮出願第14/628,025号の利益を主張するものである。

本明細書で開示される実施形態は、全般的には物体の検出を対象とし、より具体的には、タッチ感知スクリーンに結合されたセンサアレイを使用する物体のイメージの取込を対象とする。

モバイルデバイスは、遍在し、スマートフォン、タブレットコンピュータ、携帯情報端末(PDA)、ポータブルゲーム機、パームトップコンピュータ、ウェアラブルヘルスモニタ、および他のポータブル電子デバイスを含むことができる。モバイルデバイスは、「ロックされ」、モバイルデバイスの所有者以外の人がそのモバイルデバイスにアクセスするのを防ぐことができる。所有者は、モバイルデバイス上でパスワードをセットアップし、モバイルデバイスにパスワードを正しく入力することによって認証され得るが、これは不便である可能性がある。ユーザにモバイルデバイスへパスワードを入力させるのではなく、ユーザを認証するための指紋センサなど、バイオインフォマティクスを使用することが望ましい可能性がある。

現在入手可能な多くのモバイルデバイスは、容量性タッチスクリーンを有し、この容量性タッチスクリーンは、通常、透明導体として働くパターン形成されたインジウムスズ酸化物(ITO)の1つまたは複数の層をコーティングされた、ガラスまたはプラスチックなどの絶縁体を使用する。人間の指が、アクティブタッチスクリーンにタッチするかその付近に位置決めされる時に、指は、局所電場を変更する適度の導体として働く。より具体的には、指がタッチスクリーンの表面にタッチする時に、隣接するITO電極の間の局所容量の変化として測定され得る局所化された電場のひずみが発生し、この局所容量の変化は、次いで、1つまたは複数の関連する集積回路によって電気信号に変換され、1つまたは複数の局所プロセッサ上で実行するアルゴリズムによってタッチデータに変換される。

従来の容量性タッチスクリーンは、固有の低い解像度と、部分的には通常の指紋の隆線から谷線までの間隔の10倍になる可能性があるITO電極の間の通常の間隔に起因し、部分的にはほとんどの指紋の相対的に浅い谷線に起因して、指紋隆線および指紋谷線の明瞭なイメージを形成できないこととの故に、指紋イメージの獲得が困難である。より高い解像度を有する容量ベースの指紋センサは、薄いプラテンとともに良好に動作する可能性があるが、モバイルデバイスディスプレイの通常の厚さのカバーガラスまたはカバーレンズを介するイメージングが困難である。

物体の1つまたは複数のセンサイメージを取り込むための方法、システム、および技法を提供する。

いくつかの実施形態と一貫して、物体の1つまたは複数のセンサイメージを取り込むためのシステムが提供される。このシステムは、デバイスのタッチ感知スクリーンおよびディスプレイを含むタッチシステムを含む。このシステムは、センサアレイおよび処理構成要素を含むセンサシステムをも含む。センサアレイは、タッチ感知スクリーンに結合され、処理構成要素は、物体がタッチ感知スクリーンによって検出される時に物体の1つまたは複数のイメージを取り込むように構成される。センサアレイの少なくとも一部は、タッチ感知スクリーンの少なくとも一部とオーバーラップする。

いくつかの実施形態と一貫して、物体の1つまたは複数のセンサイメージを取り込む方法が提供される。この方法は、デバイスのタッチ感知スクリーンに結合されたセンサアレイによって、タッチ感知スクリーンに関する物体から反射された信号を検出するステップを含む。この方法は、反射された信号に基づいて、物体の1つまたは複数のイメージを取り込むステップをも含む。センサアレイの少なくとも一部は、タッチ感知スクリーンの少なくとも一部とオーバーラップする。

いくつかの実施形態と一貫して、デバイスのタッチ感知スクリーンに結合されたセンサアレイによって、タッチ感知スクリーンに関する物体から反射された信号を検出することと、反射された信号に基づいて、物体の1つまたは複数のイメージを取り込むことであって、センサアレイの少なくとも一部は、タッチ感知スクリーンの少なくとも一部とオーバーラップする、取り込むこととを含む、動作を実行するためのコンピュータ実行可能命令を記憶したコンピュータ可読媒体が提供される。

いくつかの実施形態と一貫して、物体の1つまたは複数のセンサイメージを取り込むためのシステムが提供される。このシステムは、デバイスのタッチ感知スクリーンに関する物体から反射された信号を検出するための手段を含む。このシステムは、反射された信号に基づいて、物体の1つまたは複数のイメージを取り込むための手段をも含む。物体が1つまたは複数のイメージを取り込むための手段の上に配置される時に、物体は、タッチ感知スクリーンの少なくとも一部の上に配置される。

いくつかの実施形態と一貫する、物体検出システムを含むモバイルデバイスを示すブロック図である。 いくつかの実施形態と一貫する、指紋イメージ情報を獲得しまたはバイオメトリクスのイメージ品質を高めるための物体検出システムを使用するプロセスフローを示すブロック図である。 いくつかの実施形態と一貫する、モバイルデバイス内の物体検出システムの構成要素を示すブロック図である。 いくつかの実施形態と一貫する、図3内のモバイルデバイス内の物体検出システムの構成要素の側面図を示すブロック図である。 いくつかの実施形態と一貫する、圧電微細加工超音波トランスデューサ(PMUT:piezoelectric micro-machined ultrasonic transducer)を含む物体検出システムを示すブロック図である。 いくつかの実施形態と一貫する、物体の1つまたは複数のセンサイメージを取り込む方法を示す流れ図である。 いくつかの実施形態と一貫する、ユーザの指紋が取り込まれ、分析されるイメージング領域を示すブロック図である。 いくつかの実施形態と一貫する、ユーザの指紋の一部のイメージを受信するセンサアレイを示すブロック図である。 いくつかの実施形態と一貫する、指の一部の例の指紋を示す図である。 いくつかの実施形態と一貫する、指の一部の例の指紋を示す図である。 いくつかの実施形態と一貫する、指の一部の例の指紋を示す図である。 いくつかの実施形態と一貫する、指紋登録および/または指位置変更もしくは指回転変更を実行するためにユーザを案内する方法を示す流れ図である。 いくつかの実施形態と一貫する、特定の特徴および指輪郭を対応するイメージテンプレートまたは特徴テンプレートと照合する方法を示す流れ図である。 いくつかの実施形態と一貫する、タッチ感知スクリーンの1つまたは複数の位置および/またはエリアに照射する方法を示す流れ図である。 いくつかの実施形態と一貫する、心電図(ECG)信号と、指に関連する心室内圧を表す線グラフとを含むチャートである。 いくつかの実施形態と一貫する、センサアレイおよび適合されたPCTタッチスクリーンを使用して活性を検出するための物体検出システムを使用するプロセスフローを示すブロック図である。 いくつかの実施形態と一貫する、周辺容量性感知電極を有するセンサアレイを使用して活性を検出するための物体検出システムを使用するプロセスフローを示すブロック図である。 いくつかの実施形態と一貫する、周辺容量性感知電極を有するセンサアレイの平面図を示すブロック図である。 いくつかの実施形態と一貫する、センサアレイの上側層上のセグメント化されたバイアス電極を使用するプロセスフローを示すブロック図である。 いくつかの実施形態と一貫する、物体の1つまたは複数のセンサイメージを取り込むことのできるプラットフォームを示す図である。

I. 例のシステムアーキテクチャ
A. タッチシステム
B. センサシステム
II. 物体検出およびイメージングのためのタッチシステムに結合されたセンサシステム
A. タッチデータ
B. 指紋データ
C. センサデータおよびデバイス状況情報
D. タッチデータ、指紋データ、センサデータ、および/またはデバイス状況情報を処理する
III. 物体検出システムの構成要素
IV. センサアレイ
A. 電力削減
B. サイズ削減
C. センサ位置の自己較正
V. 物体の輪郭および回転
A. タッチ支援登録
B. タッチ支援照会
VI. 複数指認証
VII. 活性検出
VIII. 例のコンピューティングシステム

以下の説明において、ある種の実施形態を説明する特定の詳細が示される。しかしながら、開示される実施形態が、これらの特定の詳細の一部またはすべてを伴わずに実践され得ることは、当業者に明白である。提示される特定の実施形態は、例示的であることが意図されており、限定的であることは意図されていない。当業者は、本明細書で具体的には説明されないが、本開示の趣旨および範囲内にある他の物を実現することができる。

I. 例のシステムアーキテクチャ
図1は、いくつかの実施形態と一貫する、物体検出システム110を含むモバイルデバイス102を示すブロック図100である。モバイルデバイス102は、たとえば、ラップトップ、スマートフォン、携帯情報端末、タブレットコンピュータ、ウェアラブルヘルスモニタ、または他のポータブル電子デバイスとすることができる。モバイルデバイス102は、非静止デバイスとして図示されているが、他の実施形態において、物体検出システム110を含むコンピューティングデバイスは、たとえばパーソナルコンピュータ、テレビジョン、デジタルキオスク、電子キャッシュレジスタ、またはデジタルセキュリティシステムなどの静止デバイスとすることができることを理解されたい。

物体検出システム110は、モバイルデバイス102に近接するスタイラスまたはユーザの指などの物体104を検出し、物体の1つまたは複数のイメージを取り込むのに使用され得る。物体検出システム110は、ユーザの経験の質を高めるために一緒に働くセンサシステム114に結合されたタッチシステム112を含むことができる。

A. タッチシステム
タッチシステム112は、モバイルデバイス102のタッチ感知スクリーンおよびビジュアルディスプレイ109を含む。本明細書で「タッチスクリーン」とも呼ばれるタッチ感知スクリーンは、ディスプレイ内に組み込まれ、またはモバイルデバイス102のディスプレイの上に位置決めされ得る。いくつかの実施形態において、タッチ感知スクリーンは、スクリーンに加えられた圧力に応答する抵抗性タッチ感知スクリーンである。いくつかの実施形態において、タッチ感知スクリーンは、光学センサ、無線周波数(RF)センサ、赤外線(IR)センサ、または何らかの他のタイプのセンサである。

いくつかの実施形態では、タッチ感知スクリーンは、容量性タッチスクリーンとすることができる。容量性タッチスクリーン、特に投影型容量性タッチ(PCT:projected capacitive touch)スクリーンは、スクリーン全体にわたる物体104(たとえば、ユーザの指のうちの1つもしくは複数またはスタイラス)の位置および移動を判定するために、透明導電電極のアレイおよび関連する回路網と一緒に指、スタイラス、または他の物体の導電特性および誘電特性を使用することができる。したがって、タッチシステム112は、指または他の物体104が容量性タッチスクリーンの隣接するまたはオーバーラップする導電トレースの間の電場線をトラバースし、ひずませる時に、小さい電流または変位した電荷を測定することによって物体104の位置を検出するのに容量性感知技術を使用することができる。容量性タッチスクリーンは、通常、低電力で動作し、多数のモバイルデバイス内で使用可能な特徴である。タッチシステム112は、モバイルデバイス102内に埋め込まれ、具現化され、取り付けられ、または他の形で組み込まれ得る。タッチシステム112は、センサシステム114より低い解像度を有する場合があり、物体104に関するある種の詳細を受信できない場合がある。

B. センサシステム
センサシステム114は、センサアレイ116および1つまたは複数の処理構成要素132を含むことができる。センサアレイ116は、タッチ感知スクリーンに結合され得、少なくともディスプレイの一部またはディスプレイの全部分の下に存在することができ、かつ/またはモバイルデバイス102のディスプレイに一体化され、組み込まれ得る。いくつかの実施態様において、センサアレイ116は、エポキシ、感圧接着剤(PSA)、または他の接着材料などの結合材料を用いてタッチ感知スクリーンに結合され得る。いくつかの実施態様において、センサアレイ116は、タッチ感知スクリーンの裏側またはビジュアルディスプレイの裏側に積層されまたは他の形で接着され得る。いくつかの実施態様において、センサアレイ116は、ビジュアルディスプレイ、タッチ感知スクリーン、またはディスプレイの前に存在し得るカバーガラスの背後にまたはその一部として製造されまたは他の形で形成され得る。いくつかの実施態様において、センサアレイは、ディスプレイおよび/またはタッチスクリーンの一部またはすべてにオーバーラップすることができる。

センサアレイ116は、信号を送信するための1つまたは複数の送信器と、送信器によって送信された信号をとらえまたは受信するための1つまたは複数の受信器とを含むことができる。センサアレイ116は、たとえば、超音波センサアレイ、容量性センサアレイ、光センサアレイ、無線周波数(RF)センサアレイ、赤外線(IR)センサアレイ、力感知抵抗器(FSR:force-sensitive resistor)アレイ、または他のタイプのセンサアレイとすることができる。センサアレイ116内に含まれる受信器および送信器(いずれも図示せず)の量は、そのサイズに依存することができる。たとえば、センサアレイ116は、約3.2インチ×3.0インチ、1インチ×1インチ、11ミリメートル(mm)×11mm、15mm×6mm、9mm×4mm、または4mm×4mmとすることができる。これらは単に例であり、センサアレイ116のサイズは、変化してもよい。

いくつかの実施形態において、送信器は、超音波の信号パターンを送信することができ、物体104は、タッチ感知スクリーンの表面に近接するかこれに接してまたはこれの上に位置決めされ得、超音波をセンサアレイに向かって反射させることができる。一例において、送信器は超音波信号を送信する。この例において、送信器は、超音波信号を生成するために、圧電超音波平面波ジェネレータ(piezoelectric ultrasonic plane wave generator)などの1つまたは複数の超音波トランスデューサを含む任意の適切な超音波デバイスとすることができる。受信器は、物体104から反射された信号パターンを受信することができ、任意の適切な超音波受信器とすることができる。受信器は、モバイルデバイス102がオンに切り替えられる時に常に送信器からの入力を受信する準備ができているように、継続的に動作させることができる。

処理構成要素132は、センサアレイのアクティブ化およびアクセスならびに反射された信号パターンに基づく物体104の位置の判定という様々な動作を実行することができる。処理構成要素132は、物体104の相対的に正確な位置を検出するために、センサアレイ116の受信器によって受信され、検出され、取り込まれた超音波信号を抽出し、物体104の移動を追跡することができる。処理構成要素132は、物体のイメージ(たとえば、超音波技術、容量性技術、光技術、RF技術、IR技術、またはFSR技術に基づくイメージ)を取り込みまたは抽出することができる。

センサシステム114が、超音波センサシステムとして説明される場合があり、処理構成要素132が、超音波信号を処理し、超音波イメージを取り込むものとして説明される場合があるが、これは、限定的であることを意図されたものではない。センサシステム114は、たとえば、容量性センサアレイ、光センサアレイ、無線周波数(RF)センサアレイ、赤外線センサアレイ、力感知抵抗器アレイ、または他のタイプのセンサアレイとすることができる。

いくつかの実施形態において、処理構成要素132は、超音波センサアレイによって検出された超音波信号を抽出し、物体の1つまたは複数の超音波イメージ(指紋、血管構造、汗孔詳細などを含む場合がある)を記憶すべきかどうかを判定することができる。処理構成要素132は、超音波イメージがあるしきい値を満足する場合、たとえば、明瞭である場合に超音波イメージを記憶し、不明瞭である場合に破棄することができる。いくつかの実施形態において、処理構成要素132は、1つまたは複数のプロセッサ、中央処理装置(CPU)、イメージ信号プロセッサ(ISP)、マイクロコントローラ、またはデジタル信号プロセッサ(DSP)、グラフィックス処理ユニット(GPU)、またはアナログおよび/もしくはデジタルのオーディオ信号プロセッサを含むことができるオーディオ信号プロセッサを含むことができる。センサシステム114は、モバイルデバイス102内に埋め込まれ、具現化され、取り付けられ、または他の形で組み込まれ得る。いくつかの実施態様において、センサシステム114のセンサアレイ116は、モバイルデバイス102のタッチ感知スクリーンまたはビジュアルディスプレイの下に位置決めされ、その中に組み込まれ、または他の形でその中に含まれ得る。いくつかの実施態様において、タッチ感知スクリーンは、モバイルデバイス102のディスプレイの上に位置決めされ、その中に組み込まれ、または他の形でその中に含まれ得る。

モバイルデバイス102は、メモリ134をも含む。メモリ134は、ランダムアクセスメモリ(RAM)に対応することのできるシステムメモリ構成要素、読取専用メモリ(ROM)に対応することのできる内部メモリ構成要素、および/またはたとえば光メモリ、磁気メモリ、もしくはソリッドステートメモリに対応することのできる外部メモリもしくは静的メモリを含むことができる。メモリ134は、たとえばフロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、紙テープ、孔のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはメモリカートリッジ、および/または処理構成要素132が読み取ることのできる任意の他の媒体を含む、非一時的機械可読媒体に対応することができる。

II. 物体検出およびイメージングのためのタッチシステムに結合されたセンサシステム
ユーザは、タッチ感知スクリーンにタッチすることによってタッチシステム112とインタラクションすることができ、このタッチ感知スクリーンは、タッチ感知スクリーンの表面上の物体104の位置を検出する。物体104が、センサアレイ116に接してまたはその上に位置決めされる時に、センサアレイ116内に含まれる送信器(たとえば、超音波送信器)は、物体の1つまたは複数のイメージ(たとえば、超音波イメージ)を獲得するために起動され得る。ユーザは、センサシステム114とインタラクションする前にタッチシステム112とインタラクションすることができる。

図2は、いくつかの実施形態と一貫する、指紋イメージ情報を獲得しまたはバイオメトリクスのイメージ品質を高めるための物体検出システム110を使用するプロセスフローを示すブロック図200である。図2に示された例において、物体は、指204であり、タッチ感知スクリーンは、指紋センサデータの獲得を支援し、あるいは、タッチインターフェース(たとえば、容量性タッチインターフェース)を介して指紋イメージ品質および/または指紋の他の態様を高めるのに使用され得る。バイオメトリクスが、ユーザの指紋であるものとして説明される場合があるが、これは、限定的であることを意図されたものではなく、バイオメトリクスは、他の識別情報(たとえば、ユーザの掌紋)を含むことができる。

図2は、モバイルデバイス102と、モバイルデバイス102のタッチ感知スクリーンの表面にタッチする指204との側面図を示す。図2内に示された例において、タッチシステム112は、センサシステム114の上に位置決めされ、センサアレイ116の少なくとも一部が、タッチ感知スクリーンの少なくとも一部にオーバーラップする。具体的には、センサアレイ116は、指204がタッチ感知スクリーンにタッチする時に、指204が、センサアレイ116の少なくとも一部に接してまたはその上に位置決めもされるように位置決めされる。

ディスプレイは、センサアレイ116がタッチ感知スクリーンとオーバーラップする部分内で指紋検出を使用可能にされるが、残りのオーバーラップしない部分は、指紋検出を使用可能にされない。センサシステム114が、指紋センサシステムと呼ばれる場合があり、センサアレイ116が、指紋センサと呼ばれる場合がある。

A. タッチデータ
いくつかの実施態様において、ディスプレイは、ユーザが、認証されるために指をスキャンすることを要求するプロンプトを提供することができる。モバイルデバイス102は、ユーザが認証される場合には、ユーザがモバイルデバイス102内に記憶されたアプリケーションおよびデータにアクセスすることを可能にし、ユーザが認証されない場合には、ユーザがモバイルデバイス102内に記憶されたアプリケーションおよびデータにアクセスすることを防ぐことができる。

ユーザは、タッチ感知スクリーンの表面に指204を配置することによって、ディスプレイとインタラクションすることができる。アクション210において、タッチシステム112は、ユーザのタッチからの1つまたは複数のタッチパラメータを含むタッチデータを受信し、処理することができる。タッチシステム112は、タッチパラメータのうちの1つまたは複数を指紋制御ブロック220に渡すことができる。タッチパラメータは、センサシステム114が、どのようにして、いつ物体のイメージを取り込むべきかを導出するのに使用され得る。

タッチシステム112は、タッチサイズ、エリア、位置、x-y位置、ユーザの指の角度および包囲、ユーザの指の移動および/または移動の速度、デバイスのタッチ感知スクリーンにタッチする物体のタッチダウン時間(たとえば、ユーザの指がタッチ感知スクリーンにタッチしている時間の持続時間)など、ユーザのタッチからタッチパラメータを導出することができる。一例において、ユーザの指がまだ移動しつつある場合に、ユーザの指紋のイメージを取り込むことは、非効率的である可能性がある。イメージを取り込むべき、より理想的な時は、たとえば、ユーザの指が事実上静止し、タッチ感知スクリーンからしきい近接以内にある(たとえばタッチ感知スクリーンにタッチしている)時である。

別の例において、タッチパラメータは、指紋イメージのタイムリーな取込および獲得を可能にするためにユーザの指が指紋センサアレイ116の上に位置決めされている時を判定し、指が存在しない時にセンサアレイ116の不必要な起動またはアクティブ化を防ぎ、モバイルデバイス102による全体的な電力消費を削減するのに使用され得る。別の例において、タッチパラメータは、物体が指、掌、またはスタイラスである可能性が高いかどうか(たとえば、タッチスクリーンに対する物体のエリアまたは輪郭に基づいて)を判定し、それ相応にセンサアレイ116の諸部分をアクティブ化するのに使用され得る。別の例において、複数同時タッチを検出できる(たとえば、マルチタッチ能力)タッチパラメータは、センサアレイ116のうちで複数の指タッチが検出された位置に関連する部分をトリガし、2本、3本、4本、または5本の指の同時指紋採取を可能にするのに使用され得る。いくつかの実施態様において、指の位置および方位が、タッチスクリーンによって検出され、指紋センサシステムを用いるユーザの登録および/または検証を支援するのに使用され得る。

タッチシステム112は、モバイルデバイスの移動速度、タッチ信号レベルデータ(たとえば、しきい値または信号対雑音比(SNR))、またはグリップ検出など、モバイルデバイス102の移動またはモバイルデバイス102に関連するデータからタッチパラメータを導出することもできる。グリップ検出は、モバイルデバイスに対するユーザのグリップに関するデータを指すことができる。たとえば、タッチシステム112は、ユーザがモバイルデバイスを保持するのにどの手を使用しているのか(たとえば、右手または左手)、ユーザがモバイルデバイスのどこをグリップしているのか(たとえば、上側、下側、左側、および/または右側)、どの手がスクリーンにタッチしているのか(たとえば、左手または右手が、キーパッド上に表示された特定の数を選択するのに使用されている)を理解できる場合がある。

B. 指紋データ
アクション212において、センサシステム114は、指紋データを受信し、処理することができる。いくつかの実施形態において、センサシステム114は、ユーザの指から反射された超音波から取り込まれたイメージを処理するために、指紋ハードウェアおよび回路網を含むことができる。センサシステム114は、指紋データを指紋制御ブロック220に渡すことができる。指204が、センサアレイ116の上に位置決めされる時に、センサアレイ116内に含まれる超音波送信器が、指204の1つまたは複数の超音波イメージを獲得するために起動され得る。

C. センサデータおよびデバイス状況情報
アクション214において、センサデータおよび/またはデバイス状況情報が、取り出され、指紋制御ブロック220に渡され得る。モバイルデバイス102は、センサ補償を可能にするためにセンサデータを提供する、温度センサ(たとえば、環境温度、電話機温度、ならびにセンサおよび/またはタッチ感知スクリーンの温度)および/または湿度センサなどのデバイスセンサを含むことができる。

モバイルデバイス102は、たとえばユーザが移動しているかどうか、またはユーザがどれほど速く移動しているのかを判定するために、1つまたは複数のジャイロスコープおよび加速度計ならびに/または全地球測位システム(GPS)をも含むことができる。たとえば、ユーザが走っている場合に、ユーザの指紋のイメージを取り込むことは、非効率的である可能性がある。そのような例において、モバイルデバイス102は、ユーザがモバイルデバイス102をアンロックすることを可能にするが、購入がユーザにとって故意にしたものではない可能性があるので、ユーザがオンラインで購入を行うことを可能にしないものとすることができる。ユーザの指紋のイメージを取り込むべき、より理想的な時は、たとえば、ユーザの指が事実上静止し、タッチ感知スクリーンからしきい近接以内にある時である。さらに、セルラー状態、RF信号レベル(たとえば、強い信号、中間の信号、または弱い信号)、および/またはバッテリレベルなどのデバイス状況情報が、取り出され、指紋制御ブロック220に渡され得る。

D. タッチデータ、指紋データ、センサデータ、および/またはデバイス状況情報を処理する
タッチデータ(アクション210参照)、指紋データ(アクション212参照)、ならびにセンサデータおよび/またはデバイス状況情報(アクション214参照)は、指紋の異なるイメージを取り込むか、後刻に指紋イメージを取り込むために、今がユーザの指紋のイメージを取り込むのに適切な時であるかどうか、またはセンサシステム114によって処理される異なるパラメータを識別することが望ましい可能性があるかどうかを判定する際に、ユーザの移動へのコンテキストを提供し、センサシステム114を支援することができる。

指紋制御ブロック220内で、データが、合成され、様々な形においてコンテキストおよび理解を提供することができる。アクション222において、指紋スキャンを制御できるパラメータが、導出され得る。タッチデータ、指紋データ、センサデータ、および/またはデバイス状況情報が、最適な指紋センサ動作パラメータを実現するために合成され得、アクション222の出力は、高品質指紋イメージを入手するために指紋センサシステムのパラメータを調節することができる。たとえば、アクション224において、センサシステム114の最適なチューニングパラメータおよびスキャニングハードウェアをアクティブ化すべき最適の時刻が、判定され、物体検出システム110に渡され得る。

アクション226において、データが、ユーザへのリアルタイムフィードバックを提供するために合成され、物体検出システム110に渡され得る。一例において、指紋位置調整に関する1つまたは複数の推奨を伴うリアルタイムフィードバックが、ディスプレイを介してユーザに提供され得る。具体的には、リアルタイムフィードバックは、ユーザの指の良いイメージを入手する確率を高めるためにユーザの指または手をどのように調整すべきかの提案をユーザに提供することができる。たとえば、センサシステム114は、ユーザがどこにタッチしているのか、明瞭な指紋イメージを取り込むためにタッチすべきタッチスクリーンまたはビジュアルディスプレイの部分、モバイルデバイス102が過度に強く突きまわされているかどうか、および/または良い指紋イメージが獲得されたかどうかを判定できる場合がある。

物体検出システム110は、たとえば、システムユーザインターフェースを介してユーザにビジュアルフィードバック、可聴フィードバック、および/または触覚フィードバックを提供することができる。ビジュアルフィードバックの例は、システムがユーザの指紋の良いイメージ(図3内のビジュアルイメージ322参照)を取り込むことを可能にするためにユーザがタッチ感知スクリーン上のどこにタッチしなければならないのかを示す、モバイルデバイス102のディスプレイ上のビジュアルシンボル(たとえば、境界ボックスまたは指紋の図に非常に近接したテキスト「ここにタッチ」を伴う境界ボックスまたは指紋の図)を提供することとすることができる。

ビジュアルディスプレイの別の例は、ユーザの指紋のイメージが成功して取り込まれたのか、たとえばイメージ獲得イベント中のモバイルデバイス102の移動または指の過度の移動の故に、成功しては取り込まれなかったのかを示す、モバイルデバイス102のディスプレイ上のプロンプトを提供することとすることができる。ビジュアルディスプレイの別の例は、ユーザの指紋が成功して取り込まれたことを示すために、モバイルデバイス102に結合された緑の発光ダイオード(LED)を光らせること、および、ユーザの指紋が成功しては取り込まれなかったことを示すために、モバイルデバイス102に結合された赤のLEDを光らせることとすることができる。いくつかの実施態様において、トーン、サウンド、または言葉の応答などのオーディオフィードバックが、ユーザに提供され得る。いくつかの実施態様において、指紋イメージが獲得されている時または登録、照合、もしくは認証が成功であった時の振動またはクリックなど、触覚フィードバックがユーザに提供され得る。

アクション228において、質を高められたレコードの作成および管理のためのパラメータが導出され得る。指204がタッチ感知スクリーンにタッチする時に、センサアレイ116は、起動され、指204をスキャンする超音波センサアレイとすることができる。この例において、処理構成要素132は、ユーザの指紋の1つまたは複数の超音波イメージを獲得し、指紋イメージまたは関連する指紋特徴をメモリ134(図1参照)に記憶することができる。指紋特徴は、指紋に関連する様々な特徴点のタイプ、位置、および角度を含むことができる。セキュリティを保証するために、処理構成要素132は、指紋イメージまたは指紋特徴を暗号化し、次いで、暗号化された指紋イメージまたは指紋特徴をメモリ134内に記憶することができる。

処理構成要素132が、どの手(たとえば、右手または左手)、どの指(たとえば、親指、人差し指、中指、薬指、または小指)、および/またはユーザの指のどの部分(たとえば、指先、中央、側面、または底面)が指紋イメージを作成するのに使用されているのかを認識している場合に、処理構成要素132は、ユーザの指紋イメージまたは指紋特徴をメモリ134内に記憶された別の指紋イメージまたは指紋特徴と、より簡単に照合できる可能性がある。

コストを削減するために、センサアレイ116のサイズを最小化することが望ましい場合がある。センサアレイ116が小さい場合に、ユーザの指の少数の特徴点または特徴が、取り込まれる可能性があり、ユーザの指紋イメージが別の指紋イメージと一致するかどうかの判定は、少量のデータに基づいて行われる。したがって、より正確で素早い結果を入手するためには、ユーザの指のどの部分が取り込まれ、指紋イメージによって表されるのかを認識することが役に立つ可能性がある。

アクション230において、たとえばユーザの指紋イメージを作成し、照合し、かつ/または認証するために指紋レコード管理の質を高めるように、データが合成され得る。ユーザが、アカウントをセットアップしている場合に、処理構成要素132は、指204のイメージを取り込み、特徴点および/または特徴に関して指紋イメージを分析し、特徴点および/または特徴を指紋テンプレート情報(指紋「テンプレート」とも称する)としてメモリ134内に記憶することができる。イメージは、センサアレイ116の、物体とのインタラクションに基づくものとすることができる。後の時点に、処理構成要素132が、指204の取り込まれた指紋イメージがメモリ134内の記憶された指紋テンプレートと一致すると判定した場合に、処理構成要素132は、ユーザを認証することができる。対照的に、処理構成要素132が、指204の取り込まれた指紋イメージがメモリ134内の記憶されたテンプレートのいずれとも一致しないと判定した場合に、処理構成要素132は、認証が失敗したと判定し、ユーザを認証しないものとすることができる。

III. 物体検出システムの構成要素
図3は、いくつかの実施形態と一貫する、モバイルデバイス102内の物体検出システム110の構成要素を示すブロック図300である。図4は、いくつかの実施形態と一貫する、図3のモバイルデバイス102内の物体検出システム110の構成要素の側面図を示すブロック図400である。

図3内では、タッチシステム112は、タッチ感知スクリーン302およびビジュアルディスプレイ304を含む。タッチ感知スクリーン302は、ディスプレイ304内に組み込まれ、またはモバイルデバイス102のディスプレイ304の上もしくは下に位置決めされ得る。一例において、タッチ感知スクリーン302は、抵抗性タッチスクリーンとすることができる。別の例において、タッチ感知スクリーン302は、投影型容量性タッチ(PCT)とも呼ばれる投影型容量性(PCAP)タッチスクリーンとすることができる。投影型容量性感知ハードウェアは、N個のセンサ電極(たとえば、行電極)のアレイを有するガラスのトップ層またはカバー層、絶縁層、およびガラス基板の下のM個のセンサ電極(たとえば、列電極)の交差したアレイを含むことができる。

タッチ感知スクリーン302は、ガラス材料から作られ、タッチ感知スクリーンの下に存在するシリコンオンガラス構成要素306を含むことができる。いくつかの実施形態において、ディスプレイドライバ、PCTフロントエンド(アナログフロントエンドすなわちAFE)、および指紋センサAFEが、シリコンオンガラス構成要素306内に組み合わされ得る。各AFEは、様々なセンサからデータを獲得し変換するための、1つまたは複数のアナログ-デジタル変換器および関連するタイミング回路網を含むことができる。したがって、高い度合のインタラクションが、ディスプレイドライバとタッチAFEと指紋センサAFEとの間で、シリコンオンガラス構成要素306から離れない状態で発生するようにすることができる。タッチ感知スクリーン302は、ガラス材料から作られるものとして説明されるが、タッチシステム112が、任意の透明材料から作られ得ることを理解されたい。たとえば、タッチ感知スクリーン302は、ポリカーボネート材料またはサファイア材料から作られ得る。

両面フレックス回路308が、タッチ感知スクリーン302とセンサアレイ116との間に位置決めされ得る。センサアレイ116は、フレックス上に存在し、ガラス上に存在し、または他の形でタッチスクリーンに結合され得る。両面フレックス回路308は、電気的および物理的インターフェースであり、2つ以上の導電層を、それらの間の絶縁層とともに含むことができる。外側の導電層は、フレックスの片側または両側からアクセスされ得る露出させたパッドを有することができる。センサアレイ116は、電力を供給し、指紋センサデータを取り出すために、フレックス回路308上の電気接続を使用することができる。同様に、タッチ感知スクリーン302は、スクリーン表面上での1つまたは複数のタッチを検出するための電気信号を生成し、受信するために、フレックス回路308上の電気接続を使用することができる。同様に、ディスプレイ304は、電力を供給し、主プリント回路基板(PCB)320から流れるディスプレイ情報を受信するために、フレックス回路308上の電気接続を使用することができる。

一例において、両面フレックス回路308は、上向きにフレックス部分308Aを介してディスプレイ304へおよび下向きにフレックス部分308Bを介してセンサアレイ116へ電気接続を供給することができ、その結果、データが、お互いおよび主PCB320に渡され、かつ/またはお互いおよび主PCB320から受信され得るようになる。別の例において、両面フレックス部分308は、上向きにフレックス部分308Bを介してディスプレイ304へおよび下向きにフレックス部分308Aを介してセンサアレイ116へ電気接続を供給することができ、その結果、データが、お互いおよび主PCB320に渡され、かつ/またはお互いおよび主PCB320から受信され得るようになる。さらに、両面フレックス回路308内のめっきされたスルーホールが、タッチ感知スクリーン302とセンサアレイ116との間の接続を提供することができる。

両面フレックス回路308は、フレックス回路308の片側または両側に存在する1つまたは複数のシリコンオンフレックス構成要素310を含むことができる。いくつかの実施形態において、指紋送信器(Tx)ドライバセクションおよび1つまたは複数の指紋/タッチ低ドロップアウト(LDO)電圧レギュレータが、シリコンオンフレックス構成要素310内に組み合わされ得る。シリコンオンフレックス構成要素310の電力供給は、他の集積回路(IC)と共有され得る。

上で論じたように、認証のために指をスキャンするようにユーザに要求するビジュアルプロンプトが、ディスプレイ304上に現れるようにすることができる。プロンプトには、要求を増補しまたは確認するために、1つまたは複数のオーディオトーン、言葉のコマンド、または触覚フィードバックを付随させることができる。主PCB320は、データを操作し、ディスプレイ304に送り、タッチ感知スクリーン302またはディスプレイ304の表面上のどこに指を置くべきかをユーザに示すためにビジュアルイメージ322を提供することができる。ビジュアルイメージ322は、破線の箱として示され、その下に結合されたセンサアレイ116のアクティブエリアの輪郭を示すことができる。図3内では、センサアレイ116は、分解図内で下に投影されている。ビジュアルイメージ322は、センサアレイ116のアクティブエリア(イメージ取込エリア)とほぼ同一またはより小さいサイズとすることができる。

主PCB320は、1つまたは複数の移動局モデム(MSM:mobile station modem)を有するチップセット324および1つまたは複数のコーデック(コーダ-デコーダ)326を有する処理構成要素132を含むことができる。1つまたは複数のデジタルプロセッサを有するチップセット324は、指紋処理を実行し、かつ/またはディスプレイインターフェースを制御することができる。チップセット324は、アクション214(図2参照)を実行し、センサデータおよびデバイス情報を処理することができる。たとえば、チップセット324は、センサハブ処理、タッチ処理、およびモード制御(たとえば、指紋、タッチ、およびセンサモード制御)を実行することができる。チップセット324は、たとえばユーザがセンサアレイ116の上または近くのタッチ感知スクリーン302の適当な部分にタッチする時に、センサシステム114および/またはセンサアレイ116をウェイクアップするように構成され得る。これらの機能の一部は、チップセット324および/またはコーデック326内で実行され得る。コーデック326は、モバイルデバイス102に関連する様々なスピーカ、マイクロフォン、ディスプレイ、およびカメラ(たとえば、センサ344、346、および/または348)のためにオーディオストリームおよびビデオストリームを符号化し、かつ/または復号するなど、従来の機能を実行することができる。

タッチシステム112がアクティブである時に、ユーザは、センサシステム114が起動され、処理構成要素132がユーザの指紋332のイメージを取り込むように、タッチ感知スクリーン302上でビジュアルイメージ322の境界を示された破線の箱の中に指を置くことができる。タッチシステム112は、ユーザのタッチを処理し、1つまたは複数の電気接続340を介して主PCB320にタッチデータ(図2内のアクション210参照)を送ることができる。フレックス接続性342は、タッチデータおよび指紋データのためのシリアルパラレルインターフェース(SPI)接続性、ディスプレイのためのモバイルインダストリプロセッサインターフェース(MIPI:mobile industry processor interface)、ならびに電力接続およびグラウンド接続を可能にするために1つまたは複数の接続340を含むことができる。フレックス接続性342は、タッチデータおよび指紋データのために同一のSPIまたは異なるSPIを含むことができる。

チップセット324内の1つまたは複数のプロセッサは、タッチ感知スクリーン302からのタッチデータを分析し、指紋332のイメージを取り込むべきかどうかを判定する。たとえば、ユーザが移動しており、指紋332が不明瞭であるかぼけている場合に、チップセット324は、指紋332のイメージを取り込まないと判定することができる。チップセット324が、指紋332がそのイメージの取込に関して良い候補であると判定する場合に、チップセット324は、センサアレイ116をアクティブ化することができ、次いで、センサアレイ116は、タッチパラメータデータおよび任意の調整を用いて指紋332のスキャンを実行するために指紋AFEと通信することができる。センサアレイ116は、所定の時間期間の間に指紋332をスキャンし、処理のために指紋データを処理構成要素132に送ることができる。処理構成要素132は、たとえば、登録のために指紋イメージのテンプレートまたはレコードを作成し、あるいは、ユーザの検証または認証のために、テンプレートまたは指紋イメージがメモリ134(図1)内に記憶された指紋イメージのいずれかと一致するかどうかを判定することができる。

図4内では、タッチ感知スクリーン302は、ディスプレイ304内に組み込まれ、またはディスプレイ304の上に配置され得、センサアレイ116は、タッチ感知スクリーン302およびディスプレイ304の一部の下に位置決めされる。図4内の例が、限定的であることを意図されたものではなく、図4内の構成要素の位置が、図示の位置と異なってもよいことを理解されたい。

シリコンオンガラス構成要素306およびシリコンオンフレックス構成要素310内に存在する構成要素は、様々な実施態様に基づいて変化してもよい。一例において、ディスプレイドライバおよびタッチAFEは、シリコンオンガラス構成要素306内に組み合わされ得、指紋送信器ドライバセクション、指紋/投影型容量型性タッチLDO、および指紋AFEは、シリコンオンフレックス構成要素310内に組み合わされ得る。別の例において、ディスプレイドライバは、シリコンオンガラス構成要素306内に組み合わされ得、タッチAFE、指紋送信器ドライバセクション、指紋/投影型容量型性タッチLDO、および指紋AFEは、シリコンオンフレックス構成要素310内に組み合わされ得る。

さらに、複数のシリコン構成要素が、タッチ感知スクリーンのガラス上に存在することができ、複数のシリコン構成要素が、フレックス回路上に存在することができる。タッチAFEおよび指紋AFEが同一のチップ内に存在する場合に、それらは、同一のSPIを使用することができる。タッチAFEおよび指紋AFEが異なるチップ内に存在する場合に、それらは、それぞれそれら自体のSPIを使用することができる。2つのSPIを使用することによって、主PCB320と両面フレックス回路308との間にワイヤまたは他の電気接続を延ばすことが、より困難かつ高価になる可能性があるが、より柔軟になる。

一例において、ディスプレイドライバは、シリコンオンガラス構成要素306内に存在することができ、2つの異なるシリコン構成要素が、両面フレックス回路308上に存在する。別の例において、指紋送信器ドライバセクションおよび指紋/タッチLDOは、第1のシリコンオンフレックス構成要素(図示せず)内に存在することができ、タッチAFEおよび指紋AFEは、第2のシリコンオンフレックス構成要素(図示せず)内に組み合わされる。別の例において、指紋送信器ドライバセクションおよび指紋/投影型容量性タッチLDOは、第1のシリコンオンフレックス構成要素内に存在することができ、タッチAFEは、第2のシリコンオンフレックス構成要素(図示せず)内に存在する。

図5は、いくつかの実施形態と一貫する、圧電微細加工超音波トランスデューサ(PMUT)を含む物体検出システム110を示すブロック図500である。PMUTタッチ/指紋センサ502は、ディスプレイ全体を包含することができ(図示のように)、あるいはディスプレイより小さくすることができる。一実施形態において、シリコンオンガラス構成要素306は、ディスプレイドライバを含むことができ、シリコンオンフレックス構成要素310は、PMUT AFEを含むことができる。別の実施形態において、ディスプレイドライバおよびPMUT AFEは、単一のシリコンオンガラス構成要素306内に組み合わされ得る。

上で論じられ、ここでさらに強調されるように、図1〜図5は、単に例であり、これが特許請求の範囲の範囲を不当に制限してはならない。たとえば、1つの物体が、物体検出システム110によって検出されるものとして図示されるが、複数の物体(たとえば、複数の指、指およびスタイラス、その他)が検出され得ることを理解されたい。

図6は、いくつかの実施形態と一貫する、物体の1つまたは複数のセンサイメージを取り込む方法600を示す流れ図である。方法600は、限定的であることを意図されたものではなく、他の応用例において使用され得る。

方法600は、ブロック602〜ブロック604を含む。ブロック602において、デバイスのタッチ感知スクリーンに関する物体から反射された信号が、タッチ感知スクリーンに結合されたセンサアレイによって検出され得る。一例において、センサアレイ116は、モバイルデバイス102のタッチ感知スクリーンに関して物体104から反射された超音波信号を検出する超音波センサアレイである。

ブロック604において、物体の1つまたは複数のイメージが、反射された信号に基づいて取り込まれ得、センサアレイの少なくとも一部は、タッチ感知スクリーンの少なくとも一部とオーバーラップする。一例において、センサアレイ116は、超音波センサアレイであり、処理構成要素132は、反射された超音波信号に基づいて、物体104の1つまたは複数の超音波イメージを取り込み、超音波センサアレイの少なくとも一部は、タッチ感知スクリーンの少なくとも一部とオーバーラップする。

追加のプロセスが、上で論じられたブロック602〜ブロック604の前、その間、または後に実行され得ることも理解されたい。本明細書で説明される方法600のブロックのうちの1つまたは複数は、要望通りに省略され、結合され、または異なる順序で実行されてよいことも理解されたい。一実施形態において、ブロック602〜ブロック604は、タッチ感知スクリーンの表面の上に停止するかこれに接して位置決めされた任意の個数の物体(たとえば、複数の指)に関して実行され得る。

IV. センサアレイ
A. 電力削減
もう一度図2を参照すると、センサシステム114は、機能している時にかなりの電力を消費する可能性があり、超音波指紋センサアレイのために超音波を発生させている時に追加の電力を消費する可能性がある。超音波センサアレイ116に関連する超音波送信器を駆動するための適度に高い電力消費に起因して、送信器オン時間を最小化し、センサシステム114が消費する電力の量を削減することが望ましい可能性がある。

いくつかの実施形態において、処理構成要素132は、送信器が信号を送信せず、かつ/または受信器が受信された信号を取り込まず、もしくは受信された信号を他の形で処理しないように、センサアレイ116をオフに切り替えるか、センサアレイ116を低電力モードにすることができる。たとえば、処理構成要素132は、送信器イネーブル信号または駆動電圧をセンサアレイ116に送ることを控え、超音波イメージングのために必要になるまで超音波が発生するのを防ぐことができる。同様に、処理構成要素132は、イメージが必要とされるまでセンサアレイ116の受信器部分を低電力モードまたはスリープモードにし、全体的な電力消費を削減することができる。処理構成要素132も、ある時間期間の間、スリープモードにされ得る。タッチ感知スクリーンは、通常、アクティブであり、物体の移動を追跡するのに使用される。具体的には、タッチ感知スクリーンは、指204が移動を停止した時および指204がセンサアレイ116のアクティブエリアの上に位置決めされた時を判定するのに使用され得る。獲得された指紋イメージは、指のイメージが取り込まれる時にユーザが指の移動204を停止していた場合に、より明瞭かつより正確になる可能性がある。

タッチセンサおよびタッチ感知スクリーンは、センサシステム114より少ない電力を消費する可能性があり、その結果、いくつかの実施態様において、タッチセンサまたはタッチ感知スクリーンは、指または他の物体を検出するのに使用され得るようになり、この検出が、指紋センサをウェイクアップするために処理構成要素132をトリガすることができる。たとえば、検出されたエリアおよび/またはタッチ感知スクリーン上に位置決めされた物体の輪郭が、サイズおよび形状において、スタイラスまたは保護ケースの内部より指に似ている場合に、処理構成要素132は、センサシステム114およびセンサアレイ116をウェイクアップし、呼び出すことができる。さらに、指または指輪郭の座標が、センサアレイ116のイメージ取込エリア(アクティブエリア)内にある場合に、指の1つまたは複数のセンサイメージが、取り込まれ得る。

タッチシステム112は、タッチ感知スクリーンの表面上の指204を検出し、検出された指に関する信号を処理構成要素132に送ることができる。処理構成要素132の諸部分がスリープしている場合には、必要な部分が、ウェイクアップされまたはスリープモードから出され得る。処理構成要素132は、指204が指紋センサエリア内にある時を検出することができる。指204が指紋センサエリア内にあることの検出に応答して、処理構成要素132は、1つまたは複数の送信器が信号(たとえば、超音波信号)を放射し、1つまたは複数の受信器が指204から反射された信号パターンを受信するように、センサアレイ116をオンに切り替えることができる。センサアレイ116をオンに切り替えるべき適当な時は、指が移動を停止し、指紋センサアレイのアクティブエリアの上の相対的に静止した位置に落ち着いた時である可能性がある。次いで、処理構成要素132は、指の1つまたは複数のイメージを取り込むために、反射された信号パターンを獲得し、処理することができる。

一例において、モバイルデバイス102は、タッチスクリーンおよびディスプレイがオフの状態でスリープすることができる。ユーザは、モバイルデバイス102をウェイクアップするために、ホームボタンなどの指定されたエリア上に指を置くことができる。タッチ感知スクリーンが、スクリーンの周囲の近くに1つまたは複数の容量性タッチセンサを含む場合に、容量性タッチセンサは、電力を節約するために低い繰返し率でタッチ感知スクリーンの一部(たとえば、センサアレイ116の周囲の領域およびセンサアレイ116を含む領域)だけを感知するのに使用され得る。別の例において、タッチスクリーンおよびディスプレイが低電力モードである(たとえば、タッチ感知スクリーンが、ウェイクアップし、指定されたエリア内に限って容量性感知チャネル(行および列)のより高いスキャンレートに切り替え、指紋センサアレイをウェイクアップし、イメージ獲得サイクルを開始する)時には、タッチ感知スクリーンのうちで指紋センサアレイが配置される指定されたエリア内の確認されたタッチだけを、作用させ得る。他のタッチは、指定されたエリアの外部の容量性感知チャネルがオフである可能性があるので、または、タッチが、指定されたセンサエリアの外部の領域内で行われるので、無視されてよい。

いくつかの実施態様において、センサシステム114は、取込モードと非取込モードとの間で切り替えることができる。センサシステム114が取込モードである場合に、センサシステム114は、アクティブであり、指紋がタッチ感知スクリーンからしきい近接内にある時に、指紋のイメージを取り込む。センサシステム114が非取込モードである場合に、センサシステム114は、アクティブであるが、指紋のイメージを取り込まない(指紋がタッチ感知スクリーンからしきい近接内にある場合であっても)。

いくつかの実施態様において、ユーザが、手袋をはめた手を用いてディスプレイ上の指紋エリアにタッチする場合に、タッチは、登録され得るが、事前にセットされたしきい値が、タッチ信号の大きさが指紋採取には低すぎるがスクリーンナビゲーションには適当であることを示すことができる。そのようなシナリオにおいて、タッチシステム112は、指紋センサを使わず、すべてのタッチに対して指紋センサを使うのではないようにすることによって、消費される電力の量を削減することができる。そのような例において、手袋をはめた指によるタッチは、スクリーンナビゲーションを可能にするための最小信号しきい値を満足することができる。

したがって、物体のセンサイメージが不明瞭になりやすい時にセンサアレイ116をオフまたは低電力スリープモードのままにし、物体のセンサイメージが明瞭になりやすい時にセンサアレイ116をオンに切り替えることによって、物体検出システム110は、センサシステム114のより良い電力管理を可能にすることができる。この形において、センサシステム114の電力需要が削減され得、初回スキャン成功のより高い確率が保証される。

B. サイズ削減
センサアレイ116は、タッチ感知スクリーンの一部の下(タッチ感知スクリーン全体の下ではなく)に配置され得る。センサアレイ116がタッチ感知スクリーンに結合された状態で、センサアレイ116のサイズは、本開示で論じられるように明瞭な指紋イメージングおよび他の利点をそれでも提供しながら、小さくすることができる。一例において、センサアレイ116のアクティブエリアは、1/4インチ×1/2インチ程度とすることができる。タッチ感知スクリーン(たとえば、容量性タッチスクリーン)は、削減されたサイズの指紋センサの有効な動作を助ける。たとえば、タッチ感知スクリーンは、タッチ感知スクリーンの表面上の指204の位置を検出し、指が削減されたサイズの指紋センサの上に位置決めされている時の判定を助けることができる。

ユーザは、ディスプレイ上のアクティブ指紋エリアにタッチすることができる。一例において、ユーザインターフェース(UI)は、指紋センサに関するタッチエリアの輪郭を表示し、ユーザが正しい位置および/または方位において指を位置決めするためのグラフィカルガイド(たとえば、図3内のビジュアルイメージ322参照)を提供することができる。タッチシステム112は、検出されたタッチからのサイズパラメータを指紋制御ブロック220に供給することができる。タッチサイズ情報は、指のどの部分がスキャンされているのか(たとえば、指先、中央、底面、または側面)と、指のサイズおよび位置とに関する詳細を含むことができる。したがって、頬、掌、ワイシャツの袖、またはスクリーン上の液体など、大きすぎるか奇妙な形状を有すると思われるタッチの不必要なスキャンは、回避され得る。

C. センサ位置の自己較正
削減されたサイズの指紋センサとタッチ感知スクリーンを有するディスプレイとの間のインタラクションの一部として、ディスプレイに関するセンサアレイ116の物理位置を認識することが重要である可能性がある。たとえば、モバイルデバイス102上で実行中のアプリケーションが、ディスプレイに関するセンサアレイ116の位置を認識することを可能にすることが、重要である可能性がある。

様々なモバイルデバイスモデルの間の配置変動および組立公差に伴って、各デバイス内のセンサアレイ116の位置を判定することが望ましい可能性がある。モバイルデバイス上で実行するいくつかのソフトウェアアプリケーションが、ユーザからの認証するタッチ入力を要求する場合がある。アプリケーションが、センサアレイ116の位置を認識していない場合に、アプリケーションは、センサアレイ116からイメージを獲得できない可能性がある。別の例において、アプリケーションが、モバイルデバイス102内のセンサアレイ116の位置を不正確に認識している場合に、アプリケーションは、ユーザのタッチ入力を受信できない可能性があり、偶然にハングし、または機能不全に陥る可能性がある。

いくつかの実施形態において、センサアレイ116とタッチ感知スクリーンとの間の電磁インタラクションまたは静電インタラクションが、センサがディスプレイに取り付けられた後に、センサ位置および/またはセンサ方位を自己較正するのに使用され得る。たとえば、センサアレイ116に関連する送信器電極または受信器電極が、タッチ感知スクリーンによるセンサの検出を可能にするためにAC信号またはDC信号を用いて一時的にバイアスを与えられ得る。センサアレイのアクティブ部分の輪郭が、センサの物理的な配置を判定するのに使用され得る。ソフトウェアアプリケーションは、センサアレイ116の位置を判定し、より小さいセンサアレイ116に対してタッチ感知スクリーンを自己較正するためにルーチンを実行することができる場合がある。

一例において、センサアレイ116は、ディスプレイの裏側に取り付けられ、タッチ感知スクリーン(たとえば、投影型容量性タッチスクリーン(PCT))は、ディスプレイの上に配置され、ディスプレイに接着され得る。タッチ感知スクリーンに関するセンサアレイ116の位置を自動的に判定するために、バイアス電圧が、受信器(たとえば、超音波受信器)電極または送信器(たとえば、超音波送信器)電極のうちの1つまたは複数に印加され得る。バイアス電圧は、タッチ感知スクリーンに最も近い受信器電極または送信器電極に印加され得る。センサアレイ116の1つまたは複数の電極は、センサ動作の諸態様を検証する(センサ自己テスト手順中に)ために、上に横たわる容量性タッチスクリーンによって検出され得る時間変動する信号を用いてバイアスを与えられ、またはその信号を注入され得る。

タッチ感知スクリーンのスキャンが、実行され得、センサのアクティブ領域が、判定され得る。アクティブセンサ領域の座標が、判定され、メモリ134内に記憶され得る(たとえば、エリア較正)。アクティブセンサエリアのサイズも、メモリ134内に記憶され得る。したがって、センサアレイ116のサイズ、位置、および方位が、容量性タッチスクリーンに関して判定され、メモリ134内に記憶され得る。

モバイルデバイス102上で実行するソフトウェアアプリケーションは、ユーザの指紋の指紋イメージが取り込まれ得るスクリーン上の位置へユーザを案内するために、サイズパラメータ、位置パラメータ、および/または方位パラメータを呼び出すことができる。仮想イメージが、指をタッチ感知スクリーン上のどこに置くべきかの例の輪郭(図3内のビジュアルイメージ322参照)をユーザに提供することができる。ソフトウェアアプリケーションは、アプリケーションが、望まれる時にセンサアレイ116からバイオメトリック情報を検出し、物体がセンサの上にある時を判定するためにタッチ感知スクリーンからの座標を記憶されたセンサパラメータと比較し、かつ/または他のアプリケーションを使用可能にすることを可能にするために、サイズパラメータ、位置パラメータ、および/または方位パラメータを呼び出すこともできる。

V. 物体の輪郭および回転
小面積指紋センサを使用する登録中に、複数のタッチ/タップが、各所望の指を登録するために要求される場合がある。これは、ユーザの経験に悪影響し(たとえば、過度の待ち時間および繰り返すタッチ/タップ)、過度な計算を要求する可能性がある。たとえば、登録中に指紋を記録しまたは登録するためにユーザが複数回タップすることを要求するプロセスは、15秒までまたはより長い時間を要する可能性がある。さらに、照合またはユーザの認証は、広範囲の計算リソースを消費し、登録された指またはユーザの数に応じてかなりの待ち時間を引き起こす可能性がある。たとえば、登録の待ち時間および処理は、登録イメージごとに最大で約500ミリ秒を要する可能性がある。処理時間は、指およびユーザの数に伴って線形的に増加し、したがって、ユーザの経験を悪化させる。

指紋イメージを処理する時間の長さを削減するために、タッチ感知スクリーンは、近似の指輪郭およびユーザがタッチした領域を検出するのに使用され得る。図7は、いくつかの実施形態と一貫する、モバイルデバイス701とイメージング領域702、704、706、708、および710とを示すブロック図700である。ユーザの指紋が、イメージング領域に基づいて取り込まれ、分析され得る。いくつかの実施形態において、タッチ感知スクリーンは、物体のタッチの位置およびタッチされた領域の輪郭を検出する容量性タッチスクリーンとすることができる。いくつかの実施形態において、タッチ感知スクリーンは、低解像度容量性タッチスクリーンとすることができる。

センサアレイ116は、センサアレイ116が指紋より小さいアクティブエリアを有する時または指紋の一部だけがスキャナのアクティブエリアとオーバーラップする時など、ユーザの指紋の一部だけを見る場合がある。図8は、いくつかの実施形態と一貫する、ユーザの指紋の一部のイメージを受信するセンサアレイ116を示すブロック図800である。図8内で、センサアレイ116は、指紋332の1つまたは複数の超音波イメージを獲得するために起動される超音波センサアレイとすることができ、センサアレイ116は、1つまたは複数の部分的指紋を取り込むことができる。図8内に示されているように、面内回転は、ピッチ軸の回りの回転である。面外回転は、ヨー軸の回りの回転および/またはロール軸の回りの回転である。ピッチ軸の回りの指の回転は、指紋イメージを正確に登録し、かつ/または照合するために、回転角に関する補正を必要とする可能性がある。タッチスクリーンからの情報は、低解像度タッチスクリーンであっても、回転角を判定する際に役立つ可能性があり、その後、指紋の登録および/または照合を助ける。

図9A〜図9Cは、いくつかの実施形態と一貫する、指の一部の例の指紋を示す。指輪郭が、指回転を識別するために使用され得る。図9A内に示されているように、タッチ感知スクリーンの表面にタッチする指の指先は、隆線-谷線パターンを内部に有する円または楕円に見える可能性がある(たとえば、ヨー角が、図8に関して約90°である)。図9B内に示されているように、指紋は、幅広く、指がタッチスクリーンの表面に対して本質的に平らに置かれていることを示す場合がある(たとえば、3つのすべての角度が、図8に関して約0°である)。図9C内に示されているように、狭い形状を有する「横向きの」指紋は、ユーザが、ある側または反対側に指を回転したことを示す可能性がある(たとえば、ロール角が、図8に関して約90°である)。

下でより詳細に論じられるように、検出された輪郭は、認証の第1レベルとしてテンプレートに対して照合され、高解像度指紋イメージングを選択的にアクティブ化するのにさらに使用され得る。いくつかの実施態様において、1つまたは複数の指輪郭の輪郭は、大面積複数指指紋センサ内の主バイオメトリック特徴または副バイオメトリック特徴として使用され得る。たとえば、指輪郭結果は、副認証(たとえば、超音波指紋イメージング)および/またはバイオメトリック機能強化(たとえば、活性検出)をさらにトリガすることができる。活性検出は、生命の生理的兆候を検出する。さらに、指輪郭は、大型スクリーンセンサ上の指位置の局所化された高解像度および/または照射を可能にして電力消費およびプロセッサの利用度を削減するのに使用され得る。照射は、通常はソナーまたは超音波イメージングの一部として、エリアまたは物体に制御された音波を当てることを指すことができる。したがって、マルチレベル認証システムは、短い待ち時間、低いプロセッサ利用度、および低い電力消費で実行され得る。

センサアレイ116の位置およびエリアは、指紋接触エリアおよび指の位置を推定するために指輪郭に関連付けられ得る。いくつかの実施形態において、指輪郭は、テンプレート関連付けに使用され得る。タッチシステム112からの追加の指輪郭および/または回転情報を使用することによって、センサシステム114からの指紋イメージデータの処理が、加速され得る(たとえば、回転、位置、および/またはエリア)。

従来のタッチ感知スクリーンは、約10ドット毎インチ(dpi)〜20dpiでイメージングすることができるが、指紋センサは、約500dpiでイメージングすることができる。いくつかの実施形態において、タッチスクリーンセンサは、より微細な輪郭を判定するのに使用され得、より微細な輪郭は、センサアレイ116に対する相対的なより微細な回転および位置決めを推定するのに使用され得る。一例において、輪郭およびより微細な回転/位置情報は、小面積センサベースの指紋登録手順内でイメージテンプレートまたは特徴テンプレートのステッチングに使用され得る。単一の指もしくは指の一部からの記憶された特徴点および/または指紋特徴は、特徴テンプレートと呼ばれる場合があり、指紋隆線、指紋谷線、および他の特徴の詳細なイメージは、イメージテンプレートと呼ばれる場合がある。指紋取込エリアは、いくつかの場合において、ユーザの指、掌、または手の一部またはエリアに関連付けられ得る。

単一の指からの複数の登録イメージが、指を表すためにステッチングされ、かつ/または記憶され得る。この指の表現は、イメージテンプレートと呼ばれる場合がある。たとえば、タッチシステム112は、タッチ感知スクリーンの表面上のユーザの指先輪郭を検出することができ(図9A参照)、処理構成要素132は、ユーザの指先輪郭のイメージをメモリ内に記憶することができる。より後の時点に、タッチシステム112は、タッチ感知スクリーンの表面上のユーザの平たい指輪郭を検出することができ(図9B参照)、処理構成要素132は、ユーザの平たい指輪郭のイメージをメモリ内に記憶することができる。処理構成要素132は、メモリ内に記憶された指輪郭または指先輪郭を部分的に使用して、指先または平たい指のいずれかより大きく、より完全なユーザの指の一部を表すために、この2つのイメージを一緒にステッチングすることができる。

一例において、タッチシステムは、タッチ感知スクリーンの表面上でのユーザのタッチの検出に基づいて物体輪郭を判定し、物体輪郭から物体の回転を判定することができる。そのような例において、処理構成要素132は、物体輪郭および回転に基づいてイメージテンプレートを識別し、物体の1つまたは複数のイメージを識別されたイメージテンプレートと一緒にステッチングし、ステッチングに基づいて新しいまたは更新されたイメージテンプレートを形成することができる。イメージテンプレートは、物体の部分的なイメージまたは完全なイメージとすることができる。

いくつかの実施形態において、指紋イメージからの特徴が、抽出され得、関連する特徴記述子が、指の表現として記憶され得る。指のこの表現は、特徴テンプレートと呼ばれる場合がある。一例において、タッチシステムは、タッチ感知スクリーンの表面上での物体のタッチの検出に基づいて物体輪郭を作成しまたは判定し、物体輪郭から物体の回転を判定することができる。そのような例において、処理構成要素132は、1つまたは複数の取り込まれたイメージから1つまたは複数の特徴を抽出し、物体輪郭、回転、および/または抽出された特徴に基づいて特徴テンプレートを識別し、特徴テンプレートを形成しまたはその質を高めるために物体の1つまたは複数のイメージをステッチングすることができる。次いで、処理構成要素132は、ステッチングに基づいて新しい特徴テンプレートを作成しまたは判定することができる。特徴テンプレートは、物体の部分的なイメージまたは完全なイメージとすることができる。

テンプレート(たとえば、イメージテンプレートまたは特徴テンプレート)は、将来の照会を支援するために、指輪郭、回転、および位置情報によって注釈を付けられ得る。登録中に、ユーザの指紋のテンプレートが、デバイスセキュアフラッシュメモリ(たとえば、電話機内のセキュアメモリ)内に記憶され得る。いくつかの実施形態において、ユーザの指のテンプレートの記憶は、1回限りのプロセスとすることができる。いくつかの実施形態において、ユーザの指のテンプレートは、照会中に更新され得る。さらに、1人または複数のユーザの複数指テンプレートが、デバイス内に記憶され得る。ユーザが、指紋認証システムを呼び出す(たとえば、デバイスのアンロックを試みる)時に、現在の照会イメージの特徴が、テンプレートと照合され得、一致スコアが計算され得る。一致スコアに基づいて、ユーザが認証される場合とされない場合とがある。

さらに、登録プロセスに関するユーザフィードバックは、回転および位置の知識を用いて機能強化され、これによって、ユーザの経験を改善する(たとえば、要求されるタッチの回数および全体的な待ち時間を削減する)およびプロセッサ利用度を改善することができる。たとえば、タッチスクリーンが検出したパラメータは、ユーザを案内し、進行状況についてユーザに知らせる(図2内のアクション226参照)など、有用なフィードバックを提供することによってユーザの経験の質を高めるのに使用され得る。照会中に、指輪郭ならびに位置および/または回転が、取り込まれたイメージから抽出され得る。照会輪郭は、登録された輪郭テンプレートと照合され得る。照合用の指紋テンプレートは、輪郭一致スコアに従って記憶され、登録されたユーザを認証しまたは検証するのに使用され得る。

いくつかの実施形態において、指紋テンプレート照合は、輪郭だけを照合することによって実行される。一例において、照合は、物体(たとえば、ユーザの指、指のセット、掌、または手)の2つの輪郭イメージ/シルエットイメージの相関を含む。別の例において、機械学習が、照会輪郭が登録(テンプレート)輪郭と一致するかどうかを判定するのに使用され得る。そのような例において、機械学習は、指紋照合のためにテンプレートを局所化するのに使用され得る。

さらに、照合用の位置および回転は、照会中に推定されたパラメータに基づいて洗練され得る。したがって、照会指紋特徴は、選択されたテンプレートまたは順序付けられたテンプレートに対して照合され得る。一致に成功すると、早期に終了し、したがって、認証待ち時間を削減し、ハードウェアリソース利用度を最小化することができる。大面積センサにおいて、低解像度タッチセンサが、初期タッチを検出し、指、手、または掌の輪郭を判定するのに使用され得、これに、高解像度センサアレイを用いる、選択的なイメージ獲得および関心領域内でのイメージ処理が続く。

A. タッチ支援登録
図10は、いくつかの実施形態と一貫する、指紋登録および/または指位置変更もしくは指回転変更を実行するためにユーザを案内する方法1000を示す流れ図である。方法1000は、限定的であることを意図されたものではなく、他の応用例において使用され得る。

方法1000は、ブロック1002〜ブロック1022を含む。ブロック1002において、センサアレイ116とタッチセンサの一部またはすべてとの間のオーバーラップが検出され得る。一例において、センサアレイ116は、超音波指紋センサとすることができ、タッチセンサは、タッチ感知スクリーン内に組み込まれた1つまたは複数の容量性感知チャネルとすることができる。指紋センサ位置が、検出され、メモリ134内に記憶され得る。ブロック1002は、デバイスごとに1回実行され得る。

指紋登録が終了している場合には、プロセスフローは、ブロック1004に進むことができ、ここでプロセスは終了することができる。指紋登録が終了していない場合には、プロセスフローは、ブロック1006に進むことができ、ブロック1006において、指輪郭が、タッチセンサを使用して検出され得る。ブロック1008において、1つまたは複数の回転角が、指輪郭に基づいて判定され得る。一例において、処理構成要素132は、1つまたは複数の回転角を判定するために指輪郭の形状および面積を分析することができる。回転角は、たとえば、ピッチ軸の回りの面内回転、ヨー軸の回りの面外回転、またはロール軸の回りの回転とすることができる。

ブロック1010において、指輪郭が、センサアレイ116にマッピングされ得る。一例において、タッチセンサからの信号は、指輪郭の座標の識別を可能にし、処理構成要素132は、指輪郭とセンサアレイ116のアクティブエリアとの間のオーバーラップを検出することができる。ブロック1010は、指紋センサ座標およびタッチセンサ座標など、指紋センサおよびタッチセンサ位置情報をメモリ内に保持しまたは記憶することができる。ブロック1002から、指紋センサ位置が、タッチセンサ座標に関して判定され得る。したがって、タッチから導出された輪郭および指の接触エリアが、指紋センサパラメータに変換され、センサアレイ116にマッピングされ得る。

ブロック1012において、指およびセンサアレイ接触エリアが検出され得る。処理構成要素132は、指輪郭の取込エリアを、1つまたは複数のイメージ内に取り込まれた指のエリア(たとえば、指先)に関連付けることができる。処理構成要素132は、接触エリアを検出するためにセンサアレイ116のエリアにマッピングされた指輪郭の座標を使用することができる。ブロック1014において、指の現在のイメージ(たとえば、超音波イメージ)が、取り込まれ得る。一例において、センサアレイ116は、指の1つまたは複数の超音波イメージを獲得するために起動される超音波センサアレイとすることができ、処理構成要素132は、指の1つまたは複数の超音波イメージを取り込む。

ブロック1016およびブロック1020は、これらのブロックのうちの多くとも1つが、方法1000のブロック1014からブロック1022までのフローごとに実行され得ることを示す破線を有する。ブロック1016が実行される場合には、ブロック1020は実行されず、プロセスフローは、ブロック1016からブロック1018へ、その後にブロック1022へ進む。ブロック1016において、イメージの1つまたは複数の特徴が抽出され、ここで、イメージは、指の部分的な登録イメージである。指紋特徴の例は、指紋特徴点であり、イメージ特徴の例は、指紋イメージ内のエッジおよびコーナーである。一例において、特徴は、傾きのヒストグラムまたはイメージ特徴を囲むローカルブロックの様々な統計パラメータを使用して記述され得る。次いで、記述子は、照合アルゴリズムによって照合され得る。

ブロック1018において、イメージテンプレートおよび/または特徴テンプレートが、指の現在のイメージと一緒にステッチングされ得る。1つまたは複数の記憶されたイメージテンプレートまたは特徴テンプレートなどの外部データが、現在のイメージとのステッチングに使用され得る。指(または他の物体)の1つまたは複数のイメージまたは特徴が、記憶されたイメージテンプレートまたは特徴テンプレートと一緒にステッチングされ得、新しいまたは更新されたイメージテンプレートまたは特徴テンプレートが、ステッチングに基づいて作成されまたは形成され得る。

小面積イメージからフルサイズのイメージテンプレートまたは特徴テンプレートへの変換は、様々な形において実行され得る。一例において、小面積イメージは、イメージレジストレーション技法を使用して一緒にステッチングされ得、ステッチングされたイメージの1つまたは複数の特徴が、抽出され得る。別の例において、別の特徴テンプレートまたはイメージテンプレートを作成し、判定し、または形成するために、部分的イメージの1つまたは複数の特徴が抽出され得、テンプレートが、注釈を付けられ、一緒にステッチングされ得る。別の例において、取り込まれた指紋イメージは、位置および回転角情報を用いて注釈を付けられ得る。位置および回転角情報は、イメージのステッチングまたはイメージテンプレートのラベル付け/ステッチングに使用され得る。さらに、指輪郭、位置、およびエリア情報は、高速の照合/照会を支援するために、テンプレートにタグ付けされ得る。

いくつかの実施態様において、特徴テンプレートまたはイメージテンプレートが、一緒にステッチングされない場合がある。そうではなく、テンプレートは、将来の照会、照合、または認証のために、順序付けられまたは他の形で番号付けされ、記憶され得る。いくつかの実施態様において、タッチセンサまたはタッチ感知スクリーンは、指紋センサに関する既知のオーバーラップエリアに基づいて、テンプレートをステッチングする時に支援することができる。たとえば、平らな指(図9B参照)の中央セクションが、削減されたサイズの指紋センサのアクティブエリアの上に位置決めされる場合がある。指紋センサからのセンサイメージは、指のどの部分がイメージングされているのかを直接には明らかにしないが、タッチセンサまたはタッチ感知スクリーンからのタッチ情報は、指の全体的な輪郭を提供することができ、指のどの部分がイメージングされているのかに関する判定を行うことを可能にし、登録または照合に必要な処理時間を削減することを可能にする。いくつかの実施態様において、指輪郭は、テンプレート順序付け、識別、および関連付け情報を提供することができる。いくつかの実施態様において、指輪郭は、登録進行の判定および表示を支援することができる。たとえば、指のどの部分がイメージングされたのかおよびどの部分がまだイメージングされていないのかを判定するために、登録中に完了したスキャンに関する指紋センサからの指紋イメージ情報が、指輪郭に重畳され得る。登録プロセスを支援するために、まだ登録されていない部分を有する指輪郭が、ユーザに表示され得る。いくつかの実施態様において、指輪郭は、1つまたは複数の指が同一ユーザによって登録されているかどうかを検出するのに使用され得る。ユーザは、たとえばモバイルデバイス上に表示されるグラフィカルアイコンを使用することによって、複数の指が登録されていることを知らされ得る。いくつかの実施態様において、単一のユーザからの複数の指の登録は、防止されまたは許可されないものとすることができる。

ブロック1018から、プロセスフローはブロック1022に進み、ここで、登録位置/回転変更を実行するための案内が、ユーザに提供され得る(図2内のアクション226参照)。位置および回転角情報は、指紋登録プロセスに関してエンドユーザを案内する(たとえば、タップ位置、パーセンテージ進行状況、残り時間など)のに使用され得る。この機能強化されたメッセージングに起因して、ユーザ登録待ち時間(および、したがって計算リソース使用量)が、最小化され得る。ユーザの完了した位置、面積、および角度が、指輪郭からの総面積と一緒に判定され得る。ブロック1022から、プロセスフローは、登録が完了したかどうかを判定するために進行することができる。

対照的に、ブロック1020が実行される場合には、ブロック1016は実行されず、プロセスフローは、ブロック1014からブロック1018〜ブロック1022に進む。そのような例において、ブロック1018から、プロセスフローはブロック1020に進む。ブロック1020において、イメージの1つまたは複数の特徴が抽出され得、イメージは、指の完全登録イメージである。1つまたは複数の特徴および/またはイメージは、メモリ内に記憶され得る。ブロック1020から、プロセスフローはブロック1022に進む。

追加のプロセスが、上で論じられたブロック1002〜ブロック1022の前、その間、または後に実行され得ることも理解されたい。本明細書で説明される方法1000のブロックのうちの1つまたは複数は、要望通りに省略され、結合され、または異なる順序で実行されてよいことも理解されたい。一実施形態において、方法1000は、タッチ感知スクリーンの表面の上に停止するかこれに接して位置決めされた任意の個数の物体(たとえば、複数の指)に関して実行され得る。

B. タッチ支援照会
図11は、いくつかの実施形態と一貫する、特定の特徴および指輪郭を対応するイメージまたは特徴テンプレートと照合する方法1100を示す流れ図である。方法1100は、限定的であることを意図されたものではなく、他の応用例において使用され得る。

方法1100は、ブロック1102〜ブロック1120を含む。ブロック1102において、センサアレイ116とタッチスクリーンなどのタッチセンサの一部またはすべてとの間のオーバーラップが検出され得る。一例において、センサアレイ116は、超音波指紋センサとすることができ、タッチセンサは、タッチ感知スクリーン内に組み込まれた1つまたは複数の容量性タッチセンサ、容量性タッチボタン、または容量性感知チャネルのうちの1つとすることができる。指紋センサ位置が、検出され、メモリ134内に記憶され得る。いくつかの実施態様において、タッチセンサに関するセンサアレイ116のアクティブエリアの周辺に関連する各角のx-y座標が、検出され、メモリ134内に記憶され得る。ブロック1102は、デバイスごとに1回実行され得る(たとえば、モバイルデバイス102内のセンサアレイ116ごとにおよび/またはタッチセンサごとに(すなわち、容量性タッチスクリーンおよび各容量性タッチボタン))。

ブロック1102から、プロセスフローは、ブロック1104に進むことができ、ここで、指の輪郭が、タッチセンサを使用して検出され得る。ブロック1104から、プロセスフローは、下でさらに説明されるブロック1106およびブロック1118に進むことができる。ブロック1106において、指輪郭が、1つまたは複数の記憶された指輪郭テンプレート(たとえば、指輪郭に関連付けられたイメージテンプレートまたは特徴テンプレート)に対して照合され得る。一例において、処理構成要素132は、以前の登録プロセス中に入手された1つまたは複数の指輪郭テンプレートに対して指輪郭を照合することを試みることができる。ブロック1108において、指輪郭が記憶された指輪郭テンプレートのうちの1つまたは複数と一致するかどうかが判定され得る。一例において、指輪郭は、登録された指輪郭を含むことのできる登録された指紋データベースと照合され得る。一致する指輪郭に対応する指輪郭テンプレートは、ユーザから獲得された指紋イメージの指紋分析など、さらなる分析のために選択され得る。

指輪郭が、指輪郭テンプレートのいずれとも一致しないと判定される場合に、プロセスフローは、ブロック1120に進むことができ、このブロック1120において、プロセスは終了することができる。指輪郭が、1つまたは複数の指輪郭テンプレートと一致すると判定される場合に、プロセスフローは、ブロック1110および1112に進むことができる。ブロック1110において、指回転が、ブロック1104において検出された指輪郭から検出され得る。ブロック1110から、プロセスフローは、ブロック1116に進むことができ、このブロック1116において、指およびセンサアレイ接触エリアが検出され得る。ブロック1116から、プロセスフローは、ブロック1118に進むことができ、このブロック1118は、下でさらに説明される。

ブロック1116および1112から、プロセスフローは、ブロック1118に進むことができ、このブロック1118において、指回転、1つまたは複数の指の相対位置、指の接触エリア、および/または指輪郭などの特徴が、対応する輪郭テンプレートに対して照合される(ブロック1106参照)。指位置、回転、およびセンサアレイ接触エリアは、指輪郭および指輪郭に対するセンサアレイの相対位置から推定され得る。推定された回転、位置、接触エリア、および/または指識別子を使用して、照会指イメージから入手された特徴が、対応する輪郭テンプレートに対して照合され得る。フォールバックとして、予備的に識別された輪郭ベースのテンプレートが一致を見つけられない場合に、他のテンプレートが検索され得る。単一のユーザまたは複数のユーザの1つまたは複数の指のテンプレート情報が、モバイルデバイスのメモリ内に記憶され得る。さらに、各指は、指紋センサによって取り込まれる副部分を有することができる。さらに、テンプレートは、待ち時間を削減するために、輪郭一致スコアに基づいて検索/照合に関して優先順位を付けられ得る。

いくつかの実施態様において、指識別は、指輪郭または指面積に基づいて判定され得る。指識別は、手のどの指が主張されているのか、指の間の相対位置、および/または指面積(たとえば、指のサイズまたは指もしくは手の様々な関節の間の接触面積)を含むことができる。指識別は、指紋の検索および照合を絞りこむのを助けることができる。代替案では、指輪郭が、どの指紋イメージまたは指紋テンプレートを検索すべきかを識別しまたは当初に選択するのを助けることができる。たとえば、指輪郭は、検索および照合を支援するために、照会イメージと登録イメージとの間のオフセット角度を判定するのに使用され得る。いくつかの実施態様において、指輪郭または指面積は、低水準検証を可能にすることができる。ブロック1118から、プロセスフローは、ブロック1120に進むことができ、このブロック1120において、プロセスは終了する。

追加のプロセスが、上で論じられたブロック1102〜ブロック1120の前、その間、または後に実行され得ることも理解されたい。本明細書で説明される方法1100のブロックのうちの1つまたは複数は、要望通りに省略され、結合され、または異なる順序で実行されてよいことも理解されたい。一実施形態において、方法1100は、タッチ感知スクリーンの表面の上に停止するかこれに接して位置決めされた任意の個数の物体(たとえば、複数の指)に関して実行され得る。

図1内の物体104および図2内の物体204は、ユーザの指であるものとして図示されているが、これは、限定的であることを意図されたものではなく、物体は、タッチ感知スクリーンとインタラクションすることのできる任意の物理的物体とすることができる。いくつかの実施形態において、物体は、スタイラスとすることができる。

もう一度図2を参照すると、センサシステム114は、スタイラスなどの指以外の物体を検出するように構成され得る。いくつかの実施形態において、センサシステム114は、物体104がスタイラスであって指ではないことを判定することができる。たとえば、センサシステム114は、1つまたは複数の超音波イメージを獲得するために起動される超音波センサアレイとすることができ、処理構成要素132は、物体から反射された超音波の信号強度およびパターンに基づいて、物体が指ではないと判定することができ、イメージに関連する近似幅、長さ、直径、または全般的に円形もしくは楕円形の形状に基づいて、物体がスタイラスであるとさらに判定できる場合がある。

物体がスタイラスであるとの判定に応答して、センサシステム114は、それがスタイラスを検出しており、スタイラスによってタッチされていることを認識し、物体の最適感知のためにタッチ感知スクリーンを再構成することができる。たとえば、主PCB320またはタッチスクリーンに関連するコントローラは、サンプルレートを高め、スクリーン上のより高い動的解像度をもたらすことができる。すなわち、高められたサンプリングレートは、タッチスクリーンの表面上のスタイラスなどの物体の移動のより高速の検出および応答を可能にし、タッチシステムがタッチスクリーン上の素早く移動するスタイラス、指、または他の物体に追従できる速度を高める。

ユーザは、タッチ感知スクリーンのうちでセンサアレイ116とオーバーラップする部分にタッチすることができる。一例において、ユーザは、スタイラスの先端を用いてオーバーラップする部分(タッチ感知スクリーンがセンサアレイ116とオーバーラップする部分)にタッチすることができ、スタイラス先端のイメージが入手され得、センサシステム114は、物体がスタイラスであると判定することができ、タッチ感知スクリーンは、スタイラス判定に基づいて、スタイラスに対処するように再構成され得る。たとえば、特定の先端のスタイラスモードに関連するサンプルレート、利得、タッチしきい値、およびフィルタセッティングが、タッチシステム112を介してタッチスクリーンに適用され得る。タッチスクリーンのサンプルレートは、タッチ感知スクリーンの様々な行および列により素早くアクセスすることによって高められ得、データのより高速な獲得と、タッチスクリーンの表面にわたって素早く移動するスタイラスを追跡する能力とを可能にする。

代替案では、タッチスクリーンに関連する行および列の制限された部分が、アクセスされ得、関心領域(たとえば、スタイラス先端付近)内で高められたフレームレートを可能にする。タッチスクリーンの1つまたは複数のチャネルに関連する利得は、検出された物体がスタイラスであると判定される時に高められ得る。
というのは、スタイラスの先端に関連する面積(および信号)が、一般に、タッチスクリーンにタッチする指の面積(および信号)よりはるかに小さいからである。たとえば、増幅係数は、タッチスクリーンの表面またはその付近の小面積物体の存在を検出することを試みる時に、対応する容量性感知チャネルに関して高められ得る。

代替案では、物体の検出に関するしきい値は、スタイラス先端の検出が予想される時に、指などのより大きい物体の検出に関するしきい値と比較して低下させることができる。
というのは、小物体の感知される信号が、一般に、大物体の感知される信号より小さいからである。様々なフィルタセッティング(たとえば、電子フィルタまたはイメージ処理フィルタ)は、小面積物体を認識するソフトウェアフィルタなど、スタイラス先端の検出に対処するために調整され得る。たとえばタッチスクリーン上のごみ、小さいかき傷、または破片に関連する、より高い空間周波数を削減するか除去するために、指の存在を検出する時に、低域空間フィルタが使用され得る。スタイラス先端に関連する空間周波数の検出を可能にするための低域フィルタのロールオフ周波数の向上のための許容量が、タッチシステム112内に組み込まれ得る。

代替案では、スタイラス先端の近似空間周波数付近の関心領域内にセンタリングされた帯域フィルタが、タッチシステム112内に組み込まれ得る。同様に、指に関連するより低い空間周波数ではなくスタイラス先端に関連する空間周波数を通過させる高域フィルタが、タッチシステム112内に組み込まれ得る。スタイラスモードに関連するサンプルレート、利得、タッチしきい値、およびフィルタセッティングは、スタイラス先端の特定のスタイルに対処するためにさらに調整され得る。

別の例において、ユーザが、スタイラスの鈍い先端を用いてオーバーラップする部分にタッチする場合がある。そのような例において、タッチ感知スクリーンは、センサアレイ116によるスタイラスの検出およびセンサシステム114によるスタイラス特性の判定の後に、「鈍い先端」スタイラスモードに関連するサンプルレート、利得、タッチしきい値、およびフィルタセッティングに関して再構成され得る。鈍い先端は、たとえば、より大きいマーカー先端、柔らかいまたは適応するマーカー先端、または角度付きの長方形マーカー先端を例示することができる。別の例において、ユーザが、スタイラスの微細な先端を用いてオーバーラップする部分にタッチする場合がある。そのような例において、タッチ感知スクリーンは、センサアレイ116によるスタイラスの検出およびセンサシステム114によるスタイラス特性の判定の後に、「微細な先端」スタイラスモードに関連するサンプルレート、利得、タッチしきい値、およびフィルタセッティングに関して再構成され得る。微細な先端は、たとえば、より小さいマーカー先端またはボールペンもしくは鉛筆の小半径先端を例示することができる。

別の例において、ユーザが、音響情報タグ(acoustic information tag)などの物体を用いてタッチスクリーンとセンサアレイとのオーバーラップする部分にタッチする場合がある。音響情報タグは、音響シグネチャまたは他の音響識別子を含むことができる。たとえば、音響タグは、UPCバーコード、QRコード（登録商標）、または他の情報担持コードなどの1次元バーコードまたは2次元バーコードの音響バージョンを含むことができる。代替案では、音響情報タグは、パーソナライズされた記章、署名、マーク、エンブレム、または刺青などの音響識別子を含むことができる。たとえば、音響タグ上の戻り止めまたは高められた表面(たとえば、エンボス)が、下にある超音波センサを用いて検出され得る。高められた領域は、超音波センサの上にあるタッチスクリーンの表面、カバーガラス、カバーレンズ、またはプラテンと接触している時に、高められた領域の間に配置された空気または他の音響不整合材料の介在する領域に対して相対的により多くの音響エネルギーを渡し、または送信することができる。音響情報タグは、モバイルデバイス102によって認識され得る。タグは、タッチスクリーンによって検出され、次いで、下にある超音波センサアレイ116によってイメージングされ得る。音響タグは、アクションが発生する(たとえば、クーポンを提供する、広告を届ける、1つの機器を追跡する、人を識別するなど)ことを可能にすることができる。そのような例において、処理構成要素132は、音響情報タグまたは音響識別子を識別し、アクションを発生させることができる。

さらに、モバイルデバイス102が、ビジュアルディスプレイのアクティブエリアの上にあるタッチ感知スクリーンの表面には配置されずまたはその一部でもない1つまたは複数のタッチボタンを有する場合がある。一例において、タッチボタンは、アクティブディスプレイエリアの周囲の外部に取り付けられまたは位置決めされた容量性電極を含む容量性感知タッチボタンとすることができる。いくつかの実施形態において、センサアレイ116は、周辺タッチボタンのうちの1つまたは複数の下に配置され得る。タッチボタンは、たとえば、モバイルデバイス102の最下部に位置決めされたホームボタン、メニューボタン、または戻るボタンとすることができる。処理構成要素132は、センサシステム114とインタラクションするが、タッチボタンがセンサアレイ116にデータを供給するように、タッチボタンを管理することもできる。たとえば、下にある超音波センサアレイ116を有する容量性タッチスクリーンボタンは、指などの物体が十分にセンサアレイ116の上にある時を判定し、次いで、指の1つまたは複数のイメージを獲得するためにセンサアレイ116をアクティブ化するように、容量性タッチスクリーンボタンからのデータを使用することができる。いくつかの実施態様において、センサアレイ116は、ディスプレイのアクティブエリアの真下に位置決めされない場合があり、なおかつ、それでも共通のカバーガラスを共有しながらディスプレイの周辺とすることができる。

ユーザがタッチボタンにタッチする時に、ユーザは、タッチボタンに非常に近接したセンサアレイ116にもタッチしている(または、その上で停止している)場合がある。そのような例において、センサアレイ116は、物体の1つまたは複数の超音波イメージを獲得するために起動され得る。たとえば、タッチボタンは、アクション210(図2内の)を実行し、ユーザを登録し、検証し、または認証し、あるいは別のアクションを実行するためにタッチデータを処理することができる。

VI. 複数指認証
図12は、いくつかの実施形態と一貫する、複数指タッチを認証する方法1200を示す流れ図である。図12は、いくつかの実施形態と一貫する、タッチ感知スクリーンの1つまたは複数の位置および/またはエリアに照射する方法を示す流れ図をも表す。方法1200は、限定的であることを意図されたものではなく、他の応用例において使用され得る。図7および図12は、複数指タッチ認証をよりよく説明するために、下では一緒に説明される。図7は、いくつかの実施形態と一貫する、大面積指紋センサの例を含む。一例において、モバイルデバイス701は、複数指認識のための大面積センサと、相対的に低解像度のタッチ感知スクリーン(たとえば、10dpi)とを含む。

方法1200は、ブロック1202〜ブロック1210を含む。ブロック1202において、物体の輪郭が、タッチセンサによって検出され得る。一例において、物体は、ユーザの指であり、タッチシステム112は、タッチ感知スクリーンの表面上のユーザの指の輪郭を検出する。モバイルデバイス701は、初期タッチおよび指輪郭を検出するのに使用される低電力タッチスクリーンを含むことができる。

ブロック1204において、物体の輪郭が認証され得る。一例において、タッチ感知スクリーン内の低解像度または中間解像度の容量性センサからの出力が、物体の輪郭を認証するのに使用され得る。一例において、物体は、手、指、または掌とすることができ、低解像度または中間解像度の認証は、輪郭を認証するのに10〜50dpiのタッチ感知スクリーンを使用することができる。物体の輪郭が認証に失敗する場合に、プロセスフローは、ブロック1210に進むことができ、このブロック1210において、プロセスが終了する。物体の輪郭が認証される場合に、プロセスフローは、ブロック1206に進むことができ、このブロック1206において、物体のエリアおよび位置が検出され得る。別の実施形態において、タッチシステム112がユーザのアイデンティティに関する特異性をまったく伴わずに指に関して検出しているように、認証は、検出と同等である。この実施形態においては、指のプロファイル(たとえば、形状、アスペクト比など)と一致するすべての物体が、認証される。

単一または複数の指/手輪郭が、物体のより詳細な特徴を使用する第2の認証レベルをトリガするのに使用され得る。たとえば、高水準認証の取組は、高水準認証のために一般に必要な電力、時間、およびコンピューティングリソースを回避するために、ユーザの指、掌、または手が、タッチスクリーンからの信号に基づく初期の低水準認証の取組に合格した後に限って試みられ得る。代替案では、指、掌、または手の低解像度輪郭が、さらなる高解像度検出のための指、掌、または手のタッチスクリーン上の近似位置を提供することができる。一例において、タッチ感知スクリーンは、図7内のイメージング領域702〜710によって示されるように、タッチスクリーンの表面に同時にタッチする複数の指のエリアおよび位置を検出することができる。

ブロック1206から、プロセスフローはブロック1208に進むことができ、このブロック1208において、高解像度イメージ取込が、1つまたは複数の選択された物体位置上で使用可能にされ、タッチスクリーン上のエリアが、照射される。たとえば、指輪郭が、図7内のイメージング領域702〜710に対応する選択的照射(たとえば、選択的エリアに対して超音波指紋イメージを放出する/取り込む)に使用され得る。タッチシステム112がタッチのエリアおよび位置を検出したので、センサシステム114が、モバイルデバイス701のスクリーン全体を処理する必要がなくなる場合がある。具体的には、イメージング領域702〜710は、タッチエリアを示すことができ、照射は、これらのタッチエリアに制限され得、したがって、タッチエリア全体を照射する必要がなくなり得るので、電力が節約される。たとえば、センサアレイ116は、検出されたタッチエリア(たとえば、イメージング領域702〜710によって示される)内で超音波を放射する超音波センサアレイとすることができ、処理構成要素132は、超音波イメージを獲得することができる。

したがって、2レベル指紋認証システムは、低解像度または中間解像度の容量性感知を介して第1の認証レベルにおいて認証し、高解像度超音波指紋感知を介して第2のレベルにおいて認証することができる。第1の認証レベルは、低水準において指紋を認証するのに指輪郭を使用することができる。第2の認証レベルは、指紋が第1の認証レベルに合格したかどうかに基づいて「ウェイクアップされ」得る。一例において、第2の認証レベルは、第1の認証レベルが高解像度超音波ベースの活性および/または指紋検証の使用可能化を要求する場合に限ってトリガされる。超音波技術が例として使用されたが、他の技術が、活性検出および指紋イメージングに関して本開示の範囲内にある(たとえば、容量性技術、光技術、RF技術、IR技術、またはFSR技術)ことを理解されたい。

追加のプロセスが、上で論じられたブロック1202〜ブロック1210の前、その間、または後に実行され得ることも理解されたい。本明細書で説明される方法1200のブロックのうちの1つまたは複数は、要望通りに省略され、結合され、または異なる順序で実行されてよいことも理解されたい。いくつかの実施形態において、方法1200は、タッチ感知スクリーンの表面の上に停止するかこれに接して位置決めされた任意の個数の物体(たとえば、複数の指)に関して実行され得る。いくつかの実施形態において、第2の認証レベルは、第1の認証レベルに対するバックアップとして使用され得る。たとえば、第1の認証レベルが、物体の適当なセンサイメージの獲得に失敗する場合には、第2の認証レベルが、物体のより詳細なセンサイメージを獲得し、ユーザを認証するのに使用され得る。

VII. 活性検出
いくつかの実施形態において、第2の認証レベルは、サブサーフェスイメージング(たとえば、超音波またはIR波からの)を使用して活性を検出するのに使用され得る。センサ(たとえば、超音波指紋センサ)は、ユーザの検証および確認に有効である可能性があるが、人工的に作成された指または指紋パターンを用いてそのようなシステムをだますことが、懸念される。指がディスプレイ表面上に置かれる時に超音波センサアレイに関連する超音波送信器の起動を検出するために、超音波プローブが、超音波指紋対応ディスプレイの表面上に位置決めされ得、容量性プローブが、活性検出に使用され得る電極の刺激を判定するのに使用され得る。指の「活性」は、たとえば指の先端での血液の潅流に伴う容量変動を認識することによって、タッチ感知スクリーンを使用して検出され得る。

論じられているように、ディスプレイの上に位置決めされたPCTタッチスクリーンは、ディスプレイの一部の下に位置決めされたセンサアレイ(たとえば、超音波センサアレイ)に結合され得る。いくつかの実施形態において、PCTタッチスクリーンまたは超音波センサアレイ上の、これらに組み込まれた、または他の形でこれらとともに含まれる選択電極(たとえば、容量性電極)は、心拍数または指の活性を検出できる指紋センサの上のディスプレイの表面に指が位置決めされる時間に関して誘電率(e_r(t))の変化を検出するために刺激され得る。「e_r」は、相対誘電率と呼ばれる場合があり、「e₀」と呼ばれる場合がある自由空間誘電率に正規化される。電極は、選択された電極のうちの1つまたは複数に信号を注入することによって心拍数または活性を検出するのに使用され得る。血液が体を通って流れる時に、他の生物組織に関する血液の量は変化し、上下し、タッチスクリーンと接触している体の部分の電気的特性(たとえば、電気インピーダンス)を変化させる。

誘電率が変化する時に、指への血液の脈動に伴って発生する容量の僅かな変化を検出するために、1つまたは複数の信号が、タッチ感知スクリーンの一部である選択電極(たとえば、列電極または行電極)に注入され得る。たとえば、数十キロヘルツから数十メガヘルツの範囲内の小さい電気信号が、電極の1つに注入され、対応する信号が、別の電極において検出され得る。第1の電極と第2の電極との間の容量結合は、電極に近接するかタッチする物体の誘電率によって部分的に決定され得る。実効誘電率は、指領域内の血液の比率に伴って変化する可能性があり、血圧パルスに相関する可能性がある。容量は、通常、実効誘電率に比例し、実効誘電率は、特定の時点の指内の血液の量に相関する可能性がある。ユーザの鼓動する心臓に伴うより大量の血液およびより少量の血液の潅流は、指の実効誘電率を変化させ、選択された電極からの時間領域信号の取込およびフィルタリングは、鼓動する心臓を検出することによる活性の判定を可能にする。活性検出方法は、ユーザ確認に活性の重要な構成要素を追加し、認証システムをだます能力を低下させるために、指紋イメージデータ(たとえば、超音波指紋イメージデータ)を獲得する前、その後、またはその間に適用され得る。

図13は、いくつかの実施形態と一貫する、心電図(ECG)信号と、指204に関連する心室内圧を表す線グラフとを含むチャートを示す。チャートは、心電図(ECG)信号1302を含み、この信号は、心臓が拍動する間に胸の中または周囲に配置された電極から受信された電気インパルスまたは電位を表す信号である。各心拍に伴って、電気信号が、心臓の最上部から最下部に広がる。信号は、移動する時に、心臓を収縮させ、心臓から血液を送り出させる。このプロセスは、各新しい心拍に伴って繰り返される。

容量対時間信号1304は、ユーザの心室内圧対時間(約1Hz〜2Hzの心拍数に関して任意の単位)を表す。心室内圧が図示されているが、これが例示的であって、限定的であることを意図されておらず、他のタイプの生物学的圧力が、活性を判定するために検出され、使用され得ることを理解されたい。たとえば、心房圧および/または大動脈圧が使用され得る。さらに、ユーザの脈拍が検出され得る。

ユーザは、センサアレイに関連する容量性脈拍検出電極(たとえば、タッチスクリーン、センサアレイ、またはタッチスクリーンもしくはセンサアレイの周囲上)とインタラクションすることができる。戻って図2を参照すると、アクション222は、容量性電極を使用する脈拍検出または活性検出をも含むことができ、アクション228は、脈拍判定または活性判定を含むことができる。アクション228の出力は、指204の脈拍検出とすることができる。たとえば、容量対時間信号1304の検出を支援するために、PCTタッチスクリーンの選択された容量性感知チャネル(たとえば、行または列)またはセンサアレイ116上の専用容量性電極の制御された励起周波数が使用され得る。

容量対時間信号1304は、活性情報を抽出するためにフィルタリングされ得る。容量対時間信号1304は、励起周波数の関数としての脈拍に伴う誘電率または容量(すなわち、周波数の関数としての実効インピーダンス)の変化を検出するために、1つまたは複数の活性信号注入周波数(たとえば、約10kHzと100MHzとの間の範囲内の)を使用して判定され得る。活性情報を抽出するために、容量対時間信号1304は、事前にフィルタリングされ得、高速フーリエ変換(FFT)分析が、容量対時間信号1304に対して実行され得る。たとえば、活性検出信号は、タッチスクリーンの通常動作から高周波数雑音を除去するため、または注入された活性検出信号を除去するために、低域フィルタを用いてフィルタリングされ得る。FFTは、人間の心拍を示す、約1〜2Hz範囲内の活性信号の内容を明らかにすることができる。約1〜2Hz範囲内の活性検出しきい値を超える信号の欠如は、検出され、かつ/または認証される物体が生きていないことを示すことができる。正しい活性検出を保証するために、ユーザの指が、心臓の約1〜2脈拍の間、タッチ感知スクリーン上の同一位置に留まることが望ましい可能性がある。

いくつかの実施形態において、PCTタッチスクリーンの特定の電極が、心拍数脈拍を検出するのに使用され得、下にあるセンサシステム114(たとえば、超音波バイオメトリックセンサ)が、指紋イメージ情報を獲得するのに使用され得る。指紋イメージ情報は、ユーザを識別しまたは他の形で検証するのに使用され得、心拍数情報は、ユーザの活性を確かめ、だます行為を減少させるのに使用され得る。一例において、センサシステム114は、超音波指紋システムであり、ユーザは、超音波指紋センサの上のタッチスクリーンの表面に指204を置くことができる。タッチスクリーンが指の配置を検出することに応答して、超音波センサは、超音波指紋イメージを獲得するために起動され得、PCTタッチスクリーンまたはセンサアレイの特定の電極は、指に関連する脈拍情報を獲得するために励起され、サンプリングされ得る。

図14は、いくつかの実施形態と一貫する、センサアレイおよび適合されたPCTタッチスクリーンを使用して活性を検出するための物体検出システムを使用するプロセスフローを示すブロック図1400である。図14において、指204は、タッチ感知スクリーンおよび/またはディスプレイに接触しているものとすることができる。図14は、センサシステム114が指紋データを受信し、処理するアクション212と、センサデータおよび/またはデバイス状況情報が取り出され、処理され得るアクション214とを含む。アクション1410において、タッチシステム112は、ユーザのタッチから1つまたは複数のタッチパラメータを含むタッチデータを受信し、処理することができる。1つまたは複数のパラメータは、タッチデータの中でも特に、モバイルデバイス102のタッチ感知スクリーンおよびビジュアルディスプレイに関する指204の位置、タッチ感知スクリーンに関する指204の移動の速度および方向、指204に関連する脈拍情報または活性情報、ならびに指204がタッチ感知スクリーンにタッチしている持続時間を含むことができる。いくつかの実施形態において、タッチパラメータは、モバイルデバイス102のタッチ感知スクリーンにタッチしている指の本数(たとえば、ユーザの手の1本から5本までの指)を含むことができる。

アクション1420において、指紋制御ブロックは、アクション212、1410、および/または214の出力を受信することができ、物体検出システム110は、入力を処理することができる。一例において、センサアレイ116は、1つまたは複数の送信器を起動し、処理構成要素132は、指204がセンサアレイ116の上に置かれる時に指紋イメージデータを獲得することができる。処理構成要素132は、指の実質的な移動が発生しなかったことと、指がタッチスクリーンの表面に接触したままであることとを保証するために、脈拍情報が獲得されている間に指の存在を監視することができる。アクション1424において、獲得タイミングが、判定され、センサシステム114への入力として使用され得る。さらに、アクション1426において、ビジュアルフィードバック、オーディオフィードバック、および触覚フィードバックが、ユーザに提供され得る。

アクション1430において、タッチ感知スクリーンは、指204がセンサアレイ116の上に置かれている時を判定すること、指204に関連する脈拍情報を検出するためにPCT電極の選択を可能にすること、指204に関連する脈拍情報を獲得すること、指紋イメージデータと組み合わせ、活性出力信号を生成するために処理構成要素132に脈拍情報(たとえば、1つまたは複数の活性信号注入周波数における図13内の容量対時間信号1304)を提供することなどのアクションを実行することができる。アクション1430の出力は、タッチシステム112への入力として使用され得る。

いくつかの実施形態において、ユーザの脈拍を検出するのに使用される電極は、列および行の構造内に配置され得る。いくつかの実施態様において、PCTタッチスクリーンの行および列のうちの1つ、いくつか、またはすべてが、ユーザの脈拍を検出するための電極として追加的に働くことができる。いくつかの実施態様において、専用の脈拍検出電極が、タッチ感知スクリーンとともにまたはセンサシステム114のセンサアレイ116とともに含まれ得る。論じられているように、信号が、活性検出のために1つまたは複数の電極を刺激するために構造の特定の行および列に注入され得る。同一の電極が、指のイメージの獲得のためにユーザの指をスキャンするのに使用されている場合には、構造の特定の行および列のスキャン動作に干渉しないことが望ましい可能性がある。一例において、この干渉を克服するために、スキャンの動作は、活性検出中に一時停止され、活性検出の後に再開され得る。別の例において、注入される活性検出信号は、通常のPCTタッチスクリーン動作から除去される1つまたは複数の周波数において構造の行および列を選択するために容量結合され得る。別の例において、脈拍がインタラクションする電極もしくはオーバーラップする電極の特定のセット内で検出されるかどうか、または物体がタッチ感知スクリーンの上にあるかこれにタッチしているかどうかを判定するために物体が検出されるかどうかを見出すために、選択的なフィルタリングが実行され得る。

いくつかの実施形態において、センサアレイ114の周辺の容量性電極は、センサアレイが指紋イメージを獲得している間に心拍数または活性を検出するのに使用され得る。指紋イメージ情報は、ユーザを識別しまたは検証するのに使用され得、心拍数情報は、だます行為を減少させるためにユーザの活性を判定するのに使用され得る。指紋センサ内に含まれる容量性電極(上にあるタッチ感知スクリーンに関連する電極ではなく)は、心拍数に伴う誘電率変動またはインピーダンス変動が、指紋情報を獲得している間に検出されることを可能にすることができる。

図15は、いくつかの実施形態と一貫する、周辺容量性感知電極を有するセンサアレイを使用して活性を検出するための物体検出システムを使用するプロセスフローを示すブロック図1500である。図15内で、モバイルデバイス102は、プラテンまたはカバーガラス1502およびセンサシステム114を含む。周辺容量性電極1550および1552は、センサアレイ116(図15内には図示せず)の周辺に配置され、指204に関連する脈拍を検出するのに使用され得る。一例において、センサシステム114は、超音波センサシステムであり、ユーザは、超音波センサアレイ(カバーガラスを伴うまたは伴わない)上に指を置くことができる。センサアレイの周囲の近くの容量性電極1550および1552は、処理構成要素132が超音波指紋イメージを獲得している間にユーザの脈拍を検出することができる。

アクション1505において、指紋データおよび容量データが、取り込まれ、処理され得る。アクション1520において、指紋制御ブロックは、アクション1505および/または214の出力を受信することができ、物体検出システム110は、入力を処理することができる。一例において、容量性電極1550および1552は、容量的に指紋の配置を検出することができ、センサシステム114内のセンサアレイ116(図15内には図示せず)は、1つまたは複数の超音波送信器を起動し、処理構成要素132は、指紋イメージデータを獲得する。

容量性電極1550および1552は、容量的に指204に関連する脈拍を検出することができ、処理構成要素132は、脈拍情報を獲得することができる。処理構成要素132は、ユーザを識別しまたは検証し、活性出力信号を生成するために、指紋イメージデータおよび脈拍情報を処理することができる。さらに、処理構成要素132は、脈拍情報が容量性電極1550および1552を介して獲得されている間に、超音波によって指の存在を監視することができる。代替案では、処理構成要素132は、指紋イメージデータが超音波によって獲得されている間に容量性電極1550および1552を介して指の存在を監視することができる。

いくつかの実施形態において、センサアレイの上側層上のセグメント化されたバイアス電極が、処理構成要素132が指紋イメージを獲得している間に心拍数または活性を検出するのに使用され得る。指紋イメージ情報は、ユーザを識別しまたは検証するのに使用され得、心拍数情報は、活性を判定するのに使用され得る。たとえば、超音波センサアレイ116の上側層上のセグメント化されたバイアス電極は、センサアレイ116が超音波によって指紋イメージを獲得している間に心拍数および/または活性を検出するのに使用され得る。

図16は、いくつかの実施形態と一貫する、周辺容量性感知電極を有するセンサアレイ116の平面図を示すブロック図である。センサアレイ116は、指紋または他の物体のセンサイメージが獲得され得るアクティブエリア1602と、心拍数、脈拍、および/または活性を検出するのに使用され得る周辺容量性電極1550および1552とを含むことができる。容量性感知電極1550および/または1552は、センサアレイ116をウェイクアップする前に物体によるタッチを検出するのに使用され得る容量性タッチセンサとして働くことができる。たとえば、センサアレイ116が低電力モードにおいて動作している時に、感知電極1550および/または1552の上またはその近くの指などの物体によるタッチは、処理構成要素132と協力して容量性感知チャネルAFEを用いて検出され得る。タッチの検出の後に、処理構成要素132は、指紋センサアレイをウェイクアップし、センサイメージを取り込むためにイメージ獲得サイクルを開始することができる。

図17は、いくつかの実施形態と一貫する、センサアレイの上側層上のセグメント化されたバイアス電極1750、1752、1754、および1756を使用するプロセスフローを示すブロック図1700である。図17内で、モバイルデバイス102は、プラテンまたはカバーガラス1502およびセンサシステム114を含む。センサの上側電極(たとえば、受信器バイアス電極または「RBIAS」電極1750、1752、1754、および1756)は、超音波イメージ情報が獲得されている間に心拍数の容量性検出を可能にするためにセグメント化され得る。一例において、センサシステム114は、超音波センサシステムとすることができ、ユーザは、超音波センサアレイ(カバーガラスを伴うまたは伴わない)上に指を置くことができる。この例において、センサアレイの圧電受信器層の上のセグメント化されたバイアス電極は、超音波指紋イメージが獲得されている間にユーザの脈拍を検出することができる。いくつかの実施態様において、超音波指紋イメージは、脈拍が検出されている間に獲得され、処理され得る。いくつかの実施態様において、許可されないユーザがモバイルデバイス102へのアクセスを得ることを試みている時に活性を判定するのに必要な時間をなくすために、活性がチェックされる前に、超音波指紋イメージが、獲得され、処理され、認証判定または検証判定が行われ得る。

VIII. 例のコンピューティングシステム
図18は、いくつかの実施形態と一貫する、物体の1つまたは複数のセンサイメージを取り込むことのできるプラットフォーム1800を示す図である。上で論じられ、ここでさらに強調されるように、図1〜図18は、単に例であり、この例が、特許請求の範囲の範囲を不当に限定してはならない。

コンピューティングデバイスが、プラットフォーム1800を実行することができ、プラットフォーム1800は、制御ユニット1804と通信しているユーザインターフェース1802を含むことができ、たとえば、制御ユニット1804は、ユーザインターフェース1802からのデータを受け入れ、ユーザインターフェース1802を制御することができる。ユーザインターフェース1802は、ディスプレイ304を含むことができ、ディスプレイ304は、LCDディスプレイまたはOLEDディスプレイなど、グラフィックス、テキスト、およびイメージを表示するための手段を含む。

ユーザインターフェース1802は、それを介してユーザがプラットフォーム1800に情報を入力するキーパッド1810または他のユーザ入力デバイスをさらに含むことができる。望まれる場合に、キーパッド1810は、ディスプレイ304内に仮想キーボードを一体化することによって、なくすことができる。いくつかの構成に関して、プラットフォーム1800またはユーザインターフェース1802の一部が、制御ユニット1804から物理的に分離され、ケーブルを介してまたはワイヤレスに、たとえばBluetooth（登録商標）ヘッドセット内で、制御ユニット1804に接続され得ることを理解されたい。タッチセンサ1812は、タッチ感知スクリーンの表面にタッチしている物体を検出することによって、ユーザインターフェース1802の一部として使用され得る。タッチセンサ1812は、たとえば、PCTタッチスクリーンまたはタッチスクリーンもしくはセンサアレイ116の一部の上の専用容量性電極などの容量性タッチセンサとすることができる。

物体検出システム110は、物体を検出し、物体の1つまたは複数の超音波イメージを取り込むことができる。制御ユニット1804は、ユーザインターフェース1802、タッチセンサ1812、およびセンサアレイ116からのデータを受け入れ、処理することができる。プラットフォーム1800は、デバイスのタッチ感知スクリーンに関して物体から反射された信号(たとえば、超音波信号、光信号、またはIR信号)を検出するための手段を含むことができる。プラットフォーム1800は、反射された信号に基づいて物体の1つまたは複数のセンサイメージを取り込むための手段をさらに含むことができる。物体が、1つまたは複数のイメージを取り込むための手段の上に配置される時に、物体は、タッチ感知スクリーンの少なくとも一部の上に配置され得る。

制御ユニット1804は、1つまたは複数のプロセッサ1820と、関連するメモリ1822、ハードウェア1824、ソフトウェア1826、およびファームウェア1828とを含むことができる。制御ユニット1804は、物体検出システム110を制御するための手段を含むことができる。物体検出システム110の構成要素は、プロセッサ1820、メモリ1822、ハードウェア1824、ファームウェア1828、またはソフトウェア1826、たとえばメモリ1822内に記憶されるコンピュータ可読媒体内に含まれ(たとえば、方法600、1000、1100、および1200)、プロセッサ1820によって実行されるもの、あるいはその組合せの中に含まれ得る。プロセッサ1820は、処理構成要素132に対応し、物体の1つまたは複数のセンサイメージを取り込むために命令を実行することができる。一例において、処理構成要素132は、物体の超音波イメージを取り込むことができる。

本明細書で使用される時に、プロセッサ1820が、1つまたは複数のマイクロプロセッサ、埋込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、グラフィックス処理ユニット(GPU)、および類似物を含むことができるが、必ず含む必要はないことも理解されたい。プロセッサという用語は、特定のハードウェアではなく、システムによって実施される機能を記述することが意図されている。その上、本明細書で使用される時に、「メモリ」という用語は、プラットフォームに関連する長期メモリ、短期メモリ、または他のメモリを含む任意のタイプのコンピュータ記憶媒体を指し、何らかの特定のタイプのメモリ、またはメモリの特定の個数、またはメモリがその上に記憶される特定のタイプの媒体に限定されるべきではない。

本明細書で説明される方法論は、応用例に応じて様々な手段によって実施され得る。たとえば、これらの方法論は、ハードウェア1824、ソフトウェア1826、ファームウェア1828、またはそれらの任意の組合せにおいて実施され得る。ハードウェア実施態様について、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明される機能を実行するように設計された他の電子ユニット、またはそれらの組合せの中で実装され得る。

ファームウェア実施態様および/またはソフトウェア実施態様に関して、方法論は、本明細書で説明される機能を実行するモジュール(たとえば、手続き、関数など)を用いて実施され得る。命令を有形に具現化する任意の機械可読媒体が、本明細書で説明される方法論を実施する際に使用され得る。たとえば、ソフトウェアコードは、メモリ1822内に記憶され、プロセッサ1820によって実行され得る。メモリは、プロセッサユニット内またはプロセッサユニットの外部で実装され得る。

たとえば、ソフトウェア1826は、メモリ1822内に記憶されプロセッサ1820によって実行されるプログラムコードを含むことができ、プロセッサを動作させ、本明細書で説明されるようにプラットフォーム1800の動作を制御するのに使用され得る。メモリ1822などのコンピュータ可読媒体内に記憶されたプログラムコードは、デバイスのタッチ感知スクリーンに結合されたセンサアレイによって、タッチ感知スクリーンに関して物体から反射された信号を検出し、反射された信号に基づいて、物体の1つまたは複数のイメージを取り込むプログラムコードを含むことができ、超音波センサアレイの少なくとも一部は、タッチ感知スクリーンの少なくとも一部にオーバーラップする。コンピュータ可読媒体内に記憶されたプログラムコードは、プロセッサに、下でさらに説明されるようにプラットフォーム1800の任意の動作を制御させるプログラムコードをさらに含むことができる。

ファームウェアおよび/またはソフトウェアにおいて実施される場合に、機能は、コンピュータ可読媒体上の1つまたは複数の命令またはコードとして記憶され得る。例は、データ構造を用いて符号化されたコンピュータ可読媒体およびコンピュータプログラムを用いて符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、命令もしくはデータ構造の形で所望のプログラムコードを記憶するのに使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができ、ディスク(disk)およびディスク(disc)は、本明細書で使用される時に、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常はデータを磁気的に再生し、ディスク(disc)は、レーザを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

当業者は、本開示の範囲内であることが意図されている開示された実施形態と一貫する他のシステムをたやすく考案することができる。前述の開示は、本開示を、開示された使用の正確な形態または特定の分野に限定することを意図されたものではない。したがって、本明細書で明示的に説明されるかまたは暗示されるかにかかわらず、本開示に対する様々な代替の実施形態および/または変更形態が本開示に照らして可能であることが企図されている。本開示の範囲から逸脱することなく、形態および詳細において変更が行われ得る。したがって、本開示は、特許請求の範囲によってのみ限定される。

100 ブロック図
102 モバイルデバイス
104 物体
109 ビジュアルディスプレイ
110 物体検出システム
112 タッチシステム
114 センサシステム
116 センサアレイ
132 処理構成要素
134 メモリ
200 流れ図
204 指
210 アクション
212 アクション
214 アクション
220 指紋制御ブロック
222 アクション
224 アクション
226 アクション
228 アクション
230 アクション
300 ブロック図
302 タッチ感知スクリーン
304 ビジュアルディスプレイ
306 シリコンオンガラス構成要素
308 両面フレックス回路
308A フレックス部分
308B フレックス部分
310 シリコンオンフレックス構成要素
320 主プリント回路基板(PCB)
322 ビジュアルイメージ
324 チップセット
326 コーデック
332 指紋
340 電気接続
342 フレックス接続性
344 センサ
346 センサ
348 センサ
500 ブロック図
502 PMUTタッチ/指紋センサ
600 方法
701 モバイルデバイス
702 イメージング領域
704 イメージング領域
706 イメージング領域
708 イメージング領域
710 イメージング領域
800 ブロック図
1000 方法
1100 方法
1200 方法
1302 心電図(ECG)信号
1304 容量対時間信号
1400 ブロック図
1500 ブロック図
1502 プラテンまたはカバーガラス
1550 周辺容量性電極
1552 周辺容量性電極
1602 アクティブエリア
1700 ブロック図
1750 セグメント化されたバイアス電極
1752 セグメント化されたバイアス電極
1754 セグメント化されたバイアス電極
1756 セグメント化されたバイアス電極
1800 プラットフォーム
1802 ユーザインターフェース
1804 制御ユニット
1810 キーパッド
1812 タッチセンサ
1820 プロセッサ
1822 メモリ
1824 ハードウェア
1826 ソフトウェア
1828 ファームウェア

Claims (30)

1. 物体の1つまたは複数のセンサイメージを取り込むためのシステムであって、
   デバイスのタッチ感知スクリーンおよびディスプレイを含むタッチシステムと、
   センサアレイおよび処理構成要素を含むセンサシステムであって、前記センサアレイは、前記タッチ感知スクリーンに結合され、前記処理構成要素は、物体が前記タッチ感知スクリーンによって検出される時に前記物体の1つまたは複数のイメージを取り込むように構成され、前記センサアレイの少なくとも一部は、前記タッチ感知スクリーンの少なくとも一部とオーバーラップする、センサシステムと
   を含む、システム。
2. 前記センサアレイは、超音波を送信し、受信する超音波センサアレイである、請求項1に記載のシステム。
3. 前記処理構成要素は、前記超音波センサアレイによって検出された超音波信号を抽出し、物体の1つまたは複数の超音波イメージを取り込む、請求項2に記載のシステム。
4. 前記タッチシステムおよび前記センサシステムを含む物体検出システムであって、前記物体とのインタラクションに基づいて1つまたは複数のパラメータを判定し、前記1つまたは複数のパラメータに基づいて前記1つまたは複数のセンサイメージを取り込む、物体検出システム
   をさらに含み、前記1つまたは複数のパラメータは、前記物体の位置、前記物体のサイズ、前記物体の移動、および前記物体が前記デバイスの前記タッチ感知スクリーンにタッチする時間の持続時間からなる群から選択された少なくとも1つのパラメータである
   請求項1に記載のシステム。
5. 前記タッチシステムおよび前記センサシステムを含む物体検出システムであって、前記物体とのインタラクションに基づいて1つまたは複数のパラメータを判定し、前記1つまたは複数のパラメータに基づいて前記1つまたは複数のセンサイメージを取り込む、物体検出システム
   をさらに含み、前記物体は、ユーザの指のうちの1つまたは複数であり、前記1つまたは複数のパラメータのうちの1つのパラメータは、指の本数を含む
   請求項1に記載のシステム。
6. 前記物体は、指であり、前記タッチ感知スクリーンは、前記タッチ感知スクリーンの表面上で前記指を検出するように構成される、請求項1に記載のシステム。
7. 前記タッチシステムは、前記タッチ感知スクリーンの前記表面上での前記物体のタッチに基づいて輪郭を検出するように構成される、請求項1に記載のシステム。
8. 前記処理構成要素は、1つまたは複数のイメージテンプレートを前記1つまたは複数の取り込まれたイメージとステッチングし、前記1つまたは複数の取り込まれたイメージとステッチングされた前記1つまたは複数のイメージテンプレートに基づいて新しいイメージテンプレートを判定する、請求項7に記載のシステム。
9. 前記処理構成要素は、前記1つまたは複数の取り込まれたイメージから1つまたは複数の特徴を抽出し、1つまたは複数の特徴テンプレートを前記1つまたは複数の抽出された特徴とステッチングし、前記1つまたは複数の抽出された特徴とステッチングされた前記1つまたは複数の特徴テンプレートに基づいて新しい特徴テンプレートを判定する、請求項7に記載のシステム。
10. 前記処理構成要素は、前記指輪郭に基づいてイメージング領域を識別し、前記物体の前記1つまたは複数のイメージを取り込むために前記イメージング領域を照射する、請求項7に記載のシステム。
11. 前記物体は、スタイラスである、請求項1に記載のシステム。
12. 前記センサシステムは、前記スタイラスを感知するために前記タッチ感知スクリーンを再構成する、請求項11に記載のシステム。
13. 前記センサアレイは、前記タッチ感知スクリーンの下に位置決めされる、請求項1に記載のシステム。
14. 前記センサアレイは、前記タッチ感知スクリーン内に組み込まれる、請求項1に記載のシステム。
15. 前記タッチ感知スクリーンは、前記ディスプレイの上にある、請求項1に記載のシステム。
16. 前記タッチ感知スクリーンは、前記ディスプレイ内に組み込まれる、請求項1に記載のシステム。
17. 前記デバイスは、スマートフォン、タブレットコンピュータ、ウェアラブルヘルスモニタ、携帯情報端末、またはラップトップのうちの少なくとも1つである、請求項1に記載のシステム。
18. 前記物体は、指であり、前記タッチシステムは、前記指の活性を検出するように構成された容量性電極を含む、請求項1に記載のシステム。
19. 前記容量性電極は、前記タッチ感知スクリーン内に組み込まれる、請求項18に記載のシステム。
20. 前記容量性電極は、前記センサアレイの周囲にある、請求項18に記載のシステム。
21. 前記容量性電極は、前記センサアレイの上側層上でセグメント化される、請求項18に記載のシステム。
22. 前記物体は、指紋である、請求項1に記載のシステム。
23. 前記センサアレイは、前記物体の前記1つまたは複数のイメージを取り込む、請求項1に記載のシステム。
24. 物体の1つまたは複数のセンサイメージを取り込む方法であって、
    デバイスのタッチ感知スクリーンに結合されたセンサアレイによって、前記タッチ感知スクリーンに関する前記物体から反射された信号を検出するステップと、
    前記反射された信号に基づいて、前記物体の1つまたは複数のイメージを取り込むステップであって、前記センサアレイの少なくとも一部は、前記タッチ感知スクリーンの少なくとも一部とオーバーラップする、取り込むステップと
    を含む、方法。
25. 前記タッチ感知スクリーンの表面上での前記物体のタッチを検出することに基づいて物体輪郭を判定するステップと、
    前記物体輪郭から前記物体の回転を判定するステップと、
    前記物体輪郭および前記回転に基づいてイメージテンプレートを識別するステップであって、前記イメージテンプレートは、前記物体の部分的イメージである、識別するステップと、
    前記物体の1つまたは複数のイメージを前記イメージテンプレートとステッチングするステップと、
    前記ステッチングに基づいて新しいイメージテンプレートを作成するステップと
    をさらに含む、請求項24に記載の方法。
26. 前記タッチ感知スクリーンの表面上での前記物体のタッチを検出することに基づいて物体輪郭を判定するステップと、
    前記物体輪郭から前記物体の回転を判定するステップと、
    前記1つまたは複数の取り込まれたイメージから1つまたは複数の特徴を抽出するステップと、
    前記物体輪郭、回転、および抽出された特徴に基づいて特徴テンプレートを識別するステップであって、前記特徴テンプレートは、前記物体の部分的イメージである、識別するステップと、
    前記物体の1つまたは複数の特徴を前記特徴テンプレートとステッチングするステップと、
    前記ステッチングに基づいて新しい特徴テンプレートを作成するステップと
    をさらに含む、請求項24に記載の方法。
27. デバイスのタッチ感知スクリーンに結合されたセンサアレイによって、前記タッチ感知スクリーンに関する物体から反射された信号を検出することと、
    前記反射された信号に基づいて、前記物体の1つまたは複数のイメージを取り込むことであって、前記センサアレイの少なくとも一部は、前記タッチ感知スクリーンの少なくとも一部とオーバーラップする、取り込むことと
    を含む、動作を実行するためのコンピュータ実行可能命令を記憶したコンピュータ可読媒体。
28. 動作を実行するための前記コンピュータ実行可能命令は、
    前記物体とのインタラクションに基づいて1つまたは複数のパラメータを判定することと、
    前記1つまたは複数のパラメータに基づいて前記物体の前記1つまたは複数のイメージを取り込むことと
    をさらに含む、請求項27に記載のコンピュータ可読媒体。
29. 物体の1つまたは複数のセンサイメージを取り込むためのシステムであって、
    デバイスのタッチ感知スクリーンに関する前記物体から反射された信号を検出するための手段と、
    前記反射された信号に基づいて、前記物体の1つまたは複数のイメージを取り込むための手段であって、前記物体が前記1つまたは複数のイメージを取り込むための前記手段の上に配置される時に、前記物体は、前記タッチ感知スクリーンの少なくとも一部の上に配置される、取り込むための手段と
    を含む、システム。
30. 前記物体とのインタラクションに基づいて1つまたは複数のパラメータを判定するための手段と、
    前記1つまたは複数のパラメータに基づいて前記物体の前記1つまたは複数のイメージを取り込むための手段と
    をさらに含む、請求項29に記載のシステム。