以下の説明は、例示的な方法、パラメータなどについて記載する。しかし、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供されると認識されたい。
生体特徴の生体認証を実施する効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。例えば、生体特徴の1つ以上の部分を登録する好都合かつ効率的な方法を提供する電子デバイスが必要とされている。別の例では、生体認証に従ってセキュアデータに選択的にアクセスする素早く直感的な技法を提供する電子デバイスが必要とされている。別の例では、生体認証に従ってデバイスの機能を有効化する素早く直感的な技法を提供する電子デバイスが必要とされている。そのような技法は、生体特徴の登録及び/又はデバイスによる生体認証を行うユーザにかかる認識的負担を低減させ、それによって全体的な生産性を向上させることができる。更に、そのような技法は、普通なら冗長なユーザ入力で無駄になるプロセッサ及び電池の電力を低減させることができる。
以下、図1A〜1C、図2、図3、図4A〜4B、及び図5A〜5Hは、生体認証を実施する技法を実行する例示的なデバイスの説明を提供する。図6は、いくつかの実施形態に係る1つ以上の通信チャネルを介して接続された例示的なデバイスを示す。図7A〜7Sは、いくつかの実施形態に係る生体登録プロセスチュートリアルのための生体登録プロセスチュートリアルに対する例示的なユーザインタフェースを示す。図8A〜8Cは、生体登録プロセスチュートリアルの方法を示す流れ図である。図7A〜7Sのユーザインタフェースは、図8A〜8Cのプロセスを含む後述するプロセスを示すために使用される。図9A〜9AEは、登録のために生体特徴を位置合わせする例示的なユーザインタフェースを示す。図10A〜10Fは、登録のために生体特徴を位置合わせする方法を示す流れ図である。図9A〜9AEのユーザインタフェースは、図10A〜10Fのプロセスを含む後述するプロセスを示すために使用される。図11A〜11Oは、生体特徴を登録する例示的なユーザインタフェースを示す。図12A〜12Bは、生体特徴を登録する方法を示す流れ図である。図11A〜11Oのユーザインタフェースは、図12A〜12Bのプロセスを含む後述するプロセスを示すために使用される。図13A〜13Rは、生体登録プロセス中にヒントを提供する例示的なユーザインタフェースを示す。図14A〜14Cは、生体登録プロセス中にヒントを提供する方法を示す流れ図である。図13A〜13Rのユーザインタフェースは、図14A〜14Cのプロセスを含む後述するプロセスを示すために使用される。図15A〜15Tは、アプリケーションベースの生体認証のための例示的なユーザインタフェースを示す。図16A〜16Eは、アプリケーションベースの生体認証の方法を示す流れ図である。図15A〜15Tのユーザインタフェースは、図16A〜16Eのプロセスを含む後述するプロセスを示すために使用される。図17A〜17AIは、生体認証的に保護されたフィールドに自動記入する例示的なユーザインタフェースを示す。図18A〜18Dは、生体認証的に保護されたフィールドに自動記入する方法を示す流れ図である。図17A〜17AIのユーザインタフェースは、図18A〜18Dのプロセスを含む後述するプロセスを示すために使用される。図19A〜19ABは、生体認証を使用してデバイスをアンロックする例示的なユーザインタフェースを示す。図20A〜20Fは、生体認証を使用してデバイスをアンロックする方法を示す流れ図である。図19A〜19ABのユーザインタフェースは、図20A〜20Fのプロセスを含む後述するプロセスを示すために使用される。図21A〜21AQは、生体認証を再試行する例示的なユーザインタフェースを示す。図22A〜22Fは、生体認証を再試行する方法を示す流れ図である。図21A〜21AQのユーザインタフェースは、図22A〜22Fのプロセスを含む後述するプロセスを示すために使用される。図23A〜23Qは、生体認証を使用して伝送を管理する例示的なユーザインタフェースを示す。図24A〜24BCは、生体認証を使用して伝送を管理する例示的なユーザインタフェースを示す。図25A〜25Cは、生体認証を使用して伝送を管理する方法を示す流れ図である。図23A〜23Q及び図24A〜24BCのユーザインタフェースは、図25A〜25Cのプロセスを含む後述するプロセスを示すために使用される。図26A〜26ASは、生体認証中にインタースティシャルユーザインタフェースを提供する例示的なユーザインタフェースを示す。図27A〜27Eは、生体認証中にインタースティシャルユーザインタフェースを提供する方法を示す流れ図である。図26A〜26ASのユーザインタフェースは、図27A〜27Eのプロセスを含む後述するプロセスを示すために使用される。図28A〜28AAは、生体認証を再試行するのを防止する例示的なユーザインタフェースを示す。図29A〜29Bは、生体認証を再試行するのを防止する方法を示す流れ図である。図28A〜28AAのユーザインタフェースは、図29A〜29Bのプロセスを含む後述するプロセスを示すために使用される。図30A〜30ALは、キャッシュ生体認証に対する例示的なユーザインタフェースを示す。図31A〜31Bは、キャッシュ生体認証の方法を示す流れ図である。図30A〜30ALのユーザインタフェースは、図31A〜31Bのプロセスを含む後述するプロセスを示すために使用される。図32A〜32Wは、視認性基準に基づいて記入可能フィールドに自動記入する例示的なユーザインタフェースを示す。図33は、視認性基準に基づいて記入可能フィールドに自動記入する方法を示す流れ図である。図32A〜32Wのユーザインタフェースは、図33のプロセスを含む後述するプロセスを示すために使用される。図34A〜34Nは、生体認証を使用する自動ログインに対する例示的なユーザインタフェースを示す。図35は、生体認証を使用する自動ログインの方法を示す流れ図である。図34A〜34Nのユーザインタフェースは、図35のプロセスを含む後述するプロセスを示すために使用される。図36A〜36Lは、クレデンシャルエントリユーザインタフェースにおいて生体認証をリトライする例示的なユーザインタフェースを示している。図37A〜37Bはクレデンシャルエントリユーザインタフェースにおいて生体認証をリトライする方法を示すフロー図である。図36A〜36Lのユーザインタフェースは、図37A〜37Bのプロセスを含む後述するプロセスを示すために使用される。図38A〜38ADは、生体認証中にエラー状態のインジケーションを提供する例示的なユーザインタフェースを示す。図39A〜39Bは、生体認証中にエラー状態のインジケーションを提供する方法を示すフロー図である。図38A〜38ADのユーザインタフェースは、図39A〜39Bのプロセスを含む後述するプロセスを示すために使用される。図40A〜40Uは、生体認証中に生体センサに関するインジケーションを提供する例示的なユーザインタフェースを示す。図41A〜41Cは、生体認証中に生体センサに関するインジケーションを提供する方法を示すフロー図である。図40A〜40Uのユーザインタフェースは、図41A〜41Cのプロセスを含む後述するプロセスを示すために使用される。図42A〜42Pは、生体特徴を登録するためにデバイスを向き付ける例示的なユーザインタフェースを示す。図43A〜43Cは、生体特徴を登録するためにデバイスを向き付ける方法を説明するフロー図である。図42A〜42Pのユーザインタフェースは、図43A〜43Cのプロセスを含む後述するプロセスを示すために使用される。
以下の説明では、様々な要素について説明するために、「第1の」、「第2の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、1つの要素を別の用語と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第1のタッチを第2のタッチと呼ぶこともでき、同様に第2のタッチを第1のタッチと呼ぶこともできる。第1のタッチ及び第2のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書において記載する様々な実施形態の説明で使用される術語は、特定の実施形態について説明することのみを目的とし、限定的であることが意図されるものではない。記載する様々な実施形態の説明及び添付の特許請求の範囲内では、単数形の「a」、「an」、及び「the」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書において「及び/又は」という用語は、列挙された関連項目のうちの1つ以上のあらゆる可能な組合せを指しかつ包含することが理解されよう。「含む(includes)」、「含む(including)」、「備える、含む(comprises)」、及び/又は「備える、含む(comprising)」という用語は、本明細書では、記載の特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらの群の存在又は追加を排除しないことが、更に理解されよう。
「〜の場合(if)」という用語は、任意選択的に、文脈に応じて、「〜とき(when)」若しくは「〜とき(upon)」、又は「〜と判定したことに応じて(in response to determining)」若しくは「〜を検出したことに応じて(in response to detecting)」を意味すると解釈される。同様に、「〜と判定された場合(if it is determined)」又は「[記載の状態又はイベント]が検出された場合(if [a stated condition or event] is detected)」という語句は、任意選択的に、文脈に応じて、「〜と判定したとき(upon determining)」若しくは「〜と判定したことに応じて(in response to determining)」、又は「[記載の状態又はイベント]を検出したとき(upon detecting [the stated condition or event])」若しくは「[記載の状態又はイベント]を検出したことに応じて(in response to detecting [the stated condition or event])」を意味すると解釈される。
電子デバイス、そのようなデバイスに対するユーザインタフェース、及びそのようなデバイスを使用する関連プロセスの実施形態について説明する。いくつかの実施形態では、デバイスは、PDA及び/又は音楽プレーヤの機能などの他の機能も含む動き電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面を有するラップトップ又はタブレットコンピュータ(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)などの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面を有するデスクトップコンピュータ(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)であることも理解されたい。
以下の議論では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかし、電子デバイスは、任意選択的に、物理キーボード、マウス、及び/又はジョイスティックなどの1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び/又はデジタルビデオプレーヤアプリケーションのうちの1つ以上などの様々なアプリケーションに対応する。
デバイス上で実行される様々なアプリケーションは、任意選択的に、タッチ感知面などの少なくとも1つの共通の物理ユーザインタフェースデバイスを使用する。タッチ感知面の1つ以上の機能並びにデバイス上に表示される対応する情報は、任意選択的に、アプリケーション相互間及び/又はそれぞれのアプリケーション内で調整及び/又は変更される。このようにして、デバイスの共通の物理アーキテクチャ(タッチ感知面など)は、任意選択的に、ユーザにとって直感的かつ透過的なユーザインタフェースによって様々なアプリケーションに対応する。
次に、タッチ感知ディスプレイを有するポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係るタッチ感知ディスプレイシステム112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス100は、メモリ102(任意選択的に1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(processing unit、CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(input/output、I/O)サブシステム106、他の入力コントロールデバイス116、及び外部ポート124を含む。デバイス100は、任意選択的に、1つ以上の光センサ164を含む。デバイス100は、任意選択的に、デバイス100上の接触の強度を検出する1つ以上の接触強度センサ165(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)を含む。デバイス100は、任意選択的に、デバイス100上で触知出力を生成する(例えば、デバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などのタッチ感知面上で触知出力を生成する)1つ以上の触知出力生成器167を含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号ライン103を介して通信する。
本明細書及び特許請求の範囲では、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触)の力若しくは圧力(単位面積当たりの力)、又はタッチ感知面上の接触の力若しくは圧力に対する代理(プロキシ)を指す。接触の強度は、少なくとも4つの異なる値を含み、より典型的には数百の異なる値(例えば、少なくとも256)を含む値の範囲を有する。接触の強度は、任意選択的に、様々な手法及び様々なセンサ又はセンサの組合せを使用して判定(又は測定)される。例えば、タッチ感知面の下又は付近にある1つ以上の力センサが、任意選択的に、タッチ感知面上の様々な点で力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力の測定を組み合わせて(例えば、加重平均)、接触の推定される力を判定する。同様に、スタイラスの感圧チップが、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。別法として、タッチ感知面上で検出される接触面積のサイズ及び/若しくはその変化、接触に近接するタッチ感知面の容量及び/若しくはその変化、並びに/又は接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力に対する代理として使用される。いくつかの実装形態では、接触力又は圧力に対する代理測定が、強度閾値を超過したかどうかを判定するために直接使用される(例えば、強度閾値は、代理測定に対応する単位で記載される)。いくつかの実装形態では、接触力又は圧力に対する代理測定は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超過したかどうかを判定するために使用される(例えば、強度閾値は、圧力の単位で測定される圧力閾値である)。ユーザ入力の属性として接触の強度を使用することで、いくつかの状況では、アフォーダンスの表示(例えば、タッチ感知ディスプレイ上)、及び/又はユーザ入力の受信(例えば、タッチ感知ディスプレイ、タッチ感知面、若しくはノブ若しくはボタンなどの物理/機械的コントロールを介する)のために、制限された面積を有するサイズが低減されたデバイス上でユーザが普通ならアクセスできない追加のデバイス機能性に対するユーザアクセスを可能にする。
本明細書及び特許請求の範囲では、「触知出力」という用語は、デバイスの前の位置に対するデバイスの物理的変位、デバイスの別の構成要素(例えば、ハウジング)に対するデバイスの構成要素(例えば、タッチ感知面)の物理的変位、又はユーザの触覚を用いてユーザによって検出されるデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチを感知するユーザの表面(例えば、指、手のひら、又はユーザの手の他の部分)に接触している状況で、物理的変位によって生成される触知出力は、デバイス又はデバイスの構成要素の物理的特性の知覚変化に対応する触感としてユーザによって解釈される。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の動きは、任意選択的に、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」としてユーザによって解釈される。いくつかの場合、ユーザは、ユーザの動きによって物理的に押下(例えば、変位)されたタッチ感知面に関連付けられた物理アクチュエータボタンの動きがないときでも、「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の動きは、任意選択的に、タッチ感知面の平滑度に変化がないときでも、タッチ感知面の「起伏」としてユーザによって解釈又は感知される。ユーザによるタッチのそのような解釈は、ユーザの個別化された感覚性知覚を受けやすいが、大部分のユーザに共通するタッチの多くの感覚性知覚がある。したがって、触知出力が、ユーザの特定の感覚性知覚(例えば、「アップクリック」、「ダウンクリック」、「起伏」)に対応すると記載されているとき、別途記載しない限り、生成される触知出力は、典型的(又は平均的)なユーザに対する記載されている感覚性知覚を生成するデバイス又はその構成要素の物理的変位に対応する。触知出力を使用して触覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施形態では、触知出力パターンは、触知出力の振幅、触知出力の動き波形の形状、触知出力の周波数、及び/又は触知出力の持続時間などの触知出力の特性を指定する。
異なる触知出力パターンを有する触知出力が、デバイスによって生成される(例えば、可動質量を動かして触知出力を生成する1つ以上の触知出力生成器を介して)とき、触知出力は、デバイスを保持又はタッチしているユーザに異なる触感を引き起こすことができる。ユーザの感覚は、触知出力のユーザの知覚に基づいているとき、ほとんどのユーザは、デバイスによって生成される触知出力の波形、周波数、及び振幅の変化を識別することが可能である。したがって、波形、周波数、及び振幅を調整して、異なる動作が実行されたことをユーザに示すことができる。したがって、いくつかの状況では、所与の環境(例えば、グラフィカル特徴及びオブジェクトを含むユーザインタフェース、仮想の境界及び仮想のオブジェクトを有するシミュレートされた物理的環境、物理的な境界及び物理的な物体を有する実際の物理的環境、並びに/又は上記の任意の組合せ)において、物体の特性(例えば、サイズ、材料、重量、剛性、平滑度、など)、挙動(例えば、振動、変位、加速、回転、膨張など)、及び/又は相互作用(例えば、衝突、粘着、反発、吸引、摩擦など)をシミュレートするように設計、選択、及び/又は開発された触知出力パターンを有する触知出力は、入力エラーを低減させ、デバイスのユーザの動作の効率を増大させる有用なフィードバックをユーザに提供する。加えて、触知出力は、任意選択的に、入力閾値又はオブジェクトの選択などのシミュレートされた物理的特性に関係ないフィードバックに対応するように生成される。いくつかの状況では、そのような触知出力は、入力エラーを低減させ、デバイスのユーザの動作の効率を増大させる有用なフィードバックをユーザに提供する。
いくつかの実施形態では、適した触知出力パターンを有する触知出力は、ユーザインタフェース内又はデバイス内のシーンの後ろにおける対象イベントの出現に対する合図として働く。対象イベントの例としては、デバイス上又はユーザインタフェース内に提供されるアフォーダンスのアクティブ化(例えば、実際若しくは仮想のボタン、又はトグルスイッチ)、要求された動作の成功又は失敗、ユーザインタフェース内の境界への到達又は横断、新しい状態へのエントリ、オブジェクト間の入力フォーカスの切り替え、新しいモードのアクティブ化、入力閾値への到達又は横断、入力又はジェスチャのタイプの検出又は認識などが挙げられる。いくつかの実施形態では、リダイレクション又は割込み入力が適時に検出されない限り生じるはずであるイベント又は結果を付与する警告又は警報として働く触知出力が提供される。触知出力はまた、他の文脈で、ユーザエクスペリエンスの向上、視覚若しくは運動の障害又は他のアクセシビリティに関する必要を有するユーザに対するデバイスのアクセシビリティの改善、並びに/あるいはユーザインタフェース及び/又はデバイスの効率及び機能性の改善のために使用される。触知出力は、任意選択的に、オーディオ出力及び/又は可視のユーザインタフェースの変化を伴い、ユーザがユーザインタフェース及び/又はデバイスと対話するときのユーザのエクスペリエンスを更に向上させ、ユーザインタフェース及び/又はデバイスの状態に関する情報のより良好な伝達を容易にし、入力エラーを低減させ、デバイスのユーザの動作の効率を増大させる。
図4C〜4Eは、上述したもの並びに本明細書に論じるユーザインタフェース及び方法に関して記載したものなどの様々なシナリオ及び様々な目的で適した触覚フィードバックを作成するために、そのまま、又は1つ以上の変形(例えば、変調、増幅、打切りなど)を介して、個々に又は組合せで使用することができる1組のサンプル触知出力パターンを提供する。触知出力のパレットのこの例は、触知出力パターンのアレイを作成するために、1組の3つの波形及び8つの周波数をどのように使用することができるかを示す。この図に示す触知出力パターンに加えて、これらの触知出力パターンはそれぞれ、任意選択的に、例えば図4F〜4Hに1.0、0.75、0.5、及び0.25のゲインを有する変形形態によってそれぞれ示すフルタップ(FullTap)80Hz、フルタップ200Hz、ミニタップ(MiniTap)80Hz、ミニタップ200Hz、マイクロタップ(MicroTap)80Hz、及びマイクロタップ200Hzに対して示すように、触知出力パターンに対するゲイン値を変化させることによって、振幅が調整される。図4F〜4Hに示すように、触知出力パターンのゲインを変化させることで、パターンの周波数又は波形の形状を変化させることなく、パターンの振幅を変化させる。いくつかの実施形態では、可動質量にどれだけの力を印加することができるかによって、いくつかの触知出力生成器が制限されるため、触知出力パターンの周波数を変化させることで、振幅がより低くなり、したがって質量の周波数の動きが大きければ大きいほど、より低い振幅に制約され、波形を作成するために必要とされる加速が、触知出力生成器の動作力の範囲外の力を必要としないことが確実になる(例えば、230Hz、270Hz、及び300Hzにおけるフルタップのピーク振幅は、80Hz、100Hz、125Hz、及び200Hzにおけるフルタップの振幅より低い)。
図4C〜4Hは、特定の波形を有する触知出力パターンを示す。触知出力パターンの波形は、中立位置(例えば、xzero)に対する物理的変位と、その触知出力パターンを有する触知出力を生成するために可動質量が通る時間との関係を示すパターンを表す。例えば、図4Cに示す第1の組の触知出力パターン(例えば、「フルタップ」の触知出力パターン)はそれぞれ、2つの完全なサイクルを有する振動(例えば、中立位置で開始及び終了し、中立位置を3回交差する振動)を含む波形を有する。図4Dに示す第2の組の触知出力パターン(例えば、「ミニタップ」の触知出力パターン)はそれぞれ、1つの完全なサイクルを含む振動(例えば、中立位置で開始及び終了し、中立位置を1回交差する振動)を含む波形を有する。図4Eに示す第3の組の触知出力パターン(例えば、「マイクロタップ」の触知出力パターン)はそれぞれ、完全なサイクルの2分の1を含む振動(例えば、中立位置で開始及び終了し、中立位置を交差しない振動)を含む波形を有する。触知出力パターンの波形はまた、触知出力の開始及び終了時の可動質量の漸進的な加速及び減速を表す開始バッファ及び終了バッファを含む。図4C〜4Hに示す波形の例には、可動質量の最大及び最小の動き範囲を表すxmin及びxmaxの値が挙げられる。より大きい可動質量を有するより大きい電子デバイスの場合、質量のより大きい又はより小さい最小及び最大の動き範囲が存在することができる。図4C〜4Hに示す例は、1次元における質量の動きについて説明しているが、類似の原理は、2次元又は3次元における可動質量の動きにも当てはまるはずである。
図4C〜4Eに示すように、各触知出力パターンはまた、その特性周波数を有する触知出力からユーザが感じる触覚の「ピッチ」に影響を及ぼす対応する特性周波数を有する。連続する触知出力の場合、特性周波数は、触知出力生成器の可動質量によって所与の時間期間内に完了されるサイクルの数(例えば、1秒当たりのサイクル)を表す。個別の触知出力の場合、個別の出力信号(例えば、0.5、1、又は2回のサイクルを有する)が生成され、特性周波数値は、その特性周波数を有する触知出力を生成するために可動質量がどれだけ速く動く必要があるかを指定する。図4C〜4Hに示すように、各タイプの触知出力(例えば、フルタップ、ミニタップ、又はマイクロタップなど、それぞれの波形によって画定される)に対して、より高い周波数値は、可動質量によるより速い動きに対応し、したがって概して、触知出力を完成させるより短い時間(例えば、個別の触知出力に対して必要とされる数のサイクルを完成させる時間と、開始及び終了バッファ時間との和を含む)に対応する。例えば、80Hzの特性周波数を有するフルタップは、100Hzの特性周波数を有するフルタップより、完成させるのに長くかかる(例えば、図4Cの35.4msと28.3ms)。加えて、所与の周波数に対して、それぞれの周波数においてその波形でより多くのサイクルを有する触知出力は、同じそれぞれの周波数においてその波形でより少ないサイクルを有する触知出力より、完成させるのに長くかかる。例えば、150Hzにおけるフルタップは、150Hzにおけるミニタップより、完成させるのに長くかかり(例えば、19.4msと12.8ms)、150Hzにおけるミニタップは、150Hzにおけるマイクロタップより、完成させるのに長くかかる(例えば、12.8msと9.4ms)。しかし、異なる周波数を有する触知出力パターンの場合、この規則は当てはまらない可能性がある(例えば、より多くのサイクルを有するが、より高い周波数を有する触知出力は、より少ないサイクルを有するがより低い周波数を有する触知出力より、完成させるのに短い時間量がかかる可能性があり、逆も同様である)。例えば、300Hzにおいて、フルタップは、ミニタップと同じだけ長くかかる(例えば、9.9ms)。
図4C〜4Eに示すように、触知出力パターンはまた、触知信号内に含まれるエネルギーの量、又はその特性振幅を有する触知出力によってユーザが感じることができる触覚の「強度」に影響を及ぼす特性振幅を有する。いくつかの実施形態では、触知出力パターンの特性振幅は、触知出力を生成するときの中立位置からの可動質量の最大変位を表す絶対値又は正規化値を指す。いくつかの実施形態では、触知出力パターンの特性振幅は、例えば、様々な状態(例えば、ユーザインタフェースのコンテキスト及び挙動に基づいてカスタマイズされる)に従って、固定された若しくは動的に決定されたゲイン係数(例えば、0〜1の値)、並びに/又は事前設定されたメトリック(例えば、入力ベースのメトリック、及び/若しくはユーザインタフェースベースのメトリック)によって、調整可能である。いくつかの実施形態では、入力ベースのメトリック(例えば、強度変化メトリック又は入力速度メトリック)は、入力の特性(例えば、触知出力の生成をトリガする入力中の押下入力における接触の特性強度の変化速度、又はタッチ感知面における接触の動き速度)を示す。いくつかの実施形態では、ユーザインタフェースベースのメトリック(例えば、境界横断速度メトリック)は、触知出力の生成をトリガするユーザインタフェースの変化中のユーザインタフェース要素の特性(例えば、ユーザインタフェース内で隠された又は可視の境界を越える要素の動き速度)を示す。いくつかの実施形態では、触知出力パターンの特性振幅は、「包絡線」によって変調させることができ、隣接するサイクルのピークは、異なる振幅を有することができ、上記に示す波形のうちの1つは、触知出力が生成されるにつれて触知出力の部分の振幅を時間とともに漸進的に調整するために、時間とともに(例えば、0から1に)変化する包絡線パラメータによる乗算によって更に修正される。
図4C〜4Eには、例示を目的として、サンプル触知出力パターン内の特有の周波数、振幅、及び波形が表されているが、類似の目的で、他の周波数、振幅、及び波形を有する触知出力パターンを使用することもできる。例えば、0.5〜4回のサイクルを有する波形を使用することができる。60Hz〜400Hzの範囲内の他の周波数も同様に使用することができる。表1は、特定の触覚フィードバックの挙動、構成の例、及びそれらの使用例を提供する。
デバイス100は、ポータブル多機能デバイスの単なる一例であり、デバイス100は、任意選択的に、図示のものより多い若しくはより少ない構成要素を有し、任意選択的に2つ以上の構成要素を組み合わせ、又は任意選択的に、構成要素の異なる構成若しくは配置を有することを理解されたい。図1Aに示す様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組合せで実施される。
メモリ102は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ122は、任意選択的に、デバイス100の他の構成要素によるメモリ102へのアクセスを制御する。
周辺機器インタフェース118は、デバイスの入力及び出力周辺機器をCPU120及びメモリ102に結合するために使用することができる。1つ以上のプロセッサ120が、メモリ102内に記憶されている様々なソフトウェアプログラム及び/又は命令セットを走行又は実行して、デバイス100に対する様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース118、CPU120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一のチップ上で実施される。いくつかの他の実施形態では、これらは、任意選択的に、別個のチップ上で実施される。
RF(radio frequency、無線周波数)回路108が、電磁信号とも呼ばれるRF信号を受信及び送信する。RF回路108は、電気信号を電磁信号に、また電磁信号を電気信号に変換し、これらの電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、任意選択的に、それだけに限定されるものではないが、アンテナシステム、RF送受信機、1つ以上の増幅器、チューナ、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどを含む、これらの機能を実行するよく知られている回路を含む。RF回路108は、任意選択的に、ワールドワイドウェブ(World Wide Web、WWW)とも呼ばれるインターネット、イントラネット、並びに/又はセルラー電話ネットワーク、無線ローカルエリアネットワーク(wireless local area network、LAN)、及び/若しくはメトロポリタンエリアネットワーク(metropolitan area network、MAN)、及び無線通信による他のデバイスなどの無線ネットワークなどのネットワークと通信する。RF回路108は、任意選択的に、短距離通信無線機などによって近距離通信(near field communication、NFC)フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、動き通信用のグローバルシステム(Global System for Mobile Communications、GSM)、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケットアクセス(high-speed downlink packet access、HSDPA)、高速アップリンクパケットアクセス(high-speed uplink packet access、HSUPA)、エボリューションデータオンリ(Evolution, Data-Only、EV−DO)、HSPA、HSPA+、デュアルセルHSPA(Dual-Cell HSPA、DC−HSPDA)、ロングタームエボリューション(long term evolution、LTE)、近距離通信(NFC)、広帯域符号分割多元接続(wideband code division multiple access、W−CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth(登録商標)、Bluetoothローエネルギー(Bluetooth Low Energy、BTLE(登録商標))、ワイヤレスフィデリティ(Wireless Fidelity、Wi−Fi(登録商標))(例えば、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11n、及び/若しくはIEEE 802.11ac)、ボイスオーバインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi−MAX(登録商標)、電子メール用プロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/若しくはポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能なメッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンスイベントパッケージのためのセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスイベントパッケージ(Instant Messaging and Presence Service、IMPS))、並びに/若しくはショートメッセージサービス(Short Message Service、SMS)、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適した通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間にオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ111へ送信する。スピーカ111は、電気信号を人間に可聴の音波に変換する。オーディオ回路110はまた、マイクロフォン113によって音波から変換された電気信号を受信する。オーディオ回路110は、この電気信号をオーディオデータに変換し、このオーディオデータを周辺機器インタフェース118へ処理のために送信する。周辺機器インタフェース118は、任意選択的に、メモリ102及び/若しくはRF回路108からのオーディオデータの取得、並びに/又はメモリ102及び/若しくはRF回路108へのオーディオデータの送信を行う。いくつかの実施形態では、オーディオ回路110はまた、ヘッドセットジャック(例えば、図2の212)を含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドフォン又は出力(例えば、片耳若しくは両耳用のヘッドフォン)及び入力(例えば、マイクロフォン)の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間に、インタフェースを提供する。
I/Oサブシステム106は、タッチスクリーン112及び他の入力コントロールデバイス116などのデバイス100上の入出力周辺機器を、周辺機器インタフェース118に結合する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、深度カメラコントローラ169、及び他の入力又は制御デバイス用の1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は、他の入力コントロールデバイス116からの電気信号の受信/他の入力コントロールデバイス116への電気信号の送信を行う。他の入力コントロールデバイス116は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替実施形態では、入力コントローラ160は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される(又はいずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、任意選択的に、スピーカ111及び/又はマイクロフォン113の音量コントロールのための上下ボタンを含む。1つ以上のボタンは、任意選択的に、プッシュボタン(例えば、図2の206)を含む。
全体として参照により本明細書に組み込まれている、2005年12月23日出願の米国特許出願第11/322,549号、「Unlocking a Device by Performing Gestures on an Unlock Image」、米国特許第7,657,849号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン112のロックを係合解除し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをアンロックするプロセスを開始する。プッシュボタン(例えば、206)のより長い押下は、任意選択的に、デバイス100への電力をオン又はオフにする。ボタンのうちの1つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン112は、仮想又はソフトボタン及び1つ以上のソフトキーボードを実施するために使用される。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112からの電気信号の受信及び/又はタッチスクリーン112への電気信号の送信を行う。タッチスクリーン112は、ユーザに対して視覚出力を表示する。視覚出力は、任意選択的に、グラフィック、文字、アイコン、ビデオ、及びこれらの任意の組合せ(集合的に「グラフィック」と呼ぶ)を含む。いくつかの実施形態では、視覚出力の一部又はすべては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚及び/又は触知接触に基づいてユーザからの入力を受け付けるタッチ感知面、センサ、又は1組のセンサを有する。タッチスクリーン112及びディスプレイコントローラ156は(あらゆる関連モジュール及び/又はメモリ102内の命令セットとともに)、タッチスクリーン112上の接触(及び接触のあらゆる動き又は中断)を検出し、検出した接触を、タッチスクリーン112上に表示されるユーザインタフェースオブジェクトとの対話(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)に変換する。例示的な実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン112及びディスプレイコントローラ156は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン112との1つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)及びiPod Touch(登録商標)に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体として参照により本明細書に組み込まれている、米国特許第6,323,846号(Westermanら)、第6,570,557号(Westermanら)、及び/若しくは第6,677,932号(Westerman)、並びに/又は米国特許公報第2002/0015024A1号という米国特許に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン112はデバイス100からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、(1)2006年5月2日出願の米国特許出願第11/381,313号、「Multipoint Touch Surface Controller」、(2)2004年5月6日出願の米国特許出願第10/840,862号、「Multipoint Touchscreen」、(3)2004年7月30日出願の米国特許出願第10/903,964号、「Gestures For Touch Sensitive Input Devices」、(4)2005年1月31日出願の米国特許出願第11/048,264号、「Gestures For Touch Sensitive Input Devices」、(5)2005年1月18日出願の米国特許出願第11/038,590号、「Mode−Based Graphical User Interfaces For Touch Sensitive Input Devices」、(6)2005年9月16日出願の米国特許出願第11/228,758号、「Virtual Input Device Placement On A Touch Screen User Interface」、(7)2005年9月16日出願の米国特許出願第11/228,700号、「Operation Of A Computer With A Touch Screen Interface」、(8)2005年9月16日出願の米国特許出願第11/228,737号、「Activating Virtual Keys Of A Touch−Screen Virtual Keyboard」、及び(9)2006年3月3日出願の米国特許出願第11/367,749号、「Multi−Functional Hand−Held Device」という出願に記載されている。これらの出願はすべて、全体として参照により本明細書に組み込まれている。
タッチスクリーン112は、任意選択的に、100dpiを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約160dpiのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン112に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に扱うように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど精密でない可能性がある。いくつかの実施形態では、デバイスは、ユーザによって所望されるアクションを実行するために、大まかな指ベースの入力を精密なポインタ/カーソル位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するタッチパッド(図示せず)を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり視覚出力を表示しないデバイスのタッチ感知区域である。タッチパッドは、任意選択的に、タッチスクリーン112又はタッチスクリーンによって形成されるタッチ感知面の拡張部とは別個のタッチ感知面である。
デバイス100はまた、様々な構成要素に電力供給する電力システム162を含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、交流(alternating current、AC)電池)、充電システム、電力障害検出回路、電力変換器又は逆変換器、電力状態インジケータ(例えば、発光ダイオード(light-emitting diode、LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス100はまた、任意選択的に、1つ以上の光センサ164を含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、任意選択的に、電荷結合デバイス(charge-coupled device、CCD)又は相補的金属酸化物半導体(complementary metal-oxide semiconductor、CMOS)フォトトランジスタを含む。光センサ164は、1つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ164は、撮像モジュール143(カメラモジュールとも呼ばれる)と連動して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ112とは反対に、デバイス100の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び/又はビデオ画像の取得のためのビューファインダとして使用することが有効である。いくつかの実施形態では、光センサは、デバイスの前面には位置し、したがってユーザの画像が、任意選択的に、テレビ会議のために入手され、ユーザは、他のテレビ会議参加者をタッチスクリーンディスプレイ上で視る。いくつかの実施形態では、光センサ164の位置は、ユーザによって(例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって)変更することができ、したがって単一の光センサ164が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び/又はビデオ画像の取得にも使用される。
デバイス100はまた、任意選択的に、1つ以上の接触強度センサ165を含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された接触強度センサを示す。接触強度センサ165は、任意選択的に、1つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(若しくは圧力)を測定するために使用されるセンサ)を含む。接触強度センサ165は、接触強度情報(例えば、圧力情報又は圧力情報に対するプロキシ)を環境から受信する。いくつかの実施形態では、少なくとも1つの接触強度センサが、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に並んで又は近接して配置される。いくつかの実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面に位置するタッチスクリーンディスプレイ112とは反対に、デバイス100の裏面に位置する。
デバイス100はまた、任意選択的に、1つ以上の近接センサ166を含む。図1Aは、周辺機器インタフェース118に結合された近接センサ166を示す。代わりに、近接センサ166は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。近接センサ166は、任意選択的に、全体として参照により本明細書に組み込まれている、米国特許出願第11/241,839号、「Proximity Detector In Handheld Device」、第11/240,788号、「Proximity Detector In Handheld Device」第11/620,702号、「Using Ambient Light Sensor To Augment Proximity Sensor Output」、第11/586,862号、「Automated Response To And Sensing Of User Activity In Portable Devices」、及び第11/638,251号、「Methods And Systems For Automatic Configuration Of Peripherals」、に記載されているように機能する。いくつかの実施形態では、近接センサは、多機能デバイスがユーザの耳付近に配置されたとき(例えば、ユーザが電話をかけているとき)、タッチスクリーン112をオフにして無効化する。
デバイス100はまた、任意選択的に、1つ以上の触知出力生成器167を含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器を示す。触知出力生成器167は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などのエネルギーを直線の動きに変換する電気機械デバイスを含む。接触強度センサ165は、触覚フィードバックモジュール133から触知フィードバック生成命令を受信し、デバイス100のユーザが感知することが可能な触知出力をデバイス100上に生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に並んで又は近接して配置され、任意選択的に、タッチ感知面を垂直方向に(例えば、デバイス100の表面の内外へ)、又は横方向に(例えば、デバイス100の表面と同じ平面内で前後に)動かすことによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器センサは、デバイス100の前面に位置するタッチスクリーンディスプレイ112とは反対に、デバイス100の裏面に位置する。
デバイス100はまた、任意選択的に、1つ以上の加速度計168を含む。図1Aは、周辺機器インタフェース118に結合された加速度計168を示す。代わりに、加速度計168は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。加速度計168は、任意選択的に、どちらも全体として参照により本明細書に組み込まれている、米国特許公開第20050190059号、「Acceleration−based Theft Detection System for Portable Electronic Devices」、及び米国特許公開第20060017692号、「Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer」に記載されているように機能する。いくつかの実施形態では、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス100は、任意選択的に、加速度計168に加えて、デバイス100の場所及び向き(例えば、ポートレート又はランドスケープ)に関する情報を入手する磁気計(図示せず)及びGPS(又はGLONASS若しくは他のグローバルナビゲーションシステム)受信機(図示せず)を含む。
いくつかの実施形態では、デバイス100はまた、1つ以上の指紋センサを含む(又はそれと通信する)。1つ以上の指紋センサは、周辺機器インタフェース118に結合される。代わりに、1つ以上の指紋センサは、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。しかし、1つの一般的な実施形態では、指紋識別動作は、1つ以上の指紋センサによって判定される指紋情報のセキュリティを向上させるために追加のセキュリティ特徴を有する固定の専用コンピューティングハードウェア(例えば、1つ以上のプロセッサ、メモリ、及び/又は通信バス)を使用して実行される。本明細書では、指紋センサは、人間の手指及び足指などの皮膚の隆線及び谷の指紋特徴(「ミニシュア特徴」と呼ばれることがある)を区別することが可能なセンサである。指紋センサは、それだけに限定されるものではないが、光学指紋撮像、超音波指紋撮像、能動的容量指紋撮像、及び受動的容量指紋撮像を含む、指紋特徴を区別する様々な技法のうちのいずれかを使用することができる。指紋の中の指紋特徴を区別することに加えて、いくつかの実施形態では、1つ以上の指紋センサは、指紋特徴の動きを時間とともに追跡し、それによって1つ以上の指紋センサ上の指紋の動きを時間とともに判定する/特徴付けることが可能である。1つ以上の指紋センサは、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)とは別個のものとすることができるが、いくつかの実装形態では、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)は、個々の指紋の隆線によって形成される指紋特徴を検出するのに十分に高い空間解像度を有し、1つ以上の指紋センサの代わりに、又は1つ以上の指紋センサに加えて、指紋センサとして使用されることを理解されたい。いくつかの実施形態では、デバイス100は、デバイス上又はそれに近接する指又は手の向き(例えば、1つ以上の指紋センサ上にある指の向き)を判定するために使用される1組の1つ以上の向きセンサを含む。加えて、いくつかの実施形態では、1組の1つ以上の向きセンサは、指紋センサに加えて、又は指紋センサの代わりに、デバイスと対話している接触の回転を検出するために使用される(例えば、後述する方法のうちの1つ以上では、指紋/接触の回転を検出するために指紋センサを使用するのではなく、1組の1つ以上の向きセンサは、指紋の特徴を検出するか否かにかかわらず、指紋を含む接触の回転を検出するために使用される)。
いくつかの実施形態では、プロセッサ120とは別個の固定の専用コンピューティングハードウェア(例えば、1つ以上のプロセッサ、メモリ、及び/又は通信バス)によって、1つ以上の指紋センサによって生成、記憶、及び処理される指紋データのセキュリティを改善するために、指紋の特徴、及び検出された指紋の特徴と記憶された指紋の特徴との間の比較が実行される。いくつかの実施形態では、指紋の特徴、及び検出された指紋の特徴と登録された指紋の特徴との間の比較は、プロセッサ120によって指紋分析モジュールを使用して実行される。
いくつかの実施形態では、登録プロセス中、デバイス(例えば、1つ以上の指紋センサと通信する指紋分析モジュール又は別個のセキュアモジュール)は、ユーザの1つ以上の指紋に関する生体情報を収集する(例えば、ユーザの指紋の中で複数のミニシュア点の相対的な場所を識別する)。登録プロセスが完了した後、生体情報は、検出された指紋を認証する際に後に使用するために、デバイス(例えば、セキュア指紋モジュール内)で記憶される。いくつかの実施形態では、デバイスに記憶される生体情報は、指紋の画像を除外し、また指紋の画像が復元され得る情報を除外し、したがって指紋の画像は、デバイスのセキュリティが損なわれた場合に意図せずに利用可能になることはない。いくつかの実施形態では、認証プロセス中、デバイス(例えば、1つ以上の指紋センサと通信する指紋分析モジュール又は別個のセキュアモジュール)は、1つ以上の指紋センサ上で検出された指紋に関する生体情報を収集し(例えば、1つ以上の指紋センサ上で検出された指紋の中で複数のミニシュア点の相対的な場所を識別する)、検出された指紋に対応する生体情報を、登録された指紋に対応する生体情報と比較することによって、1つ以上の指紋センサによって検出された指入力が、以前に登録された指紋に一致する指紋を含むかどうかを判定する。いくつかの実施形態では、検出された指紋に対応する生体情報を、登録された指紋に対応する生体情報と比較することは、検出された指紋に対応する生体情報内のミニシュア点のタイプ及び場所を、登録された指紋に対応する生体情報内のミニシュア点のタイプ及び場所と比較することを含む。しかし、指入力が、デバイスによって登録されている以前に登録された指紋に一致する指紋を含むか否かに関する判定は、任意選択的に、検出された指紋が登録された指紋に一致するかどうかを判定する複数のよく知られている指紋認証技法のうちのいずれかを使用して実行される。
デバイス100はまた、任意選択的に、1つ以上の深度カメラセンサ175を含む。図1Aは、I/Oサブシステム106内の深度カメラコントローラ169に結合された深度カメラセンサを示す。深度カメラセンサ175は、センサを通って投影される環境からのデータを受信する。深度カメラセンサ175は、撮像モジュール143(カメラモジュールとも呼ばれる)と連動して、任意選択的に、撮像モジュール143によってキャプチャされた画像の異なる部分の深さマップを判定するために使用される。いくつかの実施形態では、深度カメラセンサは、デバイス100の前面に位置し、したがって深さ情報を有するユーザの画像が、深さマップデータによるテレビ会議をキャプチャするセルフィ及びデバイスのユーザの認証など、デバイスの異なる機能によって使用可能になる。いくつかの実施形態では、深度カメラセンサ175の位置は、ユーザによって(例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって)変更することができ、したがって深度カメラセンサ175が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び/又はビデオ画像の取得にも使用される。
いくつかの実施形態では、メモリ102内に記憶されているソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(Global Positioning System、GPS)モジュール(又は命令セット)135、及びアプリケーション(又は命令セット)136を含む。更に、いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、図1A及び図3に示すように、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、もしあればどのアプリケーションが現在アクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ112の様々な領域を占有しているかを示すディスプレイ状態、デバイスの様々なセンサ及び入力コントロールデバイス116から入手した情報を含むセンサ状態、並びにデバイスの場所及び/又は姿勢に関する場所情報のうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、iOS(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込み型オペレーティングシステム)は、通常のシステムタスク(例えば、メモリ管理、記憶デバイスの制御、電力管理など)を制御及び管理する様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェアとソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介した他のデバイスとの通信を容易にし、また、RF回路108及び/又は外部ポート124によって受信したデータに対応する様々なソフトウェア構成要素を含む。外部ポート124(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIREなど(登録商標))は、他のデバイスに直接結合するように、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に結合するように適合される。いくつかの実施形態では、外部ポートは、iPod(登録商標)(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同じ若しくは類似であり、かつ/又はそれに適合しているマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、任意選択的に、タッチスクリーン112(ディスプレイコントローラ156と連動して)及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/動きモジュール130は、接触が生じたかどうかを判定すること(例えば、指ダウンイベントを検出する)、接触の強度(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力に対する代理)を判定すること、接触の動きがあるかどうかを判定し、タッチ感知面における動きを追跡すること(例えば、1つ以上の指ドラッグイベントを検出する)、及び接触が終わったかどうかを判定すること(例えば、指アップイベント又は接触の中断を検出する)など、接触の検出に関係する様々な動作を実行する様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データによって表される接触点の動きを判定することは、任意選択的に、接触点の速度(大きさ)、速力(大きさ及び方向)、並びに/又は加速度(大きさ及び/若しくは方向の変化)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1つの指接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、1組の1つ以上の強度閾値を使用して、動作がユーザによって実行されたかどうかを判定する(例えば、ユーザがアイコン上で「クリック」したかどうかを判定する)。いくつかの実施形態では、強度閾値の少なくとも1つのサブセットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス100の物理ハードウェアを変化させることなく調整することができる)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変化させることなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザは、1組の強度閾値の1つ以上を調整するソフトウェア設定が提供される(例えば、システムレベルのクリック「強度」パラメータによって、個々の強度閾値を調整すること、及び/又は複数の強度閾値を一度に調整することによる)。
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、検出された接触の異なる動き、タイミング、及び/又は強度)を有する。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置(又は実質上同じ位置)(例えば、アイコンの位置)で指アップ(リフトオフ)イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて1つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ(リフトオフ)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的な影響(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性)を変化させる構成要素を含めて、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な知られているソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール132は、使用すべきグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール132は、表示すべきグラフィックを指定する1つ以上のコードを、必要な場合は座標データ及び他のグラフィック特性データとともに、アプリケーションなどから受信し、次いでスクリーン画像データを生成し、ディスプレイコントローラ156へ出力する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、デバイス100上の1つ以上の場所に触知出力を生成するために触知出力生成器167によって使用される命令を生成する様々なソフトウェア構成要素を含む。
任意選択的にグラフィックモジュール132の構成要素であるテキスト入力モジュール134は、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及び文字入力を必要とする任意の他のアプリケーション)において文字を入力するソフトキーボードを提供する。
GPSモジュール135は、デバイスの場所を判定し、様々なアプリケーション内で使用するためにこの情報を提供する(例えば、場所ベースのダイアリングで使用するために電話138へ、ピクチャ/ビデオメタデータとしてカメラ143へ、及び気象ウィジェット、ローカルイエローページウィジェット、及び地図/ナビゲーションウィジェットなどの場所ベースのサービスを提供するアプリケーションへ)。
アプリケーション136は、任意選択的に、以下のモジュール(若しくは命令セット)、又はそのサブセット又はスーパーセットを含む。
●連絡先モジュール137(アドレス帳又は連絡先リストと呼ばれることもある)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(Instant messaging、IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像用のカメラモジュール143、
●画像管理モジュール144、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール147、
●カレンダモジュール148、
●任意選択的に気象ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3、目覚まし時計ウィジェット149−4、辞書ウィジェット149−5、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット149−6のうちの1つ以上を含むウィジェットモジュール149、
●ユーザ作成ウィジェット149−6を作るウィジェットクリエータモジュール150、
●検索モジュール151、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール152、
●メモモジュール153、
●地図モジュール154、並びに/又は、
●オンラインビデオモジュール155。
任意選択的にメモリ102内に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA有効アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、連絡先モジュール137は、任意選択的に、アドレス帳に氏名を追加すること、アドレス帳から氏名を削除すること、電話番号、電子メールアドレス、物理アドレス、又は他の情報を氏名に関連付けること、画像を氏名に関連付けること、氏名を類別及び分類すること、電話番号又は電子メールアドレスを提供して、電話138、テレビ会議モジュール139、電子メール140、又はIM141による通信を開始及び/又は促進することなどを含めて、アドレス帳又は連絡先リスト(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192内に記憶される)を管理するために使用される。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、電話モジュール138は、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール137内の1つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイアル、会話の実施、会話が終了したときの切断又は電話を切ることのために使用される。上述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先モジュール137、及び電話モジュール138と連動して、テレビ会議モジュール139は、ユーザ命令に従ってユーザと1人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、電子メールクライアントモジュール140は、ユーザ命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール144と連動して、電子メールクライアントモジュール140は、カメラモジュール143で撮影した静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、インスタントメッセージングモジュール141は、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、それぞれのインスタントメッセージの送信(例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス(SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコル、又はインターネットベースのインスタントメッセージ向けのXMPP、SIMPLE、若しくはIMPSを使用する)、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信及び/又は受信されるインスタントメッセージは、任意選択的に、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)で対応されるグラフィック、写真、オーディオファイル、ビデオファイル、及び/又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ(例えば、SMS又はMMSを使用して送信されるメッセージ)と、インターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されるメッセージ)との両方を指す。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽プレーヤモジュールと連動して、トレーニングサポートモジュール142は、トレーニング(例えば、時間、距離、及び/又はカロリー燃焼目標を有する)の作成、トレーニングセンサ(スポーツデバイス)との通信、トレーニングセンサデータの受信、トレーニングを監視するために使用されるセンサの較正、トレーニングのための音楽の選択及び再生、トレーニングデータの表示、記憶、及び送信のための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、及び画像管理モジュール144と連動して、カメラモジュール143は、静止画像若しくはビデオ(ビデオストリームを含む)のキャプチャ及びメモリ102内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ102からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と連動して、画像管理モジュール144は、静止画像及び/又はビデオ画像の配置、修正(例えば、編集)、又はその他の操作、ラベル付け、削除、提示(例えば、デジタルスライドショー又はアルバムによる)、及び記憶のための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、ブラウザモジュール147は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含めて、ユーザ命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連動して、カレンダモジュール148は、ユーザ命令に従ってカレンダ及びカレンダに関連付けられたデータ(例えば、カレンダエントリ、トゥドゥリストなど)を作成、表示、修正、及び記憶するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連動して、ウィジェットモジュール149は、任意選択的にユーザによってダウンロード及び使用されるミニアプリケーション(例えば、気象ウィジェット149−1、株価ウィジェット149−2、計算機ウィジェット149−3、目覚まし時計ウィジェット149−4、及び辞書ウィジェット149−5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149−6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language)ファイル、CSS(Cascading Style Sheets)ファイル、及びJavaScriptファイルを含む。いくつかの実施形態では、ウィジェットは、XML(Extensible Markup Language)ファイル及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連動して、ウィジェットクリエータモジュール150は、任意選択的に、ウィジェットを作成するために(例えば、ウェブページのユーザ指定部分をウィジェットにする)、ユーザによって使用される。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、検索モジュール151は、ユーザ命令に従って1つ以上の検索基準(例えば、1つ以上のユーザ指定検索語)に一致するメモリ102内の文字、音楽、サウンド、画像、ビデオ、及び/又は他のファイルを検索するための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と連動して、ビデオ及び音楽プレーヤモジュール152は、ユーザがMP3若しくはAACファイルなどの1つ以上のファイル形式で記憶されている記録された音楽及び他のサウンドファイルをダウンロード及び再生することを可能にするための実行可能な命令、並びにビデオを表示、提示、又は他の方法で(例えば、タッチスクリーン112上又は外部ポート124を介して接続された外部ディスプレイ上に)再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレーヤの機能性を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、メモモジュール153は、ユーザ命令に従ってメモ、トゥドゥリストなどを作成及び管理するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と連動して、地図モジュール154は、任意選択的に、ユーザ命令に従って、地図及び地図に関連付けられたデータ(例えば、運転方向、特定の場所又はその付近店舗及び他の対象地点に関するデータ、並びに他の場所ベースのデータ)を受信、表示、修正、及び記憶するために使用される。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連動して、オンラインビデオモジュール155は、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、受信(例えば、ストリーミング及び/又はダウンロードによる)、再生(例えば、タッチスクリーン上又は外部ポート124を介して接続された外部ディスプレイ上)、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにH.264などの1つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が、特定のオンラインビデオへのリンクを送信するために使用される。オンラインビデオアプリケーションについての追加の説明は、内容が全体として参照により本明細書に組み込まれている、2007年6月20日出願の米国仮特許出願第60/936,562号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」、及び2007年12月31日出願の米国特許出願第11/968,067号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」に見ることができる。
上記で特定したモジュール及びアプリケーションはそれぞれ、上述した1つ以上の機能及び本出願に記載する方法(例えば、本明細書に記載するコンピュータ実施方法及び他の情報処理方法)を実行する1組の実行可能な命令に対応する。これらのモジュール(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール(例えば、図1Aのビデオ及び音楽プレーヤモジュール152)にされる。いくつかの実施形態では、メモリ102は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ102は、任意選択的に、上述していない追加のモジュール及びデータ構造を記憶する。
いくつかの実施形態では、デバイス100は、デバイス上の所定の1組の機能の動作がタッチスクリーン及び/又はタッチパッドのみによって実行されるデバイスである。タッチスクリーン及び/又はタッチパッドをデバイス100の動作に対する1次入力コントロールデバイスとして使用することによって、デバイス100上の物理入力コントロールデバイス(プッシュボタン、ダイアルなど)の数が任意選択的に低減される。
タッチスクリーン及び/又はタッチパッドのみによって実行される所定の1組の機能は、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたとき、デバイス100上に表示される任意のユーザインタフェースからメインメニュー、ホームメニュー、又はルートメニューへデバイス100をナビゲートする。そのような実施形態では、「メニューボタン」は、タッチパッドを使用して実施される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又は他の物理入力コントロールデバイスである。
図1Bは、いくつかの実施形態に係るイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)と、それぞれのアプリケーション136−1(例えば、前述のアプリケーション137〜151、155、380〜390のうちのいずれか)とを含む。
イベントソータ170は、イベント情報を受信し、アプリケーション136−1及びイベント情報を伝送すべきアプリケーション136−1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136−1は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ112上に表示される現在のアプリケーションビューを示すアプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、どのアプリケーションが現在アクティブであるかを判定するために、イベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報を伝送すべきアプリケーションビュー191を判定するために、イベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136−1が実行を再開するときに使用すべき再開情報、アプリケーション136−1によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション136−1の前の状態又はビューに戻ることを有効化する状態キュー、及びユーザによって行われた前のアクションのリドゥ/アンドゥキューのうちの1つ以上などの追加の情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ112上のユーザタッチ)に関する情報を含む。周辺機器インタフェース118は、I/Oサブシステム106又は近接センサ166、加速度計168、及び/若しくはマイクロフォン113(オーディオ回路110を介する)などのセンサから受信した情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、周辺機器インタフェース118へ所定の間隔で要求を送信する。応じて、周辺機器インタフェース118は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を上回る及び/又は所定の持続時間を超える入力の受信)があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173を含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が2つ以上のビューを表示するとき、サブイベントが1つ以上のビュー内のどこで行われたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御及び他の要素から構成される。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、情報が表示されてタッチベースのジェスチャが行われる1組のビューであり、これは本明細書では、アプリケーションビュー又はユーザインタフェースウインドウと呼ばれることがある。タッチが検出された(それぞれのアプリケーションの)アプリケーションビューは、任意選択的に、アプリケーションのプログラム又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最も低いレベルのビューは、任意選択的にヒットビューと呼ばれ、適切な入力であると認識される1組のイベントは、任意選択的に、タッチベースのジェスチャを開始する最初のタッチのヒットビューに少なくとも部分的に基づいて判定される。
ヒットビュー判定モジュール172は、タッチベースのジェスチャのサブイベントに関係する情報を受信する。アプリケーションが、階層に組織化された複数のビューを有するとき、ヒットビュー判定モジュール172は、サブイベントに対応しなければならない階層内の最も低いビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント(例えば、イベント又は潜在的イベントを形成するサブイベントシーケンス内の第1のサブイベント)が行われる最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール172によって特定された後、このヒットビューは、典型的には、ヒットビューとして特定されたのと同じタッチ又は入力ソースに関係するすべてのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内の1つ以上のどのビューが特定のサブイベントシーケンスを受信するべきであるかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、そのヒットビューだけが特定のサブイベントシーケンスを受信するべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理的な場所を含むすべてのビューがアクティブに関与するビューであると判定し、したがってすべてのアクティブに関与するビューが特定のサブイベントシーケンスを受信するべきであると判定する。他の実施形態では、タッチサブイベントが1つの特定のビューに関連付けられた区域に完全に制限される場合でも、階層内でより高いビューは、依然としてアクティブに関するビューのままであるはずである。
イベントディスパッチャモジュール174は、イベント認識部(例えば、イベント認識部180)へイベント情報をディスパッチする。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173によって判定されたイベント認識部へイベント情報を伝送する。いくつかの実施形態では、イベントディスパッチャモジュール174は、イベントキュー内にイベント情報を記憶し、このイベント情報は、それぞれのイベント受信部182によって取得される。
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。別法として、アプリケーション136−1は、イベントソータ170を含む。更に他の実施形態では、イベントソータ170は、独立型のモジュールであり、又は接触/動きモジュール130などのメモリ102内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション136−1は、複数のイベントハンドラ190及び1つ以上のアプリケーションビュー191を含み、これらはそれぞれ、アプリケーションのユーザインタフェースのそれぞれのビュー内で生じるタッチイベントに対応する命令を含む。アプリケーション136−1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション136−1が方法及び他の特性をそこから継承するより高いレベルのオブジェクトなど、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベントハンドラ190は、データアップデーター176、オブジェクトアップデーター177、GUIアップデーター178、及び/又はイベントソータ170から受信したイベントデータ179のうちの1つ以上を含む。イベントハンドラ190は、任意選択的に、データアップデーター176、オブジェクトアップデーター177、又はGUIアップデーター178を利用し又は呼び出して、アプリケーション内部状態192を更新する。別法として、アプリケーションビュー191のうちの1つ以上が、1つ以上のそれぞれのイベントハンドラ190を含む。また、いくつかの実施形態では、データアップデーター176、オブジェクトアップデーター177、及びGUIアップデーター178のうちの1つ以上が、それぞれのアプリケーションビュー191内に含まれる。
それぞれのイベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信し、このイベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183及びイベント伝送命令188(任意選択的にサブイベント伝送命令を含む)の少なくともサブセットを含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベント、例えばタッチ又はタッチ動きに関する情報を含む。このサブイベントに応じて、イベント情報はまた、サブイベントの場所などの追加の情報を含む。サブイベントがタッチの動きに関するとき、イベント情報はまた、任意選択的に、サブイベントの速度及び方向を含む。いくつかの実施形態では、イベントは、1つの向きから別の向き(例えば、ポートレートの向きからランドスケープの向き又は逆も同様)へのデバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイス姿勢とも呼ばれる)に関する対応情報を含む。
イベント比較部184は、イベント情報を所定のイベント又はサブイベント定義と比較し、その比較に基づいて、イベント若しくはサブイベントを判定し、又はイベント若しくはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、イベント(例えば、所定のサブイベントシーケンス)、例えばイベント1(187−1)、イベント2(187−2)などの定義を含む。いくつかの実施形態では、イベント(187)内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチ動き、タッチ取り消し、及び複数のタッチを含む。一例では、イベント1(187−1)に対する定義は、表示されテイルオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第1のタッチ(タッチ開始)、所定の段階に対する第1のリフトオフ(タッチ終了)、所定の段階に対する表示オブジェクト上の第2のタッチ(タッチ開始)、及び所定の段階に対する第2のリフトオフ(タッチ終了)を含む。別の例では、イベント2(187−2)に対する定義は、表示オブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ(又は接触)、タッチ感知ディスプレイ112におけるタッチの動き、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態では、イベントはまた、1つ以上の関連付けられたイベントハンドラ190に対する情報を含む。
いくつかの実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトに対するイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、ヒット試験を実行して、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定する。例えば、タッチ感知ディスプレイ112上に3つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ112上でタッチが検出されたとき、イベント比較部184は、ヒット試験を実行して、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判定する。各表示オブジェクトがそれぞれのイベントハンドラ190に関連付けられている場合、イベント比較部は、ヒット試験の結果を使用して、どのイベントハンドラ190をアクティブ化するべきであるかを判定する。例えば、イベント比較部184は、サブイベント及びオブジェクトに関連付けられたイベントハンドラを選択し、ヒット試験をトリガする。
いくつかの実施形態では、それぞれのイベント(187)に対する定義はまた、サブイベントシーケンスがイベント認識部のイベントタイプに対応するか否かが判定される後までイベント情報の伝送を遅延する遅延アクションを含む。
それぞれのイベント認識部180が、一連のサブイベントがイベント定義186内のイベントのうちのいずれにも一致しないと判定したとき、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態を入力し、その後、タッチベースのジェスチャの後続サブイベントを無視する。この状況で、ヒットビューに対してアクティブのままである他のイベント認識部は、もしあれば、進行中のタッチベースのジェスチャのサブイベントを引き続き追跡及び処理する。
いくつかの実施形態では、それぞれのイベント認識部180は、イベント伝送システムがアクティブに関与するイベント認識部へのサブイベント伝送をどのように実行するべきであるかを示す構成変更可能な特性、フラグ、及び/又はリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部がどのように互いに相互作用するか、又は互いに相互作用するように有効化されるかを示す構成変更可能な特性、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー又はプログラム階層内の様々なレベルに伝送されるかどうかを示す構成変更可能な特性、フラグ、及び/又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されたとき、イベントに関連付けられたイベントハンドラ190をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部180は、イベントに関連付けられたイベント情報をイベントハンドラ190へ伝送する。イベントハンドラ190をアクティブ化することは、それぞれのヒットビューへサブイベントを送信すること(及び送信の延期)とは異なる。いくつかの実施形態では、イベント認識部180は、認識されたイベントに関連付けられたフラグを投げ、このフラグに関連付けられたイベントハンドラ190は、このフラグを受け取り、所定のプロセスを実行する。
いくつかの実施形態では、イベント伝送命令188は、イベントハンドラをアクティブ化することなくサブイベントに関するイベント情報を伝送するサブイベント伝送命令を含む。代わりに、サブイベント伝送命令は、一連のサブイベントに関連付けられたイベントハンドラ又はアクティブに関与するビューへイベント情報を伝送する。一連のサブイベント又はアクティブに関与するビューに関連付けられたイベントハンドラは、イベント情報を受信し、所定のプロセスを実行する。
いくつかの実施形態では、データアップデーター176は、アプリケーション136−1で使用されるデータを作成及び更新する。例えば、データアップデーター176は、連絡先モジュール137で使用される電話番号を更新し、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデーター177は、アプリケーション136−1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター177は、新しいユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。GUIアップデーター178が、GUIを更新する。例えば、GUIアップデーター178は、ディスプレイ情報を準備し、タッチ感知ディスプレイ上に表示するためにグラフィックモジュール132へ送信する。
いくつかの実施形態では、イベントハンドラ190は、データアップデーター176、オブジェクトアップデーター177、及びGUIアップデーター178へのアクセスを含み又は有する。いくつかの実施形態では、データアップデーター176、オブジェクトアップデーター177、及びGUIアップデーター178は、それぞれのアプリケーション136−1又はアプリケーションビュー191の単一のモジュール内に含まれる。他の実施形態では、これらは、2つ以上のソフトウェアモジュール内に含まれる。
図1Cは、いくつかの実施形態に係る触知出力モジュールを示すブロック図である。いくつかの実施形態では、I/Oサブシステム106(例えば、触覚フィードバックコントローラ161(図1A)及び/又は他の入力コントローラ160(図1A))は、図1Cに示す構成要素例のうちの少なくともいくつかを含む。いくつかの実施形態では、周辺機器インタフェース118は、図1Cに示す構成要素例のうちの少なくともいくつかを含む。
いくつかの実施形態では、触知出力モジュールは、触覚フィードバックモジュール133を含む。いくつかの実施形態では、触覚フィードバックモジュール133は、電子デバイス上のソフトウェアアプリケーションからのユーザインタフェースフィードバック(例えば、表示ユーザインタフェースに対応するユーザ入力、並びに電子デバイスのユーザインタフェースにおける動作の実行又はイベントの出現を示す警報及び他の通知に応答するフィードバック)に対する触知出力を集約して組み合わせる。触覚フィードバックモジュール133は、波形モジュール123(触知出力を生成するために使用される波形を提供する)、ミキサ125(異なるチャネルの波形などの波形を混合する)、コンプレッサ127(波形のダイナミックレンジを低減又は圧縮する)、ローパスフィルタ129(波形内の高周波信号成分をフィルタリングする)、及び熱コントローラ131(熱状態に従って波形を調整する)のうちの1つ以上を含む。いくつかの実施形態では、触覚フィードバックモジュール133は、触覚フィードバックコントローラ161(図1A)内に含まれる。いくつかの実施形態では、触覚フィードバックモジュール133の別個のユニット(又は触覚フィードバックモジュール133の)別個の実装形態がまた、オーディオコントローラ(例えば、図1Aのオーディオ回路110)内に含まれ、オーディオ信号を生成するために使用される。いくつかの実施形態では、単一の触覚フィードバックモジュール133が、オーディオ信号及び触知出力に対する波形を生成するために使用される。
いくつかの実施形態では、触覚フィードバックモジュール133はまた、トリガモジュール121(例えば、ソフトウェアアプリケーション、オペレーティングシステム、又は生成すべき触知出力を判定して対応する触知出力を生成するプロセスを開始する他のソフトウェアモジュール)を含む。いくつかの実施形態では、トリガモジュール121は、波形の生成(例えば、波形モジュール123による)を開始するトリガ信号を生成する。例えば、トリガモジュール121は、事前設定されたタイミング基準に基づいて、トリガ信号を生成する。いくつかの実施形態では、トリガモジュール121は、ユーザインタフェース要素(例えば、アプリケーション内のアプリケーションアイコン若しくはアフォーダンス)又はハードウェア入力デバイス(例えば、ホームボタン若しくは強度感知タッチスクリーンなどの強度感知入力面)のアクティブ化に基づいて、触覚フィードバックモジュール133の外からトリガ信号を受信し(例えば、いくつかの実施形態では、触覚フィードバックモジュール133は、触覚フィードバックモジュール133の外に位置するハードウェア入力処理モジュール146からトリガ信号を受信する)、触覚フィードバックモジュール133内の他の構成要素(例えば、波形モジュール123)又は動作をトリガ(例えば、トリガモジュール121による)するソフトウェアアプリケーションへ、それらのトリガ信号を中継する。いくつかの実施形態では、トリガモジュール121はまた、触知フィードバック生成命令(例えば、図1A及び図3の触覚フィードバックモジュール133から)を受信する。いくつかの実施形態では、トリガモジュール121は、触覚フィードバックモジュール133(又は触覚フィードバックモジュール133内のトリガモジュール121)が触知フィードバック命令(例えば、図1A及び図3の触覚フィードバックモジュール133から)を受信したことに応じて、トリガ信号を生成する。
波形モジュール123は、トリガ信号(例えば、トリガモジュール121から)を入力として受信し、トリガ信号を受信したことに応じて、1つ以上の触知出力の生成のための波形(例えば、図4C〜4Dを参照して以下により詳細に説明する波形など、波形モジュール123による使用のために指定された所定の1組の波形から選択された波形)を提供する。
ミキサ125は、波形(例えば、波形モジュール123から)を入力として受信し、これらの波形をともに混合する。例えば、ミキサ125が2つ以上の波形(例えば、第1のチャネルの第1の波形及び第1の波形と少なくとも部分的に重複する第2のチャネルの第2の波形)受信したとき、ミキサ125は、2つ以上の波形の和に対応する組み合わせた波形を出力する。いくつかの実施形態では、ミキサ125はまた、2つ以上の波形のうちの1つ以上の波形を修正し、2つ以上の波形のうちの残りに対して特定の波形を強調する(例えば、特定の波形の縮尺の増大及び/又は波形のうちの残りの縮尺の減少による)。いくつかの状況では、ミキサ125は、組み合わせた波形から除去すべき1つ以上の波形を選択する(例えば、触知出力生成器167によって同時に出力することが要求された4つ以上のソースからの波形があるとき、最も古いソースからの波形が落とされる)。
コンプレッサ127は、波形(例えば、ミキサ125からの組み合わせた波形)を入力として受信し、これらの波形を修正する。いくつかの実施形態では、コンプレッサ127は、これらの波形を低減させ(例えば、触知出力生成器167(図1A)又は357(図3)の物理仕様に従って)、その結果、これらの波形に対応する触知出力が低減される。いくつかの実施形態では、コンプレッサ127は、波形に対する所定の最大振幅を強制することなどによって、波形を制限する。例えば、コンプレッサ127は、波形のうち所定の振幅閾値を超過する部分の振幅を低減させながら、波形のうち所定の振幅閾値を超過しない部分の振幅は維持する。いくつかの実施形態では、コンプレッサ127は、波形のダイナミックレンジを低減させる。いくつかの実施形態では、コンプレッサ127は、波形のダイナミックレンジを動的に低減させ、その結果、組み合わせた波形は、触知出力生成器167の性能仕様(例えば、力及び/又は可動質量の変位限界)の範囲内に留まる。
ローパスフィルタ129は、波形(例えば、コンプレッサ127からの圧縮された波形)を入力として受信し、これらの波形をフィルタリング(例えば、平滑化)する(例えば、波形内の高周波信号成分を除去又は低減する)。例えば、いくつかの場合、触知出力が圧縮された波形に従って生成されるとき、コンプレッサ127は、圧縮された波形内に、触知出力の生成に干渉しかつ/又は触知出力生成器167の性能仕様を超過する外生信号(例えば、高周波信号成分)を含む。ローパスフィルタ129は、波形内のそのような外生信号を低減又は除去する。
熱コントローラ131は、波形(例えば、ローパスフィルタ129からのフィルタリングされた波形)を入力として受信し、デバイス100の熱状態に従ってこれらの波形を調整する(例えば、触覚フィードバックコントローラ161の温度などのデバイス100内で検出される内部温度、及び/又はデバイス100によって検出される外部温度に基づく)。例えば、いくつかの場合、触覚フィードバックコントローラ161の出力は、温度に応じて変動する(例えば、触覚フィードバックコントローラ161は、同じ波形を受信したことに応じて、触覚フィードバックコントローラ161が第1の温度であるときは、第1の触知出力を生成し、触覚フィードバックコントローラ161が第1の温度とは異なる第2の温度であるときは、第2の触知出力を生成する)。例えば、触知出力の大きさ(又は振幅)は、温度に応じて変動することができる。温度変動の影響を低減させるために、波形が修正される(例えば、温度に基づいて波形の振幅が増大又は減少される)。
いくつかの実施形態では、触覚フィードバックモジュール133(例えば、トリガモジュール121)が、ハードウェア入力処理モジュール146に結合される。いくつかの実施形態では、図1Aの他の入力コントローラ160は、ハードウェア入力処理モジュール146を含む。いくつかの実施形態では、ハードウェア入力処理モジュール146は、ハードウェア入力デバイス145(例えば、ホームボタンなどの図1Aの他の入力若しくは制御デバイス116、又は強度感知タッチスクリーンなどの強度感知入力面)からの入力を受信する。いくつかの実施形態では、ハードウェア入力デバイス145は、タッチ感知ディスプレイシステム112(図1A)、キーボード/マウス350(図3)、タッチパッド355(図3)、他の入力若しくは制御デバイス116(図1A)のうちの1つ、又は強度感知ホームボタンなど、本明細書に記載する任意の入力デバイスである。いくつかの実施形態では、ハードウェア入力デバイス145は、タッチ感知ディスプレイシステム112(図1A)、キーボード/マウス350(図3)、又はタッチパッド355(図3)ではなく、強度感知ホームボタンからなる。いくつかの実施形態では、ハードウェア入力デバイス145(例えば、強度感知ホームボタン又はタッチスクリーン)からの入力に応じて、ハードウェア入力処理モジュール146は、ホームボタンの「クリック」(例えば、「ダウンクリック」又は「アップクリック」)に対応する入力などの所定の入力基準を満足させるユーザ入力が検出されたことを示すために、1つ以上のトリガ信号を触覚フィードバックモジュール133に提供する。いくつかの実施形態では、触覚フィードバックモジュール133は、ホームボタンの「クリック」に対応する入力に応じて、ホームボタンの「クリック」に対応する波形を提供し、物理ホームボタンを押下する触覚フィードバックをシミュレートする。
いくつかの実施形態では、触知出力モジュールは、触知出力の生成を制御する触覚フィードバックコントローラ161(例えば、図1Aの触覚フィードバックコントローラ161)を含む。いくつかの実施形態では、触覚フィードバックコントローラ161は、複数の触知出力生成器に結合されており、複数の触知出力生成器のうちの1つ以上の触知出力生成器を選択し、触知出力を生成する選択された1つ以上の触知出力生成器へ波形を送信する。いくつかの実施形態では、触覚フィードバックコントローラ161は、ハードウェア入力デバイス145のアクティブ化に対応する触知出力要求、及びソフトウェアイベントに対応する触知出力要求(例えば、触覚フィードバックモジュール133からの触知出力要求)を統合し、2つ以上の波形のうちの1つ以上の波形を修正、2つ以上の波形のうちの残りに対して特定の波形を強調する(例えば、ソフトウェアイベントに対応する触知出力よりハードウェア入力デバイス145のアクティブ化に対応する触知出力に優先順位をつけるためなどの、特定の波形の縮尺の増大及び/又は波形のうちの残りの縮尺の減少による)。
いくつかの実施形態では、図1Cに示すように、触覚フィードバックコントローラ161の出力は、デバイス100のオーディオ回路(例えば、図1Aのオーディオ回路110)に結合されており、デバイス100のオーディオ回路へオーディオ信号を提供する。いくつかの実施形態では、触覚フィードバックコントローラ161は、触知出力を生成するために使用される波形と、触知出力の生成と連動してオーディオ出力を提供するために使用されるオーディオ信号との両方を提供する。いくつかの実施形態では、触覚フィードバックコントローラ161は、オーディオ信号及び/又は波形(触知出力を生成するために使用される)を修正し、その結果、オーディオ出力及び触知出力が同期される(例えば、オーディオ信号及び/又は波形を遅延させることによる)。いくつかの実施形態では、触覚フィードバックコントローラ161は、デジタル波形をアナログ信号に変換するために使用されるデジタルアナログ変換器を含み、アナログ信号は、増幅器163及び/又は触知出力生成器167によって受信される。
いくつかの実施形態では、触知出力モジュールは、増幅器163を含む。いくつかの実施形態では、増幅器163は、波形(例えば、触覚フィードバックコントローラ161から)を受信し、これらの波形を増幅してから、増幅された波形を触知出力生成器167(例えば、触知出力生成器167(図1A)又は357(図3)のうちのいずれか)へ送信する。例えば、増幅器163は、触知出力生成器167の物理仕様に従った信号レベル(例えば、触知出力生成器167へ送信された信号が、触覚フィードバックコントローラ161から受信した波形に対応する触知出力を生成するように、触知出力を生成するために触知出力生成器167によって必要とされる電圧及び/又は電流)まで、受信した波形を増幅し、増幅された波形を触知出力生成器167へ送信する。応じて、触知出力生成器167は、触知出力を生成する(例えば、可動質量の中立位置に対して可動質量を1つ以上の次元で前後にシフトさせることによる)。
いくつかの実施形態では、触知出力モジュールは、触知出力生成器167に結合されたセンサ169を含む。センサ169は、触知出力生成器167又は触知出力生成器167の1つ以上の構成要素(例えば、触知出力を生成するために使用される膜などの1つ以上の動き部分)の状態又は状態変化(例えば、機械的位置、物理的変位、及び/又は動き)を検出する。いくつかの実施形態では、センサ169は、磁界センサ(例えば、ホール効果センサ)又は他の変位及び/若しくは動きセンサである。いくつかの実施形態では、センサ169は、情報(例えば、触知出力生成器167内の1つ以上の部分の位置、変位、及び/又は動き)を触覚フィードバックコントローラ161に提供し、触知出力生成器167の状態に関するセンサ169によって提供された情報に従って、触覚フィードバックコントローラ161は、触覚フィードバックコントローラ161から出力される波形(例えば、任意選択的に増幅器163を介して触知出力生成器167へ送信される波形)を調整する。
タッチ感知ディスプレイ上のユーザタッチのイベント処理に関する上記の議論は、入力デバイスを有する多機能デバイス100を動作させるためのユーザ入力の他の形態にも当てはまり、それらのユーザ入力は、必ずしもすべてがタッチスクリーン上で開始されるとは限らないことが理解されよう。例えば、マウスの動き及びマウスボタンの押下は、任意選択的に、単一若しくは複数のキーボードの押下若しくは保持、タッチパッド上のタップ、ドラッグ、スクロールなどの接触動き、ペンスタイラス入力、デバイスの動き、口頭の命令、検出された目の動き、生体入力、及び/又はこれらの任意の組合せと統合され、任意選択的に、認識すべきイベントを定義するサブイベントに対応する入力として利用される。
図2は、いくつかの実施形態に係るタッチスクリーン112を有するポータブル多機能デバイス100を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース(user interface、UI)200内に1つ以上のグラフィックを表示する。この実施形態並びに後述する他の実施形態では、ユーザは、例えば1本以上の指202(この図では原寸に比例して描かれていない)又は1本以上のスタイラス203(この図では原寸に比例して描かれていない)を用いて、グラフィック上でジェスチャを行うことによって、グラフィックのうちの1つ以上を選択することが有効になる。いくつかの実施形態では、1つ以上のグラフィックの選択は、ユーザが1つ以上のグラフィックとの接触を中断したときに行われる。いくつかの実施形態では、ジェスチャは、任意選択的に、1つ以上のタップ、1つ以上のスワイプ(左から右、右から左、上向き、及び/若しくは下向き)、並びに/又はデバイス100と接触した指のロール(右から左、左から右、上向き、及び/若しくは下向き)を含む。いくつかの実装形態又は状況では、グラフィックとの意図しない接触は、そのグラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をさっと通るスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択しない。
デバイス100はまた、任意選択的に、「ホーム」ボタン又はメニューボタン204などの1つ以上の物理ボタンを含む。前述したように、メニューボタン204は、任意選択的に、任意選択的にデバイス100上で実行される1組のアプリケーション内の任意のアプリケーション136へナビゲートするために使用される。別法として、いくつかの実施形態では、メニューボタンは、タッチスクリーン112上に表示されるGUI内のソフトキーとして実施される。
いくつかの実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフにしてデバイスをロックするプッシュボタン206、音量調整ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、任意選択的に、ボタンを押下して押下状態で所定の時間間隔にわたってボタンを保持することによって、デバイス上で電源をオン/オフにするため、ボタンを押下して所定の時間間隔が経過する前にボタンを解放することによってデバイスをロックするため、及び/又はデバイスをアンロックし若しくはアンロックプロセスを開始するために、使用される。代替実施形態では、デバイス100はまた、マイクロフォン113を通って、いくつかの機能のアクティブ化又は非アクティブ化のための口頭入力を受け付ける。デバイス100はまた、任意選択的に、タッチスクリーン112上の接触の強度を検出する1つ以上の接触強度センサ165、及び/又はデバイス100のユーザに対する触知出力を生成する1つ以上の触知出力生成器167を含む。
図3は、いくつかの実施形態に係るディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス300は、ポータブルである必要はない。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育用デバイス(子どもの学習玩具など)、ゲーミングシステム、又は制御デバイス(例えば、家庭用若しくは産業用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310、1つ以上のネットワーク又は他の通信インタフェース360、メモリ370、及びこれらの構成要素を相互接続する1つ以上の通信バス320を含む。通信バス320は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることもある)を含む。デバイス300は、ディスプレイ340を備える入出力(I/O)インタフェース330を含み、ディスプレイ340は、典型的には、タッチスクリーンディスプレイである。I/Oインタフェース330はまた、任意選択的に、キーボード及び/又はマウス(若しくは他のポインティングデバイス)350と、タッチパッド355と、デバイス300上に触知出力を生成する触知出力生成器357(例えば、図1Aを参照して上述した触知出力生成器167に類似している)と、センサ359(例えば、図1Aを参照して上述した接触強度センサ165に類似している光、加速度、近接、タッチ感知、及び/又は接触強度センサ)とを含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ370は、任意選択的に、CPU310から遠隔に位置する1つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ370は、任意選択的に、ポータブル多機能デバイス100のメモリ102内に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス300のメモリ370は、任意選択的に、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を記憶するのに対して、ポータブル多機能デバイス100(図1A)のメモリ102は、任意選択的に、これらのモジュールを記憶しない。
図3の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの1つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、上述した機能を実行する1組の命令に対応する。上記で特定したモジュール又はプログラム(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。いくつかの実施形態では、メモリ370は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ370は、任意選択的に、上述していない追加のモジュール及びデータ構造を記憶する。
次に、任意選択的に例えばポータブル多機能デバイス100上で実施されるユーザインタフェースの実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係るポータブル多機能デバイス100上のアプリケーションのメニューに対する例示的なユーザインタフェースを示す。同様のユーザインタフェースは、任意選択的に、デバイス300上で実施される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそのサブセット若しくはスーパーセットを含む。
●セルラー及びWi−Fi信号などの無線通信のための信号強度インジケータ402、
●時刻404、
●Bluetoothインジケータ405、
●電池状態インジケータ406、
●以下のような頻繁に使用されるアプリケーションに対するアイコンを有するトレイ408、
○任意選択的に不在着信又は音声メールメッセージの件数のインジケータ414を含む「電話」のラベル付きの電話モジュール138のためのアイコン416、
○任意選択的に未読の電子メールの件数のインジケータ410を含む「メール」のラベル付きの電子メールクライアントモジュール140のためのアイコン418、
○「ブラウザ」のラベル付きのブラウザモジュール147のためのアイコン420、及び
○「iPod」のラベル付きのiPod(Apple Inc.の商標)モジュール152とも呼ばれるビデオ及び音楽プレーヤモジュール152のためのアイコン422、並びに
●以下のような他のアプリケーションのためのアイコン、
○「メッセージ」のラベル付きのIMモジュール141のためのアイコン424、
○「カレンダ」のラベル付きのカレンダモジュール148のためのアイコン426、
○「写真」のラベル付きの画像管理モジュール144のためのアイコン428、
○「カメラ」のラベル付きのカメラモジュール143のためのアイコン430、
○「オンラインビデオ」のラベル付きのオンラインビデオモジュール155のためのアイコン432、
○「株価」のラベル付きの株価ウィジェット149−2のためのアイコン434、
○「地図」のラベル付きの地図モジュール154のためのアイコン436、
○「気象」のラベル付きの気象ウィジェット149−1のためのアイコン438、
○「時計」のラベル付きの目覚まし時計ウィジェット149−4のためのアイコン440、
○「トレーニングサポート」のラベル付きのトレーニングサポートモジュール142のためのアイコン442、
○「メモ」のラベル付きのメモモジュール153のためのアイコン444、及び
○デバイス100及びその様々なアプリケーション136に対する設定へのアクセスを提供する「設定」のラベル付きの設定アプリケーション又はモジュールのためのアイコン446。
図4Aに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール152のためのアイコン422は、「音楽」又は「音楽プレーヤ」と表示される、他のラベルは、任意選択的に、様々なアプリケーションアイコンに対して使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに対するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名称を含む。いくつかの実施形態では、特定のアプリケーションアイコンに対するラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名称とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を有するデバイス(例えば、図3のデバイス300)上の例示的なユーザインタフェースを示す。デバイス300はまた、任意選択的に、タッチ感知面451上の接触の強度を検出する1つ以上の接触強度センサ(例えば、センサ359のうちの1つ以上)、及び/又はデバイス300のユーザに対する触知出力を生成する1つ以上の触知出力生成器357を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ112(タッチ感知面及びディスプレイが組み合わされている)上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図4Bに示すディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の1次軸(例えば、図4Bの453)に対応する1次軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所(例えば、図4Bでは、460は468に対応し、462は470に対応する)で、タッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このようにして、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されるユーザ入力(例えば、接触460及び462、並びにこれらの動き)は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するために、デバイスによって使用される。類似の方法は、任意選択的に、本明細書に記載する他のユーザインタフェースにも使用されることを理解されたい。
加えて、以下の例は、主に指入力(例えば、指接触、指タップジェスチャ、指スワイプジェスチャ)を参照して与えられるが、いくつかの実施形態では、指入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスベースの入力又はスタイラス入力)に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、マウスクリック(例えば、接触の代わり)、それに続くスワイプの経路に沿ったカーソルの動き(例えば、接触の動きの代わり)に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの場所の上に位置するときのマウスクリック(例えば、接触の検出、それに続く接触の検出の終了の代わり)に置き換えられる。同様に、複数のユーザ入力が同時に検出されたとき、複数のコンピュータマウスが、任意選択的に同時に使用されており、又はマウス及び指接触が、任意選択的に同時に使用されていることを理解されたい。
図5Aは、例示的なパーソナル電子デバイス500を示す。デバイス500は、本体502を含む。いくつかの実施形態では、デバイス500は、デバイス100及び300(例えば、図1A〜4B)に関して説明する特徴のうちのいくつか又はすべてを含むことができる。いくつかの実施形態では、デバイス500は、タッチ感知ディスプレイスクリーン504、以下タッチスクリーン504を有する。タッチスクリーン504に対する別法又は追加として、デバイス500は、ディスプレイ及びタッチ感知面を有する。デバイス100及び300と同様に、いくつかの実施形態では、タッチスクリーン504(又はタッチ感知面)は、任意選択的に、加えられている接触(例えば、タッチ)の強度を検出する1つ以上の強度センサを含む。タッチスクリーン504(又はタッチ感知面)の1つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス500のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス500上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出及び処理する例示的な技法は、例えば、それぞれ全体として参照により本明細書に組み込まれている、国際特許第WO/2013/169849号として公開された、2013年5月8日出願の国際特許出願第PCT/US2013/040061号、「Device,Method,and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application」、及び国際特許第WO/2014/105276号として公開された、2013年11月11日出願の国際特許出願第PCT/US2013/069483号、「Device,Method,and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships」という関連出願に見られる。
いくつかの実施形態では、デバイス500は、1つ以上の入力機構506及び508を有する。入力機構506及び508は、含まれる場合、物理的機構とすることができる。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス500は、1つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、アイウェア、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス500を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス500を着用することを可能にする。
図5Bは、例示的なパーソナル電子デバイス500を示す。いくつかの実施形態では、デバイス500は、図1A、図1B、及び図3に関して説明した構成要素のうちのいくつか又はすべてを含むことができる。デバイス500は、I/Oセクション514を1つ以上のコンピュータプロセッサ516及びメモリ518に動作可能に結合するバス512を有する。I/Oセクション514は、ディスプレイ504に接続することができ、ディスプレイ504は、タッチ感知構成要素522と、任意選択的に強度センサ524(例えば、接触強度センサ)とを有することができる。加えて、I/Oセクション514は、Wi−Fi、Bluetooth、近距離通信(NFC)、セルラー、及び/又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット530に接続することができる。デバイス500は、入力機構506及び/又は508を含むことができる。入力機構506は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構508は、任意選択的にボタンである。
いくつかの例では、入力機構508は、任意選択的にマイクロフォンである。パーソナル電子デバイス500は、任意選択的に、GPSセンサ532、加速度計534、向きセンサ540(例えば、コンパス)、ジャイロスコープ536、動きセンサ538、及び/又はこれらの組合せなどの様々なセンサを含み、これらのセンサはすべて、I/Oセクション514に動作可能に接続することができる。
パーソナル電子デバイス500のメモリ518は、コンピュータ実行可能命令を記憶する1つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、コンピュータ実行可能命令は、1つ以上のコンピュータプロセッサ516によって実行されるとき、例えば、プロセス800、1000、1200、1400、1600、1800、2000、2200、2500、2700、2900、3100、3300、3500、3700、3900、4100、4300(図8、図10、図12、図14、図16、図18、図20、図22、図25、図27、図29、図31、図33、図35、図37、図39、図41、図43)を含む後述する技法をコンピュータプロセッサに実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び/又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、CD、DVD、又はBlu−ray技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス500は、図5Bの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書では、「アフォーダンス」という用語は、任意選択的にデバイス100、300、及び/又は500(図1A、図3、及び図5A〜5B)のディスプレイスクリーン上に表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像(例えば、アイコン)、ボタン、及び文字(例えば、ハイパーリンク)はそれぞれ、意選択的に、アフォーダンスを構成する。
本明細書では、「フォーカスセレクタ」という用語は、ユーザインタフェースのうちユーザが対話している現在の部分を示す入力要素を指す。カーソル又は他の場所マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素(例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素)の上に位置する間に、タッチ感知面(例えば、図3のタッチパッド355又は図4Bのタッチ感知面451)上で入力(例えば、押下入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を有効化するタッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112又は図4Aのタッチスクリーン112)を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素)の場所で入力(例えば、接触による押下入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、それに対応するタッチスクリーンディスプレイ上のカーソルの動き又は接触の動き(例えば、フォーカスを1つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによる)なく、フォーカスがユーザインタフェースの1つの領域からユーザインタフェースの別の領域へ動かされる。これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの異なる領域間のフォーカスの動きに従って動く。フォーカスセレクタがとる特有の形態にかかわらず、フォーカスセレクタは、概して、ユーザインタフェース要素(又はタッチスクリーンディスプレイ上の接触)であり、ユーザの意図する対話をユーザインタフェースによって通信するように、ユーザによって制御される(例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによる)。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押下入力が検出されている間にそれぞれのボタンの上にフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)が位置することは、ユーザがそれぞれのボタン(デバイスのディスプレイ上に示される他のユーザインタフェース要素ではない)をアクティブ化することを意図していることを示す。
本明細書及び特許請求の範囲では、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく接触の特性を指す。いくつかの実施形態では、特性強度は、複数の強度サンプルに基づいている。特性強度は、任意選択的に、所定のイベントに対して所定の時間期間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の動きの開始を検出する前若しくは後、接触の修了を検出する前、接触の強度の増大を検出する前若しくは後、及び/又は接触の強度の減少を検出する前若しくは後)中に収集される所定の数の強度サンプル又は1組の強度サンプルに基づいている。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均(mean)値、接触の強度の平均(average)値、接触の強度の上位10パーセンタイル値、接触の強度の最大の2分の1の値、接触の強度の最大の90パーセントの値などのうちの1つ以上に基づいている。いくつかの実施形態では、接触の持続時間は、特性強度を判定する際に使用される(例えば、特性強度が時間にわたって接触の強度の平均であるとき)。いくつかの実施形態では、特性強度を1組の1つ以上の強度閾値と比較して、ユーザによって動作が実行されたかどうかを判定する。例えば、1組の1つ以上の強度閾値は、任意選択的に、第1の強度閾値及び第2の強度閾値を含む。この例では、第1の閾値を超過しない特性強度を有する接触は、第1の動作をもたらし、第1の強度閾値を超過するが第2の強度閾値を超過しない特性強度を有する接触は、第2の動作をもたらし、第2の閾値を超過する特性強度を有する接触は、第3の動作をもたらす。いくつかの実施形態では、特性強度と1つ以上の閾値との間の比較は、第1の動作を実行するべきか、それとも第2の動作を実行するべきかを判定するために使用されるのではなく、1つ以上の動作を実行するべきか否か(例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか)を判定するために使用される。
図5Cは、複数の強度センサ524A〜524Dによってタッチ感知ディスプレイスクリーン504上で複数の接触552A〜552Eを検出することを示す。図5Cは、追加として、強度単位に対する強度センサ524A〜524Dの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ524A及び524Dの強度測定値はそれぞれ9強度単位であり、強度センサ524B及び524Cの強度測定値はそれぞれ7強度単位である。いくつかの実装形態では、集約強度は、複数の強度センサ524A〜524Dの強度測定値の和であり、この例では32強度単位である。いくつかの実施形態では、各接触に、集約強度の一部分であるそれぞれの強度が割り当てられる。図5Dは、力の中心554からの距離に基づいて、集約強度を接触552A〜552Eに割り当てることを示す。この例では、接触552A、552B、及び552Eのそれぞれに、集約強度の8強度単位の接触の強度が割り当てられ、接触552C及び552Dのそれぞれに、集約強度の4強度単位の接触の強度が割り当てられる。より一般的には、いくつかの実装形態では、所定の数学関数Ij=A・(Dj/ΣDi)に従って、各接触jに、集約強度Aの一部分であるそれぞれの強度Ijが割り当てられる。上式で、Djは、それぞれの接触jから力の中心までの距離であり、ΣDiは、それぞれの接触(例えば、i=1から最後まで)から力の中心までの距離の和である。図5C〜5Dを参照して説明する動作は、デバイス100、300、又は500と類似又は同一の電子デバイスを使用して実行することができる。いくつかの実施形態では、接触の特性強度は、接触の1つ以上の強度に基づいている。いくつかの実施形態では、強度センサは、単一の特性強度(例えば、単一の接触の単一の特性強度)を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図5C〜5Dに含まれていることに留意されたい。
いくつかの実施形態では、特性強度を判定する目的で、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始場所から遷移して終了場所に到達する連続するスワイプ接触を受信し、その時点で接触の強度が増大する。この例では、終了場所での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ(例えば、スワイプ接触のうち終了場所の部分のみ)に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、単純動き平均平滑化アルゴリズム、三角形平滑化アルゴリズム、メディアンフィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうちの1つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度の狭いスパイク又はディップを取り除く。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下の強度閾値、深い押下の強度閾値、及び/又は1つ以上の他の強度閾値などの1つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押下の強度閾値は、デバイスが典型的には物理マウスのボタン又はトラックパッドのクリックに関連付けられた動作を実行する強度に対応する。いくつかの実施形態では、深い押下の強度閾値は、デバイスが典型的には物理マウスのボタン又はトラックパッドのクリックに関連付けられた動作とは異なる動作を実行する強度に対応する。いくつかの実施形態では、軽い押下の強度閾値を下回る(例えば、それを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る)特性強度を有する接触が検出されたとき、デバイスは、軽い押下の強度閾値又は深い押下の強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の動きに従ってフォーカスセレクタを動かす。概して、別途記載しない限り、これらの強度閾値は、異なる組のユーザインタフェース図間で一貫している。
軽い押下の強度閾値を下回る強度から、軽い押下の強度閾値と深い押下の強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下の強度閾値を下回る強度から、深い押下の強度閾値を上回る強度への、接触の特性強度の増大は、「深い押下」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押下の強度閾値との間の強度への、接触の特性強度の増大は、タッチ感知面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ感知面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値は、ゼロより大きい。
本明細書に記載するいくつかの実施形態では、それぞれの押下入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触(若しくは複数の接触)によって実行されたそれぞれの押下入力を検出したことに応じて、1つ以上の動作が実行され、それぞれの押下入力は、押下入力強度閾値を上回る接触(又は複数の接触)の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押下入力強度閾値を上回るそれぞれの接触の強度の増大(例えば、それぞれの押下入力の「ダウンストローク」)を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押下入力強度閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押下入力の「アップストローク」)を検出したことに応じて実行される。
図5E〜5Hは、図5Eの軽い押下の強度閾値(例えば、「ITL」)を下回る強度から、図5Hの深い押下の強度閾値(例えば、「ITD」)を上回る強度への、接触562の強度の増大に対応する押下入力を含むジェスチャの検出を示す。接触562によって実行されるジェスチャは、タッチ感知面560上で検出され、所定の領域574内に表示されたアプリケーションアイコン572A〜572Dを含む表示ユーザインタフェース570上では、アプリ2に対応するアプリケーションアイコン572Bの上にカーソル576が表示される。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ504上に検出される。強度センサは、タッチ感知面560上の接触の強度を検出する。デバイスは、接触562の強度が深い押下の強度閾値(例えば、「ITD」)を上回ってピークに達したと判定する。接触562は、タッチ感知面560上で維持される。ジェスチャの検出に応じて、ジェスチャ中に深い押下の強度閾値(例えば、「ITD」)を上回る強度を有する接触562に従って、図5F〜5Hに示すように、アプリ2に対して最近開いた文書の縮尺が低減された表現578A〜578C(例えば、サムネイル)が表示される。いくつかの実施形態では、1つ以上の強度閾値と比較されるこの強度は、接触の特性強度である。接触562に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図5E〜5Hに含まれていることに留意されたい。
いくつかの実施形態では、表現578A〜578Cの表示は、アニメーションを含む。例えば、図5Fに示すように、表現578Aが、アプリケーションアイコン572Bに近接して最初に表示される。アニメーションが進むにつれて、図5Gに示すように、表現578Aは上方へ動き、表現578Bが、アプリケーションアイコン572Bに近接して表示される。次いで、図5Hに示すように、表現578Aが上方へ動き、表現578Bが表現578Aに向かって上方へ動き、表現578Cが、アプリケーションアイコン572Bに近接して表示される。表現578A〜578Cは、アイコン572Bの上にアレイを形成する。いくつかの実施形態では、アニメーションは、図5F〜5Gに示すように、接触562の強度に従って進行し、接触562の強度が深い押下の強度閾値(例えば、「ITD」)に向かって増大するにつれて、表現578A〜578Cが現れ、上方へ動く。いくつかの実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図5E〜5Hを参照して説明する動作は、デバイス100、300、又は500に類似又は同一の電子デバイスを使用して実行することができる。
いくつかの実施形態では、デバイスは、強度ヒステリシスを利用して、「ジッタ」と呼ばれることがある偶発的な入力を回避し、デバイスは、押下入力強度閾値に対する所定の関係を有するヒステリシス強度閾値を定義又は選択する(例えば、ヒステリシス強度閾値は、押下入力強度閾値より低いX強度単位であり、又はヒステリシス強度閾値は、押下入力強度閾値の75%、90%、若しくは何らかの妥当な割合である)。したがって、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押下入力の「アップストローク」)を検出したことに応じて実行される。同様に、いくつかの実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、それに続くヒステリシス強度閾値以下の強度への接触の強度の減少を検出したときにのみ検出され、それぞれの動作は、押下入力(例えば、状況に応じた接触の強度の増大又は接触の強度の減少)を検出したことに応じて実行される。
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び/又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。加えて、押下入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行される動作が説明される例では、この動作は、任意選択的に、押下入力強度閾値以下のヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
本明細書では、「インストール済みアプリケーション」は、電子デバイス(例えば、デバイス100、300、及び/又は500)上へダウンロードされ、デバイス上で起動する準備ができた(例えば、開かれた)ソフトウェアアプリケーションを指す。いくつかの実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出し、抽出された部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。
本明細書では、「開いているアプリケーション」又は「実行中のアプリケーション」という用語は、保持された状態情報(例えば、デバイス/グローバル内部状態157及び/又はアプリケーション内部状態192の一部として)を有するソフトウェアアプリケーションを指す。開いている又は実行中のアプリケーションは、任意選択的に、以下のタイプのアプリケーションのうちのいずれか1つである。
●アプリケーションが使用されているデバイスのディスプレイスクリーン上に現在表示されているアクティブアプリケーション、
●現在表示されていないが、アプリケーションに対する1つ以上のプロセスが1つ以上のプロセッサによって処理されている背景アプリケーション(又は背景プロセス)、並びに
●走行していないが、メモリ(それぞれ揮発性及び不揮発性)内に記憶されており、アプリケーションの実行を再開するために使用することができる状態情報を有する中断又は休止状態アプリケーション。
本明細書では、「閉じているアプリケーション」という用語は、保持された状態情報を有していないソフトウェアアプリケーションを指す(例えば、閉じているアプリケーションに対する状態情報は、デバイスのメモリ内に記憶されていない)。したがって、アプリケーションを閉じることは、アプリケーションに対するアプリケーションプロセスを停止及び/又は除去し、アプリケーションに対する状態情報をデバイスのメモリから除去することを含む。概して、第1のアプリケーション中に第2のアプリケーションを開いても、第1のアプリケーションは閉じない。第2のアプリケーションが表示されており、かつ第1のアプリケーションが表示を終了されたとき、第1のアプリケーションは背景アプリケーションになる。
次に、ポータブル多機能デバイス100、デバイス300、又はデバイス500などの電子デバイス上で実施されるユーザインタフェース(「UI」)及び関連プロセスの実施形態に注意を向ける。
図6は、いくつかの実施形態に係るトランザクションに関与するために1つ以上の通信チャネルを介して接続された例示的なデバイスを示す。1つ以上の例示的な電子デバイス(例えば、デバイス100、300、及び500)は、任意選択的に入力(例えば、特定のユーザ入力、NFCフィールド)を検出し、任意選択的に支払い情報を送信する(例えば、NFCを使用する)ように構成される。1つ以上の電子デバイスは、任意選択的に、NFCハードウェアを含み、NFC有効になるように構成される。
電子デバイス(例えば、デバイス100、300、及び500)は、任意選択的に、1つ以上の支払いアカウントのそれぞれに関連付けられた支払いアカウント情報を記憶するように構成される。支払いアカウント情報は、例えば、個人名又は会社名、請求先住所、ログイン、パスワード、アカウント番号、有効期限、セキュリティコード、電話番号、支払いアカウントに関連付けられた銀行(例えば、発行銀行)、及びカードネットワーク識別子のうちの1つ以上を含む。いくつかの例では、支払いアカウント情報は、支払いカードの写真(例えば、デバイスによって撮影及び/又はデバイスで受信される)などの画像を含む。いくつかの例では、電子デバイスは、少なくともいくつかの支払いアカウント情報を含むユーザ入力を受信する(例えば、ユーザが入力したクレジット、デビット、アカウント、又はギフトカードの番号及び有効期限を受信する)。いくつかの例では、電子デバイスは、画像(例えば、デバイスのカメラセンサによってキャプチャされた支払いカード)から少なくともいくつかの支払いアカウント情報を検出する。いくつかの例では、電子デバイスは、別のデバイス(例えば、別のユーザデバイス又はサーバ)から少なくともいくつかの支払いアカウント情報を受信する。いくつかの例では、電子デバイスは、ユーザ若しくはユーザデバイス又は特定された支払いアカウントデータに対するアカウントが以前に購入を行った別のサービス(例えば、オーディオ及び/又はビデオファイルのレンタル又は販売用のアプリ)に関連付けられたサーバから支払いアカウント情報を受信する。
いくつかの実施形態では、電子デバイス(例えば、デバイス100、300、及び500)に支払いアカウントが追加され、それにより支払いアカウント情報は、電子デバイス上に確実に記憶される。いくつかの例では、ユーザがそのようなプロセスを開始した後、電子デバイスは、支払いアカウントに対する情報をトランザクション協調サーバへ送信し、次いでトランザクション協調サーバは、アカウントに対する支払いネットワークによって動作するサーバ(例えば、支払いサーバ)と通信して、情報の有効性を確実にする。電子デバイスは、任意選択的に、電子デバイスがアカウントに対する支払い情報をセキュア要素上へプログラムすることを可能にするスクリプトをサーバから受信するように構成される。
いくつかの実施形態では、電子デバイス100、300、及び500間の通信は、トランザクション(例えば、一般的な又は特有のトランザクション)を容易にする。例えば、第1の電子デバイス(例えば、100)は、提供又は管理デバイスとして働くことができ、新しい又は更新された支払いアカウントデータ(例えば、新しいアカウントに対する情報、既存のアカウントに対する更新された情報、及び/又は既存のアカウントに関する警報)の通知を第2の電子デバイス(例えば、500)へ送信することができる。別の例では、第1の電子デバイス(例えば、100)は、第2の電子デバイスへデータを送信することができ、このデータは、第1の電子デバイスで促進された支払いトランザクションに関する情報を反映する。情報は、任意選択的に、支払い額、使用されるアカウント、購入時間、及び既定のアカウントが変更されたかどうかのうちの1つ以上を含む。第2のデバイス(例えば、500)は、任意選択的に、そのような情報を使用して、既定の支払いアカウントを更新する(例えば、学習アルゴリズム又は明示的なユーザ入力に基づく)。
電子デバイス(例えば、100、300、500)は、様々なネットワークのうちのいずれかを介して互いに通信するように構成される。例えば、デバイスは、Bluetooth接続608(例えば、従来のBluetooth接続若しくはBluetoothローエネルギー接続を含む)又はWiFiネットワーク606を使用して通信する。ユーザデバイス間の通信は、任意選択的に、情報をデバイス間で不適当に共有する可能性を低減させるように調整される。例えば、支払い情報に関係する通信は、通信デバイスがペアリングされる(例えば、明示的なユーザ相互作用を介して互いに関連付けられる)こと、又は同じユーザアカウントに関連付けられることを必要とする。
いくつかの実施形態では、電子デバイス(例えば、100、300、500)は、任意選択的にNFC有効である販売時点(point-of-sale、POS)支払い端末600と通信するために使用される。この通信は、任意選択的に、様々な通信チャネル及び/又は技術を使用して行われる。いくつかの例では、電子デバイス(例えば、100、300、500)は、NFCチャネル610を使用して支払い端末600と通信する。いくつかの例では、支払い端末600は、ピアツーピアNFCモードを使用して電子デバイス(例えば、100、300、500)と通信する。電子デバイス(例えば、100、300、500)は、任意選択的に、支払いアカウント(例えば、既定のアカウント又は特定のトランザクションに対して選択されたアカウント)に対する支払い情報を含む信号を支払い端末600へ送信するように構成される。
いくつかの実施形態では、トランザクションを進めることは、支払いアカウントなどのアカウントに対する支払い情報を含む信号を送信することを含む。いくつかの実施形態では、トランザクションを進めることは、NFC有効の非接触支払いカードなどの非接触支払いカードとして応答するように電子デバイス(例えば、100、300、500)を再構成し、次いでNFCを介して支払い端末600などへアカウントのクレデンシャルを送信することを含む。いくつかの実施形態では、NFCを介してアカウントのクレデンシャルを送信した後、電子デバイスは、非接触支払いカードとして応答しないように再構成する(例えば、NFCを介して非接触支払いカードとして応答するようにもう一度再構成する前に許可を必要とする)。
いくつかの実施形態では、信号の生成及び/又は送信は、電子デバイス(例えば、100、300、500)内のセキュア要素によって制御される。セキュア要素は、任意選択的に、支払い情報を公開する前に、特定のユーザ入力を必要とする。例えば、セキュア要素は、任意選択的に、電子デバイスが着用されていることの検出、ボタン押下の検出、パスコードの入力の検出、タッチの検出、1つ以上のオプション選択(例えば、アプリケーションとの対話中に受信される)の検出、指紋署名の検出、音声若しくは音声コマンドの検出、及び/又はジェスチャ若しくは動き(例えば、回転若しくは加速)の検出を必要とする。いくつかの例では、別のデバイス(例えば、支払い端末600)との通信チャネル(例えば、NFC通信チャネル)が、入力の検出から定義された時間期間内で確立された場合、セキュア要素は、他方のデバイス(例えば、支払い端末600)へ送信すべき支払い情報を公開する。いくつかの例では、セキュア要素は、セキュア情報の公開を制御するハードウェア構成要素である。いくつかの例では、セキュア要素は、セキュア情報の公開を制御するソフトウェア構成要素である。
いくつかの実施形態では、トランザクションの関与に関係するプロトコルは、例えば、デバイスタイプに依存する。例えば、支払い情報を生成及び/又は送信する状態は、ウェアラブルデバイス(例えば、デバイス500)及び電話(例えば、デバイス100)にとって異なる可能性がある。例えば、ウェアラブルデバイスに対する生成及び/又は送信状態は、ボタンが押下されたこと(例えば、セキュリティ検証後)を検出することを含み、電話に対応する状態は、ボタン押下を必要としないが、代わりにアプリケーションとの特定の対話の検出を必要とする。いくつかの例では、支払い情報を送信及び/又は公開する状態は、複数のデバイスのそれぞれで特定の入力を受信することを含む。例えば、支払い情報の公開は、任意選択的に、デバイス(例えば、デバイス100)での指紋及び/又はパスコードの検出と、別のデバイス(例えば、デバイス500)上での機械入力(例えば、ボタン押下)の検出とを必要とする。
支払い端末600は、任意選択的に、支払い情報を使用して、支払いが許可されたかどうかを判定するために支払いサーバ604へ送信する信号を生成する。支払いサーバ604は、任意選択的に、支払いアカウントに関連付けられた支払い情報を受信し、提案された購入が許可されるかどうかを判定するように構成された任意のデバイス又はシステムを含む。いくつかの例では、支払いサーバ604は、発行銀行のサーバを含む。支払い端末600は、直接、又は1つ以上の他のデバイス若しくはシステム(例えば、取得バンクのサーバ及び/若しくはカードネットワークのサーバ)を介して間接的に、支払いサーバ604と通信する。
支払いサーバ604は、任意選択的に、支払い情報の少なくともいくつかを使用して、ユーザアカウントのデータベース(例えば、602)の中からユーザアカウントを識別する。例えば、各ユーザアカウントは、支払い情報を含む。アカウントは、任意選択的に、POS通信からの支払い情報に一致する特定の支払い情報を有するアカウントを位置決めすることによって位置決めされる。いくつかの例では、提供された支払い情報が一貫していない(例えば、有効期限がクレジット、デビット、若しくはギフトカードの番号に対応しない)とき、又はPOS通信からの支払い情報に一致する支払い情報を含むアカウントがないとき、支払いは拒否される。
いくつかの実施形態では、ユーザアカウントに対するデータは、1つ以上の制限(例えば、クレジット限度)、現在若しくは以前のバランス、以前の取引日、場所、及び/若しくは額、アカウント状態(例えば、アクティブ若しくは凍結)、並びに/又は許可命令を更に特定する。いくつかの例では、支払いサーバ(例えば、604)は、そのようなデータを使用して、支払いを許可するかどうかを判定する。例えば、現在のバランスに購入額が追加されるとアカウント限度を超過するとき、アカウントが凍結されているとき、以前のトランザクション額が閾値を超過しているとき、又は以前のトランザクション回数若しくは頻度が閾値を超過しているとき、支払いサーバは支払いを拒否する。
いくつかの実施形態では、支払いサーバ604は、提案された購入が許可されたか、それとも拒否されたかに関する通知によって、POS支払い端末600に応答する。いくつかの例では、POS支払い端末600は、結果を識別するための信号を電子デバイス(例えば、100、300、500)へ送信する。例えば、POS支払い端末600は、購入が許可されたとき、電子デバイス(例えば、100、300、500)へ領収書を送信する(例えば、ユーザデバイス上のトランザクションアプリを管理するトランザクション協調サーバを介する)。いくつかの場合、POS支払い端末600は、結果を示す出力(例えば、視覚的又はオーディオ出力)を提示する。支払いは、許可プロセスの一部として小売商へ送信することができ、又は後に送信することができる。
いくつかの実施形態では、電子デバイス(例えば、100、300、500)は、POS支払い端末600の介入なしに完了するトランザクションに関与する。例えば、機械入力が受信されたことを検出したとき、電子デバイス(例えば、100、300、500)内のセキュア要素は、支払い情報を公開し、電子デバイス上のアプリケーションが情報にアクセスすること(例えば、その情報をアプリケーションに関連付けられたサーバへ送信すること)を可能にする。
いくつかの実施形態では、電子デバイス(例えば、100、300、500)は、ロック状態又はアンロック状態にある。ロック状態で、電子デバイスは電源が投入されて動作状態であるが、ユーザ入力に応じて所定の1組の動作を実行することは防止される。所定の1組の動作は、任意選択的に、ユーザインタフェース間のナビゲーション、所定の1組の機能のアクティブ化又は非アクティブ化、及び特定のアプリケーションのアクティブ化又は非アクティブ化を含む。ロック状態は、電子デバイスのいくつかの機能性の意図しない若しくは無許可の使用、又は電子デバイス上のいくつかの機能のアクティブ化若しくは非アクティブ化を防止するために使用することができる。アンロック状態で、電子デバイス100は電力が投入されて動作状態であり、ロック状態では実行できない所定の1組の動作の少なくとも一部分を実行することが防止されない。
デバイスがロック状態にあるとき、デバイスはロックされていると考えられる。いくつかの実施形態では、ロック状態のデバイスは、任意選択的に、デバイスをアンロック状態から遷移させようとする試行に対応する入力、又はデバイスの電源をオフにすることに対応する入力を含む、制限された1組のユーザ入力に応答する。
いくつかの例では、セキュア要素(例えば、115)は、データ又はアルゴリズムを確実に記憶するように構成されたハードウェア構成要素(例えば、セキュアマイクロコントローラチップ)であり、それにより確実に記憶されたデータは、デバイスのユーザからの適切な認証情報を有していないデバイスによってアクセスできなくなる。デバイス上の他の記憶装置とは別個のセキュア要素内で確実に記憶されたデータを保持することで、デバイス上の他の記憶場所が損なわれた場合でも(例えば、悪意あるコード又はデバイス上に記憶された情報を損なおうとする他の試行による)、確実に記憶されたデータへのアクセスを防止する。いくつかの例では、セキュア要素は、支払い情報(例えば、アカウント番号及び/又はトランザクション特有の動的セキュリティコード)を提供(又は公開)する。いくつかの例では、セキュア要素は、ユーザ認証などの許可をデバイスが受信したことに応じて、支払い情報を提供(又は公開)する(例えば、指紋認証、パスコード認証、デバイスがアンロック状態にあるとき、及び任意選択的に、認証クレデンシャルをデバイスへ提供することによってデバイスがアンロックされてからデバイスが連続してユーザの手首上にあるときの、ハードウェアボタンの2回押下の検出。デバイスがユーザの手首上に連続して存在することは、デバイスがユーザの皮膚に接触していることを定期的に検査することによって判定される)。例えば、デバイスは、デバイスの指紋センサ(例えば、ボタンに組み込まれた指紋センサ)で指紋を検出する。デバイスは、この指紋が登録された指紋に一貫しているかどうかを判定する。指紋が登録された指紋に一貫しているという判定に従って、セキュア要素は、支払い情報を提供(又は公開)する。指紋が登録された指紋に一貫していないという判定に従って、セキュア要素は、支払い情報の提供(又は公開)を取り止める。
次に、ポータブル多機能デバイス100、デバイス300、又はデバイス500などの電子デバイス上で実施されるユーザインタフェース(「UI」)及び関連プロセスの実施形態に注意を向ける。
図7A〜7Sは、いくつかの実施例に係る電子デバイス(例えば、デバイス100、デバイス300、又はデバイス500)上に生体特徴を登録する命令チュートリアルを提供する例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図8のプロセスを含む後述するプロセスを示すために使用される。
図7Aは、電子デバイス700(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)を示す。図7A〜7Sに示す例示的な実施例では、電子デバイス700はスマートフォンである。他の実施例では、電子デバイス700は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスとすることができる。電子デバイス700は、ディスプレイ702、1つ以上の入力デバイス(例えば、ディスプレイ1502のタッチスクリーン、ボタン、マイクロフォン)、及び無線通信無線機を有する。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのカメラのみを含む。いくつかの例では、電子デバイスは、1つ以上の生体センサ(例えば、生体センサ703)を含み、生体センサは、任意選択的に、赤外線カメラ、サーモグラフィカメラ、又はこれらの組合せなどのカメラを含む。いくつかの例では、生体センサのうちの1つ以上は、あらゆる目的で全体として参照により本明細書に組み込まれている、2014年7月14日出願の米国特許第14/341,860号、「Overlapping Pattern Projector」、米国特許公報第2016/0025993号、及び米国特許第13/810,451号、「Scanning Projects and Image Capture Modules For 3D Mapping」、米国特許第9,098,931号に記載されている生体センサなどの生体センサ(例えば、顔認識センサ)である。いくつかの例では、電子デバイスは、赤外線カメラ、サーモグラフィカメラ、又はこれらの組合せなどの深度カメラを含む。いくつかの例では、デバイスは、IRフラッドライト、構造化光投影器、又はこれらの組合せなどの発光デバイス(例えば、光投影器)を更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ(例えば、IRカメラ)によって画像のキャプチャ中に対象を照らすために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされた対象の異なる部分の深さマップを判定するために使用される。いくつかの実施例では、本明細書に記載する照明作用は、後ろ向きの画像に対する2つのカメラ(例えば、2つの可視光カメラ)からの不一致情報、及び前向きの画像(例えば、セルフィ画像)に対する可視光カメラからの画像データと組み合わせた深度カメラからの深さ情報を使用して表示される。いくつかの実施例では、2つの可視光カメラを使用して深さ情報を判定するときと、深度カメラを使用して深さ情報を判定するときに、同じユーザインタフェースが使用され、照明作用を生成するときに使用される情報を判定するために劇的に異なる技術を使用したときでも、一貫したエクスペリエンスをユーザに提供する。いくつかの実施例では、照明作用のうちの1つが適用された状態でカメラユーザインタフェースを表示しながら、デバイスは、カメラ切替えアフォーダンスの選択を検出し、前向きのカメラ(例えば、深度カメラ及び可視光カメラ)から後ろ向きのカメラ(例えば、互いから隔置された2つの可視光カメラ)へ切り替え(又は逆も同様である)、照明作用を適用するためのユーザインタフェース制御の表示を維持しながら、前向きのカメラの視野から後ろ向きのカメラの視野へ表示を置き換える(又は逆も同様である)。
図7Aに示すように、デバイス700は、ディスプレイ701上にデバイス設定ユーザインタフェース702を表示する。いくつかの実施例では、デバイス設定ユーザインタフェース702は、デバイス700の電源がユーザによって最初に投入されるとき(例えば、工場で封止されたデバイスの電源が最初に投入されるとき)に表示される。いくつかの実施例では、デバイス設定ユーザインタフェース702は、デバイス700を工場設定にリセットしたときに表示される。電話設定ユーザインタフェース702は、1つ以上のプロンプト704を含む。図7Aの例では、プロンプト704は、ユーザが初期デバイス設定(例えば、言語選択、認証方策など)を進めることを促すプレーンテキストである。デバイス設定インタフェース702は、継続アフォーダンス706及びスキップアフォーダンス708などの1つ以上のアフォーダンスを含む。いくつかの実施例では、スキップアフォーダンス708のアクティブ化に対応するユーザ入力を検出したことに応じて、デバイス700は、任意選択的に、1つ以上の特徴の設定なしに、図4Aのユーザインタフェースなどの1次ユーザインタフェースを表示する。
図7Bに示すように、設定インタフェース702を表示している間に、電子デバイス700は、継続アフォーダンス706のアクティブ化(例えば、選択)を検出する。いくつかの例では、アクティブ化は、継続アフォーダンス706における接触面積710上でのタップジェスチャ710である。ディスプレイ701がタッチ感知ディスプレイであるいくつかの例では、継続アフォーダンスのアクティブ化は、接触面積710における表示面上でのタッチ、スワイプ、又は他のジェスチャである。ディスプレイ701がタッチ感知ディスプレイでないいくつかの例では、ユーザ入力は、キーボード入力又はフォーカスセレクタ(例えば、マウスカーソル)による継続アフォーダンス706のアクティブ化である。
継続アフォーダンス706のアクティブ化を検出したことに応じて、デバイスは、図7Cに示すように、顔認証チュートリアルインタフェース712を表示する。いくつかの実施例では、デバイス設定ユーザインタフェースプロセスの前の段階を終了したことに応じて、又は設定ユーザインタフェース内で顔認証登録オプションを選択したことに応じて、顔認証設定インタフェース712が表示される。顔認証設定インタフェース712は、1つ以上のプロンプト714、継続アフォーダンス716、及び後でアフォーダンス718を含む。図7Cの例では、プロンプト714は、ユーザが数値パスコードの代わりに顔認証のオプション設定を有することを示すプレーンテキストである。顔認証設定インタフェース712はまた、フレーミング要素722内に表示された顔のグラフィカル表現(例えば、生体認証グリフ720)を含む。図7Cの例では、フレーミング要素722は、生体認証グリフ720を取り囲む長方形の形状であり、長方形の角だけが表示される。いくつかの実施例では、フレーミング要素は、任意選択的に、グリフ720を取り囲む実線の長方形又は任意の他の形状(例えば、円又は楕円)である。いくつかの例では、フレーミング要素722は、後述する追加の特徴と組み合わせて、生体センサ703に対してユーザの顔をどのように適切に位置決めするかをユーザに示すのに役立つ。
図7Dを参照すると、デバイス700は、継続アフォーダンス716のアクティブ化(例えば、選択)を検出する。いくつかの例では、アクティブ化は、継続アフォーダンス716でのタップジェスチャ724である。ディスプレイ701がタッチ感知ディスプレイであるいくつかの例では、継続アフォーダンスのアクティブ化は、接触面積724における表示面上でのタッチ、スワイプ、又は他のジェスチャである。ディスプレイ701がタッチ感知ディスプレイでないいくつかの例では、ユーザ入力は、キーボード入力又はフォーカスセレクタ(例えば、マウスカーソル)による継続アフォーダンス716のアクティブ化である。
継続アフォーダンス716の選択を検出したことに応じて、デバイス700は、図7Eに示すように、プロンプト726を表示する(例えば、プロンプト714の表示をプロンプト726に置き換える)。加えて、デバイスは、継続アフォーダンス716の表示を開始アフォーダンス728に置き換える。継続アフォーダンス716を選択したとき、デバイス700は、グリフ720及びフレーミング要素722の表示を維持(例えば、継続)する。
図7Fを参照すると、デバイス700は、開始アフォーダンス728のアクティブ化(例えば、選択)を検出する。いくつかの例では、アクティブ化は、開始アフォーダンス728でのタップジェスチャ730である。開始アフォーダンス728のアクティブ化は、任意選択的に、顔認証登録(例えば、設定)プロセスを開始することを求めるユーザ要求を示す。
図7H〜7Qに示すように、デバイス700は、開始アフォーダンス728の選択を検出したことに応じて、顔認証チュートリアルインタフェース732を表示する。同時に、デバイスは、デバイス700が確実な(例えば、生体)認証に必要とされる十分な生体(例えば、顔撮像)データを集めることができるように、生体センサ703に対してユーザの顔をどのように適切に位置決め及び動くかをユーザに示す命令アニメーション(例えば、チュートリアル)を表示する。チュートリアルインタフェース及び命令アニメーションの詳細は後述する。
図7G〜7Hに示すように、デバイス700は、グリフ720を取り囲む単一の連続フレーミング要素723になるように、フレーミング要素722の表示を変更する。図7Gに示すように、デバイス700は、任意選択的に、フレーミング要素722のそれぞれの角を丸くして円の一部にし、これらの部分をマージ及び/又は縮小して、グリフ720を取り囲む連続する円(例えば、図7Hに示すフレーミング要素723)を形成する。
図7Hに示すように、デバイス700は、グリフ720の近傍及び/又は周囲に命令進度メータ734を同時に表示する。図7Hの例では、命令進度メータ734は、グリフ720の周りに均一に分散された1組の進度要素(例えば、進度刻み734a、734b、及び734c)から構成される。図7Hの例では、進度刻み734a、734b、及び734cは等距離であり、グリフ720から放射状外方に延び、例えばグリフ720の周りに円を形成する。いくつかの実施例では、これらの進度要素は、任意選択的に、ドット、円、線分、又は任意の他の適した個別の要素である。いくつかの実施例では、これらの進度要素は、任意選択的に、正方形、長方形、長円形、又は任意の他の適したパターンでグリフ720の周りに配置される。
顔認証チュートリアルインタフェース732(例えば、フレーミング要素723及び命令進度メータ734によって取り囲まれたグリフ)を表示しながら、デバイス700は、図7Iに示すように、ユーザの顔データを登録するプロセスを示す命令アニメーションの表示を開始する。図7I〜7Pを参照して以下により詳細に説明するように、デバイス700は、グリフ720の円形の動き、及びそれに対応する命令進度メータ734の前進を表示して、成功した顔認証をエミュレートする。
命令アニメーションの初めに、デバイス700は、グリフ720の表示の上に向きガイド736を重ね合わせる。図7Iの例では、向きガイド736は、フレーミング要素723及びグリフ720から延びる1対の交差する曲線(例えば、十字線)であり、ディスプレイの平面から外方(例えば、シミュレートされたz方向)に膨らんでいるように見える。いくつかの例では、円形のフレーミング要素723と組み合わせて、向きガイド736の円弧が、普通なら2次元のグリフ720に、球の表面上に位置するかのような3次元の外観を与える。概して、命令アニメーションは、グリフ720の中心に対して固定の位置で向きガイド736を維持し、それにより向きガイドは、顔表現とともに(例えば、顔表現と同じ方向に)回転及び傾斜するように見える。いくつかの実施例では、グリフ720自体は、シミュレートされたz高さの線を有する3次元の線画などの顔の3次元表現である。そのような実施例では、向きガイド736は、任意選択的に省略される。この場合、顔表現が異なる方向に傾斜するとき、異なるz高さの線は、シミュレートされた視差作用に基づいて、互いに対して動くように見え、3次元の動きの外観を与える。
デバイス700は、第1の方向(例えば、上、下、左、又は右)にグリフ720及び向きガイド736の動き(例えば、回転及び/又は傾斜)を表示することによって、顔認証チュートリアルインタフェース732上で命令アニメーションを開始する。図7Iの例では、グリフ720及び重ね合わされた向きガイド736は、ディスプレイ701の平面から延びる垂直軸に対して右に傾斜している。このようにしてグリフ720を傾斜させることで、任意選択的に、シミュレートされた顔の一部(例えば、顔の左側)が見え、シミュレートされた顔の別の部分(例えば、顔の右側)は隠れて、特定の方向に傾斜又は回転している3次元の頭の外観を更に与える。
図7Iに示すように、デバイス700は、グリフ720(及び/又は向きガイド736)がそれらの方へ傾斜するにつれて、進度要素のサブセットの外観を変化させる。特に、メータ部分738内の進度要素は、任意選択的に、顔グラフィックがそれらの進度要素の方へ傾斜したとき、初期状態から伸長しかつ/又は色を変化させる。この伸長及び/又は色変化は、任意選択的に、グリフ720がそれらの方向へ更に傾斜するにつれてより顕著になる。いくつかの実施例では、メータ部分738内の進度要素は、任意選択的に、他の態様でも同様に外観を変化させる。例えば、追加及び/又は別法として、進度要素の線の太さ、数、又はパターンが、任意選択的に変化する。このようにして進度要素の外観を変化させることで、生体センサ703が、その方向に向けられたときの顔の対応する部分の画像データをキャプチャするように構成されていることを、ユーザに示す。命令アニメーションを表示しながら、デバイス700は、顔グラフィックがその方へまだ傾斜していないディスプレイの進度要素(例えば、メータ部分740の要素)を初期状態で維持する。図7Iの例では、デバイス700は、進度要素を空白の外形として初期状態で表示する。
いくつかの例では、デバイス700はその後、ディスプレイの平面に平行な第2の軸の周りでグリフ720を回転させ、それによりシミュレートされた顔が、上方又は下方へ傾斜しているように見える。図7Jの例では、グリフ720は、図7Iの位置から上方へ傾斜しているように見え、それによりシミュレートされた顔は、右上を向いている。このようにしてグリフ720を回転させながら、デバイス700は、図7Iに示すように以前は初期状態であった対応するメータ部分740の外観を変化させる。デバイスは、図7Iに関して上述したのと同じ態様で(例えば、命令進度メータのこの部分の進度要素を伸長させかつ/又はその色を変化させることによって)メータ部分740の外観を変化させる。同時に、デバイス700は、図7Iで登録された顔表現の部分に対応するメータ部分738内の進度要素を、第2の状態へ遷移させる。成功状態にある進度要素(例えば、メータ部分738内の進度要素)は、形状、色、線の幅などが初期状態にある進度要素とは異なる。図7Iの例では、成功状態にある進度要素は、初期状態にある進度要素(例えば、メータ部分742内の進度要素)と同じサイズ及び幅で表示されるが、顔表現がすでにその方向に向けられたことを示すために、暗色にされかつ/又は塗りつぶされる。
図7Kは、シミュレートされた顔が上方を向いているように見えるまで、グリフ720及び向きガイド736が更に傾斜及び/又は回転したことを示す。上述したように、デバイス700は、グリフ720がその方向に向けられるにつれて、メータ部分742内の進度要素の外観を変化させる(例えば、伸長しかつ/又は色を変化させる)。同時に、デバイス700は、シミュレートされた顔が以前はそれらの方向に向けられていたが、それらの方向に向けられなくなった後、メータ部分740内の進度要素を成功状態に遷移させる。メータ部分738内の進度要素は、成功状態にあるままである。概して、成功状態に遷移した進度要素の外観は、後に修正されない。このようにして、デバイス700は、グリフ720の動きを表示することに応じて、命令進度メータ734内の要素の外観を変化させる。
いくつかの例では、命令アニメーション中、デバイス700は、任意選択的に、シミュレートされた顔の完全な円形(例えば、時計回り、反時計回り)の運動を表示するまで(例えば、グリフ720が図7Iに示す右に傾斜した向きに戻るまで)、グリフ720の回転及び/又は傾斜を引き続き表示する。同様に、デバイス700は、上述したように、グリフ720がそれらを越えて回転させられるにつれて、命令進度メータ734の要素を成功状態へ漸増的に遷移させる。シミュレートされた顔の1回転を表示した後、デバイスは、図7Lに示すように、命令進度メータ734のすべての進度要素を成功状態で表示する。いくつかの実施例では、デバイス700は、1回転が表示された後、向きガイド736の表示を止め、グリフ720をその初期位置に戻す。
命令進度メータ734のすべての進度要素が成功状態に遷移した後、デバイス700は、進度メータ734(例えば、進度メータ自体)を、グリフ720を取り囲む実線の円などの認証成功状態に遷移させる。進度メータ724を認証成功状態で表示することで、任意選択的に、顔認証設定の成功を示す。図7L〜7Oを参照すると、デバイス700は、それぞれの進度刻みを短くし、これらの進度刻みをともに一体化して、グリフ720を取り囲む連続する実線の円(例えば、成功状態メータ744)にすることによって、命令進度メータ734の個別の進度刻みの表示を認証成功状態に遷移させる。図7O及び図7Pの例では、この円は、成功状態メータ744の半径がフレーミング要素723の半径と実質上同じになるまで(例えば、図7Pに示す)、グリフ720の周りで縮小する。
図7I〜7Qに示すように、顔認証チュートリアルインタフェース732はまた、任意選択的に顔認証チュートリアル全体にわたって表示される開始アフォーダンス746を含む。いくつかの例では、開始アフォーダンス746は、命令アニメーションが完了した後(例えば、デバイス700が命令進度メータ734を図7Qの認証成功状態で表示した後)、アクティブ化が有効化される。他の実施例では、開始アフォーダンス746は、命令アニメーションが完了する前、顔認証チュートリアルアニメーションの表示中のいつでもアクティブ化が有効化される。
図7Qを次に参照すると、デバイス700は、開始アフォーダンス746のアクティブ化(例えば、選択)を検出する。いくつかの例では、アクティブ化は、顔認証設定の開始を求める要求に対応するユーザ入力である。開始アフォーダンス746のアクティブ化を検出したことに応じて、デバイス700は、図7Rに示すように、グリフ720の表示を、生体センサ703によってキャプチャされたユーザの顔の画像750に置き換える。いくつかの実施例では、画像750は、生体センサ703の視野のライブプレビューである。他の実施例では、画像750は、光センサの視野内でのユーザの顔の動きに基づくユーザの顔のワイヤフレーム表現である。したがって、画像750は、生体センサに対するユーザの顔の位置及び向きが変化するにつれて変化する(例えば、連続的に更新される)。
図7Rに示すように、デバイス700はまた、ユーザ画像750の周りに位置決め要素752を表示する。いくつかの実施例では、位置決め要素752は、任意選択的に、図7C〜7Fでグリフ720の周囲に最初に位置決めされたフレーミング要素722と類似又は同一の視覚的特性を有する。いくつかの実施例では、位置決め要素は、電子デバイスのディスプレイの所定の部分を強調して、ユーザが後続の顔認証設定のために生体センサに対して自身の顔をどこに位置決めするべきかを示すように表示される。いくつかの実施例では、位置決め要素は、所定のディスプレイ部分をディスプレイの他の部分から少なくとも部分的に区切る形状(例えば、正方形)を有する。デバイス700はまた、ユーザ画像750が位置決め要素750内に現れるように、ユーザが光センサに対して自身の顔を動かすことを促す文字であるプロンプト754を表示する。
図7Sを次に参照すると、ユーザ画像750が位置決め要素750内に適切に位置決めされたこと(例えば、ユーザの顔が生体センサ703と適切に位置合わせされたこと)を検出したことに応じて、デバイス700は、顔認証登録インタフェース756を表示する。図7Sの例では、顔認証登録インタフェース756は、進度メータ758及びユーザ画像760を含む。いくつかの実施例では、登録インタフェース756は、向きガイド762を含み、ディスプレイの平面から出て進度メータ758へ延びる1組の曲線(例えば、十字線)は、任意選択的に、顔認証チュートリアルアニメーション中に表示される命令進度インジケータ734の特徴のうちのいくつか又はすべてを有する。図7Sの例では、進度メータ758はまた、ユーザ750の周りに分散された1組の進度要素(例えば、進度刻み758a、758b、及び758c)を含む。光センサに対するユーザの顔の位置合わせについての更なる説明は、図9A〜9AE及び図11A〜11Oに関して以下で見ることができる。
図8A〜8Cは、いくつかの実施例に係る電子デバイス上に生体特徴を登録する命令チュートリアルを提供する方法を示す流れ図である。方法800は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信無線機(例えば、Bluetooth接続、WiFi接続、4G LTE接続などのモバイルブロードバンド接続)を有するデバイス(例えば、100、300、500、700)で実行される。いくつかの実施形例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つのカメラのみを含む。いくつかの例では、デバイスは、1つ以上の生体センサを含み、生体センサは、任意選択的に、赤外線カメラ、サーモグラフィカメラ、又はこれらの組合せなどのカメラを含む。いくつかの例では、デバイスは、IRフラッドライト、構造化光投影器、又はこれらの組合せなどの発光デバイスを更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照らすために使用される。方法2000のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法800は、電子デバイス上に生体特徴を登録する命令チュートリアルを提供する直感的な様態を提供する。この方法は、デバイス上で生体特徴を登録するためにユーザにかかる認識的負担を低減させ、それによってより効率的な人間−機械インタフェースを作成する。バッテリ動作コンピューティングデバイスの場合、ユーザが生体特徴をより高速かつ効率的に登録することを有効化することで、電力を節約し、電池充電間の時間を増大させる。
デバイスは、ディスプレイ上に第1のユーザインタフェース(例えば、顔認証設定インタフェース712)を表示する(802)。第1のユーザインタフェースを表示しながら、デバイスは、生体特徴(例えば、顔、指、目、音声など)を登録する生体登録プロセスの導入に対応する状態の出現を検出する(806)。いくつかの実施例では、状態の出現は、デバイス設定ユーザインタフェースプロセスの前の段階を終了すること、又は設定ユーザインタフェース内で生体登録オプションを選択することなど、生体登録プロセスを開始することを求める要求に対応する入力である。いくつかの実施例では、生体特徴は、デバイスでの認証に使用される。
生体登録プロセスの導入に対応する状態の出現を検出したことに応じて、デバイスは、生体登録導入インタフェース(例えば、顔認証チュートリアルインタフェース732)を表示する(808)。生体登録導入インタフェースを表示することは、生体特徴のシミュレーションの表現(例えば、720、アニメーション化された顔/頭などの生体特徴のアニメーション又は生体特徴のビデオ)と、シミュレートされた進度インジケータ(例えば、命令進度メータ734、登録の進度を示す表示要素)とを同時に表示すること(810)を含む。いくつかの実施例では、シミュレートされた進度インジケータは、生体特徴のシミュレーションの表現に近接して位置する。いくつかの実施例では、シミュレートされた進度インジケータは、生体特徴のシミュレーションから外方に延びて(例えば、放射状に延びて)円などの長円形の形状を形成する1組の刻みマークなど、任意選択的に生体特徴のシミュレーションの周りに分散される複数の進度要素(例えば、進度要素734a、734b、及び734c)を含む。
いくつかの実施例では、生体特徴のシミュレーションの表現は、顔(例えば、720)の少なくとも一部分のシミュレーションの表現である(812)。いくつかの実施例では、この表現は、顔の一部分のシミュレーションの表現である。いくつかの実施例では、この表現は、顔全体のシミュレーションの表現である。いくつかの実施例では、生体特徴のシミュレーションは、目、鼻、及び口を含む線画など、概略的な顔の表現である。いくつかの実施例では、生体特徴のシミュレーションの表現は、3次元表現である(814)。例えば、生体特徴のシミュレーションの表現は、3次元のレンダリングされたオブジェクトである。別法として、命令アニメーションは、その代わりに、任意選択的に2Dアニメーションである。
いくつかの実施例では、生体特徴のシミュレーションの表現は、異なるシミュレートされたz高さの線を有する線画(例えば、720の3D表現)である(816)。例えば、顔の線画が異なる方向に傾斜しているとき、異なるシミュレートされたz高さの線は、シミュレートされた視差作用に基づいて、互いに対して動くように見える。いくつかの実施例では、生体登録導入インタフェースは、向きガイド(例えば、向きガイド736、方法1200を参照して以下により詳細に説明するように、シミュレートされたz方向で後方に湾曲する曲線)を含み、この向きガイドは、シミュレートされた生体特徴(例えば、720)の表現上に重ね合わされており、シミュレートされた生体特徴の表現が異なる方向に傾斜するにつれて異なる方向に傾斜する(820)。
生体登録導入インタフェースを表示しながら、デバイスは、生体特徴のシミュレーションの表現の動き(例えば、傾斜及び/又は回転)及び進度インジケータの漸増的前進(例えば、生体特徴のシミュレーションの表現の動きの表示に応じて、進度インジケータの進度要素が色及び/又は形状を変化させる)を表示することを含む命令アニメーション(例えば、図7H〜7Lに示す720の動き及び命令進度インジケータ734の前進)を表示する(824)。生体特徴のシミュレーションの表現の動き及びシミュレートされた進度インジケータの漸増的前進を含む命令アニメーションを表示することは、後続の生体登録プロセス(例えば、方法1200及び/又は1400)に必要とされる適切なユーザ入力を事前に示し、したがってユーザが自身の生体特徴をどのように迅速かつ適切に登録するかを直感的に認識するのを助け、デバイスがこのプロセス中に生体登録インタフェース(例えば、756)を表示する必要がある持続時間を低減させ、それらのインタフェースで実行されるユーザ入力の数を低減させる。登録動作を実行するために必要とされる入力数及び時間量を低減させることで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、デバイスのディスプレイの平面に対して生体特徴のシミュレーションを傾斜させる動きを表示する(826)。例えば、シミュレーションの表現の動きは、デバイスのディスプレイの平面に対して法線方向の軸に沿ってシミュレーションの表現を回転させることを含む。いくつかの実施例では、生体センサ及び/又はセンサの視野に対して傾斜することは、ディスプレイの平面を画定する。別の例では、デバイスは、第1の軸(例えば、ディスプレイ701に対して法線方向の軸)の周りで生体特徴のシミュレーションの表現を回転させ、かつ第1の軸とは異なる第2の軸(例えば、ディスプレイ701の平面内の軸)の周りで生体特徴のシミュレーションの表現を回転させる動きを表示する(828)。いくつかの実施例では、第1の軸は、表現の動きが左から右及び/又は右から左へ行われるような垂直軸である。いくつかの実施例では、第1の軸は、第2の軸に対して法線方向である。例えば、第2の軸は、任意選択的に、表現の動きが下方及び/又は上方へ行われるような水平軸である。いくつかの実施例では、第1の軸は、デバイスのディスプレイに対して法線方向の軸以外の任意の軸であり(例えば、表現が任意の方向に回転する)、第2の軸は、デバイスのディスプレイに対して法線方向の軸である。この例では、シミュレートされた頭は、任意選択的に、第2の軸の周りを円形のパターンで動く。ディスプレイの平面に対して生体特徴のシミュレーションを傾斜させる動きを表示することで、後続の生体登録プロセス(例えば、方法1200及び/又は1400)に必要とされる適切なユーザ入力を事前に示し、したがってユーザが自身の生体特徴をどのように迅速かつ適切に登録するかを直感的に認識するのを助け、デバイスがこのプロセス中に生体登録インタフェース(例えば、756)を表示する必要がある持続時間を低減させ、それらのインタフェースで実行されるユーザ入力の数を低減させる。登録動作を実行するために必要とされる入力数及び時間量を低減させることで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、命令アニメーションを表示するとき、デバイスは、任意選択的に、表現の第1の部分(例えば、720の第1の側)を見せ、表現の第2の部分(例えば、720の第2の異なる側)は見せないように、生体特徴のシミュレーションの表現を第1の位置に表示する(830)。その後、デバイスは、任意選択的に、表現の第2の部分を見せ、表現の第1の部分は見せないように、生体特徴のシミュレーションの表現を、第1の位置とは異なる第2の位置に表示する。生体特徴が顔である例では、シミュレートされた顔は、任意選択的に、第1の方向に傾斜して、シミュレートされた顔の第1の部分を見せ、次いで第2の方向に傾斜して、シミュレートされた顔の第2の部分を見せる。シミュレートされた生体特徴を第1の向きで表示し、その後シミュレートされた生体特徴を第2の異なる向きで表示することで、後続の生体登録プロセス(例えば、方法1200及び/又は1400)に必要とされる適切なユーザ入力を事前に示し、したがってユーザが自身の生体特徴をどのように迅速かつ適切に登録するかを直感的に認識するのを助け、デバイスがこのプロセス中に生体登録インタフェース(例えば、756)を表示する必要がある持続時間を低減させ、それらのインタフェースで実行されるユーザ入力の数を低減させる。登録動作を実行するために必要とされる入力数及び時間量を低減させることで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、生体特徴のシミュレーションの表現(例えば、720)を取り囲むシミュレートされた進度インジケータ(例えば、734)を表示する。例えば、シミュレートされた進度インジケータは、シミュレートされた進度インジケータが生体特徴のシミュレーションの表現の一部分又はすべてを取り囲む(又は実質上取り囲む)ように表示される。いくつかの実施例では、シミュレートされた進度インジケータは、ユーザの生体特徴の表現の周りに中心合わせされる。いくつかの実施例では、シミュレートされた進度インジケータを表示することは、生体特徴のシミュレーションの表現(例えば、顔グラフィック720)に近接して複数の進度要素(例えば、進度刻み734a、734b、及び734cなどのドット、円、又は線分)を表示すること(832)を含む。いくつかの実施例では、進度要素は、表現から等距離であり、かつ/又は表現から外方へ放射状に延びる。いくつかの実施例では、進度要素は、円形、正方形、長方形、又は長円形のパターンで配置される。
いくつかの実施例では、シミュレートされた進度インジケータの漸増的前進を表示するとき、デバイスは、複数の進度要素のうちの1つ以上を第1の状態から第1の状態とは異なる第2の状態へ遷移させる(834)。例えば、第1の状態で、進度要素は、任意選択的に、第1の色及び/又は第1の長さであり、第2の状態で、進度要素は、任意選択的に、第1の色とは異なる第2の色及び/又は第1の長さとは異なる第2の長さである。いくつかの実施例では、進度要素は、任意選択的に、他の態様でも同様に外観を変化させる。例えば、進度要素は、任意選択的に、線の太さ、数、パターンなどを変化させる。シミュレートされた進度インジケータの部分の表示を変化させることで、ユーザは、自身の生体特徴を適切に登録するために、命令アニメーション内に示されているシミュレートされた生体特徴の向きの変化が必要とされていることを認識することが可能になる。これは、後続の生体登録プロセス(例えば、方法1200及び/又は1400)に必要とされる適切なユーザ入力を事前に示すのを助け、デバイスがこのプロセス中に生体登録インタフェース(例えば、756)を表示する必要がある持続時間を低減させ、それらのインタフェースで実行されるユーザ入力の数を低減させる。登録動作を実行するために必要とされる入力数及び時間量を低減させることで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、生体特徴のシミュレーションの表現は、生体登録の成功を示すために使用されるグリフ(例えば、成功状態進度メータ744)の少なくとも一部分(例えば、一部又はすべて)を含む線画である(836)。いくつかの実施例では、シミュレートされた進度インジケータの1つ以上の進度要素は、第2の状態(例えば、緑色で長く伸ばされている、又は図7Jのメータ部分738の状態)にすべて更新され、その後は修正されない。いくつかの実施例では、進度要素のそれぞれが第2の状態に更新されたとき、シミュレートされた進度インジケータは、成功状態(例えば、成功状態進度メータ744)に遷移する。いくつかの実施例では、シミュレートされた進度インジケータを成功状態に遷移させることは、シミュレートされた進度インジケータを、生体特徴のシミュレーションの表現を取り囲む実線の円に遷移させることを含む。
命令アニメーションの少なくとも一部分を表示した後、デバイスは、生体登録プロセスの開始に対応する状態の出現を検出する(838)。いくつかの実施例では、生体登録プロセスの開始に対応する状態は、生体登録プロセスを開始するためのアフォーダンスの選択を含む(840)。例えば、この状態は、「登録を開始する」又は「次の」アフォーダンス(例えば、開始アフォーダンス746)上でのタップなど、「登録を開始する」ことを求める要求に対応する入力(例えば、接触面積748でのユーザ入力)であり、任意選択的に、それに続いて、ユーザの生体特徴を1つ以上の生体センサと位置合わせする。生体登録プロセスのより詳細な説明は、方法900を参照して本明細書により詳細に説明する。いくつかの実施例では、電子デバイスは、アフォーダンスの選択に応じて触知及び/又は聴覚出力を提供する。
生体登録プロセスの開始に対応する状態の出現を検出したことに応じて(842)、デバイスは、生体登録導入インタフェース(例えば、顔認証チュートリアルインタフェース732)内で生体特徴のシミュレーションの表現によって以前に占有されていた場所に、デバイスの1つ以上の生体センサによって判定されるユーザの生体特徴の表現(例えば、ユーザ画像750、ユーザの顔、ユーザの指、ユーザの目、ユーザの手)を表示する(844)。いくつかの実施例では、デバイスは、任意選択的に、ユーザの生体特徴の表現(例えば、750、760)が1つ以上の生体センサ(例えば、703)と位置合わせされた後、登録進度ユーザインタフェース(例えば、756)を表示する。
いくつかの実施例態では、この表現は、ユーザの顔の一部分(例えば、ユーザ画像750の一部分)の表現である(846)。いくつかの実施例では、この表現は、ユーザの顔全体の表現である。いくつかの実施例では、ユーザの生体特徴の表現は、ユーザに特有のユーザの表現である。例えば、ユーザの表現は、ユーザの顔又はユーザの顔の輪郭に一致するワイヤフレームの画像である。
いくつかの実施例では、生体登録ユーザインタフェースは、生体特徴の表現(例えば、ユーザ画像750)上に重ね合わされた向きガイド(例えば、向きガイド736、向きガイド762)を含む(848)。向きガイドは、任意選択的に、生体特徴が異なる方向に傾斜するにつれて傾斜する。ユーザの生体特徴とともに動く向きガイドを表示することで、3次元空間におけるデバイスの生体センサに対する自身の生体特徴の向きに関するフィードバックをユーザに提供し、後続の登録プロセス(例えば、方法1200及び/又は方法1400)中にユーザが自身の生体特徴を適切な向きにより迅速に配置することを有効化する。改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、ユーザの生体特徴(例えば、750)の表現は、電子デバイスの1つ以上のカメラ(例えば、703)によってキャプチャされた画像データに基づいている(850)。例えば、ユーザの生体特徴の表現は、任意選択的に、1つ以上のカメラ(例えば、703)によってキャプチャされたユーザの連続画像、又は1つ以上のカメラの視野内のユーザの特徴の動きに基づいているワイヤフレームである。いくつかの実施例では、生体特徴の表現は、1つ以上の生体センサに対する生体特徴の向きが変化するにつれて変化する(852)。生体特徴の表示される表現の向きを更新することで、デバイスの生体センサに対する自身の生体特徴の向きに関するフィードバックをユーザに提供し、後続の登録プロセス(例えば、方法1200及び/又は方法1400)中にユーザが自身の生体特徴を適切な向きにより迅速に配置することを有効化する。改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
生体登録プロセスの開始に対応する状態の出現を検出したことに応じて、デバイスはまた、シミュレートされた進度インジケータ(例えば、ユーザの生体特徴の表現の周りに分散された複数の進度要素など、生体特徴のシミュレーションの周囲に表示される進度インジケータの特徴のうちのいくつか又はすべてを有する進度インジケータ)に対応する進度インジケータ(例えば、756)を表示する(854)。いくつかの実施例では、進度インジケータを表示することは、シミュレートされた進度インジケータの表示を維持することを含む(856)。例えば、シミュレートされた進度インジケータは、初期状態(例えば、図7Hの進度要素734a、734b、及び734cの状態)に戻され、シミュレートされた生体特徴の漸増的登録進度を示すために使用されるのと同じ又は類似の態様でユーザの漸増的登録進度を示すために使用される。シミュレートされた進度インジケータに対応する(例えば、類似している)登録進度インジケータを表示することで、ユーザは、シミュレートされた生体特徴の向きの変化及び命令アニメーション中に示されるシミュレートされた進度インジケータの対応する前進を、後続の登録プロセス(例えば、方法1200及び/又は1400)中に必要とされる適切な入力に迅速に関連付けることが可能になる。これは、ユーザが登録プロセスをより迅速に完了させることを有効化し、デバイスがこのプロセス中に生体登録インタフェース(例えば、756)を表示する必要がある持続時間を低減させ、それらのインタフェースで実行されるユーザ入力の数を低減させる。登録動作を実行するために必要とされる入力数及び時間量を低減させることで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、ユーザの生体特徴の表現(例えば、760)を取り囲む進度インジケータ(例えば、758)を表示する(858)。例えば、進度インジケータは、任意選択的に、生体特徴のシミュレーションの周囲に表示される進度インジケータの特徴のうちのいくつか又はすべてを有する。これらの特徴は、任意選択的に、ユーザの生体特徴の表現の周りに分散された複数の進度要素(例えば、758a、758b、758c)を含む。例えば、進度インジケータは、進度インジケータがユーザの生体特徴の表現の一部分又はすべてを取り囲む(又は実質上取り囲む)ように表示される。いくつかの実施例では、進度インジケータは、ユーザの生体特徴の表現の周りに中心合わせされる。
いくつかの実施例では、生体登録プロセスの開始に対応する状態の出現を検出したことに応じて、デバイスは、電子デバイスのディスプレイ上に位置決め要素(例えば、位置決め要素752)を表示する(860)。いくつかの実施例では、位置決め要素は、電子デバイスのディスプレイの所定の部分(例えば、756、758)を強調するように表示される。いくつかの実施例では、位置決め要素は、ユーザが後続の生体特徴登録のためにユーザの生体特徴の表現(例えば、750)をどこに位置決めするべきかを示す。いくつかの実施例では、位置決め要素は、ディスプレイの第1及び第2の部分(例えば、ディスプレイ部分756及びディスプレイ部分758)を視覚的に少なくとも部分的に区切るオブジェクトである。位置決め要素は、いくつかの例では正方形などの形状であり、任意選択的にセグメント化される。デジタルビューファインダの特定の部分をフレームに入れる位置決め要素を表示することで、ユーザが生体センサの視野内の自身の生体特徴の位置及び/又は向きが後続の生体登録プロセス(例えば、方法1200及び/又は1400)にとって最適であるかどうかを迅速に認識することが可能になり、ユーザが自身の生体特徴を適切な向きにより迅速に配置することを有効化する。改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
方法800(例えば、図8A〜C)に関して上述したプロセスの詳細は、後述する方法にも同様に当てはまることに留意されたい。例えば、方法800は、任意選択的に、方法1000、1200、1400、1600、1800、2000、2200、2500、及び2700を参照して以下に説明する様々な方法の特性のうちの1つ以上を含む。別の例では、方法1200で説明する向きガイドは、顔認証チュートリアルインタフェース(例えば、732)上に表示される命令アニメーションに対して適用することができる。別の例では、方法1200で説明する生体登録の1つ以上の態様は、登録インタフェース(例えば、756)に対して適用することができる。別の例では、方法1400で説明するヒントのうちの1つ以上の態様は、顔認証チュートリアルインタフェース(例えば、732)の表示に適用することができる。
上述した情報処理方法における動作は、任意選択的に、汎用プロセッサ(例えば、図1A、図3、及び図5Aに関して説明する)又は特定用途向けチップなどの情報処理装置内で1つ以上の機能モジュールを走行させることによって実施される。更に、図8A〜8Cを参照して上述した動作は、任意選択的に、図1A〜1Bに示す構成要素によって実施される。例えば、表示動作802、検出動作806、表示動作810、表示動作824、検出動作838、表示動作844、及び表示動作854は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソータ170内のイベントモニタ171は、タッチ感知面上の接触を検出し、イベントディスパッチャモジュール174は、このイベント情報をアプリケーション136−1へ伝送する。アプリケーション136−1のそれぞれのイベント認識部180は、このイベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の場所での第1の接触がユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの所定のイベント又はサブイベントが検出されたとき、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化する。イベントハンドラ190は、任意選択的に、データアップデーター176又はオブジェクトアップデーター177を利用し又は呼び出して、アプリケーション内部状態192を更新する。いくつかの実施例では、イベントハンドラ190は、それぞれのGUIアップデーター178にアクセスして、アプリケーションによって表示するものを更新する。同様に、図1A〜1Bに示す構成要素に基づいて、他のプロセスをどのように実施することができるかが、当業者には明らかであろう。
図9A〜9AEは、いくつかの実施例に係る電子デバイス(例えば、デバイス100、デバイス300、デバイス500、又はデバイス700)上に生体特徴を登録する命令チュートリアルに対する例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図10のプロセスを含む後述するプロセスを示すために使用される。
図9Aは、電子デバイス900(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500、又はデバイス700)を示す。図9A〜9AEに示す例示的な実施例では、電子デバイス900はスマートフォンである。他の実施例では、電子デバイス900は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスとすることができる。電子デバイス900は、ディスプレイ901、1つ以上の入力デバイス(例えば、ディスプレイ901のタッチスクリーン、ボタン、マイクロフォン)、及び無線通信無線機を有する。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのカメラのみを含む。いくつかの例では、電子デバイスは、1つ以上の生体センサ(例えば、生体センサ903)を含み、生体センサは、任意選択的に、赤外線カメラ、サーモグラフィカメラ、又はこれらの組合せなどのカメラを含む。いくつかの例では、1つ以上の生体センサ903は、1つ以上の生体センサ703である。いくつかの例では、デバイスは、IRフラッドライト、構造化光投影器、又はこれらの組合せなどの発光デバイス(例えば、光投影器)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照らすために使用される。
図9Aに示すように、デバイス900は、顔認証導入インタフェース905を表示する。いくつかの実施例では、顔認証導入インタフェース905は、図7Sに関連して上述した顔認証チュートリアルインタフェース732に類似している。例として、顔認証導入インタフェース905は、顔グラフィック902を含み、顔グラフィック902は、任意選択的に、顔認証チュートリアルインタフェース732に関して上述したグリフ720と同じ又は類似である。追加又は別法として、デバイス900はまた、任意選択的に、成功状態命令進度メータ907を表示し、成功状態命令進度メータ907は、任意選択的に図7P〜7Qの成功状態命令進度メータ744と同じ又は類似である。顔認証導入インタフェース905はまた、開始ボタン904(例えば、開始アフォーダンス)を含む。図9Aに示すように、デバイス900は、開始アフォーダンス904のアクティブ化(例えば、選択)を検出する。例えば、アクティブ化は、任意選択的に、開始アフォーダンス904上の接触面積906でのユーザ入力である。このユーザ入力は、いくつかの状況では、顔認証設定の開始(例えば、顔登録の開始)を求める要求に対応する。
いくつかの例では、開始ボタン904のユーザ選択を検出したことに応じて、デバイス900は、図9Bに示すように、顔位置合わせインタフェース908を表示する。顔位置合わせインタフェース908は、位置決め要素910を含み、位置決め要素910は、フレーミング円又はブラケットであり、いくつかの例では、位置合わせ境界を示す。いくつかの例では、位置決め要素910は、内側ディスプレイ部分912及び外側ディスプレイ部分914を特定する。いくつかの例では、電子デバイスは、所定の態様で内側ディスプレイ部分912内に実質上位置決めされたとき、ユーザの生体特徴が適切に位置合わせされていると判定する。いくつかの例では、位置決め要素910は、内側ディスプレイ部分912を外側ディスプレイ部分914から区切る。概して、いくつかの状況では、ユーザの画像の一部分が外側ディスプレイ部分914内に見えるようにユーザの顔が生体センサ903に対して位置決めされた場合、ユーザの顔は、カメラと適切に位置合わせされない。したがって、顔位置合わせインタフェース908はまた、自身の顔を位置決め要素910の内側(例えば、内側ディスプレイ部分912内)に位置決めするようにユーザに命令する文字プロンプト916を含む。
図9Cを参照すると、いくつかの例では、位置合わせプロセス中、ユーザは、電子デバイス900を実質上ユーザの顔917の前に位置決めする。いくつかの例では、ユーザは、顔が生体センサ903の視野に入るように、デバイス900を自身の顔とほぼ同じ高さで保持する。
図9Dに示すように、ユーザが位置合わせプロセスを開始した後、デバイスは、顔位置合わせインタフェース908を表示する(ユーザは、任意選択的に、アフォーダンス904をアクティブ化することによって登録プロセスを開始することに留意されたい)。顔位置合わせインタフェース908は、生体センサ903によってキャプチャされた画像データのプレビューを示すデジタルビューファインダを含む。いくつかの実施例では、画像データのプレビューは、これらのカメラの視野が変化するにつれて(例えば、デバイス900が動いた場合又はユーザがカメラのより近く/カメラからより遠くへ動いた場合)連続して更新される(例えば、時間とともに変化する)ライブプレビューである。デジタルビューファインダは、ユーザ顔画像918、並びにカメラの視野上にスーパーインポーズされた位置決め要素910を含む。上述したように、位置決め要素910は、内側ディスプレイ部分912を周囲の外側ディスプレイ部分914から区切る。内側ディスプレイ部分912(ユーザ顔画像918が位置決めされる)と外側ディスプレイ部分914との間の更なる視覚的な分離を提供するために、デバイス900は、図9Dに示すように、外側ディスプレイ部分914を視覚的に不明瞭化する(例えば、網掛けする、暗色にする、又はぼかす)。
概して、認証のためのユーザの顔特徴の適切な登録には、所定の態様でかつ/又はデバイス900のカメラから所定の距離範囲内にユーザの顔を位置決めすることが必要である。いくつかの例では、ユーザの顔とデバイス900のカメラとの位置合わせには、ユーザがデバイスに近すぎないこと又はデバイスから遠すぎないことが必要である。したがって、電子デバイス900が、ユーザの顔が近すぎる又は遠すぎると判定した場合、電子デバイスは、デバイス900から許容できる距離(例えば、20〜40mm)をあけて自身の顔を位置決めするようにユーザに命令する文字プロンプト920を顔位置合わせインタフェース908内に表示する。図9Dの例では、デバイス900は、ユーザの顔がデバイス上のカメラから遠すぎる(例えば、ユーザ顔画像918が位置決め要素910内にあるが、内側ディスプレイ部分912を実質上埋めていない)ことを検出する。いくつかの例では、電子デバイスは、ユーザが自身の顔をデバイスのより近くへ動かすことを促す。いくつかの例では、デバイスは、オーディオ出力922(例えば、一連のビープ又は他のオーディオ出力)及び触知出力924(例えば、一連の振動又は他の触知出力)などの1つ以上の出力を生成して、不適切な位置合わせをユーザに通知する。いくつかの実施例では、オーディオ出力922及び/又は触知出力触知出力924は、デバイス900とユーザの顔との間の距離に基づいて変化する大きさ及び繰返し率(例えば、回数)を有する。例えば、出力の回数及び/又は大きさは、任意選択的に、ユーザの顔がデバイスからの許容できる距離範囲(例えば、20〜40mm)のより近くへ動くにつれて増大する。逆に、出力の回数及び/又は大きさは、任意選択的に、ユーザの顔が許容できる距離範囲からより遠くへ動くにつれて減少する。この場合、デバイス900は、ユーザの顔と生体センサ903との間の距離の変化を検出するにつれて、オーディオ出力922及び/又は触知出力触知出力924の回数及び/又は大きさを連続して変化させる(例えば、更新する)。いくつかの実施例では、デバイス900は、ユーザの顔がデバイスからの許容できる距離範囲の外側にある限り、これらの出力を提供する。いくつかの実施例では、オーディオ出力922及び触知出力924は、ディスプレイ701上の対応する視覚出力を伴う。これらの進行中のオーディオ、触知、及び/又は視覚出力は、任意選択的に、ユーザが自身の顔とカメラをどのように正確に位置合わせするかに関して直感的なヒントを提供し、成功した顔の位置合わせを実行するために必要とされる時間を低減させる。
図9Eは、ユーザの顔がデバイス900に近すぎるところに位置決めされた(例えば、ユーザ顔画像918の大部分が外側ディスプレイ部分914内に入る)場合の顔位置合わせインタフェース908を示す。この場合、位置合わせインタフェース908はまた、デバイス900から許容できる距離をあけて自身の顔を位置決めするようにユーザに命令する文字プロンプト920を含む。いくつかの例では、電子デバイスは、自身の顔をデバイスのより近くへ動かすようにユーザに命令する。図9Dに関連して上述したように、デバイス900は、任意選択的に、ユーザの顔がカメラに近すぎていることを検出したことに応じて、進行中のオーディオ出力922及び/又は触知出力触知出力924を生成する。特に、デバイス900は、ユーザの顔とカメラとの間の距離の変化を検出するにつれてこれらの出力の回数及び/又は大きさを変化させる。
図9Fは、ユーザの顔がデバイス900から許容できる距離をあけて位置決めされているが、フレームから外れている(例えば、右又は左に向きすぎている)場合の顔位置合わせインタフェース908を示す。例えば、顔918は、任意選択的に、顔918の大部分が外側ディスプレイ部分914内で位置決め要素910の外側に位置するように位置決めされている。この場合、デバイス900は、任意選択的に、自身の顔を位置決め要素910内に位置決めするように(例えば、ユーザ画像918が内側ディスプレイ区域912内に表示されるように)ユーザに命令する文字プロンプト926を位置合わせインタフェース908上に表示する。
図9G〜9Lを参照すると、いくつかの例では、電子デバイス900は、ユーザの顔が電子デバイスに対して所定の角度範囲の外側に位置決めされていると判定したことに応じて、顔位置合わせインタフェース908を表示する。図9Gに示すように、電子デバイス900は、電子デバイスに対して低い角度で位置決めされ(例えば、電子デバイスは、ユーザの顎と位置合わせされる)、それにより電子デバイスは、適切に入手する(例えば、生体データをキャプチャする)ことができない。図9Hを参照すると、電子デバイス900が所定の角度範囲の外側に位置すると判定したことに応じて、電子デバイス900は、内側ディスプレイ部分912及び外側ディスプレイ部分914など、顔位置合わせインタフェース908の少なくとも一部分をぼかす。いくつかの例では、電子デバイスは、自身の顔を位置決め要素910内に位置決めするように(例えば、ユーザ画像918が内側ディスプレイ区域912内に適切な角度で表示されるように)ユーザに命令するプロンプト986を更に出力する。図9I及び図9Kで、ユーザは、電子デバイスが所定の角度範囲に入るまで、デバイス900を持ち上げる。図9J及び図9Kを参照すると、ユーザが電子デバイスを持ち上げるにつれて、電子デバイス900は、表示される要素のぼかしを漸進的に減少させる。このようにして、電子デバイスは、ユーザに対する電子デバイスの角度が許容できる角度範囲に接近しつつあることをユーザに示す。いくつかの例では、電子デバイスはユーザに対して高すぎ、したがって電子デバイスが所定の角度範囲に入らない。上述した例と同様に、電子デバイスは、任意選択的に、電子デバイスがユーザに対して動くにつれて表示オブジェクトのぼかしを減少又は増大させる。
いくつかの例では、デバイスが、位置合わせエラーが所定の時間にわたって残っていることを検出した場合、デバイス900は、任意選択的に、図9Gに示すように、顔位置合わせインタフェース908上にアクセシビリティオプションアフォーダンス928を表示する。例えば、デバイス900は、任意選択的に、位置合わせを開始した後(例えば、開始ボタン904が選択された後)所定の時間にデバイスから許容できる距離及び/又は位置決め要素内でユーザの顔を検出しない場合、アクセシビリティオプションアフォーダンス928を表示する。いくつかの実施例では、所定の時間量は、任意選択的に、10秒、15秒、30秒、又は任意の他の適した時間量である。同様に、デバイス900は、任意選択的に、特定の回数の登録試行が失敗した後、アクセシビリティオプションアフォーダンスを表示する。以下でより詳細に論じるように、デバイス900は、任意選択的に、追加のオプション若しくはヒントを表示し、かつ/又はアクセシビリティオプションアフォーダンス928の選択を検出したことに応じて、代替顔登録プロセスを開始する。いくつかの実施例では、アクセシビリティオプションアフォーダンス928のアクティブ化は、ユーザが位置合わせエラーを最初に補正することなく生体登録を進めることを有効化する。
概して、本明細書に記載する顔認証方法に対する顔特徴登録の品質は、ユーザの顔データがキャプチャされる照明状態に少なくとも部分的に依存する。例えば、ユーザの顔上での強いバックライト又は直接露出は、いくつかの状況では、登録の品質に悪影響を及ぼす。図9Hを次に参照すると、劣悪な照明状態を検出したことに応じて、デバイス900は、任意選択的に、劣悪な照明であることをユーザに示す文字プロンプト930を位置合わせインタフェース908上に表示する。文字プロンプト930は、任意選択的に、オーディオ、視覚、及び/又は触知出力932を伴う。出力932は、任意選択的に、上記で論じた位置合わせエラーに関連して説明した出力922及び/又は924と同じである。いくつかの実施例では、出力はエラー特有である。したがって出力932は、任意選択的に、出力922及び924とは異なるオーディオ、視覚、及び/又は触知出力である。
概して、顔特徴登録の品質はまた、デバイス900の1つ以上のカメラ(例えば、生体センサ903)に対してユーザの顔が向けられる角度に部分的に依存する。特に、デバイス900の1つ以上の光センサは、ユーザの顔の画像データを特定の角度又は所定の角度範囲内でキャプチャすることができなければならない。ユーザの顔が上述した許容できる距離範囲内にある場合でも、顔認証登録は、デバイス900がユーザの顔より上に高すぎて又はユーザの顔より下に離れすぎて位置決めされた場合、悪影響を受ける可能性がある。したがって、いくつかの実施例では、デバイス900は、位置合わせに成功した状態を検出するとき、ユーザの顔がそのカメラのうちの1つ以上に対して所定の角度範囲内に位置決めされることを必要とする。
いくつかの実施例では、デバイス900は、ユーザの顔が生体センサ903に対してこの所定の角度範囲の外側にあることを検出したことに応じて、位置合わせインタフェース908のデジタルビューファインダ内に表示される画像データをぼかす。いくつかの例では、ぼかしの量は、任意選択的に、カメラに対するユーザの顔の検出された仰角と、所定の角度範囲を定める1つ以上の閾値角度との間の差に依存する。例えば、デバイス900は、デバイス900がユーザの顔に対して高く又は低く位置決めされればされるほど、プレビュー画像をより大きい程度にぼかす。デバイス900が、そのカメラをユーザの顔のより近くへ位置合わせする仰角の変化を検出した場合、デバイス900は、任意選択的に、仰角が(例えば、連続する勾配で)変化するにつれてぼかしの量を少なくする。いくつかの実施例では、デバイス900とユーザの顔との間の仰角がアクティブに変化している(例えば、ユーザが自身の顔に対してデバイス900を動かしている)場合、プレビュー画像はぼかされない。ぼかしは、任意選択的に、デバイス900が、ユーザの顔とそのカメラのうちの1つ以上との間の角度が設定時間期間(例えば、1秒、2秒、5秒、又は任意の適した時間期間)にわたって所定の角度範囲の外側にあると判定するまで遅延される。いくつかの実施例では、プレビュー画像の一部分(例えば、外側ディスプレイ部分914)のみがぼかされ、他の実施例では、任意選択的に、プレビュー画像全体がぼかされる。このようにしてプレビュー画像をぼかすことで、任意選択的に、ユーザがデバイス900を自身の顔に対して所望の角度でより迅速に位置決めすることを促し、この位置合わせプロセス中に費やされる時間量を低減させる。いくつかの実施例では、デバイス900は、任意選択的に、触知及び/又は出力を生成して、自身の顔が生体センサ903に対して適した角度で位置決めされていることをユーザに通知する。
図9Nで、ユーザの顔は、生体センサ903に対して適切に位置決めされている。この場合、顔918は、実質上位置合わせ要素910及び内側ディスプレイ部分912内に表示される。図9Nに示すように、顔918はまた、内側ディスプレイ部分912の大部分を占有し、ユーザの顔がデバイス900からの距離の閾値範囲内にあることを示す。前述の位置合わせ基準を満たす顔を検出したことに応じて、デバイス900は、オーディオ出力934及び触知出力936を発行して、ユーザの顔とカメラとの位置合わせの成功を知らせる。概して、出力934及び936は、位置合わせエラーを検出したことに応じて発行される出力922、924、及び932とは異なる。いくつかの実施例では、デバイス900は、カメラとの位置合わせに成功したとき、ユーザの顔の1つ以上の画像をキャプチャ及び記憶する。
いくつかの例では、位置合わせの成功を検出した後、デバイス900は、顔918が表示されている内側ディスプレイ部分912を視覚的に強調する。図9Pの例では、デバイス900は、デジタルビューファインダプレビューのうち内側ディスプレイ部分912内(例えば、位置決め要素910内)にある部分を引き続き表示しながら、デジタルビューファインダプレビューの外側部分内の画像を暗転させ又は更にぼかすことによって、外側ディスプレイ部分914を更に不明瞭化する。いくつかの実施例では、デバイス900は、内側ディスプレイ部分912内の画像を拡大又はズームインすることによって、内側ディスプレイ部分912のコンテンツを更に視覚的に強調する。
いくつかの例では、デバイスは、位置決め要素910の外観を変化させることによって、内側ディスプレイ部分912を更に強調する。特に、デバイス900は、任意選択的に、図9Pに示すように位置合わせ要素の角を「丸くする」こと、及び/又は図9Qに示すように位置合わせ要素910の角を一体化して顔918を取り囲む円形の位置決め要素941にすることによって、位置合わせ要素の外観を変化させる。
図9Rの例を次に参照すると、上記で参照した位置合わせ基準が満たされるようにユーザの顔が向けられていることを検出したことに応じて、デバイス900は、顔登録インタフェース938を表示する(例えば、位置合わせインタフェース908の表示を置き換える)ことによって、顔認証登録プロセスを開始する。いくつかの実施例では、顔登録インタフェース938は、図7Sに関連して上述した顔認証登録インタフェース756又は図11Aに関連して後述する登録インタフェース1104に類似又は同一の視覚的特性を有する。図9Rの例では、顔登録インタフェース938は、位置決め要素941内に表示されたユーザ顔画像939を含む。図9Rの例では、ユーザ顔画像939は、生体センサ903によってキャプチャされた画像データのライブプレビューである。顔登録インタフェース938はまた、任意選択的に、ユーザ顔画像939及び位置決め要素941を取り囲む登録進度メータ940を含む。図7S及び図11A〜11Hに関連して上述したように、登録進度メータ940は、ユーザ顔画像939から放射状外方に延びる1組の進度要素(例えば、940a、940b、及び940c)から構成され、いくつかの例では、1組の進度要素は、ユーザ顔画像939を円形のパターンで囲む。顔登録インタフェース938は、任意選択的に、向きガイド942を含む。いくつかの例では、向きガイドは、ディスプレイ901の平面から仮想z次元に延びてユーザ顔画像939の中心を横切るように見える1組の曲線(例えば、十字線)を含む。いくつかの例では、向きガイドは、顔画像939は2次元であるがユーザの顔の3次元の向きの感覚を提供する。この場合、向きガイド942は、デバイス900に対するユーザの頭の回転及び/又は傾斜をより視覚的に明らかにすることによって、顔登録プロセスにおいてユーザを助ける。顔登録インタフェース938はまた、任意選択的に登録を実行するために例えば円の中で自身の頭の傾斜を開始するようにユーザに命令する文字プロンプト944を含む。
概して、登録プロセスが開始された後、デバイス900がユーザの顔に対して動きすぎた場合、登録の品質が減少される(例えば、デバイスは、ユーザがゆっくりと動きて自身の顔を回転/傾斜する間、静止したままであるべきである)。図9Sの例では、デバイス900は、ユーザの顔に対するその1つ以上のカメラの過度の動きを検出する。この過度の動きは、任意選択的に、デバイス自体の動きと一貫したデバイス900に対するユーザの顔の向き及び/又は位置の著しい変化であり、確実な位置合わせ及び/又は登録が妨げられる。応じて、デバイス900は、デバイスの動きを低減させるようにユーザに命令する(例えば、ユーザが登録プロセス中にデバイスを静止して保持することを促す)視覚プロンプト946を登録インタフェース938上で発行する。デバイス900はまた、任意選択的に、視覚及び/又は聴覚出力948を同時に生成する。いくつかの実施例では、デバイス自体の動きは、生体センサ903ではなく加速度計168によって測定される。デバイスの動きはまた、任意選択的に、デバイス900の磁気計、慣性測定ユニットなどによって測定される。
登録成功には、典型的には、登録プロセス全体にわたってデバイス900上のカメラに対するユーザの顔の位置合わせが維持されることが必要である。したがって、いくつかの例では、デバイス900は、任意選択的に、登録中に1つ以上の位置合わせエラーが検出された場合、顔登録プロセスを終了する。いくつかの例では、登録プロセス中、デバイス900が、1つ以上の位置合わせエラーを検出した場合、電子デバイスは、登録プロセスを終了し(例えば、顔登録インタフェース938の表示を止める)、位置合わせプロセスを開始し(例えば、遷移する)、位置合わせプロセスでは、任意選択的に、デバイスは、位置合わせインタフェース908−2を表示する。図9T〜9Uの例では、位置合わせインタフェース908−2及びその構成要素は、任意選択的に、図9B〜9Oに関して上述した初期位置合わせインタフェース908に類似又は同一の視覚的特性を有する。図9T〜Uの例では、デバイス900は、ユーザの顔がフレームの外にあると判定し、その結果、デバイス900は、図9Oに示す成功した位置合わせと比較すると位置をずらして、ユーザ顔画像918−2を内側ディスプレイ部分912−2内に表示する。いくつかの実施例では、デバイスは、ユーザ顔画像918−2が位置決め要素910内に適切に位置合わせされていないことを示す文字プロンプト950などの位置合わせエラーの通知を出力する。この例は単に例示的である。いくつかの実施例では、位置合わせエラーは、任意選択的に、上記で論じた他の位置合わせ基準(例えば、デバイスからの距離、向きの角度、劣悪な照明など)のうちのいずれかを満たすことに失敗したことである。そのような場合、文字プロンプト950は、デバイス及び/若しくは自身の顔を許容できる距離範囲内に動かし、又は向きの角度を補正するように、ユーザに命令する。他のいくつかの実施例では、位置合わせエラーは、任意選択的に、上記の基準とは異なり、したがって位置合わせのわずかな変化では、デバイスは顔登録プロセスを終了しない。1つ以上の位置合わせエラーを検出したことに応じて、デバイスは、図9Uに示すように、画像プレビューのうち外側ディスプレイ部分914−2内に表示される部分を見えるようにし、位置決め要素910−2を表示することによって、内側ディスプレイ部分912−2を視覚的に強調しなくなる。例えば、デバイス900は、外側ディスプレイ部分914−2内のプレビュー画像を明るくし又ははっきりさせて、ユーザが生体センサ903に対して自身の顔を再度位置合わせするのを助ける。図9Uの例では、内側ディスプレイ部分912−2を強調しなくなることで、ユーザ顔画像918−2の大部分が位置決め要素910−2の外側で外側ディスプレイ部分914−2内に位置決めされていることが明らかになる。
いくつかの実施例では、デバイス900は、ユーザの顔が生体センサ903と適切に位置合わせされていることを再び検出する。応じて、デバイス900は、位置合わせの成功を示すオーディオ出力934−2及び/又は触知出力936−2を出力する。いくつかの例では、オーディオ出力934−2及び触知出力936−2は、それぞれ図9Oを参照して説明したオーディオ出力934及び触知出力936と類似の特性を有する。いくつかの例では、デバイス900は次いで、登録プロセスを再開する。例えば、デバイス900は、図9P〜9Oの内側ディスプレイ部分912及び顔画像918−2に関して上記で論じた態様で、内側部分912−2及び顔画像918−2を強調する。いくつかの実施例では、デバイス900は、電子デバイスが位置合わせエラーを検出した時点(例えば、顔登録インタフェース938がもう一度表示され、登録進度メータ940が、位置合わせエラーが検出されたときと同じ状態に前進する)で、登録プロセスを再開する。
いくつかの例では、デバイスが、適切な位置合わせが所定の時間期間内に確立(例えば、再確立)されたことを検出しない場合、デバイス900は、図9Vに示すように、アクセシビリティオプションアフォーダンス928−2を表示する。いくつかの例では、アクセシビリティオプションは、後述するように、すべての位置合わせ状態が満たされていない状態で登録プロセスを進めるためのオプションを提供する。いくつかの実施例では、アクセシビリティオプションは、部分的な登録のみ(例えば、ユーザの顔の一部分のみのスキャン)によって生体(例えば、顔)認証を設定するためのオプションを提供する。
アクセシビリティオプションボタン928−2のアクティブ化(例えば、選択)(例えば、タップジェスチャ952による)を検出したことに応じて、デバイスは、図9Wに示すアクセシビリティ登録インタフェース954を表示する。アクセシビリティ登録インタフェース954の1つ以上の特徴は、登録インタフェース938の対応する特徴に類似又は同一の視覚的特性を有する。例えば、図9Wで、顔登録インタフェース954は、位置決め要素941−2内に表示されたユーザ顔画像939−2を含む。いくつかの実施例では、ユーザ顔画像939−2は、生体センサ903−2によってキャプチャされた画像データのライブプレビューである。アクセシビリティ登録インタフェース954はまた、任意選択的に、ユーザ顔画像939−2及び位置決め要素941−2を取り囲む登録進度メータ940−2を含む。図7S及び図11A〜11Hに関連して上述したように、登録進度メータ940−2は、ユーザ顔画像939−2から放射状外方に延びる1組の進度要素(例えば、940−2a、940−2b、及び940−2c)から構成され、いくつかの例では、1組の進度要素は、ユーザ顔画像939−2を円形のパターンで囲む。アクセシビリティ登録インタフェース954は、任意選択的に、向きガイド942−2を含む。いくつかの例では、向きガイドは、ディスプレイ901の平面から仮想z次元に延びてユーザ顔画像939−2の中心を横切るように見える1組の曲線(例えば、十字線)を含む。顔登録インタフェース938と同様に、アクセシビリティインタフェース954は、任意選択的に、登録プロセスの完了に成功するための書かれた命令を提供する文字プロンプト(例えば、プロンプト956)を含む。いくつかの例では、アクセシビリティ登録インタフェース954はまた、完了アフォーダンス956を含み、完了アフォーダンス956のアクティブ化により、ユーザは、登録プロセスを終了し、自身の顔特徴の部分スキャンのみを使用する顔認証の設定に進むことが可能になる。いくつかの例では、部分スキャンは、いくつかの状況で、普通なら登録に必要とされるすべての方向にユーザが自身の頭を傾斜させることができない状態を有するユーザにとって有用である。
完了アフォーダンス956(例えば、図9Xに示すユーザ入力958)のアクティブ化(例えば、選択)に応じて、デバイスは、図9Yに示す顔登録確認インタフェース960を表示する。顔登録確認インタフェースは、顔画像939−3を含み、図9Yの例では、顔画像939−3は、ユーザ顔画像939−2に類似の視覚的特性を有する。顔画像939−3は、任意選択的に、図7P及び図7Qに関連して上述した認証成功状態で表示される登録進度メータ962によって取り囲まれる。顔登録確認インタフェースはまた、ユーザが集めた顔データをデバイス認証で使用するために登録することを可能にする部分スキャン登録アフォーダンス964を含む。顔登録確認インタフェース960はまた、ユーザがアクセシビリティ登録インタフェース954へ戻るようにナビゲートすることを可能にする戻るアフォーダンス966を含む。
図9Zに示すように、デバイスは、戻るアフォーダンス966のアクティブ化(例えば、選択)に対応するユーザ入力968を検出する。このユーザ入力を検出したことに応じて、デバイス900は、アクセシビリティ登録インタフェース954を(例えば、もう一度)表示する。アクセシビリティ登録インタフェース954を表示しながら、デバイス900は、生体センサ903に対するユーザの顔の動き(例えば、回転及び/又は傾斜)を検出する。図9AAの場合、デバイス900は、ユーザの顔が特定の方向(例えば、メータ部分970に向かって下及び/又は右)に傾斜したことを検出する。図11B〜11Hに関して更に詳細に後述するように、デバイス900は、検出された動きに基づいてユーザ顔画像939−2を更新し、向きガイド942−2の位置を更新して、ユーザの頭が3次元空間内で傾斜及び/又は回転したことを示す。ユーザの顔の動きを検出したことに応じて、デバイス900は、ユーザの顔の一部分(例えば、顔の左側)の画像データをキャプチャし、同時に登録進度メータ940−2の対応する部分(例えば、メータ部分970)の外観を変化させる。いくつかの実施例では、デバイス900は、メータ部分970内の1つ以上の進度要素を伸長させ、かつ/又はその色を変化させて、ユーザの顔のその部分が現在登録されつつあることを示す(図7I〜7K及び図11B〜11Hに関してより詳細に説明)。いくつかの実施例では、デバイス900は、メータ部分972がまだ登録されていない顔の向きに対応するため、メータ部分972の表示を維持する(例えば、外観を変化させない)。
図9ABに示すように、いくつかの例では、デバイス900は、その1つ以上のカメラに対するユーザの顔の向きの変化(例えば、ユーザの顔が上方へ傾斜したこと)を検出し、それに応じてユーザ顔画像939−2及び向きガイド942−2を更新する。例として、メータ部分972に対応する顔の向きでの画像データの登録に成功したため、デバイス900は、図11B〜Iに関して以下により詳細に説明するように、メータ部分972内の進度要素の状態を「登録済み」状態に遷移させる(例えば、進度要素の網掛け又は進度要素の色及び/若しくは線の幅の変化による)。図9ABに示すように、デバイス900は、完了アフォーダンス956のアクティブ化(例えば、選択)(例えば、ユーザ入力958−2による)を再び検出する。
完了アフォーダンス956のアクティブ化を検出したことに応じて、デバイス900は、図9ACに示すように、顔登録確認インタフェース960の表示に戻る。ユーザの顔の一部分の登録に成功したため、デバイス900は、例えばユーザ顔画像939−3に近接して、登録成功インジケータ974を表示する。図9ACの例では、登録成功インジケータ974は、登録に成功したユーザの顔の向きを示す。いくつかの例では、登録成功インジケータ974は、円形のバーである。したがって、いくつかの例では、登録成功インジケータ974は、登録進度メータが登録中に成功状態に遷移した位置を示す(例えば、その場所に位置する)。
いくつかの例では、アクセシビリティ登録インタフェース960は、ユーザが自身の顔特徴の部分登録のみで顔認証を設定することを可能にするため、部分スキャン登録アフォーダンス964が選択可能である。図9ADに示すように、デバイス900は、部分スキャン登録アフォーダンス964のアクティブ化(例えば、選択)(例えば、ユーザ入力976による)を検出する。部分スキャン登録アフォーダンス964のアクティブ化を検出したことに応じて、デバイス900は、図9AEに示す登録完了インタフェース978を表示する。登録完了インタフェース978は、登録プロセスが完了し、顔認証が確実に設定されたことをユーザに示す文字プロンプト980を含む。登録完了インタフェース978は、任意選択的に、以前はユーザ顔画像939−3によって占有されていた場所に、概略的な顔グラフィック982を含む。いくつかの例では、登録完了インタフェース978はまた、完了アフォーダンスを含み、完了アフォーダンスのアクティブ化により、電子デバイスは顔認証設定を終了する。
図10は、いくつかの実施例に係る電子デバイスのディスプレイ上で生体特徴を位置合わせする方法を示す流れ図である。方法1000は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信無線機(例えば、Bluetooth接続、WiFi接続、4G LTE接続などのモバイルブロードバンド接続)を有するデバイス(例えば、100、300、500、900)で実行される。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つのカメラのみを含む。いくつかの例では、デバイスは、1つ以上の生体センサを含み、生体センサは、任意選択的に、赤外線カメラ、サーモグラフィカメラ、又はこれらの組合せなどのカメラを含む。いくつかの例では、デバイスは、IRフラッドライト、構造化光投影器、又はこれらの組合せなどの発光デバイスを更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照らすために使用される。方法1000のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法1000は、電子デバイスのディスプレイ上で生体特徴を位置合わせする直感的な様態を提供する。この方法は、デバイス上で生体特徴を登録するためにユーザにかかる認識的負担を低減させ、それによってより効率的な人間−機械インタフェースを作成する。バッテリ動作コンピューティングデバイスの場合、ユーザが生体特徴をより高速かつ効率的に登録することを有効化することで、電力を節約し、電池充電間の時間を増大させる。
デバイスは、ディスプレイ上に第1のユーザインタフェース(例えば、905)を表示する(1002)。例えば、第1のユーザインタフェースは、任意選択的に、方法800に関して上述したように、登録導入ユーザインタフェースである。
第1のユーザインタフェースを表示しながら、デバイスは、生体特徴(例えば、917)のそれぞれのタイプを登録する生体登録プロセスを開始したことに対応する状態の出現を検出する(1004)。例えば、状態の出現は、任意選択的に、「登録を開始する」ことを求める要求に対応する入力(例えば、開始アフォーダンス904上の906)である。
生体登録プロセスを開始したことに対応する状態の出現(例えば、登録の開始を選択するユーザ入力)を検出したことに応じて、デバイスは、1つ以上のカメラ(例えば、903)によってキャプチャされた画像データ(例えば、ユーザ顔画像918)のプレビューを含むデジタルビューファインダ(例えば、ディスプレイ部分912及び914)をディスプレイ上に表示する(1006)。いくつかの実施例では、画像データのプレビューは、1つ以上のカメラの視野の第1の部分(例えば、視野の外側部分914)と、1つ以上のカメラの視野の第2の部分(例えば、視野の内側部分912)とを含む。いくつかの実施例では、視野の第2の部分(例えば、914)は、視野のうち視野の第1の部分(例えば、912)を囲む(又は部分的に囲む)部分である(1008)。いくつかの実施例では、視野の内側部分は、任意選択的に、位置合わせ要素(例えば、位置決め要素910)によって外側部分から分割される。いくつかの実施例では、画像データのプレビューは、任意選択的に、1つ以上のカメラ(例えば、903)の視野内のコンテンツが変化するにつれて時間とともに変化する。生体センサによってキャプチャされた画像のプレビューを表示することで、デバイスの生体センサに対する自身の生体特徴の位置及び向きに関するフィードバックをユーザに提供し、ユーザが自身の生体特徴をセンサとより迅速かつ効率的に適切に位置合わせすることを有効化する。改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、画像データのプレビューとともに、プレビュー(例えば、912)のうち生体登録を進めるためにユーザの顔(例えば、918)を配置するべきである部分を示す位置合わせ要素(例えば、位置決め要素910)を同時に表示する(1010)。例えば、位置合わせ要素は、任意選択的に、ユーザがデバイス又は自身の顔を動かしてプレビュー画像の中心部分と位置合わせすることを促すために、プレビュー画像(例えば、912)の中心部分内に表示されるフレーミング円又はフレーミングブラケットである。デジタルビューファインダの特定の部分をフレームに入れる位置合わせ要素を表示することで、生体センサの視野のうち生体特徴の適切な位置合わせに対応する部分に対する自身の生体特徴の位置に関するフィードバックをユーザに提供する。これは、ユーザが自身の生体特徴をセンサに対してより迅速かつ効率的に適切に位置決めすることを有効化する。改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、生体登録プロセスを開始した後(1012)、デバイスは、位置合わせ基準を満たすそれぞれのタイプの生体特徴(例えば、917)が1つ以上のカメラ(例えば、903)の視野内で検出されたかどうかを判定する(1014)。ユーザの生体特徴が生体センサと適切に位置合わせされているかどうかを判定することで、生体特徴の特定の部分及び/又は向きに対応する画像データが登録中にキャプチャされることを確実にすることによって、後続の生体登録(例えば、方法1200及び/又は1400に係る)の品質を改善する。これは、デバイスがユーザの生体特徴をデバイスでの生体認証中にキャプチャされたデータと一致させる能力を改善する。1組の状態が満たされているとき、更なるユーザ入力を必要とすることなく、最適化された動作を実行することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、位置合わせ基準を満たすそれぞれのタイプの生体特徴(例えば、917)を検出したことに応じて(1016)、デバイスは、第1のタイプの触知出力(例えば、934、936、934−2、936−2、例えば触知出力は位置合わせの成功に対応する出力である)を出力する(1018)。生体特徴が生体センサと適切に位置合わせされたことを検出したときに触知出力を発行することで、位置合わせの成功を示すフィードバックをユーザに提供し、ユーザが後続の生体登録プロセス(例えば、方法1200及び/又は1400)全体にわたって生体特徴をその位置合わせで維持することを促す。改善された触知フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、生体登録中にユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、位置合わせ基準を満たすそれぞれのタイプの生体特徴を検出したことに応じて(1016)、デバイスは、生体特徴(例えば、917)に対応する画像データを記憶する(1020)。いくつかの実施例では、位置合わせに成功したとき、デバイスは、生体特徴に関連付けられたデータをキャプチャする。生体特徴の位置合わせの成功を検出したことに応じて生体(例えば、画像)データを記憶することで、デバイスが後続の生体許可の試行中に参照されるデータを自動的にキャプチャすることが可能になる。1組の状態が満たされているとき、更なるユーザ入力を必要とすることなく、最適化された動作を実行することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、位置合わせ基準は、生体特徴(例えば、917)の少なくとも一部分が1つ以上のカメラの視野の第1の部分(例えば、内側ディスプレイ部分912、912−2)内にあるという要件を含む(1024)。例えば、いくつかの実施例では、電子デバイスは、画像データが位置合わせ基準を満足させる生体特徴に対応するデータを含むかどうかを判定する。いくつかの実施例は、位置合わせ基準は、照明状態基準を含む(1050)。いくつかの実施例では、位置合わせ基準は、電子デバイスの照明状態が生体特徴の登録中に画像データをキャプチャするのに十分であることを必要とし、少なくとも第1の閾値光量が検出されること、及び/又は第2の閾値光量以下の光量が検出されること(例えば、903による)という要件を含む。
いくつかの実施例では、位置合わせ基準は、生体特徴の一部分(例えば、917の一部分)が電子デバイスに対して所定の態様で向けられているという要件を含む(1052)。生体特徴がユーザの顔である例では、位置合わせ基準は、任意選択的に、ユーザの凝視が電子デバイスの1つ以上のカメラ(例えば、903)又は電子デバイスのディスプレイ(例えば、901)のうちの少なくとも1つの方へ誘導されるという要件を含む。いくつかの実施例では、生体特徴の一部分(例えば、ユーザ顔画像918の一部分)が電子デバイスに対して所定の態様で向けられているという要件は、生体特徴(例えば、917)が1つ以上の生体センサ(例えば、903)に対して閾値角度(例えば、仰角)内に位置決めされるという要件である。いくつかの実施例では、位置合わせ基準は、生体センサが特定の角度又は角度範囲内で生体特徴に対応する生体データをキャプチャすることができるように、生体特徴(例えば、917)が生体センサ(例えば、903)に対して所定の態様で位置決めされることを必要とする。いくつかの例では、デバイスは、例えば生体特徴(例えば、917)が1つ以上の生体センサ(例えば、903)に対する所定の角度範囲から外れる程度に基づいて、電子デバイスのディスプレイ(例えば、ディスプレイ部分912及び/又は914)をぼかす。
いくつかの実施例では、位置合わせ基準は、生体特徴(例えば、917)が1つ以上の生体センサ(例えば、903)から第1の閾値距離内にある(例えば、生体特徴が生体センサから遠すぎない)という要件と、生体特徴が1つ以上の生体センサから第2の閾値距離内にない(例えば、生体特徴が生体センサに近すぎない)という要件(1026)とを含む(1042)。
いくつかの実施例では、生体特徴(例えば、917)が電子デバイスからの所定の距離範囲内にない電子デバイスからの第1の距離をあけている間に、デバイスは、1つ以上のカメラ(例えば、903)によって、第1の距離から、電子デバイスから所定の距離範囲内にない電子デバイスからの第2の距離への生体特徴(例えば、917)の距離の変化を検出する(1044)。距離の変化を検出したことに応じて、デバイスは、所定の距離範囲からの生体特徴の距離に基づいて変動する出力特性(例えば、大きさ若しくは振幅又は回数若しくは繰返し率)の値を有する出力(例えば、オーディオ、触知、及び/又は視覚出力922、924)を生成する(1046)。いくつかの実施例では、電子デバイスは、生体特徴(例えば、917)と電子デバイスとの間の距離が電子デバイスからの標的距離(又は距離範囲)に接近するにつれて増大する回数を有する進行中のオーディオ出力(例えば、924、例えば一連のビープ)を発行する。例えば、ビープ率は、任意選択的に増大する。逆に、オーディオ出力(例えば、922)の回数は、任意選択的に、生体特徴と電子デバイスとの間の距離が電子デバイスからの標的距離(又は距離範囲)からより遠くへ動くにつれて減少する。例えば、ビープ率は、任意選択的に減少する。いくつかの実施例では、触知出力(例えば、出力924)又は視覚出力によって、類似のフィードバックが生成される。生体特徴とデバイスとの間の距離に基づいて変動するオーディオ、触知、及び/又は視覚出力を発行することで、適切な位置合わせに対応する生体センサからの距離範囲に対する自身の生体特徴の位置に関する進行中のフィードバックをユーザに提供する。これは、位置合わせインタフェースが表示される時間量を低減させ、位置合わせプロセス中に必要とされるユーザ入力の数を低減させる。したがって、改善されたオーディオ、触知、及び/又は視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
生体登録プロセスを開始した後、位置合わせ基準を満たすそれぞれのタイプの生体特徴(例えば、917)が1つ以上のカメラ(例えば、903)の視野内で検出されたという判定に従って(1022)、デバイスは、1つ以上のカメラの視野の第1の部分(例えば、図9Jの内側ディスプレイ部分912)を、1つ以上のカメラの視野の第2の部分(例えば、図9Jの外側ディスプレイ部分914)に対して強調する(1028)(例えば、1つ以上のカメラの視野の第1の部分を暗色にし、ぼかし、かつ/又は暗転させることなく、視野の第2の部分を暗色にし、ぼかし、かつ/又は暗転させる)。例えば、位置合わせ基準は、ユーザの顔(例えば、917)が所定の位置合わせでカメラ(例えば、903)と位置合わせされること、又はユーザの目が所定の位置合わせでカメラと位置合わせされるという要件を含む。ユーザの生体特徴と生体センサとの位置合わせの成功を検出したとき、ディスプレイの一部分を強調する視覚作用を提供することで、ユーザは、自身の生体特徴の現在の位置が後続の生体登録プロセス(例えば、方法1200及び/又は1400に係る)にとって最適であることを迅速に認識する可能になる。1組の状態が満たされているとき、更なるユーザ入力を必要とすることなく、改善された視覚フィードバックを提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、デジタルビューファインダのうち1つ以上のカメラ(例えば、903)の視野の第2の部分(例えば、図9Jの914)に対応する部分を暗色にする(1030)。このようにして暗色にすることは、デジタルビューファインダのうち視野の第2の部分に対応する部分を減光し又はその部分の輝度を下げることを含む。
いくつかの実施例では、デバイスは、デジタルビューファインダのうち1つ以上のカメラの視野の第2の部分(例えば、第2のディスプレイ部分914)に対応する部分の表示を止める(1032)。例えば、ビューファインダのうち視野の第2の部分に対応する部分の表示を止めることは、視野の第2の部分を暗転させること、及び/又は視野の第2の部分の表示を他のコンテンツの表示に置き換えることを含む。
いくつかの実施例では、デバイスは、ディスプレイ上で1つ以上のカメラの視野の第1の部分(例えば、内側ディスプレイ部分912)の表示を拡大する(1034)。いくつかの実施例では、第1の部分の表示を拡大することは、視野の第1の部分の一部又はすべての表示を拡大することを含む。いくつかの実施例では、視野の第1の部分の表示を拡大することは、視野の第1の部分をズームインすることを含む。いくつかの実施例では、1つ以上のカメラの視野の第1の部分(例えば、912)を、1つ以上のカメラの視野の第2の部分(例えば、914)に対して強調することは、第1の部分の一部又はすべてを縮小し又は隠すことを含む。いくつかの実施例では、デバイスは、第1の部分の表示を拡大する前に第1の部分を縮小し、かつ/又は第1の部分の表示を拡大した後に第1の部分を縮小する(例えば、ズームイン及びズームアウト作用を提供するため)。
いくつかの実施例では、デバイスは、位置合わせ要素(例えば、910)を修正する(1036)。例えば、いくつかの実施例では、位置合わせ要素を修正することは、位置合わせ要素を除去することを含む。いくつかの実施例では、位置合わせ要素を修正することは、位置合わせ要素の形状及び/又は色を変化させること(例えば、図9J〜9Kの910から910−2へ)を含む。例えば、デバイスは、位置合わせ要素の形状を第1の形状から第2の形状へ修正する(1038)。いくつかの実施例では、第1の形状は実質上長方形であり、第2の形状は実質上円形である(1040)。別法として、第1の形状及び/又は第2の形状は、任意選択的に、任意の他の形状又は形状の一部である。いくつかの実施例では、形状は、任意選択的に、セグメント化された長方形(例えば、1つ以上の辺の一部分を欠損している長方形)などのセグメント化された形状である。
いくつかの実施例では、1つ以上のカメラの視野の第1の部分(例えば、912)を、1つ以上のカメラ(例えば、903)の視野の第2の部分(例えば、914)に対して強調した後、デバイスは、位置合わせ基準を満たすそれぞれのタイプの生体特徴(例えば、917)が1つ以上のカメラの視野内で検出されなくなったことを検出する(1054)。位置合わせ基準を満たすそれぞれのタイプの生体特徴が1つ以上のカメラの視野内で検出されなくなったことを検出したことに応じて、デバイスは、位置合わせエラー(例えば、950)の通知を出力する。例えば、補正可能なエラーの場合、デバイスは、エラーを特定し、ユーザがそのエラーを補正することを促す。補正不能なエラーの場合、デバイスは、エラーを特定するだけである。エラーは、文字及び触知出力(例えば、950、924、925)によって特定される。いくつかの実施例では、エラーは、アクセシビリティの目的で提供されるものなどの聴覚出力を使用して特定される。いくつかの実施例では、生体特徴が1つ以上のカメラの視野内で検出されなくなったことを検出する基準は、生体特徴が位置合わせ基準を満たすと判定する基準と同じである。いくつかの実施例では、位置合わせ基準は、生体特徴が1つ以上のカメラの視野内で検出されなくなったことを検出する基準とは異なる(例えば、生体特徴が1つ以上のカメラと位置合わせされた後、生体特徴は、デバイスが生体登録プロセスを終了して位置合わせエラーの通知を出力しない状態で、わずかに位置合わせからずれる可能性がある)。ユーザの生体特徴が生体センサと位置合わせされなくなったという通知を出力することで、自身の生体特徴の位置及び/又は向きが以前に確立された位置合わせから逸脱していることをユーザが迅速に認識することを可能にするフィードバックを提供する。このフィードバックは、ユーザが自身の生体特徴の位置を迅速に変えて生体センサとの適切な位置合わせを再確立することを促し、位置合わせユーザインタフェースが表示される時間量を低減させ、これらの位置合わせユーザインタフェースで必要とされる入力数を低減させ、生体特徴の登録の品質を改善する。したがって、改善されたオーディオ、触知、及び/又は視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、位置合わせエラーの通知を出力することは、第2のタイプの触知出力(例えば、951)を出力することを含む(1056)。例えば、触知出力は、成功した位置合わせの損失に対応する出力である。いくつかの実施例では、触知出力はエラー特有であり、いくつかの実施例では、追加又は別法として、聴覚出力が提供される。
いくつかの実施例では、位置合わせエラーの通知を出力することは、1つ以上のカメラの視野の第1の部分(例えば、912−2)を1つ以上のカメラの視野の第2の部分(例えば、914−2)に対して強調しなくなることを含む(1058)。例えば、デバイスは、任意選択的に、1つ以上のカメラの視野の第1の部分に対して視野の第2の部分を明るくし、はっきりさせ、かつ/又は明らかにする。いくつかの実施例では、電子デバイスは、視野の第2の部分を明るくしてはっきりさせ、第1の部分を第2の部分に対して強調しなくなる。いくつかの実施例では、位置合わせエラーを受信した後、生体特徴(例えば、917)の位置合わせに成功した場合、デバイスは、位置合わせエラーの通知を出力する前に登録プロセスが行われていたところから生体登録プロセスを再開する(例えば、位置合わせエラーが検出された時点までの登録進度が保存される)。いくつかの実施例では、登録進度を示す進度インジケータ(例えば、940)は、位置合わせエラーの通知が出力されたときに消えるが、生体特徴が1つ以上の生体センサと適切に位置合わせされたときに再表示される(例えば、940−2)。いくつかの場合、進度インジケータが再表示されるとき、進度インジケータは、位置合わせエラーの通知を出力する前に生体特徴を登録するときに形成された進度の通知を含む。位置合わせエラーを検出したときに表示の一部分を強調しなくなる視覚作用を提供することで、ユーザは、自身の生体特徴の位置及び/又は向きが以前に確立された位置合わせから逸脱していることを迅速に認識することが可能になる。このフィードバックは、ユーザが自身の生体特徴の位置を迅速に変えて生体センサとの適切な位置合わせを再確立することを促し、位置合わせユーザインタフェースが表示される時間量を低減させ、これらの位置合わせユーザインタフェースで必要とされる入力数を低減させ、後続の生体特徴の登録(例えば、方法1200及び/又は1400に係る)の品質を改善する。1組の状態が満たされているとき、更なるユーザ入力を必要とすることなく、改善された視覚フィードバックを提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、位置合わせエラーが第1のタイプの位置合わせエラーである(例えば、生体特徴が電子デバイスから遠すぎる又は電子デバイスに近すぎる)という判定に従って(1062)、デバイスは、第1のタイプの位置合わせエラーを補正するように生体特徴を動かすためのプロンプト(例えば、920)を出力する(1060)(例えば、表示する)。例えば、デバイスは、ユーザがそれぞれ電子デバイスのより近くへ動き又は電子デバイスからより遠くへ動くことを促す。
いくつかの実施例では、位置合わせエラーが第2のタイプの位置合わせエラーである(例えば、生体特徴が視野の第1の部分の外にある)という判定に従って(1062)、デバイスは、第2のタイプの位置合わせエラーを補正するように生体特徴を動かすためのプロンプト(例えば、950)を出力する(1064)(例えば、表示する)。例えば、デバイスは、ユーザが生体特徴を視野の第1の部分内へ動かすことを促す。この場合、デバイスは、第1のタイプの位置合わせエラーを補正するように生体特徴を動かすためのプロンプト(例えば、926)を出力するのを取り止める(1068)。いくつかの実施例では、位置合わせエラーが第2のタイプの位置合わせエラーであると判定したことに応じて、視野の第2の部分(例えば、914−2)が修正される(例えば、ぼかされる)。
例えば、第1のタイプの位置合わせエラーは、生体特徴の一部分(例えば、939、918−2に示す917の一部分)が視野の第1の部分(例えば、912、912−2)の外側に向けられることである(1074)。この場合、デバイスは、ユーザが第1のタイプの位置合わせエラーを補正することを促すために、生体特徴のこの部分を視野の第1の部分内へ動かすためのプロンプト(例えば、950)を出力する(1076)。位置合わせエラーをどのように補正するかに関する命令を有するプロンプトを提供することで、適切な位置合わせを再確立して登録プロセスを進めるために、自身の生体特徴の位置をどのように変えるかをユーザが迅速に認識することを可能にするフィードバックを提供する。これは、デバイスが位置合わせインタフェースを表示する時間量を低減させ、これらの位置合わせインタフェースで必要とされるユーザ入力の数を低減させる。1組の状態が満たされているとき、改善された視覚フィードバックを提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
別の例では、第1のタイプの位置合わせエラーは、生体特徴(例えば、917)の一部分と1つ以上の生体センサ(例えば、903)との間の距離が閾値距離内にある(例えば、生体特徴が1つ以上の生体センサに近すぎる)ことである(1078)。この場合、デバイスは、ユーザが第1のタイプの位置合わせエラーを補正することを促すために、生体特徴を電子デバイスから離れる方へ動かすためのプロンプト(例えば、920)を出力する(1080)。
別の例では、第1のタイプの位置合わせエラーは、生体特徴(例えば、917)の一部分と1つ以上の生体センサ(例えば、903)との間の距離が閾値距離を超過する(例えば、生体特徴が1つ以上の生体センサから遠すぎる)ことである(1082)。この場合、デバイスは、ユーザが第1のタイプの位置合わせエラーを補正することを促すために、生体特徴を電子デバイスのより近くへ動かすためのプロンプト(例えば、920)を出力する(1084)。
別の例では、第1のタイプの位置合わせエラーは、1つ以上の生体センサ(例えば、903)に対する生体特徴(例えば、917)の角度が1つ以上の生体センサに対する所定の角度(例えば、仰角)の範囲外にあることである。例えば、生体特徴は、いくつかの状況では高すぎる。別の例では、1つ以上の生体センサは、いくつかの状況では低すぎる。この場合、デバイスは、1つ以上の生体センサに対する生体特徴の角度(例えば、仰角)を調整するために、生体特徴を動かすためのプロンプトを出力する。
いくつかの実施例では、第1のタイプのエラー状態が閾値時間期間にわたって残っているという判定に従って(1086)、デバイスは、ユーザがエラー状態を補正することなく生体登録を進めることを有効化するアクセシビリティインタフェース(例えば、908)を表示する(1088)。例えば、いくつかの実施例では、デバイスは、エラー状態が補正されるように生体特徴(例えば、917)をデバイスに対して動かすことなく、又は生体特徴の異なる側の画像をキャプチャするように生体特徴を傾斜させることなく、ユーザが生体登録を進めることを有効化する。いくつかの実施例では、デバイスは、生体特徴が所定の時間にわたって不適切に位置合わせされた場合、及び/又は所定の回数の要求に失敗したことに応じて、ユーザがこのようにして生体登録を進めることを有効化する。
いくつかの実施例では、位置合わせエラーを出力した後、位置合わせ基準を満たすそれぞれのタイプの生体特徴(例えば、917)が1つ以上のカメラ(例えば、903)の視野内で検出されたという判定に従って、デバイスは、1つ以上のカメラの視野の第1の部分(例えば、912−2)を、1つ以上のカメラの視野の第2の部分(例えば、914−2)に対して再び強調する(1070)。例えば、最適に、デバイスは、1つ以上のカメラの視野の第1の部分(例えば、912−2)を暗色にし、ぼかし、かつ/又は暗転させることなく、1つ以上のカメラの視野の第2の部分(例えば、914−2)を暗色にし、ぼかし、かつ/又は暗転させる。
いくつかの実施例では、位置合わせエラーを出力した後、位置合わせ基準を満たすそれぞれのタイプの生体特徴(例えば、917)が1つ以上のカメラ(例えば、903)の視野内で検出されたという判定に従って、デバイスは、第1のタイプの触知出力(例えば、936)を出力する(1072)。しかし、いくつかの実施例では、デバイスは、第1のタイプ及び第2のタイプとは異なる第3のタイプの触知出力を出力する。
位置合わせ基準を満たすそれぞれのタイプの生体特徴(例えば、917)が1つ以上のカメラの視野内で検出されなかった(例えば、ユーザの顔又は目が所定の位置合わせで検出されなかった)という判定に従って、デバイスは、1つ以上のカメラの視野の第1の部分(例えば、912、912−2)を1つ以上のカメラ(例えば、903)の視野の第2の部分(例えば、914、914−2)に対して強調することなく、デジタルビューファインダの表示を維持する(1090)。
いくつかの実施例では、デバイスは、1つ以上の生体センサ(例えば、903)に対する生体特徴(例えば、917)の向き及び/又は位置の変化を検出する(1092)。例えば、デバイスは、任意選択的に、位置の変化、向きの変化、又は向き及び位置の両方の変化を検出する。
いくつかの実施例では、1つ以上の生体センサ(例えば、903)に対する生体特徴(例えば、917)の向き及び/又は位置の変化を検出したことに応じて(1094)、デバイス動き基準が満たされている(例えば、デバイスが確実な位置合わせ/登録を妨げる態様で閾値量より大きく物理的に動きている)という判定に従って、デバイスは、電子デバイスの動きを低減させるためのプロンプト(例えば、946、948、視覚、触知、又は可聴警報)を出力する(1096)。いくつかの実施例では、デバイスは、デバイスの動きの低減を検出し、デバイスの動きの低減を検出したことに応じて、デバイスは、プロンプトの出力を止める。いくつかの実施例では、デバイスの動きは、1つ以上の生体センサ(例えば、903)に基づいて判定される。例えば、1つ以上の生体センサに対する生体特徴の向き及び/又は位置の変化は、1つ以上の生体センサの視野内の生体特徴の動きではなく、生体特徴の周りのデバイスの動きと一貫している。いくつかの実施例では、デバイスの動きは、1つ以上の生体センサとは別個の加速度計(例えば、168)、磁気計、慣性測定ユニットなどのデバイスの1つ以上の向きセンサに基づいて判定される。
いくつかの実施例では、生体特徴(例えば、917)が、1つ以上の生体センサ(例えば、903)の視野の第1の部分(例えば、912)内にあり、かつ1つ以上の生体センサの閾値距離内にあるとき、生体特徴が所定の角度(例えば、1つ以上の生体センサに対する仰角)の範囲内にあるという判定に従って、デバイスは、生体特徴の登録のための登録進度インジケータ(例えば、940)を表示する(例えば、方法1200及び図11A〜11Eを参照してより詳細に説明する)。登録進度インジケータを表示することは、任意選択的に、上述したように、最初に1つ以上のカメラの視野の第1の部分(例えば、912、912−2)を1つ以上のカメラの視野の第2の部分(例えば、914、914−2)に対して強調することを含む。このようにして登録中に進度インジケータを表示することで、ユーザが登録中に電子デバイスのディスプレイを見るように促して、凝視がディスプレイにいつ誘導されるか、したがってユーザがデバイスに注目しているか否かを検出する能力を改善する。ユーザが電子デバイスのディスプレイを見るように促すことで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、ユーザの凝視がディスプレイに誘導されることを確実にし、それによってユーザの生体特徴が適切に登録されることを確実にすることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、生体特徴(例えば、917)が所定の角度(例えば、1つ以上の生体センサ903に対する仰角)の範囲外にあるという判定に従って、デバイスは、画像データのプレビューの少なくとも一部分(例えば、ディスプレイ部分912、912−2、914、及び/又は914−2)を不明瞭化する(例えば、ぼかし、暗色にし、又は彩度を減少させる)。いくつかの実施例では、デバイスは、画像データのプレビューの一部分の不明瞭化を遅延させ(例えば、生体特徴が視野の第1の部分内及び1つ以上の生体センサの閾値距離内にあることを検出した後、1秒、2秒、又は5秒などの少なくとも所定の時間期間にわたって)、したがって画像データのプレビューの一部分は、ユーザが1つ以上の生体センサ(例えば、903)に対する生体特徴の向きをアクティブにシフトさせている場合は不明瞭化されない。いくつかの実施例では、不明瞭化は、生体特徴の角度が変化している限り遅延される。いくつかの実施例では、不明瞭化は、生体特徴の角度が少なくとも所定の時間期間にわたって連続して所定の角度範囲外にある間は遅延される。いくつかの実施例では、プレビューの一部分のみが不明瞭化される(例えば、912又は914、912−2又は914−2)。いくつかの実施例では、プレビューのすべてが不明瞭化される(例えば、912及び914、912−2及び914−2)。生体センサがユーザの生体特徴の上の高すぎるところ又はユーザの生体特徴の下の低すぎるところに位置決めされたとき、デジタルビューファインダを不明瞭化することで、ユーザは、自身の生体特徴が位置合わせからずれていることを迅速に認識することが可能になる。これは、適切な位置合わせが確立されるまでユーザがデバイスと自身の生体特徴との間の仰角を変化させることを促す。1組の状態が満たされているとき、改善された視覚フィードバックを提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、画像データのプレビューの一部分(例えば、912又は914)が不明瞭化されているとき、デバイスは、1つ以上の生体センサ(例えば、903)に対する生体特徴(例えば、917)の角度の変化を検出する。1つ以上の生体センサに対する生体特徴の角度の変化を検出したことに応じて、角度の変化が、生体特徴を所定の角度範囲内へ動かすことなく、生体特徴を所定の角度範囲のより近くへ動かしたという判定に従って、デバイスは、画像データのプレビューの一部分を引き続き不明瞭化しながら、画像データのプレビューの一部分(例えば、912又は914、912−2又は914−2)の不明瞭化の量を低減させる。いくつかの実施例では、画像データのプレビューの一部分の不明瞭化が低減される量は、1つ以上の生体センサに対する生体特徴の角度の変化の量に依存する(例えば、生体特徴が1つ以上の生体センサの方へ大きく動きすればするほど、不明瞭化の量の低減が大きくなる)。角度の変化が生体特徴を所定の角度範囲内へ動かしたという判定に従って、デバイスは、画像データのプレビューの一部分の不明瞭化を止める。いくつかの実施例では、生体特徴の角度の変化が生体特徴を所定の角度範囲内へ動かしたとき、デバイスは、触知及び/又はオーディオ出力を生成して、生体特徴の角度が所定の角度範囲内にあることをユーザに通知する(例えば、934、936)。ユーザの生体特徴が所定の角度範囲により近づくにつれて、デジタルビューファインダの不明瞭化を低減させることで、ユーザは、生体特徴の位置合わせの成功に対応する1組の位置を迅速に認識することが可能になる。これは、適切な位置合わせが確立されるまでユーザがデバイスと自身の生体特徴との間の仰角を変化させることを促す。1組の状態が満たされているとき、改善された視覚フィードバックを提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、1つ以上の生体センサ(例えば、903)に対する生体特徴(例えば、917)の角度の変化を検出したことに応じて、角度の変化が、生体特徴を所定の角度範囲からより遠くへ動かしたという判定に従って、デバイスは、画像データのプレビューの一部分(例えば、912又は914、912−2又は914−2)の不明瞭化の量を増大させる。いくつかの実施例では、画像データのプレビューの一部分の不明瞭化が増大される量は、1つ以上の生体センサに対する生体特徴の角度の変化の量に依存する(例えば、生体特徴が1つ以上の生体センサから離れてより大きく動きすればするほど、不明瞭化の量の増大が大きくなる)。
いくつかの実施例では、不明瞭化することは、画像データのプレビューをぼかすことを含み、画像データのプレビューの一部分の不明瞭化の量を低減させることは、画像データのプレビューのぼかしの量を低減させること(例えば、ぼかしの半径又は他のぼかしパラメータを低減させることによる)を含む。いくつかの実施例では、画像データのプレビューの一部分の不明瞭化の量を増大させることは、ぼかしの半径又は他のぼかしパラメータを増大させることを含む。
方法1000に関して上述したプロセス(例えば、図10A〜10F)の詳細は、後述する方法にも同様に当てはまることに留意されたい。例えば、方法1000は、任意選択的に、方法800、1200、1400、1600、1800、2000、2200、2400、及び2700を参照して以下に説明する様々な方法の特性のうちの1つ以上を含む。例えば、方法1200に説明する登録プロセスは、顔登録インタフェース(例えば、954)に対して適用することができる。別の例では、方法1400に説明するヒントは、登録進度メータ(例えば、940)に対して適用することができる。別の例では、方法1400に説明するアクセシビリティ特徴は、アクセシビリティオプション(例えば、928−2)の代わりに、又はそれと組み合わせて、適用することができる。簡潔にするために、これらの詳細について以下では繰り返さない。
上述した情報処理方法における動作は、任意選択的に、汎用プロセッサ(例えば、図1A、図3、及び図5Aに関して説明する)又は特定用途向けチップなどの情報処理装置内で1つ以上の機能モジュールを走行させることによって実施される。更に、図9A〜9Iを参照して上述した動作は、任意選択的に、図1A〜1Bに示す構成要素によって実施される。例えば、表示動作1002、検出動作1004、表示動作1006、強調動作1028、及び維持動作1090は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソータ170内のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、このイベント情報をアプリケーション136−1へ伝送する。アプリケーション136−1のそれぞれのイベント認識部180は、このイベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の場所での第1の接触がユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの所定のイベント又はサブイベントが検出されたとき、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化する。イベントハンドラ190は、任意選択的に、データアップデーター176又はオブジェクトアップデーター177を利用し又は呼び出して、アプリケーション内部状態192を更新する。いくつかの実施例では、イベントハンドラ190は、それぞれのGUIアップデーター178にアクセスして、アプリケーションによって表示するものを更新する。同様に、図1A〜1Bに示す構成要素に基づいて、他のプロセスをどのように実施することができるかが、当業者には明らかであろう。
次に、いくつかの実施例に係る電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス700、又はデバイス900)上に生体特徴を登録する例示的なユーザインタフェースを示す図11A〜11Lに注意を向ける。これらの図のユーザインタフェースは、図12のプロセスを含む後述するプロセスを示すために使用される。
図11Aは、電子デバイス1100(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500、デバイス700、又はデバイス900)を示す。図11A〜11Lに示す例示的な実施例では、電子デバイス1100はスマートフォンである。他の実施例では、電子デバイス1100は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスとすることができる。電子デバイス1100は、ディスプレイ1102、1つ以上の入力デバイス(例えば、ディスプレイ1102のタッチスクリーン、ボタン、マイクロフォン)、及び無線通信無線機を有する。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのカメラのみを含む。いくつかの例では、電子デバイスは、1つ以上の生体センサ(例えば、生体センサ1103)を含み、生体センサは、任意選択的に、赤外線カメラ、サーモグラフィカメラ、又はこれらの組合せなどのカメラを含む。いくつかの例では、1つ以上の生体センサ1103は、1つ以上の生体センサ703である。いくつかの例では、デバイスは、IRフラッドライト、構造化光投影器、又はこれらの組合せなどの発光デバイス(例えば、光投影器)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照らすために使用される。
図11Aに示すように、デバイス1100は、顔登録ユーザインタフェース1104をディスプレイ1102上に表示する。いくつかの実施例では、顔登録ユーザインタフェース1104は、図9A〜9AEに関連して上述したように、デバイス1100がその1つ以上のカメラに対するユーザの顔の位置合わせの成功を検出した後に表示される。顔登録インタフェース1104は、ユーザ顔画像1106を含む。いくつかの実施例では、ユーザ顔画像1106は、デバイス1100上の1つ以上のカメラによってキャプチャされたユーザの画像である。例えば、ユーザ顔画像1106は、任意選択的に、1つ以上のカメラ(例えば、デジタルビューファインダ)によってキャプチャされ、カメラの視野及び/又は視野のコンテンツが変化するにつれて連続して更新される画像データのライブプレビューである。いくつかの実施例では、顔画像1106内にユーザの顔のみが見えるように、背景コンテンツは除去される。顔登録インタフェースはまた、任意選択的に、ユーザ顔画像1106上にスーパーインポーズ(例えば、重ね合わせ)された向きガイド1108を含む。図7I〜7Kに関連して上述したように、向きガイド1108は、任意選択的に、仮想z次元に(例えば、ディスプレイの平面に対して法線方向の軸に沿って)延びてユーザ顔画像1106の中心を横切る1組の曲線である。したがって、向きガイド1108の曲線は、ディスプレイ1102の平面に対して外方に膨らむように見え、3次元空間におけるユーザの頭の位置の感覚を与える。
顔登録ユーザインタフェース1104はまた、登録進度メータ1110を含む。登録進度メータ1110は、ユーザ顔画像1106及び向きガイド1108の周りに配置された1組のディスプレイ要素(例えば、進度要素1110a、1110b、及び1110c)を含む。図11Aの例では、これらの進度要素は、円形のパターンで配置されたユーザ顔画像1106から放射状外方に延びる1組の線である。いくつかの実施例では、進度要素1110a、1110b、1110cなどは、対応する顔特徴を登録するために必要とされるユーザの顔の向きを示す。例えば、登録メータ1110の上部部分内の進度要素は、任意選択的に、ユーザの頭が上方へ傾斜したときに動き、塗りつぶされ、伸長し、かつ/又は色を変化させ、デバイス1100上の1つ以上のカメラがユーザの顔の下側の画像データをキャプチャすることを可能にする。このプロセスについて、以下により詳細に説明する。図9Aの例では、デバイス1110は、未登録状態にある登録進度メータ1110内の進度要素を表示する(例えば、進度要素が灰色になる)。
顔登録インタフェース1104はまた、登録プロセス中に自身の頭を円形の運動で動き(例えば、回転及び/又は傾斜)させるようにユーザに命令する文字プロンプト1112を含む。いくつかの実施例では、文字プロンプト1112は、任意選択的に、デバイス設定及び/又はユーザ選択に応じて触知及び/又は聴覚プロンプトを伴う。いくつかの実施例では、デバイス1110は、顔登録プロセスにわたって登録インタフェース1104上に文字プロンプト1112を表示する。
図11Bに示すように、デバイス1100は、その1つ以上のカメラに対するユーザの顔の動きを検出する。ユーザの顔の動きは、任意選択的に、デバイス1100に対する回転及び/又は傾斜運動である。応じて、デバイス1100は、ユーザの顔の向きの変化を反映させるように、ユーザ顔画像1106を連続的に更新する(例えば、ユーザ顔画像1106の動きを表示する)。いくつかの実施例では、向きガイド1108は、ユーザの顔の傾斜及び回転動きを3次元で視覚的に強調するように、ユーザ顔画像1106の動きを追跡する(例えば、ユーザ顔画像1106とともに動く)。例えば、向きガイド1108の中心(例えば、交点)は、任意選択的に、ユーザ顔画像1106上の中心点に位置決めされ、それとともに動く。いくつかの例では、デバイス1100はまた、3次元の回転(例えば、ディスプレイ1102に対して法線方向の軸に対する)の外観を与えるように、向きガイド1108を構成する線の湾曲を調整する。いくつかの実施例では、デバイス1100は、運動中(例えば、ユーザの顔の向きが変化しつつあるとき)に、向きガイド1108を強調する。例えば、デバイス1100は、任意選択的に、運動中に向きガイド1108を暗色にし、かつ/又はユーザの顔の動きを追跡するときに退色していく軌跡を表示する。この場合、デバイス1100は、任意選択的に、ユーザの顔が動きていないときは、ユーザ顔画像1106に対する向きガイド1108上のこの強調を低減させる。
図11Bに示すように、ユーザの顔が進度メータ部分1114の方へ向けられていることを検出したことに応じて(例えば、生体センサ1103によってキャプチャされた画像データがユーザの顔の斜めビューを含むという判定に従って)、デバイス1110は、メータ部分1114内の進度要素の外観を変化させることによって、メータ部分1114内の進度要素の表示を「登録中」状態に更新する。例えば、デバイス1100は、任意選択的に、ユーザの顔がメータ部分1114の方へ向けられているとき、メータ部分1114内の進度要素を拡大しかつ/又はその色を変化させる。いくつかの例では、デバイス1100は、進度要素を「登録中」状態に更新するとき、進度刻みを伸長させ、それらの色を灰色から青色に変化させる。このようにして進度要素の表示を「登録中」状態に変化させることで、デバイス1100がユーザの顔の現在の向きに対応する斜めビューに対する顔撮像データをキャプチャ(例えば、登録)しつつあることを示す。図11Bの例では、デバイス1100は、メータ部分1116内の進度要素を未登録状態で維持して、ユーザが自身の顔をメータ部分1116の方へまだ向けていないことを示す。いくつかの実施例では、メータ部分1114の表示は、ユーザの顔がメータ部分1114の方へ十分に回転された場合(例えば、ユーザの顔が少なくとも閾値量又は角度だけ回転された場合)のみ、このようにして更新される。
いくつかの実施例では、登録進度メータは、メータ部分1114及び1116などの1組の進度メータ部分から構成される。いくつかの実施例では、各進度メータ部分は、各部分に関連付けられた所定の数の進度要素(例えば、3つ、5つ、又は8つの進度要素)を含む。
いくつかの例では、図11Cに示すように、デバイス1110は、ユーザの顔のわずかな回転及び/又は傾斜を検出し、ユーザの顔グラフィック1106を含むデジタルビューファインダを更新する。例えば、ユーザの顔は、下方へ傾斜しかつ右へ回転し始めている。しかし、図11Cの例では、ユーザの顔は依然として進度メータ部分1114の方へ向けられている。その結果、デバイス1100は、ユーザが自身の頭を右下へ回転及び/又は傾斜させ始めているが、メータ部分1114の進度要素を登録中状態で引き続き表示する。この場合、デバイス1100はまた、ユーザの頭が対応する向きの登録をトリガするのに十分に回転していないため、メータ部分1114に近接する進度要素の表示を維持する。
図11Dに示すように、デバイス1110は、ユーザの顔がメータ部分1118の方へ回転及び/又は傾斜したことを検出する。図11Dの例では、ユーザの顔は、図11Cに示す動きを継続し、図11Aのその初期位置を通って、下方へ傾斜しかつ右に回転する(例えば、ユーザの顔は、登録メータ1110の他の部分の方へ向けられないように動く)。顔の向きの変化を検出したことに応じて、デバイス1100は、デジタルビューファインダ内でのユーザ顔画像1106の動きを追跡するように、向きガイド1108を動かす。ユーザの顔がメータ部分1118の方へ向けられた(例えば、生体センサ1103によってキャプチャされた画像データがユーザの顔の第2の斜めビューを含む)という判定に従って、デバイス1100は、メータ部分1118内の進度要素を上述した「登録中」状態に更新する。例えば、デバイス1100は、メータ部分1118内の進度刻みを伸長させ、それらの色を変化させる。いくつかの実施例では、デバイス1100は、ユーザの顔の対応する部分が以前に登録されていない場合(例えば、メータ部分1118内の進度要素が「未登録」の灰色状態である場合)のみ、メータ部分1118の表示を更新する。いくつかの実施例では、デバイス1100は、ユーザの顔の対応する部分が以前に登録されたかどうかにかかわらず、メータ部分1118の表示を更新する(例えば、生体センサ1103に対するユーザの顔の向きの更なる通知を提供するため)。
図11Dの例では、デバイス1100はまた、ユーザの顔が進度メータ部分1114の方へ向けられなくなった(ユーザの顔が現在メータ部分1118の方へ向けられているため)ことを検出する。応じて、デバイス1100は、メータ部分1114内の進度要素の外観をもう一度「登録済み」状態に変化させる。図11Dの例では、デバイス1100は、進度刻みを短くしてそれらの色をもう一度変化させることによって、部分1114内の進度刻みの表示を伸長している「登録中」状態から更新する。例えば、「登録済み」状態にある進度要素は、「未登録」状態と同じ長さ及び/又はサイズの進度要素であるが、図11Bに関連して上述したように、ユーザの顔の対応する部分(例えば、図11Bでキャプチャされた斜めビュー)の登録に成功したことを示すために、緑色で表示される。
図11Dの例では、デバイス1100は、ユーザが自身の顔をメータ部分1116の方へまだ向けていることを示すために、メータ部分1116内の進度要素を未登録状態で維持する。
図11E〜11Hは、ユーザが登録進度メータ1110の右手側に関連付けられた一連の向きにわたって自身の顔を反時計回りの運動で回転及び/又は傾斜させるときの顔登録インタフェース1104を示す。進度メータ部分1118から始まり、デバイス1100は、ユーザの顔の向きに基づいて(例えば、ユーザの顔が進度メータ1110の対応する部分の方へ向けられていることを検出したことに応じて)、回転経路内の進度要素を上述した「登録中」状態に順次変化させる。ユーザの顔がこれらの進度要素を越えて回転した後(例えば、ユーザの顔が進度メータ1110の対応する部分の方へ向けられなくなったことを検出したことに応じて)、デバイス1100は、進度要素を「登録済み」状態に更新して、ユーザの顔の対応する部分の登録の成功を示す。このプロセスについて、以下により詳細に説明する。いくつかの実施例では、「登録中」状態にある進度要素の視覚的特性は、ユーザの顔の向きが変化する速度に基づいている。例えば、デバイス1100は、ユーザの顔が第1の速度で回転している場合、「登録中」状態にある進度要素の色を第1の態様で修正し、ユーザの顔がよりゆっくりとかつ/又はより迅速に回転している場合、これらの進度要素の色を第2の態様で修正する。
図11Eに示すように、デバイス1100は、ユーザの顔が生体センサ1103に対して反時計回りに回転したこと(例えば、ユーザの顔が図11Dのその位置に対して上に回転しかつ/又は左に傾斜したこと)を検出する。上述したように、デバイス1100は、向きの変化を反映するように、ユーザ顔画像1106を連続して更新し、デジタルビューファインダ内のユーザ顔画像1106の動きを追跡するように、向きガイド1108を動かす。ユーザの顔が上方へ回転するとき、デバイス1100は、メータ部分1116内の1つ以上の進度要素(例えば、1116a)の表示を「登録中状態」に更新する(例えば、上述したように1つ以上の進度要素を伸長させかつ/又はその色を変化させることによる)。図11Eにユーザ顔画像1106の位置によって示すように、この回転は、メータ部分1118内の1つ以上の進度要素(例えば、1118a)に対応する向きを越えて(例えば、その向きから)ユーザの顔を動かす。ユーザの顔がこの向きではなくなったことを検出したことに応じて、デバイス1100は、1つ以上の進度要素(1118aを含む)の表示を上述した「登録済み」状態に更新して、これらの部分の登録の成功を示す。図11Eの例では、デバイス1100は、ユーザの顔が対応する向きからまだ回転していないため、進度メータ部分1118の1つ以上の要素(例えば、1118b)を「登録中」状態で維持する。同様に、デバイス1100はまた、ユーザの顔が対応する向きにまだ位置決めされていないため、メータ部分1116内の1つ以上の進度要素(例えば、1116b)を最初の「未登録」状態で引き続き表示する。
図11Fは、ユーザの顔の反時計回り回転が図11Eのその位置に対して継続するときの顔登録インタフェース1104を示す。この場合も、デバイス1100は、向きの変化を反映するように、ユーザ顔画像1106を連続して更新し、デジタルビューファインダ内のユーザ顔画像1106の動きを追跡するように、向きガイド1108を動かす。図11Fにユーザ顔画像1106の位置によって示すように、この回転は、進度メータ部分1116に対応する向きにユーザの顔を動かす。この向きのユーザの顔を検出したことに応じて、デバイス1110は、メータ部分1116内の1つ以上の進度要素(例えば、1116b)の表示を「未登録」状態から「登録中」状態に変化させる(例えば、上述したように1つ以上の進度要素を伸長させかつ/又はその色を変化させることによる)。図11Fにユーザ顔画像1106の位置によって示すように、この回転はまた、進度メータ部分1118の残りの要素(例えば、1118b)に対応する向きを越えて(例えば、その向きから)ユーザの顔を動かす。ユーザの顔がこの向きではなくなったことを検出したことに応じて、デバイス1100は、これらの進度要素(1118bを含む)の表示を上述した「登録済み」状態に更新して、メータ部分1118bに対応するユーザの顔の斜めビューの登録の成功を示す。図11Fの例では、デバイス1100はまた、ユーザの顔が対応する向きにまだ位置決めされていないため、メータ部分1120内の進度要素を上述した最初の「未登録」状態で引き続き表示する。
図11Gは、ユーザの顔の反時計回り回転が図11Fのその位置に対して継続するときの顔登録インタフェース1104を示す。この場合も、デバイス1100は、向きの変化を反映するように、ユーザ顔画像1106を連続して更新し、デジタルビューファインダ内のユーザ顔画像1106の動きを追跡するように、向きガイド1108を動かす。図11Gにユーザ顔画像1106の位置によって示すように、この回転は、進度メータ部分1120に対応する向きにユーザの顔を動かす。ユーザの顔がこの向きになったことを検出したことに応じて、デバイス1110は、メータ部分1120内の進度要素の表示を「未登録」状態から「登録中」状態に変化させる(例えば、上述したように1つ以上の進度要素を伸長させかつ/又はその色を変化させることによる)。図11Gにユーザ顔画像1106の位置によって示すように、この回転はまた、進度メータ部分1116に対応する向きを越えて(例えば、その向きから)ユーザの顔を動かす。ユーザの顔がこの向きではなくなったことを検出したことに応じて、デバイス1100は、メータ部分1116内の進度要素の表示を「登録済み」状態に更新して、メータ部分1116に対応するユーザの顔の斜めビューの登録の成功を示す。図11Gの例では、デバイス1100は、ユーザの顔が対応する向きにまだ位置決めされていないため、メータ部分1122内の進度要素を最初の「未登録」状態で引き続き表示する。
図11Hは、ユーザの顔の反時計回り回転が図11Gのその位置に対して継続するときの顔登録インタフェース1104を示す。この場合も、デバイス1100は、向きの変化を反映するように、ユーザ顔画像1106を連続して更新し、デジタルビューファインダ内のユーザ顔画像1106の動きを追跡するように、向きガイド1108を動かす。図11Hにユーザ顔画像1106の位置によって示すように、この回転は、進度メータ部分1122に対応する向きにユーザの顔を動かす。この向きのユーザの顔を検出したことに応じて、デバイス1110は、メータ部分1122内の進度要素の表示を「未登録」状態から「登録中」状態に変化させる(例えば、上述したように1つ以上の進度要素を伸長させかつ/又はその色を変化させる)。いくつかの実施例では、この向きにより、デバイス1100は、ユーザの顔の向きに基づいて、対応する顔特徴はすでに登録されているが、メータ部分1114内の1つ以上の進度要素の表示を、図11D〜11Gに示す「登録済み」状態から再び「登録中」状態に変化させる(例えば、生体センサ1703に対してユーザの顔の向きの更なる通知を提供するため)。この場合、デバイス1100は、ユーザの顔がその方向に向けられなくなったことを検出したことに応じて、進度メータ部分1114のこれらの要素を再び「登録済み」状態に戻す。図11Hにユーザ顔画像1106の位置によって示すように、この回転はまた、進度メータ部分1120に対応する向きを越えて(例えば、その向きから)ユーザの顔を動かす。ユーザの顔がこの向きではなくなったことを検出したことに応じて、デバイス1100は、メータ部分1120内の進度要素の表示を「登録済み」状態に更新して、メータ部分1120に対応するユーザの顔の斜めビューの登録の成功を示す。図11Gの例では、デバイス1100は、ユーザの顔が対応する向きにまだ位置決めされていないため、登録メータ1110の残りの進度要素(例えば、メータ部分1114、1116、1118、1120、又は1122内にない進度要素)を最初の「未登録」状態で引き続き表示する。
ユーザの顔特徴の登録及び/又は走査は、登録進度メータ1110のすべての要素が登録済み状態に遷移されるまで(例えば、ユーザの顔のすべての対応する斜めビューの画像データが生体センサ1103によってキャプチャされるまで)、このようにして進む。例えば、登録は、ユーザの顔が反時計回り回転によってメータ部分1118に対応する向きに戻るまで進む。
このようにして登録中に進度インジケータを表示及び更新することで、ユーザが登録中にデバイス1100のディスプレイを見るように促して、凝視がディスプレイにいつ誘導されるか、したがってユーザがデバイスに注目しているか否かを検出する能力を改善する。ユーザがデバイス1100のディスプレイを見るように促すことで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、ユーザの凝視がディスプレイに誘導されることを確実にし、それによってユーザの生体特徴が適切に登録されることを確実にすることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
図11D〜11Hの例は、単に例示的であることを理解されたい。特に、ユーザの顔特徴の登録は、進度メータ1110の任意の部分(例えば、メータ部分1114)から開始することができる。同様に、各メータ部分又は進度要素に対応するユーザの顔の斜めビューは、任意の順序で(例えば、時計回り回転によって)登録することができる。
図11Iは、ユーザの顔のすべての対応する斜めビューの画像データが生体センサ1103によってキャプチャされた後の顔登録インタフェース1104を示す。図11Iの例では、デバイス1100は、登録メータ1110内のすべての進度要素の表示を「登録済み」状態に遷移させている(例えば、図11B〜11Hに関連して上述した登録プロセス中に)。例えば、デバイス1100は、進度要素の色を緑色に変化させて、登録の成功を示す。図11Iの例では、デバイス1100は、ユーザの顔特徴の第1のスキャンが完了したことを示す文字プロンプト1124を表示する。いくつかの実施例では、デバイス1110は、オーディオ及び/又は触知通知1126を発行して、第1のスキャンが完了したという追加の通知を提供する。いくつかの実施例では、ユーザの顔特徴の登録の成功を示すオーディオ及び/又は触知出力は、デバイス1100での顔認証の成功を示すために使用されるオーディオ及び/又は触知出力と同じである。図11Iの例では、デバイス1100は、ユーザ顔画像1106を引き続き表示する。いくつかの実施例では、ユーザ顔画像1106は依然として、デジタルビューファインダのライブプレビューの一部である。他の実施例では、デバイス1100は、登録プロセス中にキャプチャされた単一の(例えば、静止)ユーザ画像を表示する。図11Iの例では、デバイス1100は、スキャンが完了した後、向きガイド1108の表示を止める。
図11J〜11Kに示すように、いくつかの実施例では、デバイス1100は、登録進度メータ1110の表示を図11Kに示す成功状態メータ1128に遷移させるアニメーションを表示する。例えば、デバイス1100は、図11Jに示すように、各進度刻みマークの長さを低減させ、これまで個別であった進度要素の表示を一体化させて連続する円にする。図11Kの例では、アニメーションを表示した後、デバイス1100は、スキャン完了インタフェース1130を表示する。スキャン完了インタフェース1130は、ユーザ顔画像1132及び成功状態メータ1128を含む。図11Kの例では、ユーザ顔画像1132は、顔スキャンの一部として追加の画像データが収集されていないことを示すために、ぼかされ、退色され、暗色にされ、又は他の方法で不明瞭化される。いくつかの実施例では、成功状態メータ1128は、ユーザ顔画像1132を取り囲む実線の連続する緑色の円であり、第1のスキャンが完了したという視覚的なインジケーションを提供する。更なる視覚的通知を提供するために、スキャン完了インタフェース1130はまた、文字プロンプト1134(例えば、完了メッセージ)を含む。スキャン完了インタフェース1130はまた、継続アフォーダンス1136を含む。いくつかの例では、登録完了インタフェース1130を表示しながら、デバイス1100は、継続アフォーダンス1136のアクティブ化(例えば、選択)(例えば、ユーザ入力1137による)を検出する。ディスプレイがタッチ感知式であるいくつかの例では、ユーザ入力1337は、実質上継続アフォーダンス1136上の表示面上でのタップ、スワイプ、又は他のジェスチャである。他の例では、継続アフォーダンス1136のアクティブ化は、キーボード入力又はフォーカスセレクタ(例えば、マウスカーソル)によるアフォーダンスのアクティブ化である。
いくつかの実施例では、図11B〜11Gに関して上述した登録プロセスの完了後、顔登録の第2の反復が実行される。図11Lに示すように、継続アフォーダンス1136のアクティブ化を検出したことに応じて、デバイス1100は、第2の顔登録インタフェース1138を表示する。図11Lの例では、第2の顔登録インタフェースは、第2のユーザ顔画像1140及び第2の登録進度メータ1142を含む。いくつかの実施例では、第2のユーザ顔画像1140は、ユーザ顔画像1106に類似の視覚処理を有する生体センサ1103の視野の表現である(例えば、第2のユーザ顔画像1140は、生体センサ1103によってキャプチャされてデジタルビューファインダとして表示される画像データのライブプレビューである)。いくつかの実施例では、デバイス1100は、第2のユーザ顔画像1140上にスーパーインポーズ(例えば、重ね合わせ)された第2の向きガイド1144を表示する。図11Lの例では、第2の向きガイド1144は、向きガイド1108に類似の視覚処理を有する(例えば、第2の向きガイド1144は、ディスプレイ1102の平面から仮想z次元に延びるように見える複数の曲線を含む)。いくつかの実施例では、第2の登録進度メータ1142は、第2のユーザ顔画像1140の周りに隔置された1組の進度要素(例えば、1142a、1142b、1142c)から構成される。いくつかの例では、第2の登録進度メータ1142のいくつかの部分(例えば、メータ部分1146及び1148)は、任意選択的に、生体センサ1103に対するユーザの顔の特定の向き又は部分に対応する。いくつかの実施例では、メータ部分のうちのいくつか又はすべては、任意選択的に、登録進度メータ1110のそれぞれの部分より多数の進度要素を含む。例として、第2の進度メータ1142の各部分は、進度メータ1140の対応する部分と同じユーザの顔の向き又は斜めビューに対応する(例えば、メータ部分1146は、図11B〜11Hのメータ部分1114と同じ顔の向きに対応する)。いくつかの実施例では、第2の登録インタフェース1138を表示するとき、デバイス1100は、登録進度メータ1142内の進度要素の視覚状態を上述した「未登録」状態に設定する(例えば、第1の登録スキャンからの登録進度がリセットされる)。図11Lの例では、第2の顔登録インタフェースはまた、第2の登録プロセス中に自身の頭を円形の運動で動き(例えば、回転及び/又は傾斜)させるようにユーザに命令する文字プロンプト1150を含む。
いくつかの実施例では、顔登録の第2の反復が実行されるとき、デバイス1110は、生体センサ1103に対するユーザの顔の向きの変化に応じて、第2のユーザ顔画像1140、第2の進度メータ1142、及び向きガイド1144の表示を更新する。例えば、ユーザは、登録の第1の反復で実行したのと顔の同じ(又は類似の)自身の運動を繰り返し、デバイス1100は、図11B〜11Hに関して上述した態様(又は類似の態様)で、第2のユーザインタフェース1138のこれらの要素の表示を更新する。
図11Mは、登録の第2の反復が完全した後(例えば、ユーザの顔のいくつかの斜めビューの画像データが生体センサ1103によってキャプチャされた後)の第2の顔登録インタフェース1138を示す。図11Mの例では、デバイス1100は、第2の登録メータ1142内のすべての進度要素の表示を上述した「登録済み」状態に遷移させている。例えば、各進度要素の色を緑色に変化させて、登録の成功を示す。図11Mの例では、デバイス1100は、ユーザの顔特徴の第2のスキャンが完了したことを示す文字プロンプト1152を表示する。いくつかの実施例では、デバイス1110は、オーディオ及び/又は触知通知1154を発行して、第2のスキャンが完了したという追加の通知を提供する。いくつかの実施例では、オーディオ及び/又は触知通知1154は、第1のスキャンの完了を示すために発行される触知通知1126と同じである。いくつかの実施例では、ユーザの顔特徴の第2のスキャンの成功を示すオーディオ及び/又は触知出力は、デバイスでの顔認証の成功を示すために使用されるオーディオ及び/又は触知出力と同じである。図11Mの例では、デバイス1100は、第2のユーザ顔画像1140を引き続き表示する。いくつかの実施例では、第2のユーザ顔画像1140は、デジタルビューファインダのライブプレビューの一部である。他の実施例では、デバイス1100は、登録プロセス中にキャプチャされた単一の(例えば、静止)ユーザ画像を表示する。図11Mの例では、デバイス1100は、スキャンが完了した後、第2の向きガイド1144の表示を止める。
図11Nの例では、第2のスキャンの完了を示す通知を発行した後、デバイス1100は、第2のスキャン完了インタフェース1156を表示する。第2のスキャン完了インタフェース1156は、ユーザ顔画像1158及び第2の成功状態メータ1160を含む。図11Nの例では、ユーザ顔画像1158は、第2の顔スキャンの一部として追加の画像データが収集されていないことを示すために、ぼかされ、退色され、暗色にされ、又は他の方法で不明瞭化される。いくつかの実施例では、第2の成功状態メータ1160は、ユーザ顔画像1158を取り囲む実線の連続する緑色の円であり、第1のスキャンが完了したという視覚的なインジケーション(例えば、成功状態メータ1128に類似)を提供する。更なる視覚的通知を提供するために、第2のスキャン完了インタフェース1156はまた、文字プロンプト1162(例えば、第2のスキャン完了メッセージ)を含む。第2のスキャン完了インタフェース1156はまた、継続アフォーダンス1164を含む。いくつかの例では、第2のスキャン完了インタフェース1156を表示しながら、デバイス1100は、継続アフォーダンス1164のアクティブ化(例えば、選択)(例えば、ユーザ入力1165による)を検出する。ディスプレイ1102がタッチ感知式であるいくつかの例では、アクティブ化は、実質上継続アフォーダンス1164上の表示面上でのタップ、スワイプ、又は他のジェスチャである。他の例では、継続アフォーダンス1164のアクティブ化は、キーボード入力又はフォーカスセレクタ(例えば、マウスカーソル)によるアフォーダンスのアクティブ化である。図11Nの例では、ユーザ顔画像1158は、第2の顔スキャン中に追加の画像データが収集されていないことを示すために、ぼかされ、退色され、暗色にされ、又は他の方法で不明瞭化される。
図11Oの例では、継続アフォーダンス1164のアクティブ化を検出したことに応じて、デバイス1100は、登録完了インタフェース1166を表示する。図11Oに示すように、登録完了インタフェース1166は、生体認証グリフ1168を含む。例えば、生体認証グリフは、任意選択的に、顔のすべて又は一部の線画(例えば、図案化した顔グラフィック)である。図11Oの例では、登録完了インタフェース1166はまた、登録プロセスが完了し、デバイスでの顔認証が設定及び/又は有効化されたことを示す文字プロンプト1170を含む。いくつかの例では、登録完了インタフェース1166はまた、完了アフォーダンス1172を含み、完了アフォーダンス1172のアクティブ化により、デバイス1100は、顔認証設定を終了する。いくつかの例では、登録完了インタフェース1166は、顔画像1158を含まない。
図12A〜12Bは、いくつかの実施例に係る電子デバイス上にユーザの生体特徴を登録する方法を示す流れ図である。方法1200は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信無線機(例えば、Bluetooth接続、WiFi接続、4G LTE接続などのモバイルブロードバンド接続)を有するデバイス(例えば、100、300、500、1100)で実行される。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つのカメラのみを含む。いくつかの例では、デバイスは、1つ以上の生体センサを含み、生体センサは、任意選択的に、赤外線カメラ、サーモグラフィカメラ、又はこれらの組合せなどのカメラを含む。いくつかの例では、デバイスは、IRフラッドライト、構造化光投影器、又はこれらの組合せなどの発光デバイスを更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照らすために使用される。方法2000のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法1200は、電子デバイス上にユーザの生体特徴を登録する直感的な様態を提供する。この方法は、デバイス上で生体特徴を登録するためにユーザにかかる認識的負担を低減させ、それによってより効率的な人間−機械インタフェースを作成する。バッテリ動作コンピューティングデバイスの場合、ユーザが生体特徴をより高速かつ効率的に登録することを有効化することで、電力を節約し、電池充電間の時間を増大させる。
デバイスは、生体登録インタフェース(例えば、1104)をディスプレイ上に表示する(1202)。生体登録インタフェースを表示することは、生体特徴(例えば、1106)の表現を表示することを含む(1204)。例えば、生体特徴の表現は、任意選択的に、デバイスの1つ以上のカメラの視野内で1人の人物を別の人物から区別するために使用することができる顔、指紋、虹彩、手形、又は他の身体的な生体特徴の表現(例えば、デバイスのユーザの頭の表現)である。生体特徴の表現は、デバイスの1つ以上の生体センサ(例えば、1103)に対する生体特徴の位置合わせに基づいて(カメラのうちの1つ以上の視野内に位置決めされたユーザの頭を含むカメラデータに基づいて)判定された向きを有する。
いくつかの実施例では、デバイスは、1つ以上のカメラ(例えば、1103)の視野の表現を含むデジタルビューファインダ(例えば、1106を含む画像データのライブプレビュー)を表示する(1206)。例えば、いくつかの実施例では、デバイスは、1つ以上のカメラによってキャプチャされた画像データのライブプレビューを表示する。いくつかの実施例では、1つ以上のカメラの視野の表現では、背景コンテンツが除去されている。背景は、任意選択的に、1つ以上のカメラによってキャプチャされた深さ情報に基づいて判定される(例えば、背景コンテンツを除去することは、任意選択的に、あらゆる背景を除去すること又は単なるビネットを含む)。いくつかの実施例では、デバイスは、いかなる背景除去も実行しない。
生体登録インタフェースを表示することはまた、生体特徴(例えば、1106)の表現に対するディスプレイ上の第1の位置にある第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)(第1の組の刻みマークなどの生体特徴の表現の周りに隔置された第1の組のオブジェクト(例えば、1110a、1110b、及び1110c、又は1116a及び1116b、又は1118a及び1118b))と、生体特徴(例えば、1106)の表現に対するディスプレイ上の第2の位置にある第2の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)(第2の組の刻みマークなどの生体特徴の表現の周りに隔置された第2の組のオブジェクト(例えば、1110a、1110b、及び1110c、又は1116a及び1116b、又は1118a及び1118b))とを含む進度インジケータ(例えば、1110)を同時に表示することを含む(1208)。生体特徴(例えば、1106)の表現は、ディスプレイ上の第1の位置と第2の位置との間に表示される。このようにして登録中に進度インジケータを表示することで、ユーザが登録中に電子デバイスのディスプレイを見るように促して、凝視がディスプレイにいつ誘導されるか、したがってユーザがデバイスに注目しているか否かを検出する能力を改善する。ユーザが電子デバイスのディスプレイを見るように促すことで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、ユーザの凝視がディスプレイに誘導されることを確実にし、それによってユーザの生体特徴が適切に登録されることを確実にすることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、進度インジケータは、複数の進度インジケータ部分(例えば、1114、1116、1118、1120、1122)を含む(各進度インジケータ部分は、1つ以上の進度要素(例えば、1110a、1110b、1110c、1116a、1116b、1118a、1118b)を含む)(1210)。いくつかの例では、複数の進度インジケータ部分は、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)及び第2の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)を含み、複数の進度インジケータ部分は、生体特徴(例えば、1106)の表現の少なくとも一部分を取り囲む。いくつかの実施例では、複数の進度インジケータ部分のうちの1つ以上は、複数のそれぞれの進度要素(例えば、1110a、1110b、1110c、1118a、1118b)を含む(1212)。いくつかの実施例では、進度インジケータは、任意選択的に、生体特徴(例えば、1106)の表現の周りに配置された1組の1つ以上のディスプレイ要素(例えば、1110a、1110b、1110c、1116a、1116b、1118a、1118b)を含む。例えば、これらのディスプレイ要素は、任意選択的に、ユーザの顔の周りに登録線(「刻み」)の進度を示す放射状に延びる線からなる円である。これらの線は、任意選択的に、生体特徴の向きのそれぞれの変化が生体特徴を登録するのに十分である方向を示す(例えば、生体特徴の底部が操作されている場合でも、上方を向いて上部の線を動かす)。いくつかの実施例では、第1の組の線は、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)に対応し、第2の組の線は、第2の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)に対応する。例えば、所定の数の刻み(例えば、8)が、進度インジケータの各部分に関連付けられる。
いくつかの実施例では、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)は、生体特徴(例えば、ユーザの顔)が第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)の方へ向けられているときに1つ以上の生体センサ(例えば、1103)によって検出される(例えば、1つ以上の生体センサに見える)生体特徴の第1の部分の登録状態を示す(1214)。例えば、進度インジケータの右上部分(例えば、1120)は、ユーザの顔の左下部分を登録するためにユーザの顔がデバイスの右上部分の方へ向いたとき、外観を変化させる。同様に、いくつかの実施例では、第2の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)は、生体特徴(例えば、ユーザの顔)が第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)の方へ向けられているときに1つ以上の生体センサ(例えば、1103)によって検出される(例えば、1つ以上の生体センサに見える)生体特徴の第1の部分とは異なる生体特徴の第2の部分の登録状態を示す。例えば、進度インジケータの右下部分(例えば、1118)は、ユーザの顔の右上部分を登録するためにユーザの顔がデバイスの左下部分の方へ向いたとき、外観を変化させる。
いくつかの実施例では、生体登録インタフェース(例えば、1104)を表示すること(1202)は、生体特徴を動かすためのプロンプト(例えば、1112)を表示することを更に含む。いくつかの実施例では、表示されるプロンプトは、任意選択的に、触知及び/又は聴覚プロンプトを伴う。いくつかの実施例では、応答のタイプは、電子デバイスの設定に基づいて提供され、かつ/又はユーザによって手動で制御される。生体特徴をどのように適切に動かすかに関する命令を有するプロンプトを提供することで、必要とされる動きをユーザが迅速に認識及び実行することを可能にするフィードバックをユーザに提供し、登録プロセスを完成させるために必要とされる時間量を低減させる。したがって、生体登録に必要とされる適切な入力に関する改善された視覚プロンプトを提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、動きの方向を示すプロンプト(例えば、1108)を表示する。いくつかの実施例では、プロンプトは、生体登録インタフェース(例えば、1104)上に重ね合わされた向きガイド(例えば、1108)である。いくつかの実施例では、プロンプトは、生体特徴(例えば、1106)の表現上に重ね合わされる。いくつかの実施例では、デバイスは、生体特徴(例えば、1106)の表現上に3次元オブジェクト(例えば、1108)を重ね合わせる。例えば、3次元オブジェクトは、任意選択的に、仮想z次元内へ延びる円弧であり、ユーザの頭が回転するにつれて動く。いくつかの実施例では、3次元オブジェクト(例えば、1108)は、仮想z次元内へ延びる複数の円弧(例えば、ユーザの顔の前の点で互いに交差する2つの円弧)を含む。いくつかの実施例では、3次元オブジェクト(例えば、1108)は、ユーザが動きているときに強調され(例えば、3次元オブジェクトは、生体特徴の動きとともに動くにつれて暗色になり、又は退色していく軌跡を表示する)、動いている間は3次元オブジェクトを強調し、生体特徴が動いていないときは生体特徴の表現に対する3次元オブジェクト上の強調を低減させる。
生体特徴(例えば、1106)の表現及び進度インジケータ(例えば、1110)を同時に表示しながら、デバイスは、1つ以上の生体センサ(例えば、1103)に対する生体特徴の向きの変化を検出する(1216)。
いくつかの実施例では、1つ以上の生体センサに対する生体特徴の向きの変化を検出したことに応じて(1218)、デバイスは、1つ以上の生体センサ(例えば、1103)に対する生体特徴の向きの変化に従って、プロンプト(例えば、1108)を回転させる。いくつかの実施例では、プロンプトを回転させることは、3次元オブジェクト(例えば、1108)を少なくとも部分的にディスプレイの仮想z次元内へ回転させることを含む。生体特徴の表現上に重ね合わされた向きガイドを回転させることで、3次元空間におけるデバイスの生体センサに対する自身の生体特徴の向きに関するフィードバックをユーザに提供し、ユーザが登録プロセス中に自身の生体特徴をより迅速に配置し、必要とされる向き範囲にわたって生体特徴を動かすことを有効化する。したがって、ユーザに対する生体特徴の向きに関する改善された視覚フィードバックを提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、1つ以上の生体センサに対する生体特徴の向きの変化を検出したことに応じて、デバイスは、1つ以上の生体センサ(例えば、1103)に対する生体特徴の向きの変化に従って、生体特徴(例えば、1106)の表現を更新する(1220)。例えば、いくつかの実施例では、生体特徴(例えば、1106)の表現の向きは、登録基準が満たされているかどうかにかかわらず変化する。いくつかの実施例では、生体特徴(例えば、1106)の表現の向きは、登録基準が満たされている場合にのみ変化する。生体特徴の表示される表現の向きを更新することで、デバイスの生体センサに対する自身の生体特徴の向きに関するフィードバックをユーザに提供し、ユーザが登録プロセス中に必要とされる向き範囲にわたって生体特徴をより迅速に動かすことを有効化する。したがって、ユーザに対する生体特徴の向きに関する改善された視覚フィードバックを提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
生体特徴の向きの変化が第1の進度インジケータ部分(例えば、1114、1116、1118)に対応する生体特徴の第1の部分に対する登録基準を満たすという判定に従って、デバイスは、第1の進度インジケータ部分の1つ以上の視覚的特性を更新する(1222)。例えば、登録基準を満たす生体特徴の向きの変化の判定は、任意選択的に、画像データが、第1の斜視角度からのユーザの顔の第1の斜めビュー(例えば、ユーザの顔が上に傾斜しているときなどの顔の底面斜視)に対応するデータを含むという判定に基づいて行われる。生体特徴の現在の向きに対応する進度メータの一部分の視覚状態を更新することで、ユーザは、生体特徴の一部分が登録のために適切に向けられていると認識することが可能になる。これは、進度メータの他のそれぞれの部分に対応する他の部分を登録するために生体特徴の向きをどのように変化させるかをユーザに示し、登録プロセスを完成させるために必要とされる時間の量を低減させる。したがって、生体特徴の登録状態に関する改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)に対応する生体特徴の第1の部分に対する登録基準は、生体特徴の第1の部分が1つ以上の生体センサ(例えば、1103)に対して所定の態様で向けられている(例えば、ユーザの顔が第1の進度インジケータ部分の方を見ている)という要件を含む。
いくつかの実施例では、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)に対応する生体特徴の第1の部分に対する登録基準は、生体特徴の第1の部分が登録されていないという要件を含む。
いくつかの実施例では、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)に対応する生体特徴の第1の部分に対する登録基準は、生体特徴の第1の部分が1つ以上の生体センサ(例えば、1103)に対して少なくとも閾値量だけ向きを変化させる(例えば、回転する)という要件を含む(1224)。いくつかの例では、生体特徴の第1の部分の登録は、第1の部分を1つ以上の生体センサ(例えば、1103)によって適切にキャプチャすることができるのに十分に生体特徴が動き(回転)することを必要とする。
いくつかの実施例では、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)の1つ以上の視覚的特性を更新することは、生体特徴の第1の部分の登録状態に基づいて第1の進度インジケータ部分の1つ以上の視覚的特性を第1の態様(例えば色)で更新することと、デバイスの1つ以上の生体センサ(例えば、1103)に対する生体特徴の位置合わせに基づいて第1の進度インジケータ部分の1つ以上の視覚的特性を第2の態様(例えば、進度要素のサイズ又は長さ)で更新することとを含む。例えば、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)は、生体特徴のうち第1の進度インジケータ部分に対応する部分が登録されたとき、黒色から緑色に変化し、第1の進度インジケータ部分内に対応する1つ以上の線(例えば、1110a、1110b、1110c、1116a、1116b、1118a、1118b)は、生体特徴のうち第1の進度インジケータ部分に対応する部分が1つ以上の生体センサ(例えば、1103)に面しているときは伸長する。いくつかの実施例では、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)の1つ以上の視覚的特性を第2の態様で更新することは、1つ以上の生体センサ(例えば、1103)に対する生体特徴の向きの変化の方向に基づいて行われる。いくつかの実施例では、第2の態様での更新は、追加又は別法として、1つ以上の生体センサに対する生体特徴の向きの変化の速度に基づいて実行される。進度メータのうち生体特徴の現在の向きに対応する部分を第1の視覚状態から第2の視覚状態に変化させることで、ユーザは、生体特徴の一部分が登録のために適切に向けられていることを迅速に認識することが可能になる。これは、進度メータの他のそれぞれの部分に対応する他の部分を登録するために生体特徴の向きをどのように変化させるかをユーザに示すことができ、登録プロセスを完成させるために必要とされる時間量を低減させる。したがって、生体特徴の登録状態に関する改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、1つ以上の生体センサ(例えば、1103)に対する生体特徴の向きの変化の速度に基づいて、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)の1つ以上の視覚的特性を更新する。いくつかの実施例では、このようにして1つ以上の視覚的特性を更新することは、生体特徴の向きの変化の速度に基づいて、第1の進度インジケータ部分の色を修正することを含む。
いくつかの実施例では、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)は、複数のディスプレイ要素をそれぞれの順序(例えば、1110a、1110b、1110c、1114a、1116a、1116b、1118a、1118b)で含む。1つ以上の生体センサ(例えば、1103)に対する生体特徴の向きの変化が第1の方向の変化(例えば時計回り回転)であるという判定に従って、デバイスは、任意選択的に、それぞれの順序の第1の端部から(例えば、1118aから)、ディスプレイ要素の外観を変化させる。例えば、デバイスは、任意選択的に、それぞれの順序の第1の側から、第1の進度インジケータ部分内の線を伸長させ始め、それぞれの順序の第2の側に(1114a)に動く。1つ以上の生体センサに対する生体特徴の向きの変化が第2の方向の変化(例えば反時計回り回転)であるという判定に従って、デバイスは、任意選択的に、それぞれの順序の第1の端部とは異なるそれぞれの順序の第2の端部から(例えば、1114aから)、ディスプレイ要素(例えば、1110a、1110b、1110c、1114a、1116a、1116b、1118a、1118b)の外観を変化させる。例えば、デバイスは、任意選択的に、それぞれの順序の第2の側から、第1の進度インジケータ部分内の線を伸長させ、それぞれの順序の第1の側に(例えば、1118aに)動く。いくつかの実施例では、第2の進度インジケータ部分(例えば、1114、1116、1118、1120、若しくは1122)又は他の進度インジケータ部分の外観を変化させるときも、類似の手法がとられる。
いくつかの実施例では、デバイスは、第1の進度インジケータ(例えば、1114、1116、1118、1120、又は1122)の1つ以上の視覚的特性を、第1の状態(例えば、「未登録」)から、第1の進度インジケータ部分が登録基準を満たしていることを示す第2の状態(例えば、「登録中」)へ更新する。例えば、デバイスは、進度インジケータのうちユーザの顔が向いている部分(例えば、図11Bの1106の向き)など、進度インジケータのうち生体特徴が現在向けられている部分(例えば、1114)内のディスプレイ要素を拡大し、伸長させ、又はその色を変化させる。
いくつかの実施例では、第1の進度インジケータ部分の1つ以上の視覚的特性を更新した後、デバイスは、任意選択的に、1つ以上の生体センサに対する生体特徴の向きの変化を検出し、したがって生体特徴は、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)に対応する生体特徴の第1の部分に対する登録基準を満たさなくなる。1つ以上の生体センサに対する生体特徴の向きの変化を検出したことに応じて、デバイスは、任意選択的に、第1の進度インジケータ部分の1つ以上の視覚的特性を、第2の状態(例えば、「登録中」)から、生体特徴の第1の部分が登録されたが登録基準を満たさなくなったことを示す第3の状態(例えば、「登録済み」)へ更新する(1226)。例えば、デバイスは、任意選択的に、ユーザの顔がそこから離れて動いたとき、進度インジケータ部分の外観(例えば、色又はサイズ)をもう一度変化させ、任意選択的に、ユーザが進度インジケータのその部分から離れる方へ生体特徴を向けたとき(例えば、図11Dの1106の向き)、進度インジケータの第1の部分(例えば、1114a)を「傾斜」した外観から登録済みの外観へ遷移させる。進度インジケータの1つの視覚的特性(例えば、色)は、任意選択的に、登録状態を示し(例えば、青色は「傾斜」、緑色は「登録済み」、灰色は「未登録」)、進度インジケータの別の視覚的特性(例えば、線の長さ)は、生体特徴の向きの方向を示す。進度は、任意選択的に、傾斜の変化の方向及び速度に基づいて、進度インジケータ(例えば、1110)の周りを前進する。例えば、進度インジケータ線(例えば、1110a、1110b、1110c、1114a、1116a、1116b、1118a、1118b)は、任意選択的に、生体特徴の動きの方向及び速度に基づいて膨らみ、かつ/又は生体特徴の動きの方向及び速度に基づいて色を変化させる。進度メータのうち生体特徴の現在の向きに対応する部分を第2の視覚状態から第3の視覚状態に変化させることで、ユーザは、生体特徴の一部分の登録に成功したことを迅速に認識することが可能になる。これはまた、登録プロセス中に生体特徴をその向きに動かす必要がなくなったことをユーザに示し、ユーザの注意を生体特徴の他の部分を登録することに向け、登録プロセスを完成させるために必要とされる時間の量を低減させる。したがって、生体特徴の登録状態に関する改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
生体特徴の向きの変化が第2の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)に対応する生体特徴の第2の部分に対する登録基準を満たすという判定に従って、デバイスは、第2の進度インジケータ部分の1つ以上の視覚的特性を更新する(1228)。例えば、登録基準を満たす生体特徴の向きの変化の判定は、任意選択的に、画像データが、第2の異なる斜視角度からのユーザの顔の第2の異なる斜めビュー(例えば、ユーザの顔が右に傾斜しているときなどの顔の左側の斜視)に対応するユーザの顔からのデータを含むという判定に基づいて行われる。いくつかの実施例では、第2の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)の視覚的特性を更新することは、任意選択的に、第1の進度インジケータ部分の視覚的特性を更新することに関連して上述したステップのうちのいくつか又はすべてを含む。生体特徴の現在の向きに対応する進度メータの第2の部分の視覚状態を更新することで、ユーザは、生体特徴の第2の部分が登録のために適切に向けられていると認識することが可能になる。これは、進度メータの他のそれぞれの部分に対応する他の部分を登録するために生体特徴の向きをどのように変化させるかをユーザに示し、登録プロセスを完成させるために必要とされる時間量を低減させる。したがって、生体特徴の登録状態に関する改善された視覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
いくつかの実施例では、登録完了基準が満たされている(例えば、生体特徴のすべての部分が登録されている、図11Eの1110)という判定に従って、デバイスは、生体特徴の登録が完了したという通知(例えば、1124、1126)を出力する。
例えば、デバイスは、任意選択的に、進度インジケータ(例えば、1110)の1つ以上の視覚的特性を更新する(例えば、複数の進度インジケータディスプレイ要素(例えば、1110a、1110b、1110c、1114a、1116a、1116b、1118a、1118b)を円などの連続する形状に一体化する)。いくつかの実施例では、1つ以上の生体センサに対する生体特徴の向きの変化を検出する前、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)及び第2の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)は視覚的に個別である。この場合、進度インジケータの1つ以上の視覚的特性を更新することは、第1の進度インジケータ部分及び第2の進度インジケータ部分を視覚的に一体化することを含む。
いくつかの実施例では、デバイスは、生体特徴(例えば、1106、1132)の表現を修正する。いくつかの実施例では、生体特徴の表現は、登録プロセスの一部として生体特徴に関する追加の情報が収集されていないことを示すために、ぼかされ、退色され、暗色にされ、かつ/又は他の方法で不明瞭化される。
いくつかの実施例では、デバイスは、確認アフォーダンス(例えば、1136、1164)を表示し、確認アフォーダンスの選択により、電子デバイスは、完了インタフェース(例えば、1166)を表示する。いくつかの実施例では、デバイスは、生体特徴の表現のシミュレーション(例えば、1168)を表示する。いくつかの実施例では、生体特徴の表現のシミュレーションは、2次元である。いくつかの実施例では、生体特徴の表現のシミュレーションは、3次元である。
いくつかの実施例では、デバイスは、登録手順が完了したという通知(例えば、1126、1154、1122、1162、1170)(例えば、触知出力)を出力する。いくつかの実施例では、デバイスは、生体特徴の登録の成功を示す触知出力(例えば、1126、1154)を出力する。いくつかの実施例では、生体特徴の登録の成功を示す触知出力は、生体特徴による認証の成功を示すために使用される触知出力と同じである。
いくつかの実施例では、生体特徴の登録が完了したという通知を出力した後、デバイスは、第2の生体登録インタフェース(例えば、1138)を表示する。いくつかの実施例では、第1の登録の完了後、登録の第2の反復が実行される。登録のこの第2の反復は、任意選択的に、アフォーダンス(例えば、1136)の選択に応じて実行される。ユーザの生体特徴の第2のスキャンを実行することで、デバイスは、登録の第1の反復中に記録されていない可能性のある生体特徴の異なる向き又は位置に対応する追加の生体データをキャプチャすることが可能になる。したがって、ユーザの生体特徴の第2のスキャンを実行することで、デバイスにおいてより効率的及び/又は確実な生体許可が可能になり、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、デバイスを動作させ/デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
第2の生体登録インタフェース内で、デバイスは、生体特徴(1140)の第2の表現を表示する。生体特徴の第2の表現は、任意選択的に、デバイスの1つ以上の生体センサ(例えば、1103)に対する生体特徴の位置合わせに基づいて判定された向きを有する。いくつかの実施例では、生体特徴の第2の表現は、生体特徴(例えば、1106)の第1の表現に類似の視覚処理を有する1つ以上のカメラの視野の表現である。
第2の生体登録インタフェース内で、デバイスは、第2の生体特徴(例えば、1140)の表現に対してディスプレイ上の第1の位置にある第3の進度インジケータ部分(例えば、1146などの生体特徴の表現の周りに隔置された第1の組のオブジェクト)と、生体特徴(例えば、1140)の第2の表現に対してディスプレイ上の第2の位置にある第4の進度インジケータ部分(例えば、1148などの生体特徴の表現の周りに隔置された第2の組のオブジェクト)とを含む第2の進度インジケータ(例えば、1142)を同時に表示する。生体特徴の第2の表現は、ディスプレイ上の第3の位置と第4の位置との間に表示される。いくつかの実施例では、第3の進度インジケータ部分は、生体特徴のうち第1の進度インジケータ部分(例えば、1114)と同じ部分に対応する。いくつかの実施例では、第4の進度インジケータ部分は、生体特徴のうち第2の進度インジケータ部分(例えば、1118)と同じ部分に対応する。
いくつかの実施例では、第1の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)の登録状態は、第3の進度インジケータ部分(例えば、1146又は1148)の登録状態に対応しない。
いくつかの実施例では、進度インジケータの第1の進度インジケータ部分は、第1の数の進度要素(例えば、1114a)を含み、第2の進度インジケータの第3の進度インジケータ部分は、第1の数とは異なる(例えば、第1の数より大きい)第2の数の進度要素(例えば、1142a、1142b、1142c)を含む。いくつかの実施例では、第2の進度インジケータ(例えば、1142)内の進度インジケータ部分(例えば、1146、1148)のうちの複数(又はすべて)は、第1の進度インジケータ(例えば、1110)内の対応する進度インジケータ部分(例えば、1114、1118)より多くの進度要素を含む。
いくつかの実施例では、生体特徴(例えば、1140)の第2の表現及び第2の進度インジケータ(例えば、1142)を同時に表示しながら、デバイスは、1つ以上の生体センサ(例えば、1103)に対する生体特徴の向きの第2の変化を検出する。1つ以上の生体センサに対する生体特徴の向きの第2の変化を検出したことに応じて、生体特徴の向きの変化が生体特徴の第1の部分に対する登録基準を満たすという判定に従って、デバイスは、第3の進度インジケータ部分(例えば、1146又は1148)の1つ以上の視覚的特性を更新する。生体特徴の向きの変化が生体特徴の第2の部分に対する登録基準を満たすという判定に従って、デバイスは、第4の進度インジケータ部分(例えば、1146又は1148)の1つ以上の視覚的特性を更新する。例えば、登録プロセスの第2の登録ステップを前進させるために、ユーザは、登録プロセスの第1の登録ステップで生体特徴を登録するために使用された生体特徴の向きの変化を登録プロセスの第2の登録ステップでも繰り返す。したがって、第3及び第4の進度インジケータ部分の視覚的特性を更新することは、任意選択的に、第1及び第2の進度インジケータ部分(例えば、1114、1116、1118、1120、又は1122)に関連して上述したステップに類似のステップを含む。
いくつかの実施例では、1つ以上の生体センサ(例えば、1103)に対する生体特徴の向きの第2の変化を検出した後、第2の組の登録完了基準が満たされている(例えば、生体特徴のすべての部分が登録された)という判定に従って、デバイスは、生体特徴の登録が完了したという第2の通知(例えば、1162、1163)を出力する。いくつかの実施例では、登録は実際に行われない。逆に、プロセスは視覚的にエミュレートされる。いくつかの実施例では、第2の通知は、生体特徴の登録が完了したことを示す視覚、聴覚、及び/又は触知出力(例えば、1163)である。いくつかの実施例では、第2の通知は、第1の組の登録完了基準が満たされているという判定に従って提供される通知(例えば、1126)と同じである。
方法1200(例えば、図12A〜12B)に関して上述したプロセスの詳細は、本明細書に記載する方法にも同様に当てはまることに留意されたい。例えば、方法1200は、任意選択的に、方法800、1000、1400、1600、1800、2000、2200、2500、及び2700を参照して本明細書に記載する様々な方法の特性のうちの1つ以上を含む。例えば、方法1000に説明する顔登録確認インタフェースは、顔登録ユーザインタフェース(例えば、1104)に対して適用することができる。別の例では、方法1400に説明するヒントは、顔登録ユーザインタフェース(例えば、1104)に対して適用することができる。別の例では、方法800に説明する進度メータの遷移は、登録進度メータ(例えば、1110)に対して適用することができる。簡潔にするために、これらの詳細について以下では繰り返さない。
上述した情報処理方法における動作は、任意選択的に、汎用プロセッサ(例えば、図1A、図3、及び図5Aに関して説明する)又は特定用途向けチップなどの情報処理装置内で1つ以上の機能モジュールを走行させることによって実施される。更に、図12A〜12Bを参照して上述した動作は、任意選択的に、図1A〜1Bに示す構成要素によって実施される。例えば、表示動作1202、表示動作1208、検出動作1216、更新動作1222、及び更新動作1224は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソータ170内のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、このイベント情報をアプリケーション136−1へ伝送する。アプリケーション136−1のそれぞれのイベント認識部180は、このイベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の場所での第1の接触がユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの所定のイベント又はサブイベントが検出されたとき、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化する。イベントハンドラ190は、任意選択的に、データアップデーター176又はオブジェクトアップデーター177を利用し又は呼び出して、アプリケーション内部状態192を更新する。いくつかの実施例では、イベントハンドラ190は、それぞれのGUIアップデーター178にアクセスして、アプリケーションによって表示するものを更新する。同様に、図1A〜1Bに示す構成要素に基づいて、他のプロセスをどのように実施することができるかが、当業者には明らかであろう。
図13A〜13Rは、いくつかの実施例による、電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス700、デバイス900、又はデバイス1100)で生体特徴を登録する、例示のユーザインタフェースを示す。これらの図でのユーザインタフェースは、図14での処理を含む下記の処理を説明するために使用される。
図13Aは、電子デバイス1300を示す(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500、デバイス700、デバイス900、又はデバイス1100)。図13A〜13Rに示された例示的な実施例では、電子デバイス1300は、スマートフォンである。他の実施例では、電子デバイス1300は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスであり得る。電子デバイス1300は、ディスプレイ1302、1つ以上の入力デバイス(例えば、ディスプレイ1302のタッチスクリーン、ボタン、マイクロフォン)、及び無線通信機を有する。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つだけカメラを含む。いくつかの実施例では、電子デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを、任意選択的に含む、1つ以上の生体センサ(例えば、生体センサ903)を含む。いくつかの実施例では、1つ以上の生体センサ1303は、1つ以上の生体センサ703である。いくつかの実施例では、デバイスは、赤外線照明投射器、構造化光投影機、又はその組合せなどの発光デバイス(例えば、光投影機)を更に含む。発光デバイスは、1つ以上の生体センサによって生体特徴の生体データがキャプチャされる間、生体特徴(例えば、顔)を照明するために、任意選択的に使用される。
図13Aに示すように、デバイス1300は、ディスプレイ1302上に、顔登録ユーザインタフェース1304を表示する。いくつかの実施例では、顔登録ユーザインタフェース1304は、図9A〜9Yに関連して上述したように、デバイス1300が、その1つ以上のカメラに相対するユーザの顔の位置調整を好結果に検出できた後に、表示される。いくつかの実施例では、顔登録インタフェース1304は、図11Aに関連して上述した顔登録インタフェース1104と同等の視認特性を有する。顔登録インタフェース1304は、ユーザ顔画像1306を含む。いくつかの実施例では、ユーザ顔画像1306は、デバイス1300上の1つ以上のカメラ(例えば、生体センサ1303)によってキャプチャされたユーザの画像である。例えば、ユーザ顔画像1306は、任意選択的に、カメラの視野及び/又は視野のコンテンツが変化するとき連続的に更新する、1つ以上のカメラによってキャプチャされた画像データのライブのプレビュー(例えば、デジタルビューファインダ)である。いくつかの実施例では、顔画像1306中でユーザの顔だけが見えるように、背景コンテンツは、除去される。顔登録インタフェース1304は、ユーザ顔画像1106上に重畳された(例えば、被せられた)向きガイド1308を更に含む。図7I〜7Kに関連して上述したように、向きガイド1308は、任意選択的に、仮想z次元内に(例えば、ディスプレイ面に垂直な軸に沿って)延在し、ユーザ顔画像1306の中心上で交差する、1組の曲線(例えば、十字線)である。したがって、向きガイド1308の曲線は、任意選択的に、3次元空間内のユーザの頭部の位置感を与えるように、ディスプレイ1302面に対して外側に突き出るように見える。
顔登録ユーザインタフェース1304は、登録進行メータ1310を含む。登録進行メータ1310は、ユーザ顔画像1306と向きガイド1308の周囲に配置された1組のディスプレイ要素(例えば、進度要素1310a、1310b、及び1310c)を含む。図13Aの実施例では、進度要素は、ユーザ顔画像1306から外側に放射状に延在する線と、円形状パターンに配置された線との1組である。いくつかの実施例では、進度要素1310a、1310b、1310c、などは、対応する顔の特徴を登録するために必要なユーザの顔の向きを示す。例えば、登録メータ1310の上部部分の進度要素は、任意選択的に、ユーザの頭部が上方に傾けられたとき、色を動作させ、挿入し、引き延ばし、及び/又は変化させ(例えば、図11B〜11Hの方法で)、デバイス1300上の1つ以上のカメラが、ユーザの顔の下側の画像データをキャプチャすることを可能にする。図13Aの実施例では、デバイス1310は、未登録状態(例えば、進度要素はグレイアウトされた)にある登録進行メータ1310の進度要素を表示している。
図13Aの実施例では、顔登録インタフェース1304は、登録進行メータ1310を前進させる(例えば、ユーザの顔の特徴を登録する)ために、ユーザがその顔をデバイスに対して動かし始めることのインジケーションを提供する文字プロンプト1312を含む。いくつかの実施例では、デバイス1300は、ユーザの顔のどの部分も登録されていないときに、文字プロンプト1312を表示する。
顔登録インタフェース1304が表示されている間、デバイス1300は、登録プロンプト(例えば、ヒント)を表示する基準を検出する。いくつかの実施例では、登録プロンプト基準は、生体センサ1303によって判定されるような、ユーザの顔が所定時間内での第1閾値量より少なく動作したという要件を含む。
いくつかの実施例では、これらの登録ヒント基準が満たされたことの検出に応じて、デバイス1300は、図13B〜13Cに示したように、音声ヒント有効化インタフェース1314を表示する。図13Bの実施例では、ヒント有効化インタフェース1314は、文字プロンプト1316を含み、任意のユーザに音声ヒントを有効化する又は無効化するかを通知する。したがって、いくつかの実施例では、ヒント有効化インタフェース1314は、イエスのアフォーダンス1318とノーのアフォーダンス1320とを含む。いくつかの実施例では、ノーのアフォーダンス1320のアクティブ化(例えば、選択)に応じて、デバイス1300は、再度顔登録インタフェース1304を表示し、ユーザが下記のプロンプト及び/又はヒントなしで、彼又は彼女の顔の特徴の登録を続けることを可能にする。図13Cの実施例では、しかしながら、デバイス1300は、イエスのアフォーダンス1310のアクティブ化(例えば、選択)を検出する。いくつかの実施例では、アクティブ化は、接触範囲1322でのユーザ入力である(例えば、タップ又はスワイプのジェスチャ)。
イエスのアフォーダンス1320のアクティブ化の検出に応じて、デバイス1300は、例えば図13Dの実施例で示したような、ヒントが有効化された登録インタフェース1324を表示する。いくつかの実施例では、ヒントが有効化された登録インタフェース1324又は1つ以上の下記のプロンプトは、ユーザが音声ヒントを有効化したか否かにかかわらず、表示される(例えば、ユーザの顔が所定の時間内に十分に動いていないかの検出に応じて)。図13Dの実施例では、ヒントが有効化された登録インタフェース1324は、ユーザ顔画像1306に類似した又は同等の視認特性を有するユーザ顔画像1326を含む。例えば、いくつかの実施例では、ユーザ顔画像1326は、デバイス1300上の1つ以上のカメラ(例えば、生体センサ1303)によってキャプチャされたユーザの画像である。例えば、ユーザ顔画像1326は、任意選択的に、カメラの視野及び/又は視野のコンテンツが変化するとき連続的に更新する、生体センサ1303によってキャプチャされた画像データのライブのプレビュー(例えば、デジタルビューファインダ)である。いくつかの実施例では、ヒントが有効化された登録インタフェース1324は、任意選択的にユーザ顔画像1326上に被せられた(例えば、重畳された)視認動作プロンプト1328を含む。図13Dの実施例では、視認動作プロンプト1328は、ユーザが顔の対応部分(例えば、角度検視)を登録するために、彼又は彼女の顔を動作させるべきである(例えば、回転させる及び/又は傾ける)要求された方向を示す矢印要素を含む。いくつかの実施例では、視認動作プロンプト1328は、下層のユーザ顔画像1326も見ることができるように、部分的に透明である。図13Dの実施例では、視認動作プロンプト1328の矢印要素は、ユーザにその顔を右に(例えば、ユーザの顔の左側の角度検視を登録するために、登録進行メータ1330の右部の方向へ)動作させる(例えば、回転させる、傾ける、又は曲げる)ことのインジケーションを提供している。
いくつかの実施例では、デバイス1300は、文字プロンプト1332を表示し、視認動作プロンプト1328と一致する記述されたインジケーションをユーザに提供する。図13Dの実施例では、文字プロンプト1332は、ユーザへその頭部を右へ(例えば、視認プロンプト1328内の矢印要素よって示された同一の方向での)曲げるように記述されたインジケーションを提供している。いくつかの実施例では、デバイス1300はまた、視認動作プロンプト1328及び/又は文字プロンプト1328に対応する音声出力1334を発行する。例えば、スクリーンリーダ機能が有効化されているとき、音声出力1334は、要求された動作の音声説明である(例えば、文字プロンプト1332の聴覚的な朗読)。いくつかの実施例では、音声出力1334は、視認動作プロンプト1328及び/又は文字プロンプト1332の代わりに、又はそれに加えて、発行される。いくつかの実施例では、デバイス1300はまた、触知出力1336(例えば、振動、例えば、音声出力1334の代わりに、又はそれに加えて)を発行する。いくつかの実施例では、音声出力1334及び/又は触知出力1336は、以下に更に詳細に説明するような、視認動作プロンプト1328の動作(例えば、アニメーション)と同時に起きる。
いくつかの実施例では、デバイス1300は、要求された動作のインジケーションを更に提供するために、視認動作プロンプト1328のアニメーションを表示する。図13D〜13Eの実施例では、デバイス1300は、視認プロンプト1328の矢印要素の表示を、要求された動作方向に遷移させる(例えば、右へ)。いくつかの実施例では、視認プロンプト1328はまた、ユーザ顔画像1326の中心部分上に延在する1つ以上の線(例えば、円弧)を含む。いくつかの実施例では、これらの線は、ディスプレイ1302面から仮想z次元内に(例えば、ディスプレイに垂直に)延在して見える。図13D〜13Eの実施例では、デバイス1300は、円弧を要求された動作方向に(例えば、右に)回転させ、矢印要素の動作を伴う3次元の要求された動作に、視覚的な説明を提供する。いくつかの実施例では、視認動作プロンプト1328のアニメーションを表示している間、デバイス1300は、文字プロンプト1332を表示し続ける。いくつかの実施例では、デバイス1300は、音声出力1334及び/又は触知出力1336を発行し、一方、出力が視認プロンプト1328の矢印及び/又は円弧の要素の動作に対応するようにアニメーションを表示する。
いくつかの実施例では、視認動作プロンプト1328及び/又は文字プロンプト1332を表示している間、デバイス1300は、生体センサ1303に対するユーザの顔の向きが所定の時間変化しなかったことを検出する(例えば、2回目に)。それに応じて、デバイス1300は、触知出力を発行する(例えば、図13Eで示した触知出力1338)。いくつかの実施例では、触知出力1338は、顔の登録が停止したこと(例えば、ユーザが彼又は彼女の顔を所定の時間だけ動かさなかったために)を示すために、エラー時に生成される。
図13Fの実施例では、ユーザの顔の向きが所定の時間変化しなかったことの検出に応じて、デバイス1300は、ユーザが彼又は彼女の顔を異なる方向に動かすことを促す第2の登録ヒント1組を表示する。図13Fの実施例では、デバイス1300は、第2の視認動作プロンプト1340を表示している。第2の視認動作プロンプト1340は、視認動作プロンプト1328と類似した視認特性を有するが、第2の、視認プロンプト1328と異なる要求された動作方向(例えば、右代わりに上)に対応する。例えば、第2の視認動作プロンプト1340は、視認動作プロンプト1328の矢印要素と異なる方向に向ける、第2の矢印要素を含む(例えば、右代わりに上)。更に、いくつかの実施例では、第2の視認動作プロンプト1340は、図13F及び13Gに対して以下に説明するような、要求された第2の動作方向の視覚的な説明を提供するために使用される、視認プロンプト1328の円弧に類似した円弧を含む。
いくつかの実施例では、第2の登録ヒント1組は、ユーザに、視認動作プロンプト1340と一致する、記述されたインジケーションを提供する文字プロンプト1342を含む。図13Fの実施例では、文字プロンプト1342は、ユーザへその頭部を上方へ(例えば、第2の視認プロンプト1340の矢印要素によって示された第2の方向での)傾けるように記述されたインジケーションを提供している。図13Fの実施例では、デバイス1300はまた、第2の視認動作プロンプト1340及び/又は文字プロンプト1342に対応する音声出力1344を発行する。例えば、スクリーンリーダ機能が有効化されているとき、音声出力1344は、要求された動作の音声説明である(例えば、文字プロンプト1342の聴覚的な朗読)。いくつかの実施例では、デバイス1300は、触知出力1346(例えば、振動、例えば、音声出力1334の代わりに、又はそれに加えて)を発行する。
図13F〜13Gに示すように、いくつかの実施例では、デバイス1300は、第2の要求された動作方向のインジケーションを更に提供するために、視認動作プロンプト1340のアニメーションを表示する。図13F〜13Gの実施例では、デバイス1300は、第2の視認プロンプト1340の矢印要素の表示を、第2の要求された動作方向に遷移させる(例えば、上方へ)。図13F〜13Gの実施例では、アニメーションはまた、第2の視認プロンプト1340の円弧要素を第2の要求された動作方向に(例えば、ディスプレイ面での上方へ)回転させ、矢印要素の動作を伴う3次元の要求された動作に、視覚的な説明を提供する。いくつかの実施例では、視認動作プロンプト1340のアニメーションを表示している間、デバイス1300は、文字プロンプト1340を表示し続ける。いくつかの実施例では、デバイス1300は、音声出力1344及び/又は触知出力1346を発行し、一方、出力が視認プロンプト1340の矢印及び/又は円弧の要素の動作に対応するようにアニメーションを表示する。
ここで図13Hを見ると、デバイス1300は、ユーザの顔の生体センサ1303に対する向きの変化(例えば、ユーザが、彼又は彼女の顔を、上方、第2の要求された動作方向へ傾ける又は傾けた)を検出する。向きの変化の検出に応じて、デバイスは、図13Aに対して上述した、顔登録インタフェース1304を表示する(例えば、2回目に)。図13Hの実施例では、デバイス1300は、ユーザの顔の向きの変化を反映するために、ユーザ顔画像1306を更新済みである(例えば、ユーザ顔画像1306の動作が表示されている)。いくつかの実施例では、向きガイド1308が、ユーザ顔画像1306の動作を追跡し(例えば、ユーザ顔画像1306と共に動作し)、3次元でのユーザの顔の傾ける及び回転させる動作を視覚的に強調する。例えば、向きガイド1308の中心(例えば、交差点)は、ユーザ顔画像1306上の中心点に任意選択的に位置決めされ、それと共に動作する。いくつかの実施例では、デバイス1300はまた、3次元回転(例えば、ディスプレイ面での上方への)の外観を与えるために向きガイド1308を備える線の曲率を調整する。いくつかの実施例では、デバイス1100は、動作中(例えば、ユーザの顔の向きが変化している間)、向きガイド1108を強調する。例えば、デバイス1300は、動作中、向きガイド1308を任意選択的に暗くし、及び/又はユーザの顔の動作を追跡しているとき退色した軌跡を表示する。この場合、デバイス1300は、ユーザの顔が動いていないとき、ユーザ顔画像1306に対する向きガイド1308に関するこの強調を任意選択的に低減する。
図13Gの実施例に示すように、ユーザの顔が進行メータ部分1348(例えば、1310a、1310b、1310cなどの1つ以上の進度要素の1組)の方向へ合わせられたことの検出に応じて、デバイス1300は、メータ部分1348内の進度要素の外観を変化させることによって、メータ部分1348内の進度要素の表示を「登録中」状態に更新する。例えば、デバイス1300は、任意選択的に、ユーザの顔がメータ部分1348の方向へ合わせられている間、メータ部分1348内の進度要素を拡大する、及び/又はその色を変化させる。いくつかの実施例では、デバイス1300は、進度要素を「登録中」状態に更新するとき、進行目盛りを引き延ばし、その色をグレイから青に変化させる。いくつかの実施例では、このように進度要素の表示が「登録中」状態に変化することは、デバイス1300が、ユーザの顔の目下の向きに対応する角度検視用の顔の画像化データをキャプチャしていること(例えば、登録していること)を示す。図13Gの実施例では、デバイス1300が、それらの進度要素に対応する向きにユーザの顔があることをまだ検出していないことを示すために、デバイス1300は、進行メータ1310内の進度要素(例えば、メータ部分1348の一部でない進度要素)を未登録状態(例えば、グレイアウト)に維持する。いくつかの実施例では、メータ部分1348の表示は、ユーザの顔がメータ部分1348の方向へ十分に回転されているときだけ(例えば、ユーザの顔が少なくとも閾値量又は角度だけ回転されたとき)、このように更新される。
ここで図13Iの実施例を見ると、デバイス1300は、ユーザの顔がもはや、メータ部分1348に対応する向きにない(例えば、ユーザがその頭部を下方へと傾けて中立位置に戻した)ことを検出している。それに応じて、デバイス1300は、メータ部分1348内の進度要素の外観を再度「登録済み」状態に変化させる。図13Iの実施例では、デバイス1300は、部分1348内の進行目盛りの表示を引き延ばされた「登録中」状態から、進行目盛りを短くし、再度その色を変えることによって、更新する。例えば、「登録済み」状態にある進度要素は、「未登録」状態にある進度要素と同一の長さ及び/又はサイズであるが、ユーザの顔の対応部分(例えば、図13Jでキャプチャされた角度検視)が、図11Jに関連して上述したように、好結果で登録されたことを示すために、緑で表示される。図13Jの実施例では、デバイスが、それらの進度要素に対応する向きにユーザの顔があることをまだ検出していないことを示すために、デバイス1300は、登録進行メータ1310内の他の進度要素を未登録状態に維持する。顔の向きの変化の検出に応じて、デバイス1300はまた、デジタルビューファインダ内のユーザ顔画像1306の動作を追跡するように、向きガイド1308を動作させる。
ここで図13Jの実施例を見ると、図13Iで示された向きへの変化の検出の後、デバイスは、生体センサ1303に対するユーザの顔の向きが所定の時間変化しなかったことを検出する(例えば、2回目に)。それに応じて、デバイス1300は、ヒントが有効化された登録インタフェース1350を表示する。いくつかの実施例では、ヒントが有効化された登録インタフェース1350は、自動的に表示される。いくつかの実施例では、ヒントが有効化された登録インタフェース1350は、アフォーダンス(例えば、ヒント有効化インタフェース1314でのイエスのアフォーダンス1318と同様の)のアクティブ化(例えば、選択)の検出に応じて表示される。いくつかの実施例では、ヒントが有効化された登録インタフェース1350及びその要素(例えば、ユーザの顔の表示1352、登録進行メータ1354、視認動作プロンプト1356、及び文字プロンプト1358)は、図13Dでのヒント有効化インタフェース1324に対して上述したものと同一の視認特性を有する。図13Jの実施例では、しかしながら、デバイス1300は、進行メータ1330の同一部分に対応する顔の向きが、すでに登録済み(例えば、図13Hの方法で)であるので、登録進行メータ1354のメータ部分1360内の進度要素が「登録済み」状態にあることを表示する。
図13J〜13Kの実施例では、デバイス1300は、ユーザが彼又は彼女の顔をまだ登録されていない向きへと動作させるように促す視認動作プロンプト1356のアニメーションを表示する。例えば、視認プロンプト1356のアニメーションは、ユーザが彼又は彼女の顔を第1の要求された方向に動作させるように促す(例えば、右へ)。視認動作プロンプト1356のアニメーションは、図13D〜13Eに対して上述した視認動作プロンプト1328のアニメーションに類似又はそれと同一の特性を有する。例えば、デバイス1300は、視認プロンプト1356の矢印要素の表示を、まだ登録されていない顔の向きに対応する要求された動作方向に遷移させる(例えば、右へ)。図13J〜13Kの実施例では、アニメーションはまた、視認プロンプト1356の円弧要素を要求された動作方向に(例えば、右に)回転させ、矢印要素の動作を伴う3次元の要求された動作に、視覚的な説明を提供する。いくつかの実施例では、視認動作プロンプト1356のアニメーションを表示している間、デバイス1300は、文字プロンプト1358を表示し続け、要求された動作の記述された説明を提供する。いくつかの実施例では、デバイス1300は、音声出力1362及び/又は触知出力1364を発行し、一方、出力が視認プロンプト1340の矢印及び/又は円弧の要素の動作に対応するようにアニメーションを表示する。
図13Lの実施例に目を向けると、デバイス1300は、生体センサ1303に対するユーザの顔の向きが所定の時間変化しなかったことを検出した(例えば、3回目に)。図13Lの実施例では、ユーザの顔の向きに皆無かそれに近い変化の検出に応じて、デバイス1300は、アクセシビリティ登録インタフェース1368を表示する。いくつかの実施例では、アクセシビリティ登録インタフェースは、任意選択的にユーザ顔画像1308に類似した又はそれと同一の特性を有するユーザ顔画像1370を含む。特に、ユーザ顔画像1370は、任意選択的に、生体センサ1303によってキャプチャされた画像データのライブのプレビューである。図13Lの実施例では、アクセシビリティ登録インタフェース1368は、任意選択的に、ユーザ顔画像1370を囲み表示された登録進行メータ1372を含む。いくつかの実施例では、メータ部分1370の表示は、先に登録済み(例えば、デバイス1300が、登録インタフェース1304あるいはヒント有効化登録インタフェース1324及び/又は1350を、登録の先行段階中に表示していた間)のユーザの顔の向き及び/又は部分を示す。例えば、デバイス1300は、進行メータ1370(メータ部分1348及び/又は1360に対応する)の部分1374内の進度要素を表示する。図13Lの実施例では、アクセシビリティ登録インタフェース1368は、アクセシビリティ選択肢アフォーダンス1378を更に含む。いくつかの実施例では、アクセシビリティ選択肢アフォーダンス1378のアクティブ化により、ユーザが、部分的スキャンだけを使用して生体(例えば、顔)認証(例えば、全体スキャン中に登録される顔の向き又は部分のサブセットだけを登録した後の)を段取りすることが可能になる。
図13Mの実施例では、デバイス1300は、アクセシビリティ選択肢アフォーダンス1378(例えば、ユーザ入力1380による)のアクティブ化(例えば、選択)を検出する。アクセシビリティ選択肢アフォーダンス1378のアクティブ化の検出に応じて、デバイス1300は、図13Nに示すようにアクセシビリティ登録インタフェース上に完了アフォーダンス1382を表示する。いくつかの実施例では、完了アフォーダンスのアクティブ化により、デバイスが、彼らの顔の特徴の部分的スキャンだけを使用しながら進行することを可能にする。
図13Oの実施例では、デバイス1300は、ユーザ入力1384による完了アフォーダンス1382のアクティブ化(例えば、選択)を検出する。完了アフォーダンスのアクティブ化の検出に応じて、デバイス1300は、図13Pに示すように部分的スキャン肯定承認インタフェース1386を表示する。部分的スキャン肯定承認インタフェースは、ユーザ顔画像1370の視認特性のいくつか又はすべてを任意選択的に有するユーザ顔画像1387を含む。ユーザの顔の一部が、好結果に登録された後、デバイス1300は、例えばユーザ顔画像1387に近接した及び/又はそれを囲んだ登録成功インジケータ1388を更に表示する。図13Pの実施例では、部分的スキャン肯定承認インタフェース1386は、ユーザの顔の少なくとも一部分に対応する画像データが、好結果にキャプチャされ登録されたことの記述された通知を提供する、文字プロンプト1389を含む。図13Pの実施例では、デバイス1300は、登録完了アフォーダンス1390を表示している。
図13Qの実施例では、デバイス1300は、ユーザ入力1392による登録完了アフォーダンス1390のアクティブ化(例えば、選択)を検出する。いくつかの実施例では、登録完了アフォーダンスのアクティブ化の検出に応じて、デバイス1300は、上述した登録処理中にキャプチャされたユーザの顔の1つ以上の角度検視(例えば、向き)の画像データを登録する。任意選択的に、デバイス1300は、登録処理の完了を肯定承認するために、触知出力1393を発行する。いくつかの実施例では、触知出力1393は、デバイス1300での好結果の生体認証に応じて発行される触知出力と同一である。図13Qの実施例では、デバイス1300は、成功インジケータ1388の表示を顔画像1387に近接した部分的登録インジケータ1391で置き換えており、好結果に登録されたユーザの顔の向きを視覚的に示している。いくつかの実施例では、部分的登録インジケータ1391のサイズ(例えば、円弧長)及び位置は、登録中に「登録済み」状態へと遷移させられた進行メータ(例えば、1310、1354、1372)の部分に対応する。図13Qの実施例では、デバイス1300は、メータ部分1374に対応する1つ以上の顔の向きが、好結果に登録されたことを示すために、部分的登録インジケータ1391をメータ部分1374と類似した位置に表示する。
図13Rの実施例では、登録完了アフォーダンス1390(例えば、ユーザ入力1392による)のアクティブ化(例えば、選択)の検出に応じて、デバイス1300は、登録完了インタフェース1394を表示する。図13Rに示すように、登録完了インタフェース1394は、生体認証グリフ1395を含む。例えば、生体認証グリフ1395は、任意選択的に、顔のすべて又は一部の線画である(例えば、定型化された顔画像)。図13Rの実施例では、登録完了インタフェース1394は、登録処理が完了し、デバイスでの顔認証が段取りされ及び/又は有効化されたことを示す文字プロンプト1396を更に含む。いくつかの実施例では、登録完了インタフェース1394は、完了アフォーダンス1397を更に含み、それをアクティブ化することでデバイス1300が顔認証段取りから抜け出る。いくつかの実施例では、登録完了インタフェース1394は、顔画像1387を含まない。
図14は、いくつかの実施例による電子デバイス上で、生体特徴を効果的に登録するヒントを提供する方法を説明するフロー図である。方法1400は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信機(例えば、Bluetooth接続、WiFi接続、4GのLTE接続などのモバイルブロードバンド接続)を有するデバイス(例えば、100、300、500、1300)で、実行される。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つだけカメラを含む。いくつかの実施例では、デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを、任意選択的に含む、1つ以上の生体センサを含む。いくつかの実施例では、デバイスは、赤外線照明投射器、構造化光投影機、又はその組合せなどの発光デバイスを更に含む。発光デバイスは、1つ以上の生体センサによって生体特徴の生体データがキャプチャされる間、生体特徴(例えば、顔)を照明するために、任意選択的に使用される。方法2000でのいくつかの操作は、任意選択的に組み合わされ、いくつかの操作の順番は、任意選択的に変更され、いくつかの操作は、任意選択的に省略される。
後述するように、方法1400は、電子デバイス上で生体特徴を効果的に登録するヒントを提供する直観的な方法を提供する。この方法は、デバイス上で生体特徴を登録するユーザの認識的負担を低減し、それにより更に効果的なヒューマンマシンインタフェースをもたらす。電池で動作するコンピュータデバイスにとって、ユーザが、生体特徴をより速く、より効果的に登録できるようにすることが、電力を節約し、バッテリ充電までの時間を延長する。
デバイスは、ディスプレイ上に、生体特徴(例えば、ユーザの顔、指紋、虹彩、掌紋、又は個人を別の個人と区別するために使用できる他の物理的生体特徴)を登録する生体登録ユーザインタフェース(例えば、1304、1324)を表示する(1402)。生体登録ユーザインタフェースを表示することは、生体特徴の表示(例えば、1306、1326、デバイスのユーザの頭部の表示)を表示することを含む。1つ以上の生体センサ(例えば、1303)に対する生体特徴の向きが変化するとき、生体特徴の表示の外観は、変化する(1404)。例えば、1つ以上の生体センサに対する生体特徴の向きは、任意選択的に、1つ以上のカメラによってキャプチャされた画像データ(例えば、1つ以上のカメラの視野内に位置決めされたユーザの頭部を含むカメラデータ)でのユーザの顔の位置調整に基づく。生体センサによってキャプチャされた画像のプレビューを表示することは、ユーザに、デバイスの生体センサに対する彼又は彼女の生体特徴の位置及び向きに関するフィードバックを提供し、ユーザが、生体特徴を適切に登録するために、より素早く、効果的に、彼又は彼女の生体特徴を、センサと適切に位置調整することを可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
生体登録ユーザインタフェースを表示している間、デバイスは、登録促進基準が、生体特徴の1つ以上の部分に対して満足されたことを検出する(1406)。
いくつかの実施例では、登録促進基準は、生体特徴の動作が、少なくとも第1の閾値時間の間、第1の閾値量より少ない(1つ以上の生体センサによって判定されるように)という要件を含む(1408)。ユーザの生体特徴の動作がほとんど又は全く検出されないときに登録ヒントを自動的に有効化することは、必要な動作を素早く自動的に実行しようと奮闘するユーザが、どのように登録処理を進めるかのインジケーションを受信するので、登録処理を完了するために必要な時間を短縮する。一連の条件がさらなるユーザの入力を必要とせずに満足されたとき、最適化された一連の操作を実行することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
登録促進基準が、生体特徴の1つ以上の部分に対して満足されたことの検出に応じて、デバイスは、それぞれのプロンプト(例えば、1328、1332、1334、1336、1340、1342、1344、1346、例えば、可視的、可聴的、及び/又は触知的プロンプト)を、それぞれの方法で生体特徴を動作させるために、出力する(1410)。それぞれのプロンプトは、生体特徴の1つ以上の部分の登録状態(例えば、生体特徴の第1の部分及び/又は第2の部分が登録済みか否か)に基づいて選択される(1412)。特に、登録促進基準が、第1の方法での生体特徴の動作によって登録され得る生体特徴の第1の部分に対して、満足されたという判定に従って、デバイスは、プロンプト(例えば、1328、1332、1334、1336)を、第1の方法で生体特徴を動作させるために、出力する(1424)。登録促進基準が、第2の方法での生体特徴の動作によって登録され得る生体特徴の第2の部分に対して、満足されたという判定に応じて、第1の方法と異なり、それぞれのプロンプトを出力することは、プロンプト(例えば、1340、1342、1344、1346)を、第2の方法で生体特徴を動作させるために、出力すること(1426)を含む。特定の方向に生体特徴を動作させるために、可視的及び/又は聴覚的なプロンプトを提供することにより、ユーザが、対応部分が登録され得るように生体特徴を位置決めする方法を、素早く直観的に理解することができるようになる。これらのプロンプトにより、ユーザは、登録処理に必要な向きの範囲にもかかわらず、生体特徴を、そうでないときと比べて素早く効果的に動作させることが可能になる。生体特徴の適切な動作についてのインジケーションと共に、改善された視覚的及び/又は聴覚的なフィードバックを提供することは、それゆえデバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、聴覚的なプロンプト基準が満足されたという判定(例えば、デバイスのスクリーンリーダ機能が有効化されているか否かを判定すること)に従って、デバイスは、第1の方法で(例えば、1つ以上の視認プロンプトの代わりに又はそれに加えて)生体特徴を動作させるために聴覚的なプロンプト(例えば、1334)を出力する。いくつかの実施例では、聴覚的なプロンプト基準が満足されないという判定に従って、デバイスは、ユーザに生体登録用の聴覚的なプロンプトを有効化する選択肢を提供する。例えば、ユーザによって選択されたとき、聴覚的なプロンプトが有効化される、又は生体登録用の聴覚的なプロンプトを有効化するステップを説明するオーディオプロンプト(例えば、1334、1344)を提供する、アフォーダンス(例えば、1318)を、デバイスは表示する。特定の方向に生体特徴を動作させるために、聴覚的なインジケーションを提供することにより、ユーザが、対応部分が登録され得るように生体特徴を位置決めする方法を、素早く直観的に理解することができるようになる。これらのプロンプトにより、ユーザは、登録処理に必要な一連の向きにもかかわらず、生体特徴を、そうでないときと比べて素早く効果的に動作させることが可能になる。生体特徴の適切な動作についてのインジケーションと共に、改善された聴覚的なフィードバックを提供することは、それゆえデバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、それぞれのプロンプト(例えば、1328、1332、1334、1336、1340、1342、1344、1346、例えば、可視的、可聴的、及び/又は触知的プロンプト)を、生体特徴のいずれかの部分が登録されてしまう前に、出力する。例えば、それぞれのプロンプトは、登録処理を始めるために、ユーザがその頭部を傾け始めるべきであることを、任意選択的に示す(1422)。
いくつかの実施例では、デバイスは、それぞれのプロンプト(例えば、1328、1332、1334、1336、1340、1342、1344、1346、例えば、可視的、可聴的、及び/又は触知的プロンプト)を、生体特徴の少なくとも一部分が登録された後に、出力する。例えば、プロンプトは、登録処理を続けるために、ユーザがその頭部を傾け続けるべきであることを、任意選択的に示す。ユーザが、生体特徴を第1の方向に動作させた後に、生体特徴を第2の方向に動作させるためのプロンプトを自動的に発行することにより、ユーザが、登録処理を進めるために、生体特徴を動作させ続ける方法を、素早く直観的に理解することができるようになる。生体特徴の必要とされる動作を素早く実行するための方法を理解させることでユーザを支援することは、生体特徴の登録を完了するために必要な時間を短縮する。したがって、一連の条件がさらなるユーザの入力を必要とせずに満足されたとき、最適化された一連の操作を実行することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、触知出力を出力する(例えば、1336、1346)。いくつかの実施例では、触知出力は、可聴的出力を伴う(例えば、1334、1344)。いくつかの実施例では、触知出力及び/又は音声出力は、視認プロンプトの動作と同時に生成される(例えば、1328、1340)。例えば、触知出力は、ユーザが生体特徴を動作させることを促されている方向への矢印又は円弧(例えば、1328及び/又は1340での矢印要素及び円弧要素)の動作に、任意選択的に対応する。
いくつかの実施例では、それぞれのプロンプトは、デバイスを使用した失敗した生体認証を示すために使用される触知出力(例えば、1338、1366)を含む。例えば、1つ以上の生体センサに対する生体特徴の向きを変化させることに失敗したことにより生体登録が停止されたとき、エラーとして生成される触知出力は、失敗した生体認証を示すために使用される触知出力と同一である。
いくつかの実施例では、デバイスは、視認プロンプト(例えば、1328、1340、1356)を生体特徴の表示上に被せる。例えば、視認プロンプトは、任意選択的に、生体特徴を動作させる(上へ、下へ、左へ、右へ、それらの方向間の対角線の角度で、など)それぞれの方法(方向)を示す矢印である。いくつかの実施例では、視認プロンプトは、部分的に透明である。要求された動作方向の矢印要素などの視認プロンプトを表示することにより、要求された方向に対応する特徴の一部分が適切に登録されることができるように、生体特徴を動作させる方法を、ユーザが素早く理解することが可能になる。このことにより、ユーザが、要求された動作をより素早く効果的に実行することが可能になり、登録処理によって必要とされる時間が短縮される。生体特徴の適切な動作を説明する改善された視認プロンプトを提供することは、それゆえデバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、それぞれの方法で生体特徴を動作させるために、アニメーションプロンプト(例えば、図13D〜13E、13F〜13G、又は13J〜13Kに対して説明した1328、1340、又は1356のアニメーション)を表示する(1414)。例えば、デバイスは、任意選択的に、生体特徴の第1の部分に対する第1の方法(例えば、図13D〜13Eで示した1328のアニメーション)で、アニメーション促進動作を表示し、生体特徴の第2の部分に対する第2の方法(例えば、図13F〜13Gで示した1340のアニメーション)で、アニメーション促進動作を表示する。いくつかの実施例では、アニメーションプロンプトを表示することは、生体特徴を動作させるためのそれぞれの方法を示す矢印要素(例えば、1328、1340、又は1356の矢印要素)を表示すること(1416)を含む。要求された動作方向を直観的に説明するアニメーションを表示することにより、要求された方向に対応する特徴の一部分が適切に登録されることができるように、生体特徴を動作させる方法を、ユーザが素早く理解することが可能になる。このことにより、ユーザが、要求された動作をより素早く効果的に実行することが可能になり、登録処理によって必要とされる時間が短縮される。生体特徴の適切な動作の直観的な説明を有する改善された視覚的フィードバックを提供することは、それゆえデバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスは、アニメーションに対応する触知出力(例えば、1336、1346、1364)又は聴覚的な出力(例えば、1334、1344、又は1362)のうちの少なくとも1つを出力する(1420)。例えば、アニメーションは、生体特徴を任意選択的に、拡大表示及び縮小表示する。別法として及び/又は追加の方法として、登録ユーザインタフェース(例えば、1324、1350)の1つ以上の要素は、任意選択的に一時的に状態を変化させる。一般に、触知出力は、アニメーションに同期する。要求された動作の視覚的な説明を伴う触知的及び/又は音声の出力を提供することは、要求された方向に対応する特徴の一部分が適切に登録されることができるように、生体特徴を動作させる方法を、ユーザが素早く理解することが可能になる。このことにより、ユーザが、要求された動作をより素早く効果的に実行することが可能になり、登録処理によって必要とされる時間が短縮される。アニメーションを伴う改善された触知的及び/又は聴覚的なフィードバックを提供することは、それゆえデバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、動作の第1の方法は、ディスプレイに平行な軸(例えば、ディスプレイ1302の面内の)の周りの回転を含み、動作の第2の方法は、ディスプレイに平行な軸に対する回転を含む。この場合、アニメーションプロンプト(例えば、図13D〜13E、13F〜13G、又は13J〜13Kに対して説明した1328、1340、又は1356のアニメーション)は、ディスプレイに平行な軸に対するユーザインタフェース要素(例えば、1328、1340、又は1356の円弧要素)のシミュレーション的な回転を含む(1418)。例えば、ユーザが、生体特徴をディスプレイに平行な軸に対して時計方向に回転させるように促されている場合、アニメーションは、ディスプレイに平行な軸に対して時計方向のユーザインタフェース要素の動作を任意選択的に含む。同様に、ユーザが、生体特徴をディスプレイに平行な軸に対して反時計方向に回転させるように促されている場合、アニメーションは、ディスプレイに平行な軸に対して反時計方向のユーザインタフェース要素の動作を任意選択的に含む。要求された動作を説明するために向き要素のシミュレーション的な回転を表示することにより、要求された方向に対応する特徴の一部分が適切に登録されることができるように、生体特徴を動作させる方法を、ユーザが素早く理解することが可能になる。このことにより、ユーザが、要求された動作をより素早く効果的に実行することが可能になり、登録処理によって必要とされる時間が短縮される。生体特徴の適切な動作の直観的な説明を有する改善された視覚的フィードバックを提供することは、それゆえデバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、生体登録ユーザインタフェースは、生体特徴の表示(例えば、1306)上に被せられた向きガイド(例えば、1308)を含み、生体特徴の表示が、異なる方向に傾くとき、異なる方向へ傾く(例えば、方法1200を参照して上述したように)。この実施例では、登録促進基準が、第1の方法での生体特徴の動作によって登録され得る生体特徴の第1の部分に対して、満足されたという判定に従って、アニメーションプロンプト(例えば、図13D〜13E又は13J〜13Kに対して説明された1328又は1356のアニメーション)は、生体特徴が第1の方法で動作したとき、向きガイドが動作する方向への向きガイド(例えば、1308の垂直成分)の一部分の動作を含む。生体特徴の表示上に被せられた向きガイドを表示すること及び/又は回転させることは、ユーザに、3次元空間におけるデバイスの生体センサに対する彼又は彼女の生体特徴の向きに関するフィードバックを提供し、ユーザが、登録処理中に要求される向きの範囲を通して、生体特徴をより素早く移動させることを可能にする。ユーザに生体特徴の向きに関する改善された視覚的フィードバックを提供することは、それゆえデバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
同様に、登録促進基準が、第2の方法での生体特徴の動作によって登録され得る生体特徴の第2の部分に対して、満足されたという判定に従って、アニメーションプロンプト(例えば、図13F〜13Gに対して説明された1340のアニメーション)は、生体特徴が第2の方法で動作したとき、向きガイドが動作する方向への向きガイドの一部分の動作を含む。いくつかの実施例では、向きガイドは、第1の部分(例えば、1308の水平成分、例えば、第1の円弧)及び第2の部分(例えば、1308の水平成分、例えば、第1の円弧と交差する第2の円弧)を含み、アニメーションプロンプト(例えば、図13F〜13Gで示した1340のアニメーション)は、向きガイドの第2の部分を動作させずに第1の部分を動作させること、又は第1の部分を動作させずに第2の部分を動作させることを含む。いくつかの実施例では、向きガイドの第1の部分が動作している場合、その時第2の部分は表示されなくなる。同様に、第2の部分が動作している場合、その時第1の部分は表示されなくなる。いくつかの実施例では、特徴が上下左右に傾けられているとき見えない生体特徴の部分のために、登録が必要な場合、アニメーションは、対角線方向に動作させ、ユーザが生体特徴を対角線方向に傾けるように促す。
いくつかの実施例では、それぞれの方法で生体特徴を動作させるために、それぞれのプロンプト(例えば、1328、1332、1334、1336、1340、1342、1344、1346)を出力し、生体特徴の動作の検出に応じて、デバイスは、生体特徴のそれぞれの部分を登録する。デバイスは、方法1200で説明したように、進度インジケータ(例えば、1310、1330)を任意選択的に更新する。生体特徴のそれぞれの部分を登録している間、デバイスは、プロンプトの提供を任意選択的に停止する。このように登録中に進度インジケータを更新することは、注視がディスプレイに向けられているときは、検出する能力を改善するために、そしてこのようにユーザがデバイスに注意を払っているか否かにかかわらず、ユーザが登録中に電子デバイスのディスプレイを見ることを促す。ユーザが電子デバイスのディスプレイを見ることを促すことは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザの注視がディスプレイに向けられることを確実にし、それによりユーザの生体特徴が適切に登録されることを確実にする)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、生体特徴のそれぞれの部分を登録した後、デバイスは、登録促進基準が、生体特徴の1つ以上の部分に対して満足されたことを判定する。登録促進基準が、生体特徴の1つ以上の部分に対して満足されたこという判定に応じて、(例えば、ユーザは登録中閾値時間中は反応することを停止する)、登録促進基準を満足した生体特徴の1つ以上の部分に基づいて判定されたそれぞれの方法で、生体特徴を動作させるために、デバイスは、別のそれぞれのプロンプト(例えば、1356、1358、1362、1364)を出力する。例えば、まだ登録が済んでいない生体特徴の部分を登録するために、ユーザを促し、1つ以上の生体センサに対して生体特徴の向きを変化させることを、デバイスは開始する。いくつかの実施例では、プロンプトは、上述した他のプロンプトと同様の特性を有する。いくつかの実施例では、プロンプトは、上述したプロンプトと同様の方法で進行する。いくつかの実施例では、1つ以上の生体センサに対する生体特徴の動作がほとんど又は全く検出されない第1の時間の後、第1のプロンプト(例えば、1356、1358、1362、1364)が、第1の方向に提供され、1つ以上の生体センサに対する生体特徴の動作がほとんど又は全く検出されない第2の時間(第1の時間よりも長い)の後、第2のプロンプトが、第2の方向に提供され、生体センサに対する生体特徴の動作がほとんど又は全く検出されない第3の時間(第1の時間よりも長い)の後、生体特徴のすべての部分を登録せずに、生体登録を完了する選択肢(例えば、1382、1390)が、提供される。生体特徴の動作がほとんど又は全く検出されないときに異なる方向へ生体特徴を動作させるプロンプトを自動的に提供することは、第1の方向への動作を実行しようと奮闘している又は実行できないユーザを、登録処理を進める方法についてのインジケーションを素早く自動的に提供することによって支援する。一連の条件がさらなるユーザの入力を必要とせずに満足されたとき、最適化された一連の操作を実行することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、それぞれの方法で生体特徴を動作させるために、それぞれのプロンプト(例えば、1328、1332、1334、1336、1340、1342、1344、1346、1356、1358、1362、1364)を出力した後、アクセシビリティプロンプト基準が満足されたかの判定に従って、デバイスは、1つ以上の生体センサ(例えば、1303)に対して生体特徴の向きを更に変化させることなく登録を進める選択肢(例えば、1378)を表示する(1428)。アクセシビリティプロンプト基準は、1つ以上の生体センサに対する生体特徴の向きは、それぞれの時間中で所定量より少ない変化だったという要件を含む(1430)。例えば、ユーザの生体特徴は、第2のプロンプト(例えば、1340、1342、1344、1346)の提供後の閾値時間中、動作として検出されていない。この場合、アクセシビリティアフォーダンス(例えば、1378)が表示され、ユーザは、アクセシビリティアフォーダンスを任意選択的に選択する(例えば、1380)。言い換えれば、ユーザは、利用可能な向きの範囲よりも小さい向きの範囲からの生体特徴の検視に生体特徴認証を使用することを認めることができる。いくつかの実施例では、それぞれの時間は、第2の時間よりも長い。例えば、1つ以上の生体センサ(例えば、1303)に対して生体特徴がほとんど又は全く動作しない遅延の後、デバイスは、第1の方向への生体特徴の動作を最初に促し(例えば、1328、1332、1334、1336を用いて)、次に、ほとんど又は全く動作しない遅延の後、デバイスは、第2の方向への生体特徴の動作を促し(例えば、1340、1342、1344、1346を用いて)、次に、ほとんど又は全く動作しない更なる遅延の後、デバイスは、1つ以上の生体センサに対して生体特徴を更に動作させることなく、登録を進める選択肢(例えば、1378)を提供する。いくつかの実施例では、十分な生体特徴が、生体特徴の少なくとも一部分を使用した確実な認証を保証するためにキャプチャされた後(例えば、顔のある角度がキャプチャされ、限られた移動で登録されたユーザが、登録された角度だけを使用して、生体特徴を登録するためにアクセシビリティオプションを選択できるとすぐに)、アクセシビリティプロンプト(例えば、1378)は、表示される。
いくつかの実施例では、デバイスは、1つ以上の生体センサに対して生体特徴の向きを更に変化させることなく登録を進める選択肢の選択を検出する(1432)。例えば、いくつかの実施例では、デバイスは、生体データの登録を確認するアクセシビリティインタフェース(例えば、1368)のアフォーダンス(例えば、1380)の選択を示すユーザ入力(例えば、1382)を受信する。1つ以上の生体センサ(1434)に対して生体特徴の向きを更に変化させることなく登録を進める選択肢の選択の検出に応じて、デバイスは、生体登録での1つ以上のステップを取り止める(1436)(例えば、スキップする)。例えば、デバイスによって促されたとき生体特徴が向きを変える、標準的な登録処理中に表示され得る第2の生体登録ユーザインタフェース(例えば、図11Hの第2の登録インタフェース1138)の表示を、デバイスは、スキップする(例えば、1200の方法に対して説明したように、ユーザがアクセシビリティインタフェースによって登録するとき、第2の登録フローは存在しない)。
いくつかの実施例では、1つ以上の生体センサ(1434)に対して生体特徴の向きを更に変化させることなく登録を進める選択肢の選択に応じて、デバイスは、生体特徴の部分が登録されたことについての情報を含む、生体特徴の登録が完了したことの通知(例えば、1391及び1389)を表示する(1438)。いくつかの実施例では、デバイスは、アフォーダンス(例えば、1390)を表示し、選択されたとき、生体特徴の部分的登録を確認する。
いくつかの実施例では、1つ以上の生体センサに対して生体特徴の向きを更に変化させることなく登録を進める選択肢の選択の検出に応じて、デバイスは、生体特徴が登録されたとき、成功した生体特徴を用いた生体認証を示すために使用される触知出力(例えば、1393)を出力する。例えば、生体登録が完了したとき、生成される触知出力は、生体特徴を用いた成功した認証を示すために使用される触知出力と、任意選択的に同一である。
なお、方法1400に対して上述した処理(図14A〜14B)の詳細は、本明細書で説明した方法に、類似の方法で更に適用可能であることに留意されたい。例えば、方法1400は、方法800、1000、1200、1600、1800、2000、2200、2500、及び2700を参照して本明細書で説明した多様な方法の1つ以上の特性を含む。例えば、方法1000で説明したアクセシビリティインタフェースは、アクセシビリティ登録インタフェース(例えば、1368)に対して適用され得る。例えば、方法1200で説明した向きガイドは、向きガイド(例えば、1308)に対して適用され得る。簡潔のために、これらの詳細は、以下で繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ(例えば、図1A、3、及び5Aに対して説明したように)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図14A〜14Bを参照して上述した演算は、図1A〜1Bで示した構成要素によって、任意選択的に実行される。例えば、表示演算1402、検出演算1406、出力演算1408、出力演算1412、及び出力演算1414は、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって任意選択的に実行される。イベントソータ170内のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に伝送する。アプリケーション136−1のそれぞれのイベント認識部180は、イベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の位置での第1の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。それぞれの所定のイベント又はサブイベントが検出されたとき、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、アップデーター176又はオブジェクトアップデーター177を、任意選択的に利用又は呼び出す。いくつかの実施例では、イベントハンドラ190は、アプリケーションによって表示されるものを更新するために、それぞれのGUIアップデーター178にアクセスする。同様に、当業者には、他の処理が、図1A〜1Bで示した構成要素に基づいてどのように実行され得るのか明らかであろう。
図15A〜15Tは、いくつかの実施例による、生体認証の例示のユーザインタフェースを示す。下記でより詳細に説明されるように、図15A〜15Tに示されたユーザインタフェースの例示的な実施例は、図16A〜16Eでの処理を含む下記の処理を説明するために使用される。
図15Aは、電子デバイス1500を示す(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)。図15A〜15Tに示された例示的な実施例では、電子デバイス1500は、スマートフォンである。他の実施例では、電子デバイス1500は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスであり得る。電子デバイス1500は、ディスプレイ1502と、1つ以上の入力デバイス(例えば、ディスプレイ1502のタッチスクリーン、ボタン1504、マイクロフォン(図示せず))と、無線通信機とを有する。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つだけカメラを含む。いくつかの実施例では、電子デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを、任意選択的に含む、1つ以上の生体センサ(例えば、生体センサ1503)を含む。いくつかの実施例では、1つ以上の生体センサ1503は、1つ以上の生体センサ703である。いくつかの実施例では、デバイスは、赤外線照明投射器、構造化光投影機、又はその組合せなどの発光デバイス(例えば、光投影機)を更に含む。発光デバイスは、1つ以上の生体センサによって生体特徴の生体データがキャプチャされる間、生体特徴(例えば、顔)を照明するために、任意選択的に使用される。
図15Aでは、電子デバイス1500は、ディスプレイ1502上に、ログインアフォーダンス1508を含むアプリケーションインタフェース1506を表示する。図15Aの実施例では、アプリケーションは、ブラウザのインタフェース内に、ウェブサイト(例えば、onlinestore.com)を表示するブラウザである。図15Bでは、アプリケーションインタフェース1506を表示する間、電子デバイス1500は、ログインアフォーダンス1508のアクティブ化を検出する。図に示すように、アクティブ化は、ログインアフォーダンス1508上のタップジェスチャ1510である。
図15Cでは、ログインアフォーダンス1508のアクティブ化の検出に応じて、電子デバイス1500は、生体認証を開始する。いくつかの実施例では、生体認証を開始することは、ユーザの生体特徴の少なくとも一部分(例えば、ユーザの顔)に対応するデータを取得すること(例えば、1つ以上の生体センサを使用してキャプチャすること)を含む。図15Cでは、生体認証を開始することは、生体認証グリフ1514を有する生体認証インタフェース1512を表示することを更に含む。図15Cの実施例では、生体認証グリフ1514は、生体特徴(例えば、顔)の表示のシミュレーションである。15Cに見られるように、生体認証インタフェース1512は、アプリケーションインタフェース1506の少なくとも一部分上に被せられる。いくつかの実施例では、生体認証インタフェースは、オペレーティングシステムレベルインタフェース(例えば、デバイスのオペレーティングシステムによって生成されるインタフェース)であり、アプリケーションインタフェース1506は、アプリケーションレベルインタフェース(例えば、デバイスのオペレーティングシステムとは別個のサードパーティのアプリケーションによって生成されるユーザインタフェース)である。
いくつかの実施例では、電子デバイス1500が、アプリケーションのログインアフォーダンスのアクティブ化に応じて、生体認証を開始する一方、他の実施例では、電子デバイス1500は、アプリケーション及び/又はアプリケーションインタフェース1506のローディングに応じて、生体認証を開始する(例えば、自動的に始動する)。アプリケーションインタフェースは、例えば、アプリケーションのローディング(例えば、電子デバイス1500のホームスクリーン上のアプリケーションに関連付けられたアイコンを選択することによる)に応じて、表示される。
いくつかの実施例では、図15Cの実施例を含めて、生体認証インタフェースは、部分的に半透明である。いくつかの実施例では、生体認証インタフェース1512の表示(例えば、視認特性)は、アプリケーションインタフェース1506に基づく。一例として、生体認証インタフェース1512の1つ以上の色は、アプリケーションインタフェース1506の1つ以上の色に基づく。図15Cを参照すると、電子デバイス1500は、第1の色スキームを有するアプリケーションインタフェース1506を表示し、生体認証インタフェース1512は、第1の色スキームに基づいて表示される(例えば、第1の色スキームと対照をなす色を使用して表示される)。図15Dを参照すると、電子デバイス1500は、第1の色スキームと異なる第2の色スキームを有するアプリケーションインタフェース1507を表示し、生体認証インタフェース1512は、その色スキームに基づいて表示される。このように生体認証インタフェース1512を表示することにより、アプリケーションインタフェース上に被せられたとき、ユーザによって、生体認証インタフェース1512が、容易に認識され検視されることが可能になる。
生体認証開始に応じて、電子デバイス1500は、生体データをキャプチャし、処理して(例えば、分析して)、生体データに基づいて、生体特徴(又はその部分)が生体認証基準を満足するか否かを判定する(例えば、生体データが閾値内で生体テンプレートに一致するか否かを判定する)。いくつかの実施例では、生体データの取得に応じて、電子デバイス1500は、例えば、生体認証グリフのサイズを変化させることを含む生体認証アニメーションを表示する。いくつかの実施例では、電子デバイスが、生体データを処理する間、電子デバイスは、生体データが処理されていることを示すために、1つ以上の生体認証グリフ及び/又は生体認証アニメーション(例えば、生体認証グリフ1514の表示と置き換える)を表示する。
一例として、図15Eでは、電子デバイスは、生体認証の開始に応じて、生体認証グリフ1514を表示する。図15F〜Gを参照すると、電子デバイス1500が生体データを取得した後(例えば、十分な生体データを取得した後)、電子デバイス1500は、生体認証グリフ1514が、生体認証グリフ1517(図15H)によって置き換えられる(遷移される)アニメーションの部分として働く、生体認証グリフ1515(図15F)及び1516(図15G)を含む生体認証アニメーションを表示する。図15Hを参照すると、電子デバイス1500は、生体データが処理されていることを示すために、生体認証グリフ1517を表示する。いくつかの実施例では、生体認証グリフ1517は、例えば、表示されている間、球状の状態で回転する複数のリングを含む。
図15Iでは、電子デバイス1500は、生体特徴が、生体認証基準を満足することを判定する。それに応じて、電子デバイスは、生体認証インタフェース1512内の生体認証グリフ1518を表示し(例えば、生体認証グリフ1517の表示を置き換え)、生体認証が成功したことを示す。更に又は別法としては、電子デバイスは、生体認証が成功したことを示す触知出力1520を出力する。生体認証が成功したことを示した後、電子デバイス1500は、生体特徴が生体認証基準を満足し、結果的に生体認証が成功したことを示す認証情報を、アプリケーションに提供する。
図15Jに示すように、生体特徴が生体認証基準を満足することを示す認証情報を、電子デバイス1500が提供することに応じて、アプリケーションは、主要インタフェース1522を表示する(例えば、アプリケーションインタフェース1506の表示を置き換える)。図15Kを参照すると、所定の時間の後、電子デバイス1500は、生体認証インタフェースの表示を終了する。その後、ユーザは、あたかもユーザが直接アプリケーションを用いて認証したかのように(例えば、アプリケーションに関連付けられたアカウント用のユーザ名及びパスワードを用いて)、アプリケーションを任意選択的に使用する。いくつかの実施例では、電子デバイス1500は、生体認証が完了した所定の時間後に、生体認証インタフェース1512の表示を終了する。他の実施例では、電子デバイス1500は、アプリケーションが、インタフェース(例えば、主要インタフェース1522)の表示などの操作を実行した所定の時間後に、生体認証インタフェース1512の表示を終了する。
別法として、図15Lでは、電子デバイス1500は、生体特徴が、生体認証基準を満足しないことを判定する(例えば、図15Gの生体認証グリフ1517の表示の後)。それに応じて、電子デバイスは、生体認証インタフェース1512内の生体認証グリフ1519などの生体認証グリフを表示し(例えば、生体認証グリフ1517の表示を置き換え)、生体認証が成功しなかったことを示す(例えば、失敗した)。いくつかの実施例では、生体認証グリフ1519は、生体認証失敗アニメーションに関連付けられる。図15L〜Mを参照すると、いくつかの実施例では、成功しなかった生体認証に応じて、電子デバイス1500は、生体認証グリフ1519が、「頭を振る」効果をシミュレーションするために左右に動作し(例えば、回転し)、生体認証が成功しなかったことを示す生体認証失敗アニメーションを表示する。電子デバイス1500は、任意選択的に、生体認証が成功しなかったことを示す触知出力1526を出力する。いくつかの実施例では、触知出力1526は、触知出力1520と同一である。いくつかの実施例では、触知出力1526は、触知出力1520と異なる。いくつかの実施例では、触知出力1526は、生体認証失敗アニメーションと同期させられる。
図15N〜Oは、電子デバイス1500が、成功しなかった生体認証(図15Eに対して判定されたように)に応じて、生体認証インタフェース1512内に生体認証グリフ1514を表示する(例えば、生体認証グリフ1517(図15H)の表示を置き換える)代替の生体失敗アニメーションを示す。いくつかの実施例では、生体認証失敗アニメーションの表示中、電子デバイスは、ディスプレイ1502上の生体認証インタフェース1512を動作させる。いくつかの実施例では、電子デバイス1500は、「振る」効果をシミュレーションするために生体認証インタフェース1512を左右に動作させ、生体認証が成功しなかったことを示す。いくつかの実施例では、電子デバイスは、生体認証グリフ1514のみを動作させ、生体認証インタフェース1512を動作させない。他の実施例では、追加の又は代替のグリフが、生体認証失敗アニメーションとして使用される。
図15Pに示したように、いくつかの実施例では、1つ以上の生体認証失敗アニメーションを表示した後、電子デバイスは、生体認証グリフ1514を有する生体認証インタフェース1512を表示する。このように、電子デバイス1500が、追加の生体認証を実行するために有効化されたことを知らせる当初の生体認証グリフ1514を、電子デバイスは、再度表示する。いくつかの実施例では、電子デバイスは、少なくとも図15E〜Nに対して説明したように、生体認証の追加の繰り返しを実行する。
図15Qを参照すると、いくつかの実施例では、成功しなかった生体認証に応じて、電子デバイス1500は、失敗インタフェース1540を表示する(例えば、生体認証インタフェース1512の表示を置き換える)。いくつかの実施例では、失敗インタフェース1540を表示することは、生体認証インタフェース1512の表示を維持することを含む。いくつかの実施例では、失敗インタフェース1540は、生体認証グリフ1514と、代替の認証アフォーダンス1544と、再試行アフォーダンス1546と、取り消しアフォーダンス1548とを含む。いくつかの実施例では、取り消しアフォーダンス1548のアクティブ化により、電子デバイス1500が失敗インタフェース1540の表示を終了することになる。
図15Rを参照すると、いくつかの実施例では、タップジェスチャ1550などの再試行アフォーダンス1546のアクティブ化に応じて、電子デバイス1500は、生体認証の別の繰り返しを実行する。いくつかの実施例では、電子デバイス1500は、生体認証の進行及び/又は結果を示すために、失敗インタフェース1540内に1つ以上の生体認証グリフ(例えば、1515〜1517)及び/又は生体認証アニメーションを表示する。図15Sを参照すると、いくつかの実施例では、電子デバイスは、失敗した生体認証の試行の閾値回数(例えば、5回)が実施されていないときだけ、生体認証を実施する。いくつかの実施例では、失敗した生体認証の試行の閾値回数が実施されていないとき、電子デバイス1500は、閾値回数に到達し、その結果生体認証が利用可能でないことの通知1560を表示する(例えば、生体認証グリフ1514の表示を置き換える)。
いくつかの実施例では、タップジェスチャ1552などの代替の認証アフォーダンス1544のアクティブ化に応じて、電子デバイス1500は、ユーザが、生体特徴に関連付けられた認証インタフェース(例えば、指紋認証、パスワード認証)の代替の認証形式を使用して認証することに用いる、代替の認証インタフェース1562を表示する(例えば、失敗インタフェース1540の表示を置き換える)。図15Tに示したように、ユーザは、ユーザ名フィールド1564及びパスワードフィールド1566内それぞれに適切なクレデンシャルを入力することによって、任意選択的に認証する。いくつかの実施例では、失敗インタフェース1540は、ユーザが、電子デバイス1500のオペレーティングシステムを用いて認証するオペレーティングシステムレベルインタフェースであり、代替の認証インタフェース1562は、ユーザが、アプリケーションを用いて認証するアプリケーションレベルインタフェースである。
図16A〜16Eは、いくつかの実施例による電子デバイスを用いてピアツーピア伝送を管理する方法を説明するフロー図である。方法1600は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信機(例えば、Bluetooth接続、WiFi接続、4GのLTE接続などのモバイルブロードバンド接続)を有するデバイス(例えば、100、300、500、1500)で、実行される。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つだけカメラを含む。いくつかの実施例では、デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを、任意選択的に含む、1つ以上の生体センサを含む。いくつかの実施例では、デバイスは、赤外線照明投射器、構造化光投影機、又はその組合せなどの発光デバイスを更に含む。発光デバイスは、1つ以上の生体センサによって生体特徴の生体データがキャプチャされる間、生体特徴(例えば、顔)を照明するために、任意選択的に使用される。方法2000でのいくつかの操作は、任意選択的に組み合わされ、いくつかの操作の順番は、任意選択的に変更され、いくつかの操作は、任意選択的に省略される。
後述するように、方法1600は、生体特徴の認証を管理する直観的な方法を提供する。この方法は、生体特徴の認証を管理するユーザの認識的負担を低減し、それにより更に効果的なヒューマンマシンインタフェースと直観的なユーザエクスペリエンスとをもたらす。電池で動作するコンピュータデバイスにとって、ユーザが、生体特徴の認証をより速く、より効果的に管理できるようにすることが、電力を節約し、バッテリ充電までの時間を延長する。
アプリケーションインタフェース(例えば、1506)及び生体認証インタフェース(例えば、1512)を表示する前に、電子デバイス(例えば、100、300、500、1500)は、アプリケーション(例えば、図15Aに対して議論したようなブラウザアプリケーション)をロードする(1602)。いくつかの実施例では、アプリケーションインタフェース(例えば、1506)は、電子デバイス(例えば、100、300、500、1500)上に当初インストールされていない、及び/又はデバイスの製造者若しくは電子デバイス(例えば、100、300、500、1500)のオペレーティングシステムの製造者によって供給されない、サードパーティのアプリケーションのインタフェースである。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、アプリケーションインタフェース(例えば、1506)に対応する(例えば、生成する)アプリケーションの制御の対象でない、オペレーティングシステム生成資産である。
電子デバイス(例えば、100、300、500、1500)は、ディスプレイ(例えば、1502)上に、アプリケーションに対応するアプリケーションインタフェース(例えば、1506)と、電子デバイス(例えば、100、300、500、1500)のオペレーティングシステムによって制御される生体認証インタフェース(例えば、1512)とを同時に表示する(1604)。アプリケーションインタフェースと、生体認証インタフェースとを同時に表示することは、要求されている生体認証が、アプリケーションインタフェースに対応するアプリケーションに関連することを、ユーザが素早く認識することを可能にし、ユーザが、アプリケーションを用いた操作を意図せずに実行することを回避することを支援することによって、より多くのデバイスの制御をユーザに更に提供し、同時にユーザが、認証を要求されていることを、操作が実行される前に認識できるようにする。このように、UIを追加の表示された制御で乱雑にすることなく追加のデバイスの制御を提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、生体認証インタフェース(例えば、1512)は、アプリケーションインタフェース(例えば、1506)の部分上に表示される(1606)。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、アプリケーションインタフェース(例えば、1506)の全体の上に表示されずに、アプリケーションインタフェース(例えば、1506)の少なくとも一部分は、被せられずに表現されたままとなる。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、少なくとも部分的に半透明である。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、少なくとも部分的に半透明(又は透明)であり、その結果、アプリケーションインタフェース(例えば、1506)は、生体認証インタフェース(例えば、1512)を通して少なくとも部分的に可視的である。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、下層のコンテンツをぼかし、その結果、生体認証インタフェース(例えば、1512)の外観は、生体認証インタフェース(例えば、1512)の下のぼかされたコンテンツの一部に基づくことになる。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、アプリケーション(1608)のローディングに応じて表示される。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、ユーザが電子デバイス(例えば、100、300、500、1500)上にアプリケーションをロードすること(例えば、その実行を開始又は再開する)に応じて表示される。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、アプリケーションが表示された後にロードされる。いくつかの実施例では、生体認証インタフェース(例えば、1512)及びアプリケーションインタフェース(例えば、1506)は、同時に表示される。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、認証(1610)を必要とするコンテンツにアクセスする要求に対応するアプリケーションインタフェース(例えば、1506)を用いるユーザ対話の検出に応じて、表示される。いくつかの実施例では、認証の要求は、認証アフォーダンス(例えば、1508)又はジェスチャの動作の選択である。いくつかの実施例では、アプリケーションインタフェース(例えば、1506)は、認証アフォーダンス(1506)(例えば、ログインアフォーダンス)を含む。
生体認証インタフェース(例えば、1512)を表示する間、生体特徴の少なくとも一部分に対応する生体データを取得する前に、電子デバイス(例えば、100、300、500、1500)は、1つ以上の生体センサ(例えば、1503)を使用する準備を行う。いくつかの実施例では、ログインアフォーダンス(例えば、1508)の表示に応じて、電子デバイス(例えば、100、300、500、1500)は、1つ以上の生体センサを使用する準備(用意)を行う。いくつかの実施例では、1つ以上の生体センサ(例えば、1503)を使用する準備を行うことは、センサ(例えば、1503)を低電力状態(例えば、非通電状態又はスリープ状態)から低レイテンシ状態(例えば、部分的通電状態又は全通電状態、準備状態)に遷移させることを含む。このように電子デバイス(例えば、100、300、500、1500)は、生体認証インタフェース(例えば、1512)を表示するとき、生体認証を実行するために必要な時間を、任意選択的に短縮する。いくつかの実施例では、1つ以上の生体センサ(例えば、1503)が、低電力状態にあるとき、1つ以上の生体センサを用いた生体認証の試行に第1の時間を要し、1つ以上の生体センサ(例えば、1503)が、低レイテンシ状態にあるとき、1つ以上の生体センサ(例えば、1503)を用いた生体認証の試行に第1の時間より短い第2の時間を要する。生体認証インタフェース(例えば、1512)を表示する間、電子デバイス(例えば、100、300、500、1500)は、生体特徴の少なくとも一部分に対応する生体データを、1つ以上の生体センサ(例えば、1503)から取得する(1612)。いくつかの実施例では、生体特徴は、顔であり、生体データは顔の一部に対応するデータである。
1つ以上の生体センサからの生体特徴の少なくとも一部分に対応する生体データの取得に応じて、電子デバイス(例えば、100、300、500、1500)は、生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足するか否かを判定する(1614)。取得された生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足するか否かを判定することは、ユーザが最小限の入力で認証操作を容易に提供し、進められるようにする、素早い効果的な認証プロセスを可能にする。操作を実行するために必要な入力の回数を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、1500)は、ユーザの顔又は指紋が、デバイス(例えば、100、300、500、1500)での生体認証に使用することを許可された顔及び/又は指紋についての記憶された情報と一致するか否かを判定する。いくつかの実施例では、生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足するか否かを判定することは、生体認証分析アニメーションを表示すること(1616)を含む。いくつかの実施例では、生体認証アニメーションは、一連のインタフェースオブジェクト(例えば、1514、1515、1516、1517、1518、1519)(例えば、グリフ)を表示することを含む。第1のインタフェースオブジェクト(例えば、1514)は、生体認証が開始されたことを示し、第2のインタフェースオブジェクト(例えば、1517)は、デバイス(例えば、100、300、500、1500)が生体データを処理中であることを示し、第3のインタフェースオブジェクト(例えば、1518、1519)は、生体認証が成功したか失敗したかを示す。いくつかの実施例では、第1のインタフェースオブジェクト(例えば、1514)は、実質的に四角形状であり、第2のインタフェースオブジェクト(例えば、1517)は、実質的に円形状である。いくつかの実施例では、生体認証分析アニメーションを表示することは、生体認証アニメーションのインタフェースオブジェクト(例えば、1517)(例えば、生体認証グリフ)の周りの1つ以上のリングを回転させることを含む。いくつかの実施例では、デバイス(例えば、100、300、500、1500)が、生体データが生体認証基準を満足するか否か判定するために生体データを処理している間、1つ以上のリングは、回転させられる。リングの回転は、球形の周りのリングの回転を任意選択的にシミュレーションする。いくつかの実施例では、デバイス(例えば、100、300、500、1500)が、生体データの処理を完了した後、1つ以上のリングが、処理が完了したことを示すために、互いに被せられる。いくつかの実施例では、生体認証分析アニメーションを表示することは、下層のコンテンツ(例えば、1506、1507、1522)に基づく外観を有するプラッタ(例えば、1512)上のアニメーション化されたオブジェクト(例えば、1514、1515、1516、1517、1518、1519)の外観を変化させることを含む。いくつかの実施例では、アニメーション化されたオブジェクトの外観が変化するとき、プラッタの外観が変化する。いくつかの実施例では、アニメーション化されたオブジェクトが、より暗くなる時、プラッタは、より暗くなり、アニメーション化されたオブジェクトが、より明るくなる時、プラッタは、より明るくなる。いくつかの実施例では、プラッタの外観は、プラッタ(例えば、1512)の外観が基づいている下層のコンテンツ(例えば、1506、1507、1522)が変化しないときであっても、アニメーション化されたオブジェクト(例えば、1514、1515、1516、1517、1518、1519)の外観が変化するとき、変化する。いくつかの実施例では、生体認証分析アニメーションの1つ以上の色は、アプリケーションインタフェース(例えば、1506)の1つ以上の色に基づく。いくつかの実施例では、アニメーションの色は、アプリケーションインタフェース(例えば、1506、1507、1522)又はアプリケーションに関連付けられた別のインタフェースの1つ以上の色に基づいて選択される。色は、例えば、アプリケーションの制御及び/又はアイコン用に使用される色に基づいて、任意選択的に導出される。このように、アニメーションは、アプリケーションインタフェース(例えば、1506、1507、1522)と任意選択的、視覚的に調整され、より堅牢なユーザエクスペリエンスを提供する。いくつかの実施例では、生体認証分析アニメーションを表示する前に、電子デバイス(例えば、100、300、500、1500)は、アプリケーションインタフェース(例えば、1506)の色スキーム又はアプリケーションインタフェース(例えば、1506)に対応するデータの分析に基づいて1つ以上のアニメーションの色を決定する。いくつかの実施例では、1つ以上の生体センサ(例えば、1503)からの生体特徴の少なくとも一部分に対応する生体データの取得に更に応じて、電子デバイス(例えば、100、300、500、1500)は、生体認証インタフェース(例えば、1512)のインタフェースオブジェクト(例えば、1514)(例えば、生体認証グリフ)のサイズを第1のサイズから第2のサイズへ変化させ、そしてインタフェースオブジェクト(例えば、1514)のサイズを第2のサイズから第1のサイズへ変化させる。いくつかの実施例では、生体データが、1つ以上の生体センサ(例えば、1503)によってキャプチャされた後、インタフェースオブジェクト(例えば、1514)(例えば、生体認証グリフ)は、当初のサイズから増大され、続いて当初のサイズに戻され、「バウンス」効果をもたらす。
生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足するという判定に応じて(1618)、電子デバイス(例えば、100、300、500、1500)は、生体認証基準が、生体特徴の1つ以上の部分に対して満足されたことを示す認証情報を、アプリケーションへ提供する(1620)。生体特徴の少なくとも一部分が、生体認証基準を満足するという判定に従って認証情報をアプリケーションへ提供することは、デバイスの信頼度を高め、発生し得る不正な伝送の数を低減する。デバイスの信頼度を高め、不正な伝送の数を低減することは、デバイスの操作性を高め、ユーザとデバイスのインタフェースをより安全(例えば、デバイスを操作するとき/それと対話するとき不正を低減する)にする。
いくつかの実施例では、認証情報は、オペレーティングシステムによってアプリケーションインタフェース(例えば、1506)を発生させるアプリケーションに提供される。いくつかの実施例では、生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足するという判定に更に従って、アプリケーションに認証情報を提供した後、電子デバイス(例えば、100、300、500、1500)は、生体認証インタフェース(例えば、1512)の表示を所定の時間だけ維持する(1624)。いくつかの実施例では、生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足するという判定に更に従って、電子デバイス(例えば、100、300、500、1500)は、生体特徴の少なくとも一部分が、生体認証基準を満足することを示す生体特徴(例えば、1518)のシミュレーションの第1の表示を含む、生体認証成功アニメーションを表示する(1622)。
いくつかの実施例では、好結果の生体認証に応じて、デバイス(例えば、100、300、500、1500)は、生体認証が成功したことを示すインタフェースオブジェクト(例えば、1518)を含むアニメーションを表示する。いくつかの実施例では、生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足するという判定に更に従って、電子デバイス(例えば、100、300、500、1500)は、生体特徴の少なくとも一部分が、生体認証基準を満足することを示す成功触知出力(例えば、1520)を提供する。生体認証が成功したことを示すアニメーションを表示することは、ユーザに実行されつつある操作の視覚的フィードバックを提供し、操作が成功したことをユーザが素早く認識することを可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力のインジケーションを提供するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
生体認証インタフェース(例えば、1512)の表示を所定の時間だけ維持した後、電子デバイス(例えば、100、300、500、1500)は、生体認証インタフェース(例えば、1512)を表示することを終了する(1626)。いくつかの実施例では、アプリケーションは、デバイス(例えば、100、300、500、1500)が、生体認証インタフェース(例えば、1512)を表示することを終了する前に、認証のインジケーションを受信する。これにより、アプリケーションが、生体認証インタフェース(例えば、1512)からの遷移の前に、「主要アプリケーション」インタフェース又はログイン後インタフェースなどの、アプリケーション(例えば、1522)のインタフェースを提供すること(例えば、表示すること)が可能になる。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、認証後所定の時間表示されなくなる。いくつかの実施例では、生体認証インタフェース(例えば、1512)は、アプリケーションが生体認証(例えば、ロック解除ユーザインタフェース(例えば、1522)を表示すること)に従って操作を実行した後所定の時間表示されなくなる。
生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準(1628)を満足しないという判定に応じて、電子デバイス(例えば、100、300、500、1500)は、生体特徴の少なくとも一部分が、生体認証基準を満足しないことを示す生体特徴(例えば、1519)のシミュレーションの第2の表示を含む、生体認証失敗アニメーションを表示する(1630)。生体特徴の少なくとも一部分が、生体認証基準を満足しないという判定に従って生体認証失敗アニメーションを表示することは、ユーザに実行されつつある操作での失敗又はエラーの視覚的フィードバックを提供し、操作が成功しなかったことをユーザが素早く認識することを可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力のインジケーションを提供するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、成功しなかった生体認証に応じて、デバイス(例えば、100、300、500、1500)は、生体認証が成功しなかったことを示すインタフェースオブジェクト(例えば、1519)を含むアニメーションを表示する。成功しなかった生体認証に応じて、生体認証が成功しなかったことを示すインタフェースオブジェクトを含むアニメーションを表示することは、ユーザに実行されつつある操作での失敗又はエラーの視覚的フィードバックを提供し、操作が成功しなかったことをユーザが素早く認識することを可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、デバイスに意図された結果を発生させる入力のインジケーションを提供するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、アニメーションの間、インタフェースオブジェクト(例えば、1519)は、定められた方法(例えば、左右に)で動作し(例えば、傾ける及び/又は場所を変える)、失敗を示す。いくつかの実施例では、デバイス(例えば、100、300、500、1500)は、生体認証失敗アニメーション(例えば、触知出力は、生体特徴のシミュレーションが前後に動作するとき、生成される)に対応する触知出力(例えば、1526)又は一連の触知出力を生成する。生体認証失敗アニメーションに対応する触知出力又は一連の触知出力を出力することは、認証が成功しなかったことをユーザに更に警告し、認証がまだ操作を進めことを必要とすることを、ユーザが素早く識別できるようにする。ユーザに改善された触知フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、生体特徴のシミュレーションの第2の表示(例えば、1519)は、3次元のオブジェクトである。生体特徴のシミュレーションの第2の表示として3次元のオブジェクトを表示することは、ユーザに操作状態(例えば、伝送が成功したか、成功しなかったか)についての容易に認識可能な視覚的フィードバックを提供し、オブジェクトが3次元であることで、ユーザがオブジェクトをより簡単に理解することを更に可能にする。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、デバイスが正常な視野角にある間、ユーザへのユーザインタフェース要素の可読性を高めることによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、第2の表示(例えば、1519)は、頭を振っている3次元の顔である。いくつかの実施例では、生体認証失敗アニメーションを表示することは、第2の表示(例えば、1519)の回転を、ディスプレイに平行な軸に対して第1の方向への回転と、ディスプレイ(例えば、1502)に平行な軸に対して第2の方向への回転との間で、転換することを含む。いくつかの実施例では、生体認証失敗アニメーションを表示することは、アプリケーションインタフェース(例えば、1506)に対する生体認証インタフェース(例えば、1512)の境界を強調することを含む。いくつかの実施例では、生体認証インタフェース(例えば、1512)又はその境界は、視覚的な「バウンス」効果をもたらすために、収縮する及び/又は縮む。いくつかの実施例では、生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足しないという判定に更に従って、電子デバイス(例えば、100、300、500、1500)は、成功触知出力(例えば、1520)と異なる失敗触知出力(例えば、1526)を提供する。いくつかの実施例では、生体データに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足しないという判定に更に従って、電子デバイス(例えば、100、300、500、1500)は、失敗インタフェース(例えば、1540)を表示する(1632)。いくつかの実施例では、失敗インタフェース(例えば、1540)は、生体認証が失敗したことの視覚的なインジケーションを含む。いくつかの実施例では、生体認証が失敗するとき、アプリケーションインタフェース(例えば、1506)は、変化しない(例えば、アプリケーションがログイン(例えば、1506)又は認証ユーザインタフェースに留まる)。いくつかの実施例では、生体認証が失敗するとき、アプリケーションユーザインタフェース(例えば、1506)は、生体認証の失敗を示すために変化する。いくつかの実施例では、失敗インタフェース(例えば、1540)は、再試行アフォーダンス(例えば、1546)を含む(1634)。いくつかの実施例では、失敗インタフェース(例えば、1540)は、取り消しアフォーダンス(例えば、1548)を含む(1636)。いくつかの実施例では、失敗インタフェース(例えば、1540)は、代替認証アフォーダンス(例えば、1544)を含む(1638)。
電子デバイス(例えば、100、300、500、1500)は、再試行アフォーダンス(例えば、1546)の選択に対応する入力(例えば、1550)を受信する(1640)。再試行アフォーダンス(例えば、1546)の選択に対応する入力(例えば、1550)の受信に応じて、電子デバイス(例えば、100、300、500、1500)は、第2の生体特徴の少なくとも一部分に対応する第2の生体データを、1つ以上の生体センサ(例えば、1503)から取得する(1642)。いくつかの実施例では、第2の生体特徴(例えば、顔)は、当初の生体データを取得する生体特徴と同一の生体特徴である。第2の生体特徴が同一の生体特徴であるいくつかの実施例では、第2の生体特徴の一部分は、当初の生体データが取得されたものと同一の生体特徴の異なる部分である。いくつかの実施例では、その部分は、同一の生体特徴の同一の部分である。いくつかの実施例では、第2の生体特徴は、当初の生体特徴と異なる生体特徴である。
第2の生体特徴の少なくとも一部分に対応する第2の生体データを取得した後、第2の生体データに基づいて、第2の生体特徴の少なくとも一部分が、第2の生体認証基準を満足するという判定に従って、電子デバイス(例えば、100、300、500、1500)は、第2の生体認証基準が、第2の生体特徴の1つ以上の部分に対して満足されたことを示す第2の認証情報を、アプリケーションへ提供する(1646)。いくつかの実施例では、第2の生体認証基準は、当初の生体認証基準と同一である。いくつかの実施例では、第2の生体認証基準は、当初の生体認証基準と異なる。いくつかの実施例では、第2の認証情報は、認証情報と同一である。いくつかの実施例では、第2の認証情報は、認証情報と異なる。いくつかの実施例では、認証情報は、オペレーティングシステムによってアプリケーションインタフェース(例えば、1506)を発生させるアプリケーションに提供される。
電子デバイス(例えば、100、300、500、1500)は、取り消しアフォーダンスの選択に対応する入力を受信する(1646)。取り消しアフォーダンスの選択に対応する入力の受信に応じて、電子デバイス(例えば、100、300、500、1500)は、生体認証インタフェース(例えば、1512)を表示することを終了する(1648)。いくつかの実施例では、取り消しアフォーダンスの選択は、アプリケーションインタフェース(例えば、1506)を維持する一方、失敗インタフェース(例えば、1540)を棄却する。いくつかの実施例では、取り消しアフォーダンスの選択により、電子デバイス(例えば、100、300、500、1500)が、第1及び/又は第2の生体認証が満足されなかったことを示す情報をアプリケーションに提供することになる。
電子デバイス(例えば、100、300、500、1500)は、代替認証アフォーダンス(例えば、1544)の選択に対応する入力(例えば、1548)を受信する(1650)。代替認証アフォーダンスを提供することにより(例えば、生体認証に加えて又はそれに替えて、認証を提供する代替の方法を提供するために)、目下の認証方法が成功しなかった又は成功しないままであるとき、異なる認証方法を用いながら操作する認証を、ユーザが、容易に提供することを可能にする。このように、UIを追加の表示された制御で乱雑にすることなく追加の制御の選択肢(例えば、認証を提供する)を提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
代替認証アフォーダンス(例えば、1544)の選択に対応する入力(例えば、1548)の受信に応じて、電子デバイス(例えば、100、300、500、1500)は、代替認証インタフェース(例えば、1562)を表示する(1652)。いくつかの実施例では、代替認証インタフェース(例えば、1562)は、非生体認証インタフェース(例えば、1512)である。いくつかの実施例では、代替認証インタフェース(例えば、1562)により、ユーザが、パスワード及び/又はパスコードを用いて認証することを可能にする。いくつかの実施例では、アプリケーションは、代替認証インタフェース(例えば、1562)によってどの認証の形式が承諾されるか決定する。いくつかの実施例では、アプリケーションの1つ以上の選好は、アプリケーションによってどの認証の形式が承諾されるかを決定する。いくつかの実施例では、代替認証アフォーダンス(例えば、1562)は、生体認証の既定の回数より多くの連続した失敗(例えば、2回の失敗した認証の試行、3回の失敗した認証の試行、4回の失敗した認証の試行)に応答する失敗インタフェース内(例えば、1540)に含まれる。いくつかの実施例では、代替認証インタフェース(例えば、1562)は、アプリケーションレベル認証インタフェース(1654)である。いくつかの実施例では、代替認証アフォーダンス(例えば、1544)の選択に対応する入力の受信に応じて、電子デバイス(例えば、100、300、500、1500)は、生体認証インタフェース(例えば、1512)を表示することを終了する(1656)。いくつかの実施例では、代替認証アフォーダンス(例えば、1544)の選択により、デバイス(例えば、100、300、500、1500)が、代替認証アフォーダンス(例えば、1544)を表示することを終了し、アプリケーションレベルで動作する代替認証インタフェース(例えば、1562)へと遷移することになる。したがって、ユーザは、アプリケーションに関連付けられたクレデンシャルを用いたアプリケーションを使用して、任意選択的に認証する(例えば、ユーザは、アプリケーション用のユーザ名及びパスワードを用いて任意選択的にログインする)。いくつかの実施例では、アプリケーションレベルの代替認証インタフェース(例えば、1562)は、生体認証を再び開始するためにアフォーダンスを任意選択的に含む。これにより、結果として、電子デバイス(例えば、100、300、500、1500)が、生体認証インタフェース(例えば、1512)を再表示し、システム又はオペレーティングシステムレベルで認証することになる。
なお、方法1600に対して上述した処理(例えば、図16A〜16E)の詳細は、説明した他の方法に、類似の方法で更に適用可能であることに留意されたい。例えば、方法1600は、方法800、1000、1200、1400、1800、2000、2200、2500、及び2700を参照して本明細書で説明した多様な方法の1つ以上の特性を任意選択的に含む。例えば、方法1200で説明した登録された生体データは、図15E〜Iを参照して説明した生体認証などの生体認証を実行するために使用され得る。別の例として、方法1800で説明したような生体認証インタフェースは、生体認証インタフェース(例えば、1512)を実行するために使用され得る。簡潔のために、これらの詳細は、以下で繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ(例えば、図1A、3、及び5Aに対して説明したように)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図16A〜16Eを参照して上述した演算は、図1A〜1Bで示した構成要素によって、任意選択的に実行される。例えば、提供演算1620及び維持演算1624は、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって任意選択的に実行される。イベントソータ170内のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に伝送する。アプリケーション136−1のそれぞれのイベント認識部180は、イベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の位置での第1の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。それぞれの所定のイベント又はサブイベントが検出されたとき、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、アップデーター176又はオブジェクトアップデーター177を、任意選択的に利用又は呼び出す。いくつかの実施例では、イベントハンドラ190は、アプリケーションによって表示されるものを更新するために、それぞれのGUIアップデーター178にアクセスする。同様に、当業者には、他の処理が、図1A〜1Bで示した構成要素に基づいてどのように実行され得るのか明らかであろう。
図17A〜17AJは、いくつかの実施例による、生体認証の例示のユーザインタフェースを示す。下記でより詳細に説明されるように、図17A〜17AJに示されたユーザインタフェースの例示的な実施例は、図18A〜18Dでの処理を含む下記の処理を説明するために使用される。
図17Aは、電子デバイス1700を示す(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)。図17A〜17AJに示された例示的な実施例では、電子デバイス1700は、スマートフォンである。他の実施例では、電子デバイス1700は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスであり得る。電子デバイス1700は、ディスプレイ1702、1つ以上の入力デバイス(例えば、ディスプレイ1702のタッチスクリーン、ボタン1704、マイク)、及び無線通信機を有する。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つだけカメラを含む。いくつかの実施例では、電子デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを、任意選択的に含む、1つ以上の生体センサ(例えば、生体センサ1703)を含む。いくつかの実施例では、1つ以上の生体センサ1703は、1つ以上の生体センサ703である。いくつかの実施例では、デバイスは、赤外線照明投射器、構造化光投影機、又はその組合せなどの発光デバイス(例えば、光投影機)を更に含む。発光デバイスは、1つ以上の生体センサによって生体特徴の生体データがキャプチャされる間、生体特徴(例えば、顔)を照明するために、任意選択的に使用される。
図17Aでは、電子デバイス1700は、ディスプレイ1702上に、ログインアフォーダンス1706を含むアプリケーションのランディングページインタフェースを表示する。図17Aに見られるように、アプリケーションは、ブラウザ又は移動体のアプリケーションであり、インタフェースは、ウェブサイト(onlinestore.com)に対応する。ランディングページインタフェースを表示する間、電子デバイス1700は、ログインアフォーダンス1706のアクティブ化を検出する。図17Aに示すように、アクティブ化は、ログインアフォーダンス1706上のタップジェスチャ1708である。
図17Bでは、ログインアフォーダンス1706上のタップジェスチャ1708の検出に応じて、電子デバイス1700は、セキュリティ対策がされていないデータ記入可能フィールド1710(「ユーザ名」と明示された)、セキュリティ対策がされたデータ記入可能フィールド1712(「パスワード」と明示された)、及び提出アフォーダンス1714を含む、アプリケーションのアプリケーションインタフェースを表示する(例えば、ランディングページインタフェースの表示を置き換える)。電子デバイスは、セキュリティ対策がされたデータ記入可能フィールド1712内の生体認証グリフ(例えば、アイコン)を更に表示する。更に詳細に説明するように、生体認証グリフは、セキュリティ対策がされたデータ記入可能フィールド1712が、セキュリティ対策がされたデータに関連付けられること、及び/又は生体認証が、セキュリティ対策がされたデータ記入可能フィールド1712の自動記入を必要とすること、を示す。
アプリケーションインタフェースを表示する間、電子デバイス1700は、セキュリティ対策がされていないデータ記入可能フィールド1710の自動記入の要求を検出する。例えば、図17Bに示すように、セキュリティ対策がされていないデータ記入可能フィールド1710の自動記入の要求は、セキュリティ対策がされていないデータ記入可能フィールド1710の選択を示すタップジェスチャ1718である。
図17Cでは、セキュリティ対策がされていないデータ記入可能フィールド1710の自動記入の要求の検出に応じて、電子デバイス1700は、ソフトウェアキーボードなどのキーボード及び/又はキーパッド、並びに自動記入アフォーダンス1722を含む入力インタフェース1720を表示する(例えば、アプリケーションインタフェース上に被せる)。入力インタフェース1720を表示する間、電子デバイス1700は、自動記入アフォーダンス1722のアクティブ化を検出する。例えば、図17Aに示すように、アクティブ化は、自動記入アフォーダンス1722上のタップジェスチャ1724である。
図17Dでは、タップジェスチャ1724の検出に応じて、電子デバイスは、セキュリティ対策がされていないデータ記入可能フィールド1710に自動記入する複数の候補入力アフォーダンス1725を表示する(例えば、自動記入アフォーダンス1722及び/又は入力インタフェース1720の1つ以上の他のアフォーダンスを置換する)。図示した実施例では、記入可能フィールド1710は、ユーザ名に関連付けられる。したがって、いくつかの実施例では、候補入力アフォーダンス1725のそれぞれが、それぞれの候補ユーザ名への参照として働く。
入力インタフェース1720の候補入力アフォーダンス1725を表示する間、電子デバイスは、候補入力アフォーダンス1725のアクティブ化を検出する。例えば、図17Dに示すように、アクティブ化は、候補入力アフォーダンス1725上のタップジェスチャ1726である。図17Eでは、タップジェスチャ1726の検出に応じて、電子デバイス1700は、アクティブ化された候補入力アフォーダンス1725に対応する候補入力1728を用いてセキュリティ対策がされていないデータ記入可能フィールドに自動記入する。
説明したように、タップジェスチャ1724の検出に応じて、電子デバイスは、それぞれの候補入力に対応する候補入力アフォーダンスを提供する(例えば、表示する)。いくつかの実施例では、タップジェスチャ1724の検出に応じて、電子デバイスは、複数の候補入力が利用可能であるか判定する。もし可能であれば、電子デバイス1700は、説明した候補入力アフォーダンスを提供する。任意の数の候補入力アフォーダンスが、このように、任意選択的に提供される。もし可能でなければ(例えば、単一の候補入力だけが利用可能である)、電子デバイスは、候補入力を提供することなく、セキュリティ対策がされていないデータ記入可能フィールド1710を、任意選択的に自動記入する。
図17Fを参照すると、アプリケーションインタフェースを表示する間、電子デバイス1700は、セキュリティ対策がされたデータ記入可能フィールド1712の自動記入の要求を検出する。例えば、セキュリティ対策がされたデータ記入可能フィールド1712の自動記入の要求は、セキュリティ対策がされたデータ記入可能フィールド1712の選択を示すタップジェスチャ1730である。
図17Gでは、セキュリティ対策がされたデータ記入可能フィールド1712の自動記入の要求の検出に応じて、電子デバイス1700は、生体認証を開始する。いくつかの実施例では、生体認証を開始することは、ユーザの生体特徴に対応するデータを取得すること(例えば、1つ以上の生体センサを使用してキャプチャすること)を含む。いくつかの実施例では、生体認証を開始することは、生体認証グリフ1734を有する生体認証インタフェース1732を表示することを更に含む。生体認証グリフ1734は、いくつかの実施例では、生体特徴の表示のシミュレーションである。生体認証インタフェース1732は、いくつかの実施例では、アプリケーションインタフェースの少なくとも一部分上に被せられる。
図17Hを参照すると、データの取得に応じて、電子デバイスは、生体データを処理して、例えば、生体データに基づいて、生体特徴が生体認証基準を満足するか否かを判定する(例えば、生体データが閾値内で生体テンプレートに一致するか否かを判定する)。電子デバイスが生体データを処理する間、電子デバイスは、生体認証インタフェース1732内の生体認証グリフ1738を、任意選択的に表示し(例えば、生体認証グリフ1734の表示を置き換え)、生体データが処理されていることを示す。
図17Iでは、電子デバイス1700は、生体特徴が、生体認証基準を満足することを判定する。それに応じて、電子デバイスは、生体認証インタフェース1732内の生体認証グリフ1740を表示し(例えば、生体認証グリフ1738の表示を置き換え)、生体認証が成功したことを示す。更に又は別法としては、電子デバイスは、生体認証が成功したことを示す触知出力1742を出力する。生体認証が成功したことを示した後、電子デバイスは、図17Jに示すように、適切なパスワード1743をセキュリティ対策がされたデータ記入可能フィールドに自動記入する。いくつかの実施例では、電子デバイスは、成功した生体認証に応じて、セキュリティ対策がされていない記入可能フィールド1710などの第2の記入可能フィールドを(例えば、ユーザ名1728で)更に自動記入する。任意の数の及び/又はタイプの記入可能フィールドが、任意選択的に、成功した生体認証に応じて自動記入されることが理解されよう。
自動記入された記入可能フィールド1710、1720を有するアプリケーションインタフェースを表示する間、電子デバイスは、提出アフォーダンス1714のアクティブ化を検出する。一例として、図17Jに示すように、アクティブ化は、提出アフォーダンス1714上のタップジェスチャ1744である。それに応じて、ユーザは、アプリケーションで任意選択的に認証され、電子デバイスは、更に下記で参照する、図17Sのホームインタフェース1782などのホームインタフェースを任意選択的に示す。
別法として、図17Kでは、電子デバイス1700は、生体特徴が、生体認証基準を満足しないことを判定する。それに応じて、電子デバイスは、生体認証インタフェース1732内の生体認証グリフ1746を表示し(例えば、生体認証グリフ1738の表示を置き換え)、生体認証が成功しなかった(例えば、失敗した)ことを示す。電子デバイスは、任意選択的に、生体認証が成功しなかったことを示す触知出力1750を出力する。いくつかの実施例では、触知出力1750は、触知出力1742と同一である。いくつかの実施例では、触知出力1750は、触知出力1742と異なる。生体認証が成功しなかったことを示した後、電子デバイスは、図17Lに示したように、生体認証インタフェースの表示を終了する。
いくつかの実施例では、生体認証インタフェース1732は、アニメーションを含み、及び/又は生体認証インタフェース1732の1つ以上の生体認証グリフは、アニメーション化されている。一例として、生体認証グリフ1738は、球面回転を有するリングを含み、及び/又は生体認証グリフ1746は、「振る」動作をシミュレーションするために左右に動作する。
図17Mを参照すると、いくつかの実施例では、成功しなかった生体認証に更に応じて、電子デバイス1700は、失敗インタフェース1752などの失敗インタフェースを表示する。失敗インタフェースは、生体認証グリフ1754と、代替の認証アフォーダンス1756と、再試行アフォーダンス1758と、取り消しアフォーダンス1760とを含む。いくつかの実施例では、再試行アフォーダンス1758のアクティブ化により、電子デバイスは、上述したように、生体認証を再び開始することになる。いくつかの実施例では、電子デバイスは、失敗した生体認証の試みの閾値回数が実施されていないときだけ、生体認証を実施する。いくつかの実施例では、取り消しアフォーダンスのアクティブ化により、電子デバイス1700が失敗インタフェース1752の表示を終了することになる。
図17Nを参照すると、タップジェスチャ1762などの代替の認証アフォーダン1756のアクティブ化に応じて、電子デバイス1700は、ユーザが、生体特徴に関連付けられた認証インタフェース(例えば、指紋認証、パスワード認証、パスコード認証、パターン認証が複数の、所定のパターンの項目又は所定のパターンの接触若しくは他の入力の、動作の選択を含むパターン認証)の代替の認証形式を使用して認証することに用いる、代替の認証インタフェース1766(図17O)を表示する(例えば、失敗インタフェース1752の表示を置き換える)。図17Oに示すように、ユーザは、認証するために、電子デバイスの指紋センサ1764に指で、任意選択的にタッチする。
図17Pは、代替認証アフォーダンス1770を含む別の例示的な失敗インタフェース1766を示す。図17Qを参照すると、失敗インタフェース1766を表示する間、電子デバイス1766は、代替認証アフォーダンス1770のアクティブ化を検出する。一例として、アクティブ化は、ログインアフォーダンス1770上のタップジェスチャ1776である。タップジェスチャ1776の検出に応じて、電子デバイス1700は、代替認証インタフェース1778を表示する。いくつかの実施例では、代替認証インタフェース1778は、パスワード(又はパスコード)インタフェースであり、それによって、ユーザが認証するためにパスワード(又はパスコード)を提出することができる。
図17Rでは、認証(例えば、代替の認証)に応じて、セキュリティ対策がされたデータ記入可能フィールドは、パスワード1743で自動記入され、セキュリティ対策がされていないデータ記入可能フィールドは、任意選択的に、ユーザ名1728で自動記入される。このように、ユーザは、成功しなかった生体認証にもかかわらず自動記入機能を、任意選択的に利用できる。自動記入された記入可能フィールド1710、1720を有するアプリケーションインタフェースを表示する間、電子デバイスは、提出アフォーダンス1714のアクティブ化を検出する。一例として、アクティブ化は、提出アフォーダンス1714上のタップジェスチャ1780である。それに応じて、ユーザは、アプリケーションで任意選択的に認証され、電子デバイスは、図17Sのホームインタフェース1782などのホームインタフェースを任意選択的に示す。
図17Tでは、電子デバイス1700は、ディスプレイ1702上に、セキュリティ対策がされたデータ記入可能フィールド1786を含むアプリケーションインタフェース1784を表示する。セキュリティ対策がされたデータ記入可能フィールド1786を自動記入する要求(例えば、セキュリティ対策がされたデータ記入可能フィールド1786の選択)に応じて、電子デバイス1700は、図に示すように、自動記入アフォーダンス1790を含む入力インタフェース1788を表示する。
入力インタフェース1788の自動記入アフォーダンス1790を表示する間、電子デバイス1700は、自動記入アフォーダンス1790のアクティブ化を検出する。例えば、図17Uに示すように、アクティブ化は、自動記入アフォーダンス1792上のタップジェスチャ1792である。
図17V〜Xを参照すると、タップジェスチャ1792の検出に応じて、電子デバイス1700は、生体特徴に対応する生体データに基づいて判定されたように、生体特徴の少なくとも一部分が、少なくとも図17G〜Iを参照して説明した生体認証基準を満足するか否か判定するために、生体認証を開始する。
図17Zでは、成功した生体認証に応じて、電子デバイス1700は、セキュリティ対策がされたデータ記入可能フィールド1786を自動記入する複数の候補入力アフォーダンス1792を含む候補選択インタフェース1794を表示する(例えば、生体認証インタフェース1732の表示を置き換える)。いくつかの実施例では、候補選択インタフェース1794は、キーボードなしで、表示される。図示した実施例では、記入可能フィールド1786は、クレジットカードに関連付けられる(例えば、記入可能フィールド1786は、金融取引に関連付けられるように標識づけられる)。したがって、いくつかの実施例では、候補入力アフォーダンス1792のそれぞれが、それぞれのクレジットカードへの参照(例えば、クレジットカード番号及び/又はクレジットカードに関連付けられた1つ以上の他のそれぞれの候補値)として働く。
候補入力アフォーダンス1792を表示する間、電子デバイス1700は、候補入力アフォーダンス1792のアクティブ化を検出する。例えば、図17Zに示すように、アクティブ化は、候補入力アフォーダンス1792上のタップジェスチャ1795である。図17Zでは、タップジェスチャ1795の検出に応じて、電子デバイス1700は、アクティブ化された候補入力アフォーダンス1792に対応する候補入力1796を用いてセキュリティ対策がされたデータ記入可能フィールドに自動記入する。
自動記入された記入可能フィールド1786を有するアプリケーションインタフェース1784を表示する間、電子デバイスは、提出アフォーダンス1798のアクティブ化を検出する。一例として、アクティブ化は、提出アフォーダンス1798上のタップジェスチャ1702Aである。それに応じて、自動記入されたクレジットカードは、例えば、認証又は決済目的用のアプリケーションを使用して、任意選択的に提出される。
本明細書で、セキュリティ対策がされたデータ記入可能フィールドを自動記入するとき、候補入力アフォーダンスの提供の前の生体認証の実行に対して、説明が作成される一方、いくつかの実施例では、候補入力アフォーダンスは、生体認証の前に提供されることが理解されよう。図17AAを参照すると、例えば、セキュリティ対策がされたデータ記入可能フィールド1786への自動記入の要求に応じて、電子デバイス1700は、複数の候補入力アフォーダンス1704Aを含む入力インタフェースを表示する。候補入力1704Aのそれぞれは、いくつかの実施例では、候補入力値への参照(例えば、その表示)である。
図17ABに示したように、複数の候補入力アフォーダンス1704Aを含む入力インタフェースを表示する間、電子デバイスは、候補入力アフォーダンス1704Aのアクティブ化を検出する。一例として、アクティブ化は、候補入力アフォーダンス1704A上のタップジェスチャ1706Aである。図17AC〜AEを参照すると、それに応じて、電子デバイスは、説明したように、生体認証を実行する。図17AFでは、電子デバイス1700は、生体認証が成功したことを判定し、選択された候補入力アフォーダンス1704Aに対応する選択された候補入力を用いてセキュリティ対策がされたデータ記入可能フィールド1786を自動記入する。
図17AGでは、電子デバイスは、その代わりに、生体認証が成功しなかったことを判定する。それに応じて、電子デバイス1700は、図17AHに示したように、生体認証インタフェースの表示を終了する。
上述したように、上で説明した図17A〜17AHで示したユーザインタフェースの例示的な実施例は、以下に説明する図18A〜18AHで示すユーザインタフェースの例示的な実施例に関連している。したがって、図17A〜17AFで示した例示的なユーザインタフェースに対する上述の処理と、図18A〜18AHで示す例示的なユーザインタフェースに対する後述する処理とは、大部分は類似した処理であり、電子デバイス(例えば、100、300、500、700)を用いて伝送を開始及び管理することを同様に含むことが理解されよう。
図18A〜18Dは、いくつかの実施例による電子デバイスを用いて生体認証を実行する方法を説明するフロー図である。方法1800は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信機(例えば、Bluetooth接続、WiFi接続、4GのLTE接続などのモバイルブロードバンド接続)を有するデバイス(例えば、100、300、500、1700)で、実行される。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つだけカメラを含む。いくつかの実施例では、デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを、任意選択的に含む、1つ以上の生体センサを含む。いくつかの実施例では、デバイスは、赤外線照明投射器、構造化光投影機、又はその組合せなどの発光デバイスを更に含む。発光デバイスは、1つ以上の生体センサによって生体特徴の生体データがキャプチャされる間、生体特徴(例えば、顔)を照明するために、任意選択的に使用される。方法1800でのいくつかの操作は、任意選択的に組み合わされ、いくつかの操作の順番は、任意選択的に変更され、いくつかの操作は、任意選択的に省略される。
後述するように、方法1800は、生体特徴の認証を実行する直観的な方法を提供する。この方法は、生体特徴の認証を実行するユーザの認識的負担を低減し、それにより更に効果的なヒューマンマシンインタフェースと直観的なユーザエクスペリエンスとをもたらす。電池で動作するコンピュータデバイスにとって、ユーザが、生体特徴の認証をより速く、より効果的に管理できるようにすることが、電力を節約し、バッテリ充電までの時間を延長する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1710、1712、1786)の選択を検出する(1802)。いくつかの実施例では、記入可能フィールド(例えば、1710、1712、1786)の選択の検出に応じて、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1710、1712、1786)用の候補入力に対応する複数のユーザインタフェースオブジェクト(例えば、1725、1793、1704A)を含む入力インタフェース(例えば、1720、1788)を表示する(1804)。
いくつかの実施例では、1つの記入可能フィールド(例えば、1710、1712、1786)で自動記入する要求(例えば、1718、1724、1726、1730、1792、1795、1706A)を受信する前に、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1710、1712、1786)の選択(例えば、1718、1730)を受信する。いくつかの実施例では、記入可能フィールド(例えば、1710、1712、1786)の選択(例えば、1718、1730)は、マウス又はボタンなどの入力デバイスを用いた、アプリケーションインタフェース内に表示された記入可能フィールド(例えば、1710、1712、1786)のユーザの選択である。いくつかの実施例では、記入可能フィールド(例えば、1710、1712、1786)の選択に応じて、電子デバイス(例えば、100、300、500、1700)は、自動記入アフォーダンス(例えば、1722、1790)を表示する(1806)。いくつかの実施例では、自動記入アフォーダンス(例えば、1722、1790)は、キーボード(又はキーパッド)と組み合わせて表示される。
いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、ディスプレイ上に、記入可能フィールド(例えば、1710、1712、1786)を含むアプリケーションインタフェースを表示する(1808)。記入可能フィールドを含むアプリケーションインタフェースを表示することは、入力がアプリケーションインタフェースの特定の領域に作成可能であることを示す視覚的フィードバックを、ユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、ディスプレイ(例えば、1702)上に、記入可能フィールド(例えば、1710、1712、1786)を含むアプリケーションインタフェースを表示することは、記入可能フィールド(例えば、1712、1786)が第2のタイプのデータに関連付けられていることに従って、第1の視覚的な処理を用いた記入可能フィールド(例えば、1712、1786)を表示すること(1810)を含む。記入可能フィールドが特定のタイプ(例えば、第2のタイプ)のデータに関連付けられていることに従って特定の視覚的な処理(例えば、第1の視覚的処理)を用いて記入可能フィールドを表示することは、記入可能フィールドが特定のデータタイプに関連付けられることを、ユーザが素早く容易に認識できるようにする視覚的フィードバックを提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、第2のタイプのデータは、認証が、支払い情報、パスワード、及び/又はユーザ名などの自動記入するために必要とされるデータを含む。いくつかの実施例では、第1の視覚的処理は、特定の色スキーム、強調表示、又はアニメーションなどの視覚的な効果である。いくつかの実施例では、第1の視覚的処理は、1つ以上の色のパターンなどの第1の色スキームを含む。いくつかの実施例では、第1の視覚的処理は、記入可能フィールド(例えば、1712、1786)に関連付けられた(例えば、内部の又は隣接した)生体認証インタフェースオブジェクト(例えば、1716)を含む。
いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、生体認証に関連付けられないフィールド(例えば、1710)の内または近くに表示されない、生体認証に関連付けられた、生体認証グリフ(例えば、1716)又はフィールド(例えば、1712、1786)の内または近くのアイコンを表示する。生体認証に関連付けられた、生体認証グリフ又はフィールドの内または近くのアイコンを表示すること、及び生体認証に関連付けられない、生体グリフ又はフィールドの内または近くのアイコンを表示しないことは、どのフィールドが生体認証に関連するか又はそれを必要とするか、及びどのフィールドが生体認証に関連しないか又はそれを必要としていないか、について容易に認識可能な視覚的フィードバックを提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、ディスプレイ上に記入可能フィールドを含むアプリケーションインタフェースを表示することは、記入可能フィールド(例えば、1710)が第1のタイプのデータに関連付けられていることに従って、第1の視覚的処理と異なる第2の視覚的処理を用いた記入可能フィールド(例えば、1710)を表示する(1812)ことを含む。いくつかの実施例では、第1のタイプのデータは、認証が、名前、住所、電話番号、郵便番号などを含む連絡先情報などの、自動記入するために必要とされないデータを含む。いくつかの実施例では、第2の視覚的処理には、第1の視覚的処理がない。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、異なる色、生体認証グリフ(例えば、1716)、及び/又は記入可能フィールド(例えば、1712、1786)が成功した生体認証に応じて任意選択的に自動記入されたことを示す文字、を用いて記入可能フィールド(例えば、1712、1786)を強調表示する。いくつかの実施例では、第2の視覚的処理は、第1の色スキームと異なる第2の色スキームを含む。したがって、いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、生体認証に関連付けられないフィールド(例えば、1710)と異なる色を用いた生体認証に関連付けられたフィールド(例えば、1712、1786)を表示する。
いくつかの実施例では、ディスプレイ上に、記入可能フィールド(例えば、1710、1712、1786)を含むアプリケーションインタフェースを表示することは、記入可能フィールド(例えば、1710、1712、1786)を含むウェブページを表示する(1814)ことを含む。いくつかの実施例では、アプリケーションインタフェースは、記入可能フィールド(例えば、1710、1712、1786)に関連付けられた提出アフォーダンス(例えば、1714、1798)を更に含む。
いくつかの実施例では、アプリケーションインタフェースを表示する一方で、電子デバイス(例えば、100、300、500、1700)は、アプリケーションインタフェースの記入可能フィールド(例えば、1710、1712、1786)を自動記入するための要求(例えば、1718、1724、1726、1730、1792、1795、1706A)を受信する(1816)。いくつかの実施例では、要求は、自動記入アフォーダンス(例えば、1722、1790)の選択(例えば、1724、1792)、フィールドの選択(例えば、1718、1730)、候補文字入力の選択(例えば、1726、1795、1706A)、ウェブページのローディング、又は任意のその組合せである。いくつかの実施例では、アプリケーションインタフェースの少なくとも1つの記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求を受信することは、電子デバイス(例えば、100、300、500、1700)のディスプレイ(例えば、1702)上に表示された自動記入アフォーダンス(例えば、1722、1790)の選択を受信することを含む(1818)。いくつかの実施例では、フィールド(例えば、1710、1712、1786)の選択(例えば、1710、1712、1786)に応じて、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1710、1712、1786)を自動記入するためのアフォーダンス(例えば、1722、1790)を含むキーボード(又はキーパッド)を表示する。アフォーダンスの選択に応じて、電子デバイス(例えば、100、300、500、1700)は、生体認証を開始する。いくつかの実施例では、アプリケーションインタフェースの少なくとも1つの記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求を受信することは、記入可能フィールド(例えば、1710、1712、1786)の選択(例えば、1718、1730)を受信することを含む(1820)。
いくつかの実施例では、記入可能フィールド(例えば、1710、1712、1786)の選択に応じて、電子デバイス(例えば、100、300、500、1700)は、入力インタフェース(例えば、1720、1788)を表示することなく生体認証を開始する。記入可能フィールドの選択に応じて、入力インタフェースを表示することなく生体認証を開始することは、ユーザが最小限の入力で生体認証を素早く効果的に開始することを可能にする。操作を実行するために必要な入力の回数を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、入力インタフェース(例えば、1720、1788)は、第1のタイプ(例えば、1786)のフィールド(例えば、クレジットカードフィールド)の選択に応じて表示され、第2のタイプ(例えば、1712)のフィールド(例えば、パスワードフィールド)の選択に応じて表示されない。いくつかの実施例では、アプリケーションインタフェースの少なくとも1つの記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求を受信することは、第2のタイプのデータに関連付けられた候補入力に対応する参照(例えば、1725、1793、1704A)の選択(例えば、1726、1795、1706A)を受信することを含む(1822)。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1710、1712、1786)を自動記入するために用いられ得る(例えば、選択の際に)1つ以上の候補入力に対応する1つ以上の参照(例えば、1725、1793、1704A)を提供する。いくつかの実施例では、参照は、例えば、クレジットカード(例えば、「CC1」)の参照又はパスワード(「Facebook password」)の参照である。いくつかの実施例では、参照は候補そのもの(例えば、「test@test.com」などの電子メールアドレス)である。いくつかの実施例では、候補入力への参照(例えば、1725、1793、1704A)の選択(例えば、1726、1795、1706A)は、ソフトウェアキーボードのアフォーダンスの選択である。いくつかの実施例では、キーボードは、キーパッドである。いくつかの実施例では、アプリケーションインタフェースの少なくとも1つの記入可能フィールドを自動記入する要求を受信することは、ウェブページの記入可能フィールドの選択を含む(1824)。いくつかの実施例では、アプリケーションインタフェースの記入可能フィールドを自動記入する要求を受信することは、複数の候補入力のそれぞれの候補入力に対応するユーザインタフェースオブジェクト(例えば、1725、1793、1704A)の選択(例えば、1726、1795、1706A)を受信することを含む(1826)。いくつかの実施例では、記入可能フィールドの選択に応じて、電子デバイス(例えば、100、300、500、1700)は、ユーザによる選択用の候補入力(例えば、1725、1793、1704A)を提供する。その後、電子デバイス(例えば、100、300、500、1700)は、生体認証を続ける。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、アプリケーションインタフェースがロードされ、及び/又は1つ以上のフィールド(例えば、1710、1712、1786)への候補入力を決定するとき、すべての記入可能フィールド(例えば、1710、1712、1786)を識別する。いくつかの実施例では、このように自動記入することは、記入可能フィールド(例えば、1710、1712、1786)を自動記入するために必要な入力の数を低減する。いくつかの実施例では、記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求は、記入可能フィールド(例えば、1710、1712、1786)を含むウェブページのローディングの検出に基づく。
いくつかの実施例では、アプリケーションインタフェース(1828)の記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求の受信に応じて、アプリケーションインタフェースの記入可能フィールド(例えば、1710、1712、1786)が第1のタイプのデータに関連付けられるという判定に従って、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1710、1712、1786)を第1のタイプのデータで自動記入する(1830)。アプリケーションインタフェースの記入可能フィールドが特定のタイプのデータ(例えば、第1のタイプのデータ)に関連付けられるという判定に従って、特定のタイプのデータ(例えば、第1のタイプのデータ)を用いて記入可能フィールドを自動記入することにより、ユーザが、アプリケーションインタフェースの記入可能フィールドにデータを手動で入力しなければならないことを回避できる。操作を実行するために必要な入力の回数を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、第1のタイプのデータは、セキュリティ対策がされていない又は安全でないデータ(例えば、生体セキュリティ対策がされていない)を含む。いくつかの実施例では、セキュリティ対策がされていないデータは、ユーザの氏名、ニックネーム、公開されている電話番号、又は特定の分野に関連付けられた嗜好(例えば、靴サイズ分野の靴サイズ)である。いくつかの実施例では、記入可能フィールド(例えば、1710、1712、1786)を自動記入することは、要求(例えば、1718、1724、1726、1730、1792、1795、1706A)に応じて、フィールドを電子デバイス(例えば、100、300、500、1700)によって記憶されたデータで、又は更なる認証(例えば、更なる生体認証)を必要とすることなしに電子デバイス(例えば、100、300、500、1700)にアクセス可能なデータで埋めることを含む。
いくつかの実施例では、アプリケーションインタフェースの記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求に更に応じて、アプリケーションの記入可能フィールド(例えば、1710、1712、1786)が第2のタイプのデータに関連付けられるという判定に応じて(1832)、生体特徴に対応するデータを1つ以上の生体センサ(例えば、1703)から取得している間(例えば、取得処理の少なくとも一部の間)、電子デバイス(例えば、100、300、500、1700)は、生体認証インタフェース(例えば、1732)を表示する(1834)。アプリケーションの記入可能フィールドが特定のタイプのデータ(例えば、第2のタイプのデータ)に関連付けられるという判定に従って、生体認証インタフェースを表示することは、データが特定のタイプ(例えば、第2のタイプの)である場合、セキュリティ検証対策を要求することによってデバイスのセキュリティを改善する。デバイスのセキュリティ対策を向上させることは、コンテンツ及び操作への無許可アクセスを防止することによってデバイスの操作性を改善し、更に、ユーザがデバイスをより効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、第2のタイプのデータは、セキュリティ対策がされたデータ(例えば、生体セキュリティ対策がされたデータ)である。いくつかの実施例では、セキュリティ対策がされたデータは、パスワード情報、クレジットカード情報、非掲載の電話番号などの非公開ユーザ情報又は医療用情報を含む。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、生体認証を実行している間、生体認証インタフェース(例えば、1732)を表示する。いくつかの実施例では、生体認証インタフェースは、アプリケーションインタフェースの少なくとも一部分上に表示される。いくつかの実施例では、生体認証インタフェースを表示することは、生体認証アニメーションを表示することを含む。いくつかの実施例では、生体認証アニメーションは、当初のアニメーションと(例えば、第1の生体認証グリフ(例えば、1734)の表示)、処理中のアニメーションと(例えば、生体データが処理されていることを示す回転しているリング)、及び成功アニメーション又は失敗アニメーションとを含む。いくつかの実施例では、失敗アニメーションは、当初のアニメーションと同一である。この特徴は、図15A〜15Tを参照してより詳細に上述した。いくつかの実施例では、生体認証インタフェースは、生体特徴(例えば、1734、1738、1740、1746)のシミュレーションの表示を含む(1836)。いくつかの実施例では、生体認証インタフェースは、生体認証シーケンスの状態を示す生体特徴(例えば、1734、1738、1740、1746)のシミュレーションの表示を含む。いくつかの実施例では、生体特徴は、顔であり、表示(例えば、1734、1738、1740、1746)は、顔のシミュレーションである。
いくつかの実施例では、記入可能フィールドを自動記入する要求に更に応じて、かつ、アプリケーションの記入可能フィールドが第2のタイプのデータに関連付けられるという判定に従って、電子デバイス(例えば、100、300、500、1700)は、複数の候補入力(例えば、第2のタイプのデータに関連付けられた)が、電子デバイス(例えば、100、300、500、1700)上に記憶されたか否かを判定する。更に、いくつかの実施例では、第2のタイプのデータ(例えば、1793、1704A)に関連付けられた複数の候補入力が、電子デバイス(例えば、100、300、500、1700)上に記憶されたこという判定に従って、電子デバイス(例えば、100、300、500、1700)は、複数の候補を表示する。更に、いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、表示された複数の候補入力の候補入力の選択を受信する。更に、いくつかの実施例では、候補入力の選択(例えば、1704A)の受信に応じて、電子デバイス(例えば、100、300、500、1700)は、生体特徴の少なくとも一部分に対応するデータを、1つ以上の生体センサ(例えば、1703)から取得する。いくつかの実施例では、記入可能フィールド(例えば、1712、1786)を第2のタイプのデータで自動記入することは、記入可能フィールド(例えば、1712、1786)を選択された候補入力(例えば、1704A)で自動記入することを含む。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、生体認証を実行する前に、複数の候補入力が、電子デバイス(例えば、100、300、500、1700)上に記憶されているか否かを判定する。いくつかの実施例では、ユーザが候補入力(例えば、1704A)を選択した後、電子デバイス(例えば、100、300、500、1700)は、生体認証を実行する。
いくつかの実施例では、記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求に応じて、かつ生体特徴の少なくとも一部分が、生体特徴に対応する1つ以上の生体センサから取得されたデータに基づいて、生体認証基準(1838)を満足するという判定に従って、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1710、1712、1786)を第2のタイプのデータで自動記入する(1840)。生体特徴の少なくとも一部分が、生体認証基準を満足するという判定に従って、記入可能フィールドを特定のタイプ(例えば、第2のタイプ)のデータで自動記入することにより、ユーザが、記入可能フィールドにデータを手動で入力しなければならないことを回避できる。操作を実行するために必要な入力の回数を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、生体認証が成功した場合、電子デバイス(例えば、100、300、500、1700)は、要求に応じて情報を、記入可能フィールド(例えば、1712、1786)に自動記入する。記入可能フィールドを自動記入することにより、ユーザが、記入可能フィールドにデータを手動で入力しなければならないことを回避できる。操作を実行するために必要な入力の回数を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。いくつかの実施例では、アプリケーションインタフェースの記入可能フィールド(例えば、1712、1786)を自動記入する要求(例えば、1718、1724、1726、1730、1795、1706A)の受信に応じて、電子デバイス(例えば、100、300、500、1700)は、生体特徴の少なくとも一部分に対応するデータを、1つ以上の生体センサから取得する。いくつかの実施例では、1つ以上の生体センサから取得されるデータは、アプリケーションインタフェースの記入可能フィールドを自動記入する要求の受信の前に取得される。いくつかの実施例では、1つ以上の生体センサから取得されるデータは、アプリケーションインタフェースの記入可能フィールド(例えば、1712、1786)を自動記入する要求の受信に応じて取得される。いくつかの実施例では、1つ以上の生体センサ(例えば、1703)から取得されるデータは、アプリケーションの記入可能フィールド(例えば、1712、1786)が第2のタイプのデータに関連付けられるという判定に従って取得される。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールドを自動記入する要求に応じて、入力インタフェース(例えば、1720)(例えば、キーボード又はキーパッド)を表示せずに、記入可能フィールド(例えば、1712、1786)を自動記入する。いくつかの実施例では、1つ以上の生体センサ(例えば、1703)は、カメラ(例えば、赤外線カメラ又はサーモグラフィカメラ)を含む。いくつかの実施例では、生体特徴に対応する1つ以上の生体センサ(例えば、1703)から取得されたデータは、カメラを使用して取得された生体データを含む。いくつかの実施例では、生体特徴は、顔である。いくつかの実施例では、生体特徴に対応する1つ以上の生体センサ(例えば、1703)から取得されたデータは、顔の一部分に関連付けられた生体データを含み、生体認証基準は、顔に関連付けられた生体データが、生体認証基準を満足するために、許可された顔に関連付けられた生体データと一致する、という要件を含む。
いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)が、記入可能フィールド(例えば、1712、1786)に記入する単一の第2のタイプの候補値へのアクセスを有するという判定に従って、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1712、1786)を第2のタイプのデータで自動記入する。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)が、記入可能フィールド(例えば、1712、1786)に自動記入する複数の第2のタイプの候補値へのアクセスを有するという判定に従って、電子デバイス(例えば、100、300、500、1700)は、複数の候補値の表示を表示する。いくつかの実施例では、候補値が、デバイス上に直接記憶される、及び/又はそうでなければ、電子デバイス(例えば、100、300、500、1700)に接続された別の電子デバイス(例えば、100、300、500、1700)から、電子デバイス(例えば、100、300、500、1700)にアクセス可能である。いくつかの実施例では、複数の候補値の表示(例えば、1725、1793、1704A)を表示する間、電子デバイス(例えば、100、300、500、1700)は、複数の候補値のそれぞれの候補値の表示(例えば、1725、1793、1704A)の選択(例えば、1726、1795、1706A)を受信し、いくつかの実施例では、記入可能フィールド(例えば、1712、1786)をそれぞれの候補値で自動記入する。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、電子デバイス(例えば、100、300、500、1700)が第2のタイプのデータの複数の事例へのアクセスを有するか否かを判定する。いくつかの実施例では、成功した生体認証に応じて、電子デバイス(例えば、100、300、500、1700)は、例えば、生体セキュリティ対策がされたデータ(例えば、候補クレジットカード)の複数の候補入力がデバイス上に記憶されるか否かを判定する。記憶される場合、電子デバイス(例えば、100、300、500、1700)は、候補(例えば、1725、1793、1704A)のそれぞれをユーザに呈示(例えば、表示)する。候補(例えば、1725、1793、1704A)のうちの1つのユーザの選択(例えば、1726、1795、1706A)に応じて、電子デバイス(例えば、100、300、500、1700)は、フィールド(例えば、1712、1786)を選択された候補を用いて自動記入する。
いくつかの実施例では、1つ以上の生体センサから取得されたデータに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足しないという判定に従って、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1712、1786)を第2のタイプのデータで自動記入することを取り止める(1842)。生体特徴の少なくとも一部分が、生体認証基準を満足しないという判定に従って、選択された候補を用いて自動記入することを取り止めることは、認証が成功しなかったことをユーザが認識できるようになるまで、視覚的フィードバックを提供し、成功した認証なしで記入可能フィールドを自動記入することを取り止めるまで、改善されたデバイスのセキュリティを更に提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、デバイスが正常な視野角にある間、ユーザへのユーザインタフェース要素の可読性を高めることによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。更に、デバイスのセキュリティ対策を向上させることは、コンテンツ及び操作への無許可アクセスを防止することによってデバイスの操作性を改善し、更に、ユーザがデバイスをより効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、1つ以上の生体センサから取得されたデータに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足しないという判定に従って、電子デバイス(例えば、100、300、500、1700)は、生体特徴の少なくとも一部分が、生体認証基準を満足しないことの通知を表示する(1844)。生体特徴の少なくとも一部分が、生体認証基準を満足しなかったとの通知を表示することは、認証が成功しなかったことをユーザが素早く認識できるようになるまで、視覚的フィードバックを提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって、デバイスが正常な視野角にある間、ユーザへのユーザインタフェース要素の可読性を高めることによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。いくつかの実施例では、失敗した生体認証に応じて、電子デバイス(例えば、100、300、500、1700)は、失敗の通知を提供する。いくつかの実施例では、電子デバイス(例えば、100、300、500、1700)は、生体試行の閾値回数に到達した場合、「生体特徴が認識されません」を示す又は「生体認証が休止しています」を示すメッセージを表示する。いくつかの実施例では、失敗後、電子デバイス(例えば、100、300、500、1700)は、アプリケーションインタフェース上に表示されたすべての生体認証インタフェースを除去し、及び/又は生体認証を再試行する選択である、生体認証再試行アフォーダンスを表示する(例えば、1758)(例えば、記入可能フィールド(例えば、1712)内に)。いくつかの実施例では、生体特徴の少なくとも一部分が、生体認証基準を満足しないと判定したことに応じて、デバイスは、記入可能フィールド(例えば、1712、1786)内へのデータ入力用(例えば、ユーザ名、パスワード、パスコード、連絡先情報、クレジットカード情報、など)のキーパッド又はキーボードを表示する。
いくつかの実施例では、1つ以上の生体センサから取得されたデータに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足しないという判定に従って、電子デバイス(例えば、100、300、500、1700)は、生体認証インタフェースの表示を終了する。いくつかの実施例では、失敗した生体認証の後、電子デバイス(例えば、100、300、500、1700)は、生体認証の表示を終了する。結果的に、電子デバイス(例えば、100、300、500、1700)は、アプリケーションのログインインタフェース(例えば、1714)などのアプリケーションインタフェースの表示を再開する。
いくつかの実施例では、1つ以上の生体センサから取得されたデータに基づいて、生体特徴の少なくとも一部分が、生体認証基準を満足しないという判定に従って、電子デバイス(例えば、100、300、500、1700)は、入力インタフェース(例えば、1720)を表示する。いくつかの実施例では、入力インタフェース(例えば、1720)は、パスワード又はパスコード入力用の文字入力キーを含むキーパッド又はキーボードを含む。
いくつかの実施例では、生体認証が利用可能でないという判定に従って、電子デバイス(例えば、100、300、500、1700)は、ユーザを認証の代替の形式に促す。生体認証が利用可能でないという判定に従って、ユーザを認証の代替の形式に促すことにより、ユーザが異なる認証方法を用いて操作用の認証を容易に提供することが可能になる。このように、UIを追加の表示された制御で乱雑にすることなく追加の制御の選択肢(例えば、認証を提供する)を提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、デバイスを用いた最後の成功した認証以来、失敗した生体認証試行の閾値回数に到達したので、又は生体センサが、暑さ、寒さ、照明(例えば、デバイスが生体特徴の特質を検出する光が十分でない又は光が過剰である)、若しくは他の環境条件により使用できないので、生体認証は、失敗する。いくつかの実施例では、ユーザを認証の代替の形式(例えば、パスコード、パスワード又は指紋などの生体認証の異なる形式)に促した後、電子デバイス(例えば、100、300、500、1700)は、認証の代替の形式を受信する。いくつかの実施例では、ユーザを認証の代替の形式に促した後更に、認証の代替の形式の受信に応じて、認証の代替の形式が許可された認証情報(例えば、事前に保存された指紋、パスワード、又はパスコード)と一致するという判定に従って、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1712、1786)を自動記入する。いくつかの実施例では、ユーザを認証の代替の形式に促した後更に、認証の代替の形式の受信に更に応じて、認証の代替の形式が許可された認証情報と一致しないという判定に従って、電子デバイス(例えば、100、300、500、1700)は、記入可能フィールド(例えば、1712、1786)の自動記入を取り止める。
いくつかの実施例では、アプリケーションインタフェースの記入可能フィールドを自動記入する要求に対応した後、電子デバイス(例えば、100、300、500、1700)は、ウェブページをロードするために後続の要求を受信する。いくつかの実施例では、アプリケーションインタフェースの記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求に対応した後更に、ウェブページをロードする後続の要求に応じて、ウェブページをロードする後続の要求が、認証再試行基準を満足するという判定に従って、電子デバイス(例えば、100、300、500、1700)は、アプリケーションインタフェース内の記入可能フィールド(例えば、1710、1712、1786)を自動記入するために生体認証を試行する。いくつかの実施例では、アプリケーションインタフェースの記入可能フィールド(例えば、1710、1712、1786)を自動記入する要求に対応した後更に、ウェブページをロードする後続の要求に更に応じて、ウェブページをロードする後続の要求が、認証再試行基準を満足しないという判定に従って、電子デバイス(例えば、100、300、500、1700)は、アプリケーションインタフェース内の記入可能フィールド(例えば、1710、1712、1786)を自動記入するために生体認証の試行を取り止める。いくつかの実施例では、ウェブページのローディングは、条件付きで、所定の基準に基づいて自動記入することの端緒となる。例えば、ウェブページのローディングは、ウェブページがロードされた初回は、ウェブページの記入可能フィールドを自動記入する要求として扱われるが、ウェブページが、所定の時間内で(例えば、5分、1時間、1日以内)2回目にロードされるとき、ウェブページがロードされた2回目は、ウェブページの記入可能フィールドを自動記入する要求として扱われない。いくつかの実施例では、認証再試行基準は、ウェブページが所定の時間内にロードされなかったという要件、又はウェブページが同一のセッションの間にロードされなかったという要件のうちの少なくとも1つを含む。いくつかの実施例では、要件は、ローディングが所定時間内で初回のローディングであること、及び/又はローディングがセッション内で初回のローディングであることである。
いくつかの実施例では、記入可能フィールド(例えば、1710、1712、1786)を第1のタイプのデータ又は第2のタイプのデータで自動記入した後、電子デバイス(例えば、100、300、500、1700)は、提出アフォーダンス(例えば、1714、1798)の選択を受信する。いくつかの実施例では、提出アフォーダンスの選択の受信に応じて、電子デバイス(例えば、100、300、500、1700)は、アプリケーションインタフェースの表示を終了する。いくつかの実施例では、提出アフォーダンスの選択の受信に更に応じて、電子デバイス(例えば、100、300、500、1700)は、アプリケーションによって生成された第2のインタフェース(例えば、1782)を表示する。いくつかの実施例では、第2のインタフェースを表示することは、アプリケーションのログインユーザインタフェースを保護された情報を含むアプリケーション(例えば、1782)のユーザインタフェースで置換することを含む。
なお、方法1200に対して上述した処理(図18A〜18D)の詳細は、本明細書で説明した方法に、類似の方法で更に適用可能であることに留意されたい。例えば、方法1800は、方法800、1000、1200、1400、1600、2000、2200、2500、及び2700を参照して本明細書で説明した多様な方法の1つ以上の特性を任意選択的に含む。例えば、方法1200で説明した登録された生体データは、図17G〜Kに対して説明したような生体認証を実行するために使用され得る。別の例として、方法2000及び2700で説明するような1つ以上のインタースティシャルインタフェースは、生体認証プロセスの完了の前の入力の受信に応じて任意選択的に表示される。簡潔のために、これらの詳細は、本明細書で繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ(例えば、図1A、3、及び5Aに対して説明したように)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図18A〜18Dを参照して上述した演算は、図1A〜1Bで示した構成要素によって、任意選択的に実行される。例えば、表示演算1808、受信演算1816、及び自動記入演算1830は、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって任意選択的に実行される。イベントソータ170内のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に伝送する。アプリケーション136−1のそれぞれのイベント認識部180は、イベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の位置での第1の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。それぞれの所定のイベント又はサブイベントが検出されたとき、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、アップデーター176又はオブジェクトアップデーター177を、任意選択的に利用又は呼び出す。いくつかの実施例では、イベントハンドラ190は、アプリケーションによって表示されるものを更新するために、それぞれのGUIアップデーター178にアクセスする。同様に、当業者には、他の処理が、図1A〜1Bで示した構成要素に基づいてどのように実行されるのか明らかであろう。
図19A〜19ABは、いくつかの実施例による、生体認証の例示のユーザインタフェースを示す。下記でより詳細に説明されるように、図19A〜19ABに示されたユーザインタフェースの例示的な実施例は、図20A〜20Fでの処理を含む下記の処理を説明するために使用される。
図19Aは、電子デバイス1900を示す(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)。図19A〜19ABに示された例示的な実施例では、電子デバイス1900は、スマートフォンである。他の実施例では、電子デバイス1900は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスであり得る。電子デバイス1900は、ディスプレイ1902、1つ以上の入力デバイス(例えば、ディスプレイ1902のタッチスクリーン、ボタン1904、マイク(図示せず))、及び無線通信機を有する。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つだけカメラを含む。いくつかの実施例では、電子デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを、任意選択的に含む、1つ以上の生体センサ(例えば、生体センサ1903)を含む。いくつかの実施例では、1つ以上の生体センサ1903は、1つ以上の生体センサ703である。いくつかの実施例では、デバイスは、赤外線照明投射器、構造化光投影機、又はその組合せなどの発光デバイス(例えば、光投影機)を更に含む。発光デバイスは、1つ以上の生体センサによって生体特徴の生体データがキャプチャされる間、生体特徴(例えば、顔)を照明するために、任意選択的に使用される。
図19Aでは、電子デバイスは、低電力(例えば、表示オフ)状態からウェイクする。いくつかの実施例に示したように、電子デバイス1900は、ユーザによって実行される持ち上げジェスチャ1906に応じてウェイクする。図19B〜Dを参照すると、持ち上げジェスチャ1906に応じて、電子デバイス1900は、低電力状態から適度な電力状態(例えば、ディスプレイが減光された)へ遷移する。例えば、図19Bでは、電子デバイス1900のディスプレイ1902は、無効にされており、持ち上げジェスチャ1906に応じて、電子デバイス1900は、図19C〜Dに示すように所定の時間にわたってディスプレイ1902の輝度を徐々に向上させる。いくつかの実施例では、ディスプレイ1902の輝度は、線形関数などの関数に応じて増大される。いくつかの実施例では、生体認証(例えば、顔の認識認証)が有効化されているとき、ハードウェアボタン(例えば、スリープ/ウェイクボタン)が押されると、デバイスは、直ちにロックし、いくつかの実施例では、デバイスは、それがスリープモードに遷移するたびごとにロックする。
図19C〜Dを参照すると、いくつかの実施例では、適度な電力状態(例えば、ディスプレイがオンしているが、完全な動作輝度でない)への遷移かつ/又は適度な電力状態で動作する間、電子デバイスは、ロックされたインタフェース1910を表示する。ロックされたインタフェースは、例えば、ロック状態インジケータ1912を含み、1つ以上の通知1914を任意選択的に含む。図に示すように、通知1914は、電子デバイスが、電子デバイス上に記憶された連絡相手(「John Appleseed」)からの新しいメッセージを受信したことを示す、メッセージングアプリケーションに関連付けられたメッセージ通知である。いくつかの実施例では、適度な電力状態は、ロック状態である。したがって、適度な電力状態で動作している間、電子デバイス1900は、セキュリティ対策がされた方法で動作する。一例として、適度な電力状態で動作している間、電子デバイスは、通知1914に関連付けられたメッセージのコンテンツを表示しない。いくつかの実施例では、ロック状態は、他のデータ(他のアプリケーションを含む)へのアクセスに関する制約及び/又は許容できる入力に関する制限に更に対応する。
いくつかの実施例では、電子デバイス1900は、フラッシュ光アフォーダンス1907及びカメラアフォーダンス1908を更に表示する。いくつかの実施例では、フラッシュ光アフォーダンス1907のアクティブ化により、電子デバイスは、フラッシュ光アプリケーションをロードする。いくつかの実施例では、カメラアフォーダンス1908のアクティブ化により、電子デバイス1900は、カメラアプリケーションをロードする。
いくつかの実施例では、適度な電力状態へ遷移した後(例えば、応じて)、電子デバイス1900は、生体認証(例えば、顔の認識認証)を開始する。いくつかの実施例では、生体認証の開始することは、ユーザの生体特徴の少なくとも一部分に対応するデータを取得すること(例えば、1つ以上の生体センサを使用してキャプチャすること)を含む。いくつかの実施例では、(ユーザの)顔が検出されたとき、生体認証は、ユーザの目が開かれ、デバイスに向いていることを検出することによって、ロック解除する(ユーザの)意識及び意思を確認する。
図19E〜Gを参照すると、電子デバイス1900が、生体認証が成功したと判定した場合、電子デバイスは、適度な電力状態から高電力状態(例えば、ディスプレイが減光されていない)へ遷移する。例えば、図19Dでは、電子デバイス1900のディスプレイは、適度な電力状態にあり、成功した生体認証に応じて、電子デバイス1900は、図19E〜Gに示すように所定の時間にわたってディスプレイ1902の輝度を徐々に向上させる。いくつかの実施例では、ディスプレイ1902の輝度は、線形関数などの関数に応じて増大される。
いくつかの実施例では、適度な電力状態から高電力状態へと遷移する間、電子デバイス1900は、ロック解除インタフェース1920を表示する。いくつかの実施例では、ロック解除インタフェース1920を表示する間、電子デバイスは、電子デバイスが高電力状態へと遷移していることを示すアニメーションを表示する。図19E〜Gに示したように、遷移している間、電子デバイスは、ロックされた状態1912のインジケータがロック解除状態インジケータ1922(図19G)へと遷移するアニメーションを表示する。いくつかの実施例では、アニメーションを表示することは、ロック解除状態インジケータ1913(図19E)を表示するために、ロック状態インジケータ1912を排除すること及び/又はロック状態インジケータ1912のサイズを増大させること、並びにロック解除状態インジケータ1921(図19F)及び1922(図19G)をそれぞれ表示するために、ロック解除状態インジケータのラッチを引き上げ回転させることを含む。いくつかの実施例では、ロック状態インタフェース1910及び/又はロック解除状態インタフェース1920の1つ以上のオブジェクトのぼかしの程度は、アニメーションの間変化する。いくつかの実施例では、電子デバイス1900は、高電力状態(図19G)へ遷移の間、又は高電力状態への遷移に応じて、触知出力1926を更に出力する。
いくつかの実施例では、高電力状態は、ロック解除状態である。したがって、高電力状態で動作している間、電子デバイス1900は、セキュリティ対策がされていない方法で動作する(例えば、セキュリティ対策がされたデータが認証されたユーザにアクセス可能である)。一例として、図19Gに示したように、高電力状態で動作している間、電子デバイスは、通知1914に関連付けられたメッセージのコンテンツを表示する。
いくつかの実施例では、ユーザの顔及び外観の自然な変化を使用して、ロック解除性能を改善し、速さを維持するために、生体認証(例えば、顔の認識認証)は、その記憶する数式的表現を、時間とともに増大させる。いくつかの実施例では、成功したロック解除に基づいて、生体認証は、新たに算出された数式的表現を、その品質が十分である場合、データが破棄される前の限られた回数の追加のロック解除に、任意選択的に使用する。いくつかの実施例では、生体認証がユーザの認識を失敗しても、一致品質がある一定閾値よりも高く、ユーザが代替の認証(例えば、パスコード、パスワード、パターン、指紋)を入力することによって、失敗にすぐに(例えば、所定の閾値時間以内)追随する場合、デバイスは、生体データの別のキャプチャ(例えば、顔の認識データをキャプチャする1つ以上のカメラ又は他の生体センサによって)を取得し、その登録された生体認証(例えば、顔の認識認証)データを新たに算出された数式的表現で増大させる。いくつかの実施例では、この新しい生体認証(例えば、顔の認識認証)データは、限られた回数のロック解除の後、ユーザがそれに対する照合を停止する場合、任意選択的に破棄される。これらの増大処理により、生体認証(例えば、顔の認識認証)が、ユーザの顔の髪又は化粧利用での劇的変化に追従することを可能にし、同時に誤容認を最小化する。
図19E〜Gを参照すると、電子デバイス1900が、生体認証が成功しなかったと判定した場合、電子デバイス1900は、高電力状態へと遷移せず、いくつかの実施例では、適度な電力状態のまま留まる。いくつかの実施例では、電子デバイス1900が、適度な電力状態に留まる間、電子デバイス1900は、ロック状態に留まる。生体認証が失敗したことを示すために、電子デバイス1900は、例えば、ロック状態インタフェース1910上の2つの位置の間で、ロック状態インジケータ1912の位置を交互に入れ替えることによって、ロック状態インジケータ1912の振動をシミュレーションする。いくつかの実施例では、電子デバイス1900は、生体認証が成功しなかったことを示すために触知出力1918を更に出力する。
説明したように、適度な電力状態に留まる間、電子デバイス1900は、ロック状態にあり、結果的に、電子デバイス上のセキュリティ対策がされたデータは、電子デバイスが適度な電力状態にある間、アクセス可能でない。一例として、図19Iでは、電子デバイスは、ディスプレイ1902の縁部近傍のユーザ入力1930を検出する。図19I〜Kに示したように、ユーザ入力1930は、いくつかの実施例では、電子デバイス1900のホームスクリーンインタフェースへアクセスするための要求であるスワイプジェスチャである。しかしながら、電子デバイス1900が適度な電力及びロック状態にあるので、スワイプジェスチャに応じて、電子デバイス1900は、ユーザが、生体特徴に関連付けられたフォーム代替の認証のフォームを使用して認証する(例えば、パスワード認証)、代替認証インタフェース1932を表示する(例えば、明瞭化する)ために、ロック状態インタフェース1910を上方へスライドさせる。代替認証インタフェース1932は、ロック状態インジケータ1934と、有効なパスコードの入力により電子デバイス1900がロック解除された(及び任意選択的に高電力状態に遷移された)ことを、ユーザに示すプロンプト1936とを含む。
いくつかの実施例では、認証の代替のフォーム(例えば、パスコード、パスワード、又はパターン)は、デバイスを一定の環境でロック解除するために必要である。いくつかの実施例では、認証の代替のフォームは、デバイスがオンされた場合又は再起動された場合必要である。いくつかの実施例では、認証の代替のフォームは、デバイスが所定の時間(例えば、48時間)より長くロック解除されなかった場合必要である。いくつかの実施例では、認証の代替のフォームは、認証の代替のフォームが所定の時間(例えば、156時間)内にデバイスをロック解除するために使用されなかった場合必要である。いくつかの実施例では、認証の代替のフォームは、認証の代替のフォームが所定の時間(例えば、6日半)デバイスをロック解除するために使用されなかった場合、及び生体認証(例えば、顔の認識認証)が過去の所定の時間(例えば、直近の4時間)内でデバイスをロック解除するために使用されなかった場合必要である。いくつかの実施例では、認証の代替のフォームは、デバイスが遠隔操作によるロックコマンドを受信した場合必要である。いくつかの実施例では、認証の代替のフォームは、デバイスでの顔を整合する試行が5回成功しなかった後(顔の認識認証によって)必要である。いくつかの実施例では、認証の代替のフォームは、デバイスでの電源オフ/緊急時SOSの開始、及び次に電源オフ/緊急時SOSの取り消しの後必要である。
図19L〜19Mを参照すると、有効なパスコード(又はパスワード)は、電子デバイス1900によって、少なくとも部分的に、タップジェスチャ1938(図19L)、及び任意選択的に、有効なパスコードの追加の英数字を示す1つ以上の他の入力に応じて、受信される。図19Nに示すように、有効なパスコードが受信された後、電子デバイスは、ロック解除され、ホームスクリーンインタフェース1933を表示する(例えば、代替認証インタフェースの表示を置き換える)。
図19O〜Rでは、デバイスは、高電力(例えば、ロック解除された)状態で動作しており、電子デバイス1900上のセキュリティ対策がされたデータへのアクセスを要求する入力を受信する。一例として、図19Oに示したように、電子デバイス1900は、高電力状態で動作しており、図19Pに示したように、電子デバイス1900のホームスクリーンインタフェースへのアクセスを要求するスワイプジェスチャ1944を受信する。図19P〜Rに更に示したように、スワイプジェスチャ1944に応じて、電子デバイス1900は、ホームスクリーンインタフェース1946を表示する(例えば、明瞭化する)ために、ロック解除状態インタフェース1920を上方へスライドさせる。
図19S〜Uは、電子デバイスが、高電力(例えば、ロック解除状態)から、適度な電力状態又は低電力状態などのロック状態へと遷移する多様な方法を示す。図19Sでは、ロック解除状態インタフェース1920を表示している間(少なくとも図19Gに対して説明したように)、電子デバイス1900は、ロック解除状態インジケータ1922のアクティブ化を受信する。ロック解除スクリーンインジケータ1922のアクティブ化は、いくつかの実施例では、タップジェスチャ1948である。図19Vに示すように、ロック解除状態インジケータ1922のアクティブ化に応じて、電子デバイスは、適度な電力状態へ遷移し、任意選択的に、ロック状態インジケータ1912を表示しかつ/又は触知出力1952を提供する。いくつかの実施例では、適度な電力状態へ遷移している間、電子デバイスは、電子デバイス1900が適度な電力状態(又は低電力状態)へ遷移していることを示すアニメーションを表示する。
図19Tでは、ホームスクリーンインタフェース1946を表示している間、かつ高出力、ロック解除状態にある間、電子デバイス1900は、ボタン1904のアクティブ化を受信する。ボタン1904のアクティブ化は、いくつかの実施例では、ボタン1904の押圧及び/又は押下である。ボタン1904のアクティブ化に応じて、電子デバイスは、低電力状態へ遷移する(少なくとも図19Bを参照して説明したように)。図19Uでは、ホームスクリーンインタフェース1946を表示している間、電子デバイス1900は、ホームスクリーンインタフェース1946のロック解除スクリーンインジケータ1950のアクティブ化を受信する。ロック解除スクリーンインジケータ1922のアクティブ化は、いくつかの実施例では、タップジェスチャ1950である。ロック解除状態インジケータ1922のアクティブ化に応じて、電子デバイスは、適度な電力状態へ遷移し、任意選択的に、ロック状態インジケータ1910(図19V)を表示する。
図19Wでは、電子デバイス1900は、デバイス設定インタフェース1954を表示する。デバイス設定インタフェースは、有効化されているとき、ユーザに生体認証が成功するようにデバイスを見ていることを要求する、注視有効化設定1955を含む。設定が無効化されているとき、生体認証は、正規ユーザがデバイスを見ていない場合でさえ成功し得る。デバイス設定インタフェース1954は、有効化されているとき、電子デバイス1900上で生体認証を有効化する生体認証有効化設定1956を更に含む。生体認証有効化設定1956が無効化されているとき、生体認証は、電子デバイス1900上で利用できない。
例えば、図19Wでは、電子デバイス1900は、生体認証有効化設定1956のアクティブ化を受信する。生体認証有効化設定1956のアクティブ化は、いくつかの実施例では、タップジェスチャ1958である。生体認証有効化設定1956は、図19Wで示したように有効化されているので、生体認証有効化設定1956は、図19Xに示すように、タップジェスチャ1958に応じて無効化される。いくつかの実施例では、結果的に、電子デバイス1900上のセキュリティ対策がされたデータへアクセスするための任意の要求は、認証の代替のフォームを用いるユーザ認証を必要とする。一例として、図19Y〜Zを参照すると、電子デバイス1900は、ディスプレイ1902の縁部近傍のユーザ入力1930を検出する。図19I〜Kに示したように、ユーザ入力1930は、いくつかの実施例では、電子デバイス1900のホームスクリーンインタフェースへアクセスするための要求であるスワイプジェスチャである。図19AAを参照すると,生体認証有効化設定1956が無効化されているので、電子デバイス1900は、スワイプジェスチャ1930に応じて、ユーザが電子デバイス1900をロック解除するパスコードを提供する代替認証インタフェース1932を表示する(例えば、明瞭化する)ために、ロック状態インタフェース1910を上方へスライドさせる。
いくつかの実施例では、電子デバイス1900によって表示される1つ以上の構成要素は、コンテキストに基づく。図19ABに示すように、例えば、電子デバイスによって表示されたロック状態インジケータは、いくつかの例では、電子デバイス1900の場所及び/又はタイプに基づく。
図20A〜20Fは、いくつかの実施例による電子デバイスを用いて生体認証を実行する方法を説明するフロー図である。方法2000は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信機(例えば、Bluetooth接続、WiFi接続、4GのLTE接続などのモバイルブロードバンド接続)を有するデバイス(例えば、100、300、500、1900)で、実行される。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つだけカメラを含む。いくつかの実施例では、デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを、任意選択的に含む、1つ以上の生体センサを含む。いくつかの実施例では、デバイスは、赤外線照明投射器、構造化光投影機、又はその組合せなどの発光デバイスを更に含む。発光デバイスは、1つ以上の生体センサによって生体特徴の生体データがキャプチャされる間、生体特徴(例えば、顔)を照明するために、任意選択的に使用される。方法2000でのいくつかの操作は、任意選択的に組み合わされ、いくつかの操作の順番は、任意選択的に変更され、いくつかの操作は、任意選択的に省略される。
後述するように、方法2000は、生体特徴の認証を実行する直観的な方法を提供する。この方法は、生体特徴の認証を実行するユーザの認識的負担を低減し、それにより更に効果的なヒューマンマシンインタフェースと直観的なユーザエクスペリエンスとをもたらす。電池で動作するコンピュータデバイスにとって、ユーザが、生体特徴の認証をより速く、より効果的に管理できるようにすることが、電力を節約し、バッテリ充電までの時間を延長する。
いくつかの実施例では、デバイスウェイク基準が満足されたことの検出の前に、電子デバイスは、生体登録プロセスを実行する。いくつかの実施例では、生体登録中、デバイスは、顔の生体登録を進めるための顔の登録の間、電子デバイスを見ている顔を示す顔の特徴を、登録されつつある顔が含むことが、要求される。いくつかの実施例では、デバイスは、顔が登録中電子デバイスを見ていない場合、登録の間、触知的、音声的、及び/又は視覚的警告を出力する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、1900)は、デバイスウェイク基準が満足されたことを検出する(2002)。いくつかの実施例では、デバイスウェイク基準が満足されたことの検出に応じて、電子デバイスは、電子デバイスを第1の視覚的状態(例えば、低電力状態)から第2の視覚的状態(例えば、適度な電力状態)へと遷移させる(2004)。第1の視覚的状態(例えば、低電力状態)から第2の視覚的状態(例えば、適度な電力状態)へと遷移させることにより、デバイスウェイク基準が満足されたことの検出に応じて、1つ以上の入力を手動で提供することによってデバイスを第1の状態から第2の状態へと遷移させるために1つ以上の入力を提供することを、ユーザが回避することを可能にする。一連の条件がさらなるユーザの入力を必要とせずに満足されたとき、操作を(自動的に)実行することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、電子デバイスが持ち上げられるとき、ボタンの押圧(例えば、1904)に対して及び/又は通知の表示(例えば、1914)に対して、ウェイク基準が満足される。いくつかの実施例では、第1の視覚的状態は、ディスプレイオフ状態、又は電子デバイスのディスプレイが最大輝度状態の10%にある状態である。いくつかの実施例では、第2の視覚的状態は、第1の視覚的状態(例えば、ディスプレイが第1の状態でオフされたときは10%、ディスプレイが第1の状態での10%でオフされたときは20%)より高いディスプレイ輝度状態である。いくつかの実施例では、第2の視覚的状態は、第1の輝度で表示される第1の導入スクリーン(例えば、1910)を含む(2006)。いくつかの実施例では、第2の視覚的状態の間、電子デバイスは、電子デバイスの視覚的状態を示す第4のユーザインタフェースオブジェクト(例えば、1912)を表示する(2010)。いくつかの実施例では、第2の視覚的状態の間、電子デバイスは、電子デバイスの視覚的状態を示す第5のユーザインタフェースオブジェクト(例えば、1912)を表示する(2012)。いくつかの実施例では、電子デバイスの1つ以上の特徴(例えばディスプレイ(例えば、1902)、1つ以上の生体センサ(例えば、1903)、マイクロフォン、メッセージ及びアプリケーションのコンテンツなどの扱いに注意を要するデータへのアクセス、写真又は通信の消去などの有害なアクションを実行する能力、並びに新しいメッセージの送信及びデバイス上に記憶されたコンテンツの共有などの通信操作を実行する能力)は、電子デバイスが第1の視覚的状態(2008)にある間(例えば、デバイスがロック状態にある間)無効化される(例えば、電源オフ又は削減された機能での運転)。いくつかの実施例では、第2の視覚的状態へ遷移することは、電子デバイスの1つ以上の無効化された機能を有効化することを含む。いくつかの実施例では、第2の視覚的状態へ遷移することは、電子デバイスの1つ以上の無効化された構成要素を有効化する状態にされたデバイスを含む。いくつかの実施例では、1つ以上の無効化された機能を有効化することは、ディスプレイ(例えば、1902)、1つ以上の生体センサ(例えば、1903)、及び/又は電子デバイスのマイクロフォンを有効化することを含む。
いくつかの実施例では、デバイスが第2の視覚的状態(2014)へ遷移した後、生体認証基準が満足されたか否か判定するとき、電子デバイスの選択可能オプション(例えば、1955)が有効化されたという判定に従って、電子デバイスは、第1の1組の基準を生体認証基準として使用する。生体認証基準が満足されたか否か判定するとき、デバイスの選択可能オプション(例えば、1955)が有効にされたという判定に従って、第1の1組の基準を生体認証基準として使用することにより、ユーザが容易に認証情報をデバイスに最小限度の入力で提供することが可能になる。一連の条件がさらなるユーザの入力を必要とせずに満足されたとき、操作を(自動的に)実行することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、第1の1組の基準は、ユーザの顔が電子デバイスのディスプレイを見ていたとの要件を含む(例えば、デバイスをロック解除するか否か、及び/又は第2の視覚的状態から第3の視覚的状態へと遷移するか否かを判定するとき)。いくつかの実施例では、デバイスが第2の視覚的状態へ遷移した更に後、生体認証基準が満足されたか否か判定するとき、電子デバイスの選択可能オプションが有効化されないという判定に従って、電子デバイスは、第2の1組の基準を生体認証基準として使用する。いくつかの実施例では、第2の1組の基準は、ユーザの顔が電子デバイスのディスプレイを見ていたとの要件を含まない(例えば、デバイスをロック解除するか否か、及び/又は第2の視覚的状態から第3の視覚的状態へと遷移するか否かを判定するとき)。いくつかの状況では、ユーザは、例えばアクセシビリティオプションを使用して、ユーザが、ユーザの顔をデバイスによって認識されるために生体認証中デバイスを見ることを、デバイスによって要求される、注視検出要件(例えば、1955)を有効化する。
いくつかの実施例では、第2の状態へ遷移した後、電子デバイスは、1つ以上の生体センサによって、生体キャプチャ基準が満足されるか否かを判定する(2016)。いくつかの実施例では、電子デバイスは、例えば、1つ以上の生体センサの視野内に、生体特徴が存在するか否かを判定する。いくつかの実施例では、生体キャプチャ基準が満足されるか否かを判定することは、生体キャプチャ基準が、第2の視覚的状態への遷移後の第1の所定の時間を満足するか否かを判定することを含む(2018)。いくつかの実施例では、電子デバイスは、第2の状態への遷移直後に、生体特徴を検出する。いくつかの実施例では、電子デバイスは、第2の状態への遷移後のある時間、生体特徴を検出する。いくつかの実施例では、生体キャプチャ基準が満足するという判定に従って、電子デバイスは、1つ以上の生体センサによって、生体特徴に関連付けられた生体データを提供する(2020)。いくつかの実施例では、電子デバイスが、第2の視覚的状態へ遷移した後(この遷移の前に又はその間、1つ以上の生体センサが有効化されることを想起されたい)、電子デバイスは、生体データをキャプチャするために有効化された1つ以上の生体センサを使用する。
いくつかの実施例では、生体認証基準が、1つ以上の生体センサによって提供された生体データに基づいて、満足された(例えば、顔などの生体特徴がデバイスによって認証される)という判定に従って、電子デバイスは、電子デバイスを第2の視覚的状態から第3の視覚的状態(例えば、高電力状態)へ遷移する(2022)。生体認証基準が、1つ以上の生体センサによって提供された生体データに基づいて、満足されたという判定に従って、デバイスが第2の視覚的状態(例えば、適度な電力状態)から第3の視覚的状態(例えば、高電力状態)へ遷移することにより、1つ以上の入力を手動で提供することによってデバイスを第2の状態から第3の状態へと遷移させるために1つ以上の入力を提供することを、ユーザが回避することを可能にする。一連の条件がさらなるユーザの入力を必要とせずに満足されたとき、操作を(自動的に)実行することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、電子デバイスが第3の視覚的状態にある間、電子デバイスのディスプレイは、第2の比較的高い輝度でオンしている。いくつかの実施例では、第2の視覚的状態から第3の視覚的状態への遷移は、第1の視覚的状態から第2の視覚的状態への遷移の延長である(2024)。いくつかの実施例では、第1の視覚的状態から第2の視覚的状態への遷移、及び第2の視覚的状態から第3の視覚的状態への遷移中、ディスプレイは、オフから低輝度へ、最終的には認証に応じて高輝度へと、より明るくし続ける。いくつかの実施例では、第2の視覚的状態への遷移は、特定の輝度へ遷移させ、第2の視覚的状態から第3の状態への遷移は、特定の輝度から開始して遷移する。いくつかの実施例では、各増大は、同一の機能によりなされる。いくつかの実施例では、第2の視覚的状態への遷移は、第1の視覚的状態で表示される少なくともそれぞれのユーザインタフェース要素(例えば、1912)を拡大することを含み、第3の視覚的状態への遷移は、それぞれのユーザインタフェース要素(例えば、1912、1913、1921)を更に拡大することを含む。いくつかの実施例では、第2の視覚的状態は、デバイスがロック状態にあることを示し、第3の視覚的状態は、デバイスがロック解除状態にあることを示す。
いくつかの実施例では、生体認証基準が、1つ以上の生体センサによって提供された生体データに基づいて、満足されたという判定に更に従って、電子デバイスは、第5のユーザインタフェースオブジェクト(例えば、1912)を含むロック解除アニメーションを表示する(2026)。生体認証基準が、1つ以上の生体センサによって提供された生体データに基づいて、満足されたという判定に従って、ユーザインタフェースオブジェクト(例えば、第5のユーザインタフェースオブジェクト1912)を含むロック解除アニメーションを表示することは、認証が成功し、それゆえデバイスがロック解除されたことをユーザが素早く認識できるようにすることによって、視覚的フィードバックを提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、第5のユーザインタフェースオブジェクトはロックである。いくつかの実施例では、ロック解除アニメーションは、場所又はタイプなどの電子デバイスのコンテキストに基づく。いくつかの実施例では、第5のインタフェースオブジェクト(例えば、1912、1922)は、電子デバイスが第2の視覚的状態にあるとき、第1の(例えば、ロックされた)状態を有し、電子デバイスが第3の視覚的状態にあるとき、第2の(例えば、ロック解除された)状態を有する(2028)。いくつかの実施例では、視覚的状態要素は、ロック解除アニメーション(1912、1913、1921、1922を含むアニメーション)中に第1の状態から第2の状態へ遷移する(2030)。いくつかの実施例では、生体認証が成功したことを示すために、電子デバイスは、ロックをロック解除するアニメーション(1912、1913、1921、1922を含むアニメーション)を表示する。
いくつかの実施例では、第3の視覚的状態は、第1の輝度より高い第2の輝度である第2の導入スクリーンを含む(2032)。いくつかの実施例では、第1の導入スクリーン(例えば、1910)及び第2の導入スクリーン(例えば、1920)は、各スクリーンの輝度の程度を除いて同一のスクリーンである。
いくつかの実施例では、第2の視覚的状態から第3の視覚的状態への遷移は、電子デバイスのディスプレイ上に表示された第1のユーザインタフェースオブジェクト(例えば、1912)のサイズを調整すること(2034)(例えば、増大させること)を含む。いくつかの実施例では、電子デバイスは、すべての表示されたユーザインタフェースオブジェクトのサイズを調整する。いくつかの実施例では、電子デバイスは、すべてよりも少ない表示されたユーザインタフェース要素のサイズを調整する。いくつかの実施例では、第1のユーザインタフェースオブジェクト(例えば、1912)は、ロックアイコンであり、第1のユーザインタフェースオブジェクトのサイズを調整することは、第1のユーザインタフェースオブジェクトのサイズを増大させる(2036)ことを含む。いくつかの実施例では、第2の視覚的状態から第3の視覚的状態への遷移は、電子デバイスのディスプレイ上に表示された第2のユーザインタフェースオブジェクトのぼかしの程度を変化させることを含む。いくつかの実施例では、1つ以上の表示されたユーザインタフェースオブジェクト(例えば、壁紙)のぼかし半径及び/又はぼかし規模などの1つ以上のぼかしパラメータは、増大及び/又は減少される。いくつかの実施例では、すべてのユーザインタフェースオブジェクトのぼかしパラメータは、変えられる。いくつかの実施例では、すべてより少ないユーザインタフェースオブジェクトのぼかしパラメータは、変えられる。いくつかの実施例では、第1のユーザインタフェースオブジェクト及び第2のユーザインタフェースオブジェクトは、同一の要素である。いくつかの実施例では、第2の視覚的状態から第3の視覚的状態への遷移は、第1の位置から第2の位置へ電子デバイスのディスプレイ上に表示された第3のユーザインタフェースオブジェクトの位置(例えば、位置を偏移させる、回転させずに位置を偏移させる)を並進移動することを含む。いくつかの実施例では、ロックアイコンは、ロック解除アニメーションの前又は最中に、電子デバイスのディスプレイの縁部の近傍へと移動される。いくつかの実施例では、デバイスを第2の状態から第3の視覚的状態へと遷移させることは、触知出力を出力することを含む(例えば、1926)。いくつかの実施例では、電子デバイスは、生体認証基準がロック解除アニメーションの表示の間に満足されたことを示す触知出力を出力する。
いくつかの実施例では、第3の視覚的状態は、ロック解除状態に対応する(2038)。いくつかの実施例では、第3の視覚的状態の間(例えば、デバイスがロック解除されている間)、電子デバイスは、ロッキング入力(例えば、1948、ボタン1904、1952の押圧)を受信する(2040)。いくつかの実施例では、ロッキング入力は、ハードウェアボタンなどのボタン(例えば、1904)の押圧であり、又は電子デバイスをロックする意思を示すアフォーダンス(例えば、1922、1950)の選択である。更に、第3の視覚的状態の間に、ロッキング入力の受信に応じて、電子デバイスは、第3の視覚的状態からロック状態へと遷移する(2042)。いくつかの実施例では、デバイスは、1つ以上の特定の入力に応じてロックされる。
いくつかの実施例では、ロック状態にある間、デバイスは、ロック解除状態で利用可能な1つ以上の操作(例えば、ホームスクリーンを表示すること、通知コンテンツを表示すること、アプリケーションを起動すること、通信を送信すること)を実行することを防止する。ロック状態にある間、デバイスのロック解除状態で利用可能な1つ以上の操作の実行を防止することは、デバイスがロック解除状態と対照的にロック状態にあるとき、一定の機能又は操作がデバイス上で実行されることを禁止することによって、デバイスのセキュリティを向上させる。デバイスのセキュリティ対策を向上させることは、コンテンツ及び操作への無許可アクセスを防止することによってデバイスの操作性を改善し、更に、ユーザがデバイスをより効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、電子デバイスは、電子デバイスの視覚的状態を示す第6のユーザインタフェースオブジェクト(例えば、1912、1922)を含むロックアニメーションを表示する(2044)。特定のユーザインタフェースオブジェクト(例えば、第6のユーザインタフェースオブジェクト、1912、1922)を含むロックアニメーションを表示することは、デバイスがロック状態にあることをユーザが素早く認識できるようにすることによって、視覚的フィードバックを提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし(例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって)、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。いくつかの実施例では、第6のユーザインタフェースオブジェクトは、ロックである。いくつかの実施例では、第6のインタフェースオブジェクトは、電子デバイスが第3の視覚的状態にあるとき、第1の外観(例えば、開放されたロック)を有し、電子デバイスがロック状態にあるとき、第2の外観(例えば、閉じられたロック)を有する(2046)。いくつかの実施例では、第6のユーザインタフェースオブジェクトは、ロックアニメーション中に第1の外観から第2の外観へ遷移する(2048)。いくつかの実施例では、電子デバイスがロックされたことを示すために、電子デバイスは、ロックがかけられるアニメーションを表示する。いくつかの実施例では、デバイスを第3の状態からロック状態へと遷移させることは、触知出力を出力する(2050)ことを含む(例えば、1952)。いくつかの実施例では、触知出力は、シングルタップを含む。いくつかの実施例では、触知出力は、複数回タップを含む。いくつかの実施例では、触知出力は、前後に動作する第6のユーザインタフェースオブジェクトのアニメーション(例えば、前後に振動するロック)と同期させるために時間が配分される。いくつかの実施例では、ロックアニメーションを表示することは、目下の時刻を表示することを含む。いくつかの実施例では、電子デバイスは、ロック状態へ遷移しているとき、時刻を表示する。
いくつかの実施例では、生体認証基準は、ユーザが、1つ以上の許可された顔と一致する顔で、電子デバイスのディスプレイを見ていたという要件を含む。ユーザが、1つ以上の許可された顔と一致する顔で、デバイスのディスプレイを見ていたという要件を生体認証基準に含むことは、認証がデバイスの許可されたユーザ(の顔)によってのみ、成功できるようにすることによって、デバイスのセキュリティを向上させる。デバイスのセキュリティ対策を向上させることは、コンテンツ及び操作への無許可アクセスを防止することによってデバイスの操作性を改善し、更に、ユーザがデバイスをより効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。いくつかの実施例では、電子デバイスをロック解除することは、ユーザが電子デバイスを見ていることを必要とする。
いくつかの実施例では、生体認証基準が、1つ以上の生体センサ(2052)によって提供された生体データに基づいて、満足されなかったという判定に従って、電子デバイスは、電子デバイスを第2の視覚的状態に維持する(2054)。生体認証基準が、1つ以上の生体センサによって提供された生体データに基づいて、満足されなかったという判定に従って、電子デバイスを第2の視覚的状態に維持することは、デバイスが、適切な認証基準を満足せずに認証を要求する状態に遷移することを禁止することによって、デバイスのセキュリティを向上させる。デバイスのセキュリティ対策を向上させることは、コンテンツ及び操作への無許可アクセスを防止することによってデバイスの操作性を改善し、更に、ユーザがデバイスをより効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。
いくつかの実施例では、生体特徴が認証されない場合、デバイスのディスプレイは、生体特徴の認証に応答するように更に明るくされない。いくつかの実施例では、デバイスがデバイスをロック解除する明示的要求(例えば、1930)(例えば、デバイスの下部からのスワイプジェスチャ、ホームボタンの押圧、又はデバイスがロック状態にあるとき利用できないコンテンツを、ユーザが見たい及び/又は操作したいことを示す他の入力)を受信する前に、生体認証基準が満足されないとき、デバイスは、生体認証、パスコード認証、パスワード認証、パターン認証などの1つ以上の認証の形式によって、ユーザを認証することを試みている間、ロック解除インタフェース(例えば、1932)を表示する。異なる認証の形式によってデバイスをロック解除する要求に応じて、ユーザを認証することの実施例は、図26A〜26ASを参照して更に詳細に説明する。いくつかの実施例では、生体認証基準が、1つ以上の生体センサによって提供された生体データに基づいて、満足されなかったという判定に更に従って、電子デバイスは、第4のユーザインタフェースオブジェクト(例えば、1912)の位置を第1の位置と第2の位置との間で交互に動かす(2056)。いくつかの実施例では、生体認証が失敗したことを示すために、電子デバイスは、導入インタフェース内に表示されたロックアイコンを振動させる。いくつかの実施例では、触知出力(例えば、1918)が、ロックアイコンを振動させることと組み合わせて提供される。いくつかの実施例では、触知出力は、提供されない。
いくつかの実施例では、デバイスがロック解除状態にある間、電子デバイスは、ロッキング条件が満足されたことを検出する。いくつかの実施例では、ロッキング条件が満足されたことの検出に応じて、ロッキング条件が明示的ロック入力である(例えば、1922、ボタン1904、1952の押圧)(例えば、電源ボタンを押圧すること、ロックアイコンをタップすること、など)という判定に従って、電子デバイスは、デバイスをロック解除状態からロック状態へと遷移し、それぞれのロック通知(例えば、1912)を出力する。いくつかの実施例では、それぞれのロック通知は、デバイスがロック解除状態からロック状態へ遷移したことを示す視覚的、音声的、及び/又は触知的な出力を含む。いくつかの実施例では、ロッキング条件が満足されたことの検出に更に応じて、ロッキング条件が暗黙のロック条件である(例えば、接近センサのカバー、入力受信のない長時間、など)という判定に従って、電子デバイスは、それぞれのロック通知を出力せずに、デバイスをロック解除状態からロック状態へと遷移する。
いくつかの実施例では、デバイスウェイク基準が満足されたことの検出後に、電子デバイスは、生体認証設定インタフェースを表示する要求を検出する。いくつかの実施例では、生体認証設定インタフェースを表示する要求は、生体認証の有効化又は無効化に関連付けられた制御を含む複数の制御を含む制御パネルユーザインタフェースを表示するためのディスプレイの縁部からのスワイプか、生体認証の有効化又は無効化に関連付けられた制御を含む1つ以上の制御を含む、設定ユーザインタフェースをデバイスに表示させる、1つ以上のハードウェアボタンの長い押圧か、設定アプリケーションソフトの1つ以上のメニューによる生体認証に関連付けられた一連の、生体認証の有効化又は無効化に関連付けられた制御を含む1つ以上の制御を含む、制御への誘導かのいずれかを含む。いくつかの実施例では、生体認証設定インタフェースを表示する要求に応じて、電子デバイスは、生体認証設定インタフェース(例えば、1954)を表示する。いくつかの実施例では、生体認証設定インタフェースを表示している間、電子デバイスは、生体認証を無効化する要求に対応する第1のユーザ入力(例えば、1958)を受信する。いくつかの実施例では、第1のユーザ入力の受信に応じて、電子デバイスは、生体認証を無効化する。いくつかの実施例では、生体認証が無効化されている間及びデバイスがロック状態にある間、電子デバイスは、デバイスをロック解除する要求を受信する。いくつかの実施例では、デバイスをロック解除する要求の受信に応じて、電子デバイスは、生体認証と異なる認証の形式を用いた認証用のプロンプト(例えば、図19AAに示すような「ロック解除するためにパスコードを入力してください」)を出力する。いくつかの実施例では、異なる認証の形式は、パスコード、パスワード、指紋などである。
いくつかの実施例では、生体キャプチャ基準が、第2の視覚的状態への遷移後の第1の所定の時間を満足されないという判定に従って、電子デバイスは、生体キャプチャ基準が、第1の所定の時間の経過後の第2の所定の時間を満足されるか否かを判定する。いくつかの実施例では、生体特徴を検出する試行間の遅延は、次第に長くなる。いくつかの実施例では、生体認証試行の閾値が一度到達された後、生体認証は、無効化される。
なお、方法1200に対して上述した処理(図20A〜20F)の詳細は、本明細書で説明した方法に、類似の方法で更に適用可能であることに留意されたい。例えば、方法2000は、方法800、1000、1200、1400、1600、1800、2200、2500、及び2700を参照して本明細書で説明した多様な方法の1つ以上の特性を任意選択的に含む。例えば、方法1200で説明した登録された生体データは、図19A〜Hに対して説明したような生体認証を実行するために使用され得る。別の例として、方法2700で説明した1つ以上のインタースティシャルインタフェースは、生体認証プロセスの前の入力の受信に応じて任意選択的に表示される。簡潔のために、これらの詳細は、本明細書で繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ(例えば、図1A、3、及び5Aに対して説明したように)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図20A〜20Fを参照して上述した演算は、図1A〜1Bで示した構成要素によって、任意選択的に実行される。例えば、検出演算2002、遷移演算2004、及び遷移演算2022は、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって任意選択的に実行される。イベントソータ170内のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に伝送する。アプリケーション136−1のそれぞれのイベント認識部180は、イベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の位置での第1の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。それぞれの所定のイベント又はサブイベントが検出されたとき、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、アップデーター176又はオブジェクトアップデーター177を、任意選択的に利用又は呼び出す。いくつかの実施例では、イベントハンドラ190は、アプリケーションによって表示されるものを更新するために、それぞれのGUIアップデーター178にアクセスする。同様に、当業者には、他の処理が、図1A〜1Bで示した構成要素に基づいてどのように実行されるのか明らかであろう。
図21A〜図21AQは、いくつかの実施例に係る、生体認証の例示的なユーザインタフェースを示す。下記により詳細に記載するように、図21A〜図21AQに示されるユーザインタフェースの例示の実施例を使用して、図22A〜図22Fにおけるプロセスを含む、以下で説明するプロセスを示す。
図21Aは、電子デバイス2100(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)を示す。図21A〜図21AQに図示の例示の実施例において、電子デバイス2100はスマートフォンである。他の実施例において、電子デバイス1500は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスとすることができる。電子デバイス2100は、ディスプレイ2102、1つ以上の入力デバイス(例えば、ディスプレイのタッチスクリーン2102、ボタン2104、マイク)、及び無線通信を有する。いくつかの例において、電子デバイスは複数のカメラを含む。いくつかの例において、電子デバイスは、1つのみのカメラを含む。いくつかの例において、電子デバイスは、任意選択的に、赤外線カメラ、サーモグラフィーカメラ、又はそれらの組合せなどのカメラを含む、1つ以上の生体センサ(例えば、生体センサ2103)を含む。いくつかの例において、1つ以上の生体センサ2103は1つ以上の生体センサ703である。いくつかの例において、デバイスは、IR投光灯、構造化光プロジェクタ、又はそれらの組合せなどの、発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データの捕捉中に、生体特徴(例えば、顔)を照明するために使用される。
図21A〜図21Cにおいて、電子デバイス2100は、電子デバイス2100のユーザの生体認証を行う。図21Aを参照すると、電子デバイス2100はロック状態である。図に示すように、いくつかの例において、ロック状態の間、電子デバイス2100のディスプレイ2102はディセーブルされる。他の例において、ロック状態の間、電子デバイス2100のディスプレイ2102はイネーブルされ、電子デバイス2100は、電子デバイス2100がロック状態であることを示すロック状態インタフェース(例えば、図21Cのロック状態インタフェース2110)を表示する。デバイス2100がロック状態にある間、電子デバイスは、生体認証を開始する。図21Bにおいて、電子デバイス2100は、ウェイク条件(例えば、ユーザが所定の方法でデバイスを移動させること)を検出することに応じて、生体認証を開始する。電子デバイスは、限定されないが、デバイスの移動(例えば持ち上げること)、デバイスのボタン押し下げ、又はディスプレイ2102のタッチを含む、任意の数のウェイク条件に応じて、生体認証を開始することを理解されよう。
いくつかの例において、生体認証を開始することは、ユーザの生体特徴の少なくとも一部に対応するデータを取得すること(例えば、1つ以上の生体センサ2103で捕捉すること)を含む。生体認証を開始することに応じて、電子デバイス1500は、生体データを取得(例えば、捕捉)し、生体データに基づいて、例えば、生体特徴(又は、その一部)が生体認証基準を満たしているかどうかを判定する(例えば、生体データが閾値内で生体テンプレートに一致するかどうかを判定する)ために、処理(例えば、分析)する。いくつかの例において、生体認証は、生体認証中にユーザがデバイスを見ていることを必要とする。したがって、図21Bに示すように、ユーザがデバイス2100を持ち上げるとき、ユーザの凝視2106は電子デバイスに向けられる。
図21Cにおいて、電子デバイス2100は、ウェイク条件に応じて、ロック状態インジケータ2112を含むロック状態インタフェース2110を表示する。いくつかの例において、電子デバイス2100は、ロック状態インタフェース2110を表示しながら、懐中電灯アフォーダンス2107及びカメラアフォーダンス2108を更に表示する。いくつかの例において、懐中電灯アフォーダンス2107の起動により、電子デバイスに懐中電灯アプリケーションをロードさせる。いくつかの例において、カメラアフォーダンス2108の起動により、電子デバイス2100にカメラアプリケーションをロードさせる。
図21Dにおいて、電子デバイス2100は、生体認証が成功したものと判定し、それに応じて、アンロック状態インタフェース2120を表示する。いくつかの例において、アンロック状態インタフェース2120の表示は、図19D〜図19Gを参照して記述されたアンロックアニメーションの表示を含む。電子デバイス2100は、アンロック状態インタフェース2120を表示しながら、懐中電灯アフォーダンス2107及びカメラアフォーダンス2108を更に表示(例えば、それらの表示を維持)する。いくつかの例において、電子デバイス2100は、生体認証が成功したと判定したことに応じて、触知出力2126を出力する。
図21Eにおいて、電子デバイス2100は生体認証が成功しなかったものと判定する。これに応じて、電子デバイス2100は、ロック状態インタフェース2110の表示を維持する。いくつかの例において、電子デバイスは、生体認証が失敗したことを示すために、ロック状態インジケータ2112を左右に動かして「シェイク」効果をシミュレートする、シェイクアニメーションを表示する。電子デバイス2100は、生体認証が失敗したことを示すために、触知出力2118を更に出力する。
いくつかの例において、ロック状態インタフェース2110の表示中にアクセス可能な1つ以上の動作は認証を必要とせず、したがって、1つ以上の動作は電子デバイスがロック状態にある間に実行可能である。例として、懐中電灯アフォーダンス2107の起動に応答した懐中電灯アプリケーションのローディングは、認証を必要としない。別の例として、図21Fを参照すると、いくつかの例において、電子デバイス2100は、ロック状態にある間に、カメラアフォーダンス2108の活動を検出する。図に示すように、カメラアフォーダンス2108の起動は、カメラアフォーダンス2108上でのタップジェスチャ2130である。図21Gにおいて、カメラアフォーダンス2108の起動を検出したことに応じて、電子デバイス2100は、ディスプレイ2102上に、カメラアプリケーションに関連付けられたカメラアプリケーションインタフェース2132を表示する(例えば、ロック状態インタフェース2110の表示を置き換える)。
図21Hを参照すると、いくつかの例において、アンロック状態インタフェース2120を表示しながら、電子デバイス2100は、デバイスがアンロックされること、及び/又は、所定のタイプの入力(例えば、スワイプジェスチャ)を提供することで、ホーム画面インタフェース(例えば、図21Iのホーム画面インタフェース2129)などの、セキュアコンテンツにアクセス可能となることを示す、プロンプト2124を表示する。例えば、図に示すように、電子デバイス2100は、例えばディスプレイ2102のエッジ付近でユーザ入力2128を検出する。ユーザ入力2128は、いくつかの例において、電子デバイス2100のホーム画面インタフェースにアクセスするための要求であるスワイプジェスチャであり、スワイプ入力2128に応じて、電子デバイスは、図21Iのホーム画面インタフェース2129を表示する(例えば、アンロックインタフェース2120の表示を置き換える)。いくつかの例において、図19P〜図19Rを参照しながら同様に記述したように、ホーム画面インタフェース2129を表示することは、ホーム画面インタフェース2129を表示する(例えば、明瞭化する)ために、アンロック状態インタフェース2120を上方向にスライドさせることを含む。
図21Jにおいて、電子デバイスは、例えば、(図21A〜図21C及び図21Eを参照しながら記述したように)生体認証の失敗に応じてロック状態であり、ロック状態である間、ロック状態インタフェース2110を表示する。電子デバイス2100は、ロック状態インタフェース2110を表示しながら、装置がロックされること、及び/又は、所定のタイプの入力(例えば、スワイプジェスチャ)を提供することで、ユーザは、電子デバイス2100を認証(及びアンロック)することが可能になることを示す、プロンプト2133を表示する。例えば、図に示すように、電子デバイス2100は、例えばディスプレイ2102のエッジ付近でユーザ入力2134を検出する。ユーザ入力2134は、いくつかの例において、電子デバイス2100のホーム画面インタフェースにアクセスするための要求である、スワイプジェスチャである。電子デバイスは、ロック状態である(例えば、ユーザが電子デバイス2100に認証されていない)ため、電子デバイスは、図21Kに示されるスワイプ入力2128に応じて、代替の認証インタフェース2140を表示する(例えば、ロックされたインタフェース2120の表示を置き換える)。いくつかの例において、代替認証インタフェース2140は、電子デバイス2100がロック状態である旨を示すロック状態インジケータ2142を含む。
図21K〜図21Mにおいて、電子デバイス2100は、代替認証インタフェース2140を表示しながら生体認証を実行する。特に、電子デバイス2100は、代替認証インタフェース2140の表示を表示しながら、顔の生体データを検出及び/又は取得する。その後、電子デバイス2100は、生体データを処理し、生体データが生体認証基準を満たすかどうかを判定する。図21Lに示すように、電子デバイス2100は、電子デバイスが生体データを処理していることを示すために、生体認証処理グリフ2144を表示する(例えば、ロック状態インジケータ2142の表示を置き換える)。図21Mにおいて、電子デバイス2100は代替認証インタフェース2140の表示中に実行された生体認証が成功したものと判定する。その結果、電子デバイス2100は、生体認証が成功したことを示すために、生体認証成功グリフ2146を表示する(例えば、生体認証処理グリフ2144の表示を置き換える)。いくつかの例において、更に電子デバイス2100は、パスコード進度インジケータの進行を完了し、任意選択的に、生体認証の成功を示すために触知出力2141を提供する。
代替として、図21N〜図21Pを参照すると、ユーザは、電子デバイス2100で認証するために、代替認証インタフェース2140の表示中にパスコードを入力する。図21に示すように、電子デバイス2100は、代替認証インタフェース2140を表示し、図21Oに示すように、タップジェスチャ2148に応じて少なくとも部分的にパスコードを、また任意選択的に、パスコードの追加の英数字を示す1つ以上の他の入力を受信する。図21Pにおいて、電子デバイス2100はパスコードが有効であることを判定し、それに応じて、パスコードが有効であったこと、及びユーザが電子デバイス2100で認証されていることを示す、通知2150を表示する。
いくつかの例において、電子デバイス2100は、有効なパスコードの入力に応じて、選択的に生体データを記憶及び/又は更新する。例えば、有効なパスコードの入力に応じて、電子デバイス2100は、生体データ(例えば、顔生体データ)を取得し、この生体データと電子デバイスに記憶されている生体データとを比較する。いくつかの例において、取得した生体データが記憶された生体データと十分類似している場合、電子デバイスは取得した生体データを記憶し、かつ/又は、生体認証を向上させるために予め記憶された生体データを更新する。図21Pにおいて、電子デバイスは、有効なパスコードの入力に応じて取得した生体データが、記憶された生体データと十分類似しているものと判定する。これに応じて、電子デバイスは、取得した生体データを記憶し、かつ/又は、生体データが更新されている旨のインジケーション2152を表示する。このように、電子デバイス2100は、適応型生体認証を提供する。
図21A〜図21Cを参照して説明したように、いくつかの例において、電子デバイス2100は、ウェイク条件に応じて生体認証を実行する。いくつかの例において、電子デバイスは、生体認証が完了する前に、ホーム画面へのアクセスを要求するスワイプジェスチャなどの、セキュアコンテンツ(例えば、アクセスのための認証を必要とするコンテンツ)にアクセスする要求を受信する。したがって、図Q〜図Sを参照すると、セキュアコンテンツへのアクセス要求の受信に応じて、電子デバイス2100は、電子デバイスがまだ生体認証を完了していないことを示すために、インタースティシャルインタフェースを表示する。図21Qにおいて、電子デバイスは、代替認証アフォーダンス2156と、生体認証の開始を示す生体認証グリフ2160とを含む、インタースティシャルインタフェース2154を表示する。代替認証アフォーダンス2156の起動により、電子デバイスは代替認証インタフェース(例えば、図21Kの代替認証インタフェース2140)を表示する(例えば、インタースティシャルインタフェース2154の表示を置き換える)。生体認証グリフ2160は、いくつかの例において、生体特徴のリプレゼンテーションのシミュレーションである。
電子デバイス2100が生体認証の開始に応じて生体データを取得すると、電子デバイスは、前述のように生体データを処理する。いくつかの例において、電子デバイスが生体データを処理する間、生体データが処理されていることを示すために、電子デバイスは、生体認証グリフ2162を表示する(例えば、生体認証グリフ2160の表示を置き換える)。いくつかの例において、生体認証グリフ2162は、例えば表示される間、球状に回転する複数のリングを含む。
図21Sにおいて、電子デバイス2100は、生体データが生体認証基準を満たすと判定する。これに応じて、電子デバイス2100は、生体認証が成功したことを示す、インタースティシャルインタフェース2154における生体認証グリフ2163を表示する(例えば、生体認証グリフ2162の表示を置き換える)。いくつかの例において、電子デバイスは代替認証アフォーダンス2156の表示をしなくなる。追加又は代替として、電子デバイスは、アンロック状態インジケータ2122を表示し(例えば、ロック状態インジケータ2161の表示を置き換え)、かつ/又は、生体認証が成功したことを示す触知出力2164を出力する。
前述のように、いくつかの例において、電子デバイスは、生体認証が完了する前に、セキュアにアクセスするための要求を受信する。いくつかの例において、電子デバイスは、電子デバイスが生体データの処理を開始した後であるが、生体認証を完了する前に、要求を受信する。このような場合、電子デバイスは、任意選択的に、生体認証グリフ2162を有するインタースティシャルインタフェース2154を表示し、生体認証グリフ2160を第1に表示することを省く。
いくつかの例において、ユーザが電子デバイス2100を見ているかどうかに基づいて、電子デバイスの1つ以上の機能が選択的にイネーブルされる。図21T〜図21Yを参照すると、いくつかの例において、いくつかの機能は、ユーザが電子デバイス2100を見ていない場合はディセーブルされ、ユーザが電子デバイス2100を見ている場合はイネーブルされる。図21Tにおいて、ユーザの凝視2165は電子デバイス2100に向けられていない。凝視2165が電子デバイス2100に向けられていないという判定に応じて、電子デバイス2100は、図21Uに示すように、懐中電灯アフォーダンス2107及びカメラアフォーダンス2108に関連付けられたそれぞれの機能をディセーブルする。懐中電灯アフォーダンス2107及びカメラアフォーダンス2108に関連付けられた機能がディセーブルの間に(例えば、ユーザがデバイス2100を見ていない間に)、電子デバイスはカメラアフォーダンス2108の起動を受信する。図に示すように、起動は、カメラアフォーダンス2108上のタップジェスチャ2166である。アフォーダンスに関連付けられた機能がディセーブルであるため、電子デバイスは、タップジェスチャ2166への応答を取り止める(例えば、カメラアプリケーションのロードを取り止める)。
図21Vにおいて、ユーザの凝視2168は、電子デバイスに向けられている。凝視2168が電子デバイス2100に向けられているという判定に応じて、電子デバイス2100は、図21Wに示されるように、懐中電灯アフォーダンス2107及びカメラアフォーダンス2108に関連付けられたそれぞれの機能をイネーブルする。図21Xにおいて、電子デバイス2100はカメラアフォーダンス2108の起動を検出する。図に示すように、起動は、カメラアフォーダンス2108上のタップジェスチャ2170である。カメラアフォーダンス2108の起動に応じて、電子デバイスは、カメラアプリケーションに関連付けられたカメラアプリケーションインタフェース2132をディスプレイ2102上に表示する(例えば、ロック状態インタフェース2110の表示を置き換える)(図21Y)。
図21Zを参照すると、いくつかの例において、電子デバイス2100は、ロック状態の間、通知アフォーダンス2174を含むロック状態インタフェース2110を表示する。前述のように、電子デバイスは、ウェイク条件に応じて生体認証を開始する。電子デバイス2100は、ロック状態インタフェース2110を表示している間、また生体認証が完了する前に、セキュアコンテンツへのアクセス要求を受信する。例を挙げると、図21AAにおいて、電子デバイス2100は通知アフォーダンス2174の起動を検出する。図に示すように、通知アフォーダンス2174の起動はタップジェスチャ2176である。
図21ABを参照すると、通知アフォーダンス2174の起動に応じて、電子デバイス2100は、生体認証進度インジケータ2182及び代替認証アフォーダンス2180を有するインタースティシャル生体認証インタフェース2178を表示する(例えば、ロック状態インタフェース2110の表示を置き換える)。いくつかの例において、生体認証進度インジケータ2182は、生体認証の進行を示す生体認証グリフ2183などの生体認証グリフを含む。いくつかの例において、生体認証進度インジケータは、セキュアコンテンツ(例えば、「メッセージ」)にアクセスする要求に関連付けられたセキュアコンテンツを更に識別する。代替認証アフォーダンス2180の起動により、代替認証インタフェースを電子デバイスに表示させ、その例が更に下記に記載される。
インタースティシャル生体認証インタフェース2178を表示している間、電子デバイス2100は、ウェイク条件に応じて開始された生体認証の実行を継続する。いくつかの例において、生体認証を開始することは、ユーザの生体特徴に対応するデータを取得すること(例えば、1つ以上の生体センサを捕捉すること)を含む。図21ACを参照すると、電子デバイスは、データ取得に応じて生体データを処理し、生体データに基づいて、例えば、生体特徴が生体認証基準を満たしているかどうかを判定する(例えば、生体データが、閾値内で生体テンプレートに一致するかどうかを判定する)。電子デバイス2100が生体データを処理する間、電子デバイス2100は、任意選択的に、生体データが処理されていることを示す生体認証グリフ2184を、インタースティシャル生体認証インタフェース2178内に表示する(例えば、生体認証グリフ2183の表示を置き換える)。
図21ADにおいて、電子デバイス2100は、生体特徴が生体認証基準を満たすと判定する。これに応じて、電子デバイスは、生体認証グリフ2185を、生体認証が成功したことを示すインタースティシャル生体認証インタフェース2178内に表示する(例えば、生体認証グリフ2184の表示を置き換える)。追加又は代替として、電子デバイスは、アンロック状態インジケータ2122を表示し(例えば、ロック状態インジケータ2112の表示を置き換え)、かつ/又は、生体認証が成功したことを示す触知出力2164を出力する。
図AE〜図AFに示すように、生体認証が成功したと判定したことに応じて、電子デバイス2100は、メッセージングアプリケーションインタフェース2194を表示する(例えば、インタースティシャル生体認証インタフェース2178の表示を置き換える)。いくつかの例において、メッセージングアプリケーションインタフェース2194を表示することは、メッセージングアプリケーションインタフェース2194を表示(例えば、明瞭化)するために、図19P〜図19Rを参照しながら同様に説明したように、生体認証インタフェース2178を上方向にスライドさせることを含む。
図AG〜図AIは、生体認証の進行が表示される代替様式の表示を記述する。図21AAを参照しながら説明したように(及び、図21AGに示されるように)、電子デバイス2100は、ロック状態インタフェース2110を表示している間に、生体認証を完了する前にセキュアコンテンツへのアクセス要求を受信する。この要求は、いくつかの例において、通知アフォーダンス2174の起動2176である。通知アフォーダンス2174の起動2176に応じて、電子デバイスは、ロック状態インタフェース2110の表示を維持する。追加として、図21AHに示すように、電子デバイス2100は、生体データが処理されていることを示すために、生体認証グリフ2184を用いて表示する(例えば、ロック状態インジケータ2110の表示を置き換える)。図21AIにおいて、電子デバイスは、生体認証が成功したものと判定し、これに応じて、アンロック状態インジケータ2122を表示する(例えば、生体認証グリフ2184の表示を置き換える)。任意選択的に、電子デバイス2100は、生体認証に成功したことを示す触知出力2193を更に出力する。いくつかの例において、電子デバイスは、生体認証が成功したと判定したことに応じてアンロック状態に遷移するため、電子デバイス2100は通知アフォーダンス2175を表示する(例えば、通知アフォーダンス2174の表示を置き換える)。いくつかの例において、通知アフォーダンス2174は、セキュアコンテンツ(例えば、「John Appleseed...meeting where...」)を識別する。
図21AJにおいて、(図ACを参照しながら説明したように)生体データを処理することに応じて、電子デバイスは生体認証が失敗したものと判定する。これに応じて、電子デバイス2100は、生体認証グリフ2189を、生体認証が失敗したことを示す生体認証インタフェース2178内に表示する(例えば、生体認証グリフ2184の表示を置き換える)。追加又は代替として、電子デバイスは、ロック状態インジケータ2112の位置を変更して、生体認証が失敗したことを示す「シェイク効果」をシミュレートし、かつ/又は生体認証が失敗したことを示す触知出力2193を出力する。
電子デバイスは、インタースティシャル生体認証インタフェース2178を表示しながら、代替認証アフォーダンス2180の起動を検出する。いくつかの例において、代替認証アフォーダンス2180の起動はタップジェスチャ2192である。図21AKを参照すると、電子デバイスは、代替認証アフォーダンス2180の起動に応じて、代替認証アフォーダンス2198を表示する。いくつかの例において、代替認証アフォーダンス2198は、セキュアコンテンツ(例えば、「メッセージ」)へのアクセス要求に関連付けられたセキュアコンテンツを識別するインジケータ2199を含む。
図21AL〜図21AMを参照すると、少なくとも部分的に、タップジェスチャ2102Aに応じて(図21L)、また任意選択的に、有効パスコードの追加の英数字を示す1つ以上の他の入力に応じて、有効パスコード(又はパスワード)が電子デバイス2100によって受信される。図21N〜図21Oに示すように、有効パスコードを受信すると、電子デバイスはアンロックされ、メッセージングアプリケーションインタフェース2194を表示する(例えば、代替認証インタフェース2198の表示を置き換える)。いくつかの例において、メッセージングアプリケーションインタフェース2194を表示することは、図19P〜図19Rを参照しながら同様に説明したように、メッセージングアプリケーションインタフェース2194を表示(例えば、明瞭化)するために、代替認証インタフェース2198を上方向にスライドさせることを含む。
いくつかの例において、生体認証が成功しなかったと判定したことに応答し、電子デバイスは、生体認証試行が閾値数に達したものと判定する。したがって、図21APに示すように、電子デバイス2100は、生体認証進度インジケータ2182を使用して、閾値に達したこと(「顔認証一時ディセーブル」)を示す。図AKに示すように、電子デバイスは、インタースティシャル生体認証インタフェース2178を表示しながら、代替認証アフォーダンス2180の起動を検出し、代替認証アフォーダンス2180の起動に応じて、代替認証アフォーダンス2198を表示する。図21AQに示すように、電子デバイスが、生体認証試行が閾値数に達したものと判定した場合、インジケータ2199は、有効パスコードの入力に応じて、生体認証が再イネーブルされることを識別する(「パスコードを入力して顔認証を再イネーブル」)。
図22A〜図22Fは、いくつかの実施例に従った、電子デバイスを使用して生体認証を実行する方法を示すフロー図である。方法2200は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信(例えば、ブルートゥース接続、WiFi接続、4G LTE接続などの移動体広帯域接続)を備えるデバイス(例えば、100、300、500、2100)で実行される。いくつかの実施例において、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例において、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例において、電子デバイスは複数のカメラを含む。いくつかの実施例において、電子デバイスは、1つのカメラのみを含む。いくつかの例において、デバイスは、任意選択的に、赤外線カメラ、サーモグラフィーカメラ、又はそれらの組合せなどのカメラを含む、1つ以上の生体センサを含む。いくつかの例において、デバイスは、IR投光灯、構造化光プロジェクタ、又はそれらの組合せなどの、発光デバイスを更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データの捕捉中に、生体特徴(例えば、顔)を照明するために使用される。方法2200におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
下記に説明するように、方法2200は、生体特徴の認証を実行する直観的な手法を提供する。この方法は、生体特徴の認証を実行するユーザの認識的負担を軽減し、それによって、より効率的なヒューマン−マシンインタフェース及び直観的なユーザ体験を作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが生体特徴の認証をより高速かつより効率的に管理することを可能にすることにより、電力が節約され、バッテリ充電の間隔が長くなる。
いくつかの例において、デバイスがロック状態にある間、電子デバイス(例えば、2100)は、認証を必要としない動作を実行する要求を受信する(2202)。いくつかの例において、認証を必要としない動作を実行する要求に応じて、電子デバイスは、認証を待つことなく動作を実行する。認証を待つことなく認証を必要としない動作を実行することで、ユーザは追加入力(例えば、デバイスに進行のインジケーションを提供する入力)を行うことなく、より迅速に動作にアクセスすることができる。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに動作を(自動的に)行うことにより、デバイスの操作性が機能強化され、ユーザ−デバイスインタフェースを(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、認証を必要としない動作を実行する要求は、電子デバイスのカメラを実行可能にする要求(例えば、2130)、及び/又は、デバイスを用いて画像及び/又はビデオを捕捉するためのカメラユーザインタフェース(例えば、2132)を表示することなどの、デバイスのカメラ機能にアクセスすることを、含む。いくつかの例において、認証を必要としない動作は、認証に成功せずに、制限される1つ以上の制限付き特徴を含むアプリケーションユーザインタフェースを表示すること(例えば、捕捉した写真又はビデオを共有すること、デバイスがアンロックされていた間のカメラアプリケーションの以前の使用中に捕捉した写真又はビデオを見ること)を含み、また、デバイスは、アプリケーションユーザインタフェースを表示しながら、生体認証を試行する。認証に成功せずに、制限される1つ以上の制限付き特徴を含むアプリケーションユーザインタフェースを表示することにより、ユーザは、適切な認証なしに、アプリケーション上で現在いずれの特徴が制限されているかを迅速に見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が機能強化され、ユーザ−デバイスインタフェースを(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。アプリケーションユーザインタフェースを表示中に生体認証に成功した場合、制限付き特徴がイネーブルされ、生体認証が失敗した場合には、制限付き特徴はディセーブルされたままである(例えば、ユーザは、捕捉した写真又はビデオを共有すること、デバイスがアンロックされていた間のカメラアプリケーションの以前の使用中に捕捉した写真又はビデオを見ることができず、また、任意選択的に、いずれかの制限付き特徴の使用の試行に応じて、認証を与えるように促される)。
いくつかの例において、電子デバイスがロック状態である間、電子デバイスは、タッチ感知ディスプレイ(例えば、2102)上に、認証を必要としない動作を実行する1つ以上のアフォーダンス(例えば、2107、2108)(例えば、デバイス上のライトをオンにする懐中電灯モードの動作を実行可能にする、懐中電灯アフォーダンス、並びに/若しくは、画像及び/又はビデオを捕捉するためのカメラユーザインタフェースを表示することなどの、デバイスのカメラ機能にアクセスするカメラアフォーダンス)を表示する。
いくつかの例において、電子デバイスは、認証を必要としない動作を実行する1つ以上のアフォーダンスを表示しながら、認証を必要としない動作を実行する1つ以上のアフォーダンスのうちのそれぞれのアフォーダンス(例えば、2107、2108)の起動(例えば、2130)を検出する。いくつかの例において、認証を必要としない動作を実行する1つ以上のアフォーダンスのうちのそれぞれのアフォーダンスの起動を検出することに応じて、それぞれのアフォーダンスの起動が検出されたときに、顔が電子デバイスのディスプレイを見ていたという判定(例えば、電子デバイスを見ている顔を示す顔の特徴を伴う顔が、デバイスの1つ以上のカメラ又は1つ以上の生体センサの視野内にあるという判定)に従い、電子デバイスは、それぞれのアフォーダンスに関連付けられた動作を実行する。顔(例えば、ユーザの顔)がデバイスのディスプレイを見ていたという判定に関連して、それぞれのアフォーダンスに関連付けられた動作を実行することによって、ユーザがデバイスを見ていることをデバイスが検出した場合に動作を実行する(例えばまた、ユーザがデバイスを見ていない場合は動作を実行しない、これは任意選択的に、アフォーダンスが意図せずに選択されたことを示す)デバイスの、電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、顔が電子デバイスのディスプレイを見ている間に懐中電灯アフォーダンス(例えば、2107)が起動された場合、電子デバイスは、デバイス上のライトをオンにする懐中電灯モードの動作をイネーブルにし、並びに/若しくは、顔が電子デバイスのディスプレイを見ている間にカメラアフォーダンス(例えば、2108)が起動された場合、電子デバイスは、デバイスを用いて画像及び/又はビデオを捕捉するカメラユーザインタフェースを表示することなどの、デバイスのカメラ機能にアクセスする。いくつかの例において、それぞれのアフォーダンスの起動が検出されたときに、顔が電子デバイスのディスプレイを見ていなかったという判定(例えば、顔が検出されなかった、又は、顔は検出されたが、電子デバイスから目をそらしている顔を示す顔の特徴が、デバイスの1つ以上のカメラ又は1つ以上の生体センサの視野内にある、という判定)に従って、電子デバイスは、それぞれのアフォーダンスに関連付けられた動作の実行を取り止める。いくつかの例において、顔が電子デバイスのディスプレイを見ていない間に懐中電灯アフォーダンスが起動された場合、電子デバイスは、デバイス上のライトをオンにする懐中電灯モードの動作をイネーブルすることを取り止め、並びに/若しくは、顔が電子デバイスのディスプレイを見ていない間にカメラアフォーダンスが起動された場合、電子デバイスは、デバイスを用いて画像及び/又はビデオを捕捉するカメラユーザインタフェースを表示することなどの、デバイスのカメラ機能にアクセスすることを取り止める。
いくつかの例において、電子デバイスは、ロック状態にある間、生体認証を要求するユーザからの明示的な入力なしに、生体センサを使用して生体認証チェックを実行することに関連付けられた条件(例えば、ユーザが、図21Bに示される位置までデバイス2100を持ち上げる)を検出する。いくつかの例において、生体認証を要求するユーザからの明示的な入力なしに、生体センサを使用して生体認証チェックを実行することに関連付けられた条件は、デバイスを持ち上げること、及び/又は、表示ウェイクボタン(例えば、2104)を押すことを含む。
いくつかの例において、1つ以上の生体センサは、非接触生体センサ(例えば、2103)からの所定の距離範囲内に位置する生体特徴に関連付けられた生体データを捕捉するように構成された、非接触生体センサ(例えば、2103)(例えば、顔認識センサ)を含む(2204)。いくつかの実施例において、生体センサはカメラを含む。いくつかの実施例において、生体センサは光プロジェクタ(例えば、IR投光光又は構造化光プロジェクタ)を含む。
いくつかの例において、デバイスは、認証に成功することなく、予め定義された回数よりも多くの生体認証チェックを実行しないように制限される(2206)。認証に成功することなく、予め定義された回数よりも多くの生体認証チェックを実行しないように制限することによって、デバイスに対する不正な認証試行を制限することにより、デバイスのセキュリティを強化させる。デバイスのセキュリティ対策を向上させることにより、コンテンツへの未許可のアクセスや操作を防止して、デバイスの操作性を強化し、これに加えて、ユーザがより効率的にデバイスを使用できるようにすることで、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、認証の成功は、生体認証によるか、あるいは、パスコード、パスワード、又はパターンを用いるなどの任意の他の形による、認証の成功を含む。いくつかの例において、デバイスは、それぞれの動作を実行する要求の検出に応じて使用するために、少なくとも1回の生体認証チェックを保持するように、条件の検出に応じて、予め定義された回数よりも少ない生体認証チェックを実行する。いくつかの例において、電子デバイスは、介在成功認証(例えば、生体認証又はパスワード認証などの他の認証)なしに、いくつかの失敗した一連の失敗試行などの、いくつかの失敗した認証試行を追跡する。いくつかのこうした実施例において、最大の失敗試行回数に達した場合、デバイスは、成功した非生体認証が受信されるまで、生体認証を実行しない。いくつかの例において、失敗した生体認証チェックの最大数に達した後、認証を必要とする動作を実行する要求が、代替認証ユーザインタフェース(例えば、パスワード、パスコード、パターン、又は他の認証インタフェース)の表示をトリガする。
いくつかの例において、電子デバイスのディスプレイ(例えば、2102)がディセーブルである間、電子デバイスは、表示ウェイク条件を検出する(2208)。いくつかの例において、表示ウェイク条件は、閾値量を超えるデバイスの移動、デバイスに関連付けられた方向へのデバイスの移動などの、予め定義された様式でのデバイスの移動、表示ウェイクボタンの起動、又は、タッチ感知表面上でのタップなどのジェスチャを含む。
いくつかの例において、電子デバイスは、条件の検出に応じて、第1の生体認証チェックを実行する(2210)。条件(例えば、ウェイク条件)の検出に応じて生体認証チェックを実行することによって、ユーザは、ウェイク条件の検出に応じて、最小限の入力で迅速かつ効率的に認証情報をデバイスに提供することができる。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに動作を(自動的に)実行することにより、デバイスの操作性が強化され、ユーザ−デバイスインタフェースを(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、第1の生体認証チェックを行うことは、1つ以上の生体センサを使用して第1の生体データを捕捉すること(2212)を含む。いくつかの例において、電子デバイスは、1つ以上の生体センサを使用して第1の生体データを捕捉することを含む、第1の生体認証手順を開始する。いくつかの例において、第1の生体認証チェックを実行することは、第1の生体データを捕捉した後(2214)、(例えば、第1の生体データの捕捉に応じて、又は、デバイスをアンロックする要求に応じて)、第1の生体データが生体認証基準を満たしているという判定に従い、デバイスをロック状態からアンロック状態へと遷移させること(2216)を含む。第1の生体データ生体認証基準を満たすという判定に従い、デバイスをロック状態からアンロック状態へと遷移させることによって、認証プロセスが成功した場合に、デバイスをアンロックする(ただし、いくつかの例では、認証が失敗した場合、デバイスをアンロックすることは禁止する)ことにより、デバイスのセキュリティが強化される。デバイスのセキュリティ対策を向上させることにより、コンテンツへの未許可のアクセスや操作を防止してデバイスの操作性を強化するとともに、ユーザがより効率的にデバイスを使用できるようにすることで、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、電子デバイスは、第1の生体データが生体認証基準を満たすかどうかを判定する。いくつかの例において、生体認証基準は、第1の生体データが正規ユーザに対応する生体データ(例えば、顔特徴データ、指紋データ、虹彩データ)と一致する場合に満たされる基準を含む。いくつかの例において、アンロック状態の間、及びそれぞれの動作を実行する要求を検出する前に、電子デバイスは、プロンプト基準に従って、それぞれの動作を実行する要求を提供する命令に対応するプロンプト(例えば、視覚、聴覚、又は触覚の出力)を出力する(2218)。いくつかの例において、電子デバイスは、正規ユーザの顔を検出した後に、アンロック状態となる。いくつかの例において、電子デバイスは、ホーム画面(例えば、2129)にアクセスするために「スワイプアップ」する命令(例えば、2124)を表示する。いくつかの例において、プロンプト基準は、ユーザの凝視(例えば、2168)が電子デバイスに向けられているという要件を含む(2220)。いくつかの例において、プロンプト基準は、デバイスが、少なくとも所定の時間、電子デバイスを見ている顔を示す、顔の特徴を検出する(例えば、ユーザの凝視が電子デバイスに向けられていることを検出する)という要件を含む(2222)。
いくつかの例において、電子デバイスは、第1の生体データが生体認証基準を満たさないという判定に従って、デバイスをロック状態で維持する(2224)。第1の生体データが生体認証基準を満たさないという判定に応じて、デバイスをロック状態で維持することによって、デバイスに対する不正及び/又は未許可のアクセスを防止し、デバイスのセキュリティを強化する。デバイスのセキュリティ対策を向上させることにより、コンテンツへの未許可のアクセスや操作を防止して、デバイスの操作性を強化するとともに、ユーザがデバイスをより効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を向上させる。いくつかの例において、生体特徴に対応する生体・データが生体認証テンプレートと一致しない場合、装置は、その失敗した認証に応じてロックされたままである。
いくつかの例において、電子デバイスは、第1の生体認証チェックを実行した後、デバイスを介して、ユーザから更なる認証情報を受信することなく、それぞれの動作を実行する要求(例えば、2134、2176)を検出する(2226)。いくつかの例において、デバイスを介して、ユーザから更なる認証情報を受信することなくそれぞれの動作を実行する要求を検出することは、電子デバイスがロック状態にあるときに表示に使用できないコンテンツを表示する要求を検出することを含む(2228)。いくつかの例において、ユーザ入力は、ホーム画面又はセキュアデータを提示するアプリケーションなどの、セキュアデータへのアクセスを必要とする入力である。いくつかの例において、それぞれの動作を実行する要求は、デバイス上のスワイプジェスチャ、デバイスのエッジからのスワイプジェスチャ(例えば、2134)、又はホームボタンの押し下げを含む。いくつかの例において、それぞれの動作を実行する要求は、通知の選択(例えば2176)(例えば、それぞれの動作を実行する要求は、じっと見ること、又は通知に対応するアプリケーションなどの、通知に関連付けられた付加情報を表示するための要求である)と、スワイプジェスチャ(例えば、それぞれの動作を実行する要求は、電子デバイスのディスプレイ上での上方向スワイプであり、いくつかの例において、それぞれの動作を実行する要求は、電子デバイスのディスプレイのエッジから始まる上方向スワイプであり、いくつかの例において、スワイプは、特に、電子デバイスのホーム画面を表示する要求である)と、所定の様式での電子デバイスの移動(例えば、それぞれの動作を実行する要求は、電子デバイスを持ち上げることを含む)と、アフォーダンスの選択(例えば、それぞれの動作を実行する要求は、電子デバイスがロック状態にあるときに表示される「ロック」アフォーダンスを含む、電子デバイスによって表示されるアフォーダンスの選択を含む)と、のうちの、少なくとも1つを含む(2230)。
いくつかの例において、電子デバイスは、第1の生体認証チェックを実行しながら、ユーザから更なる認証情報を受信することなく、第2の動作を実行する第2の要求(例えば、2134)を受信する(2232)。いくつかの例において、第2の要求は、スワイプ・ジェスチャ、通知の選択などである。いくつかの例において、第2の動作を実行する第2の要求を受信することに応じて(2234)、第1の生体データが生体認証基準を満たさないと判定した後、第2の動作を実行する第2の要求を受信したという判定に従い、電子デバイスは、第2の代替認証インタフェース(例えば、2140)を表示する(2236)。いくつかの例において、第2の代替認証インタフェースはパスコード、パスワード、パターン、又は指紋認証ユーザインタフェースであり、生体認証が少なくとも1回失敗した場合、第2の動作を実行することなく表示される。いくつかの例において、第2の動作を実行する第2の要求が、第1の生体データを評価する前に(例えば、第1の生体データが生体認証基準を満たしているかどうかを判定する前に)受信されたという判定に従って、電子デバイスは、第2の代替認証インタフェースを表示することなく、生体認証が試行されている旨のインジケーションを含む、生体認証インジケータ(例えば、2156、2162)を表示する(2238)。いくつかの例において、第2の代替認証インタフェースは、パスコード、パスワード、パターン、又は指紋認証ユーザインタフェースであり、表示されず、また、デバイスに第1の生体認証試行を完了する時間がない場合、第2の動作は実行されない。いくつかの例において、電子デバイスが生体認証の第1の反復を実行している間に、ユーザがスワイプアップすると、電子デバイスは、生体認証の処理状況が示されるインタースティシャルインタフェース(例えば、2154)を表示する。いくつかの例において、第1の生体データが生体認証基準を満たしているという判定の後に、第2の動作を実行する第2の要求が受信されたという判定に従って、第2の動作を実行する第2の要求を受信することに応じて、電子デバイスは、代替認証インタフェースを表示することなく、第2の動作を実行する(例えば、生体認証が少なくとも1回失敗した場合、パスコード、パスワード、パターン、又は指紋認証ユーザインタフェースが表示される)。いくつかの例において、第2の動作を実行する第2の要求が、第1の生体データを評価する前に受信されたという判定に従って、第2の動作を実行する第2の要求を受信することに応じて表示される、生体認証インジケータは、通知(例えば、2182)に関連付けられたアプリケーションのインジケーションを含む。いくつかの例において、デバイスが第1の生体認証チェックを実行している間に、ユーザが通知を選択する場合、デバイスは、通知に関連付けられたアプリケーションを示す。例として、ユーザがメッセージ通知に関して選択する場合、デバイスは、「メッセージについての生体認証」又は「メッセージについての顔ID」などの、メッセージングアプリケーションに向けて送られたインジケーションを表示する。
いくつかの例において、それぞれの動作を実行する要求を検出することに応じて(2240)、電子デバイスは、それぞれの動作が認証を必要としないという判定に従い、それぞれの動作を実行する(2242)。それぞれの動作が認証を必要としないという判定に従って、認証に成功することなくそれぞれの動作を実行することにより、ユーザは、追加の入力(例えば、デバイスに進行を命じる入力)を行う必要なしに、より迅速に動作にアクセスすることができる。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに動作を(自動的に)実行することにより、デバイスの操作性が強化され、ユーザ−デバイスインタフェースを(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。いくつかの例において、動作が認証を必要としない場合、電子デバイスは、デバイスがロック状態であるかアンロック状態であるかにかかわらず、動作を実行する。いくつかの例において、それぞれの動作が、カメラの使用又は緊急呼び出しを行うなどの認証を必要としない場合、デバイスは、認証についてのチェックを行わない。
いくつかの例において、それぞれの動作が認証を必要とし、かつデバイスがアンロック状態にあるという判定に従って、電子デバイスはそれぞれの動作を実行する(2244)。デバイスがアンロック状態にある場合、それぞれの動作が認証を必要とするという判定に従って、それぞれの動作を実行することにより、ユーザは、追加の入力(例えば、進行を命じる入力)を行う必要なしに、より迅速に動作にアクセスすることができる。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに動作を(自動的に)実行することにより、デバイスの操作性が強化され、ユーザ−デバイスインタフェースを(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、電子デバイスは、それぞれの動作が認証を必要とし、かつデバイスがロック状態にあるという判定に従って(2246)、第2の生体認証チェックを要求するユーザからの明示的な入力なしに、1つ以上の生体センサを使用して第2の生体データを捕捉する(2248)。それぞれの動作が認証を必要とし、かつデバイスがロック状態にあるという判定に従って、第2の生体認証チェックを要求するユーザからの明示的な入力なしに、第2の生体データを捕捉することにより、認証の成功を要求すること、したがって、デバイスがロック状態にある間にデバイスへの不正なかつ/又は未許可のアクセスを防止することで、デバイスのセキュリティを強化する。デバイスのセキュリティ対策を向上させることにより、コンテンツへの未許可のアクセス及び動作を防止してデバイスの操作性を向上させるとともに、ユーザがデバイスをより効率的に利用できるようにすることで、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、第2の生体データを捕捉した後、電子デバイスは、第2の生体認証チェックを実行する(2250)。いくつかの例において、第1の生体データ及び第2の生体データは、同じ生体基準のセットと比較される。いくつかの例において、第1及び第2の生体データは、それぞれの生体基準のセットと比較される。いくつかの例において、第2の生体認証チェックを実行することは、第2の生体データが生体認証基準を満たすという判定に従って、それぞれの動作を実行すること(2252)を含む。いくつかの例において、電子デバイスは、任意選択的に、デバイスをロック状態からアンロック状態に更に遷移させる。いくつかの例において、第2の生体認証チェックを実行することは、第2の生体データが生体認証基準を満たさないという判定に従って、それぞれの動作の実行を取り止めること(2254)(及び、任意選択的に、デバイスをロック状態で維持すること)を含む。いくつかの例において、それぞれの動作の実行を取り止めることは、デバイスをロック状態で維持すること(2256)を含む。いくつかの例において、それぞれの動作の実行を取り止めることは、代替認証ユーザインタフェース(例えば、2140、2198)を表示すること(2258)を含む。いくつかの例において、代替認証インタフェースは、パスコード、パスワード、パターン、又は指紋認証ユーザインタフェースである。いくつかの例において、電子デバイスは、代替認証ユーザインタフェースを表示しながら、代替認証ユーザインタフェースに対応する代替認証試行(例えば、タップジェスチャ2102Aを含むパスコードの入力)を検出する。いくつかの例において、代替認証ユーザインタフェースに対応する代替認証試行は、入力パスコード、入力パスワード、入力パターン、又は指紋センサ上で検出される指紋である。いくつかの例において、代替認証ユーザインタフェースに対応する代替認証試行を検出することに応じて、認証試行が成功であり(例えば、提供される認証情報が、記憶されたパスコード、記憶されたパスワード、記憶されたパターン、又は記憶された指紋情報などの、記憶された認証情報と一致する)、かつ、代替認証試行に対応する生体データ(例えば、第2の生体データ、若しくは、パスコード又はパスワードサブミットボタンが選択されたときなどの、認証試行が進行中であった間、又はその直後に捕捉された生体データ)が、デバイスの正規ユーザに対応する記憶された生体データとの第1の相似性基準を満たす、という判定に従って、電子デバイスはそれぞれの動作を実行する。いくつかの例において、電子デバイスは、代替認証試行に対応する生体データに基づき、デバイスの正規ユーザを識別するために将来の生体認証試行において使用可能な生体データとして、追加の情報を記憶する。いくつかの例において、電子デバイスは、将来の認証試行においてユーザの認証に使用するためのユーザの顔に対する変化を学習する。いくつかの例において、代替認証ユーザインタフェースに対応する代替認証試行を検出することに更に応じて、認証試行が成功であり、かつ、代替認証試行に対応する生体データが、デバイスの正規ユーザに対応する記憶された生体データとの第1の相似性基準を満たす、という判定に従って、電子デバイスは、デバイスの正規ユーザを識別するために将来の生体認証試行において使用される情報(例えば、生体テンプレート)が修正されていることを示す出力(例えば、視覚、聴覚、及び/又は触覚の出力)を出力する。いくつかの例において、電子デバイスは、ユーザの顔をより良く認識するために生体データが更新されているとのインジケーションを表示する。
いくつかの例において、認証試行が成功であり(例えば、提供される認証情報が、記憶されたパスコード、記憶されたパスワード、記憶されたパターン、又は記憶された指紋情報などの、記憶された認証情報と一致する)、かつ、代替認証試行に対応する生体データ(例えば、第2の生体データ、若しくは、パスコード又はパスワードサブミットボタンが選択されたときなどの、認証試行が進行中であった間、又はその直後に捕捉された生体データ)が、デバイスの正規ユーザに対応する記憶された生体データとの第1の相似性基準を満たさない、という判定に従って、電子デバイスはそれぞれの動作を実行する。認証試行が成功であり、かつ、代替認証試行に対応する生体データが、デバイスの正規ユーザに対応する記憶された生体データとの第1の相似性基準を満たさない、という判定に従って、それぞれの動作を実行することで、生体データが記憶された生体データに対応しないときに認証の成功を要求するデバイスの動作(例えば、ロックされた動作)にアクセスするための代替方法を、ユーザに提供する。追加の制御オプションに追加の表示された制御を提供することにより、デバイスの操作性が強化され、ユーザ−デバイスインタフェースを(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、代替認証試行に対応する生体データに基づき、デバイスの正規ユーザを識別するために将来の生体認証試行において使用可能な生体データとして、追加の情報を記憶しない。いくつかの例において、代替認証ユーザインタフェースに対応する代替認証試行を検出することに応じて、認証試行が成功ではない(例えば、提供される認証情報が、記憶されたパスコード、記憶されたパスワード、記憶されたパターン、又は記憶された指紋情報などの、記憶された認証情報と一致しない)という判定に従って、電子デバイスはそれぞれの動作の実行を取り止め、かつ、代替認証試行に対応する生体データに基づき、デバイスの正規ユーザを識別するために将来の生体認証試行において使用可能な生体データとして、追加の情報を記憶しない。
いくつかの例において、それぞれの動作を実行する要求を検出することに応答し、それぞれの動作が認証を要求し、かつデバイスがロック状態にあるという判定に従って、電子デバイスは代替認証インタフェースを表示する。代替認証インタフェースを(例えば、生体認証に加えて、又はその代替として、認証を提供するための代替方法を提供するために)提供することによって、現行の認証方法が、失敗するか又は失敗し続ける場合、ユーザは、異なる認証方法を使用して動作に容易に認証を与えることができる。このように、UIを追加の表示された制御で乱雑にすることなく追加の(例えば認証を提供する)制御オプションを提供することによって、デバイスの操作性が強化され、ユーザ−デバイスインタフェースを(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、電子デバイスは、生体認証の第1の反復が失敗した後に、ユーザがセキュアデータへのアクセスを要求することに応じて、パスワード又はパスコードインタフェースのような代替認証インタフェース(例えば、2140、2198)を表示する。生体認証の第1の反復が失敗した後に、ユーザがセキュアデータへのアクセスを要求することに応じて、パスワード又はパスコードインタフェースなどの認証インタフェースを表示することにより、生体データが失敗したときに、認証の成功を要求するデバイスの動作(例えば、ロックされた動作)に迅速にアクセスするための代替方法をユーザに提供する。追加の制御オプションに追加の表示される制御を提供することにより、デバイスの操作性が強化され、ユーザ−デバイスインタフェースを(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、代替認証インタフェースは、追加の時間遅延後、及び/又は追加の生体認証試行が失敗した後に(例えば、図26A〜図26ASを参照しながらより詳細に説明するように)表示される。いくつかの例において、生体認証基準は、生体認証基準を満たさせるために代替認証インタフェースを使用する認証がまだ開始されていないという要件を含む(2260)。いくつかの例において、代替認証ユーザインタフェースを表示している間、生体認証を少なくとも部分的に試行し(例えば、試行することに応じて)、生体認証が成功し、かつ代替認証インタフェースを使用する認証がまだ開始されていないという判定に従って、電子デバイスはそれぞれの動作を実行し、また、代替認証インタフェースを使用する認証が開始されたという判定(例えば、部分的なパスコード、パターン、又はパスワードなどの少なくとも部分的なクレデンシャルが、代替認証インタフェースを使用して受信されたという判定)に従って、電子デバイスは、生体認証に基づいてそれぞれの動作の実行を取り止める。いくつかの例において、電子デバイスは、ユーザがパスコードの提供を終えるまで、第2の生体認証を実行するのを待機する。いくつかの例において、デバイスは、第2の生体認証チェックに失敗するまで(例えば、図26A〜図26ASを参照しながらより詳細に説明するように)、代替認証ユーザインタフェースの表示を遅らせ、デバイスは、代替認証ユーザインタフェースが表示された後に、第3の生体認証チェックを実行する。
いくつかの例において、第2の生体認証チェックは、代替認証インタフェース(例えば、2140)を表示している間に実行される(2262)。代替認証インタフェースを表示している間に第2の生体認証チェックを実行することにより、いくつかの例では、ユーザが手動での代替認証の入力を完了する前に、第2の生体認証チェックを完了することによって、デバイスの操作性が強化され、それによって、ユーザ−デバイスインタフェースがより効率的になる。
いくつかの例において、代替認証インタフェースはパスコード、パスワード、パターン、又は指紋認証ユーザインタフェースを提供する。いくつかの例において、生体認証は、パスコードの入力中に実行される。いくつかの例において、生体認証UIが、パスコード入力インタフェース上に表示される(例えば、生体進度インジケータ2142、2144、及び2146)。
いくつかの例において、電子デバイスは、代替認証ユーザインタフェース(例えば、パスコード、パスワード、パターン、又は指紋認証ユーザインタフェース)を表示している間に、生体認証基準が満たされたものと判定する。いくつかの例において、生体認証基準を満たしたと判定したことに応じて、電子デバイスはそれぞれの動作を実行する。代替認証ユーザインタフェースを表示している間に、生体認証基準を満たしたと判定したことに応じて、それぞれの動作を実行することにより、いくつかの例では、ユーザが手動での代替認証の入力を完了する前に、第2の生体認証チェックを完了することによって、デバイスの操作性が強化され、それによって、ユーザ−デバイスインタフェースがより効率的になる。いくつかの例において、生体認証基準は、ユーザが代替の認証インタフェースを使用してクレデンシャルの少なくとも一部をまだ入力していないという要件を含む。いくつかの例において、生体認証基準は、ユーザが代替の認証インタフェースを使用してクレデンシャルの少なくとも一部をまだ入力していないという要件を含む。いくつかの例において、ユーザが、パスコード、パスワード、パターン、又は指紋などの、代替形式の認証の入力をすでに開始している場合には、成功した生体認証があれば、それぞれの動作は実行されない。
いくつかの例において、それぞれの動作の実行要求の検出に応答し、それぞれの動作が認証を必要とし、かつデバイスがロック状態であるという判定に従って、代替形式の認証を進行させるためのオプションを表示せずに、生体認証についての認証インジケーション(例えば、進度インジケータ、又は、生体認証が試行されている旨の他のインジケーション)を表示する。いくつかの例において、電子デバイスは、代替認証インタフェースを表示せずに、かつ/又は、代替認証インタフェースを表示するための選択可能オプションを表示せずに、生体認証のための認証インジケーションを表示する。いくつかの例において、それぞれの動作の実行要求に応じて、生体認証を試行している間、デバイスは、(例えば、図26A〜図26ASを参照しながらより詳細に説明するように)生体認証がまだ失敗していない旨をユーザに示すために、代替形式の認証のためのオプションの提供を取り止める。
いくつかの例において、デバイスがアンロック状態にある間、電子デバイスは、生体認証(例えば、デバイス設定ユーザインタフェース又はシステム選好ユーザインタフェースにおける生体登録ユーザインタフェース)における使用のための付加情報を記憶する要求を受信する。いくつかの例において、生体認証における使用のための付加情報を記憶する要求に応じて、電子デバイスは、第3の生体データを捕捉する。いくつかの例において、生体認証における使用のための付加情報を記憶する要求に更に応答し、第3の生体データが、デバイスの正規ユーザに対応する記憶された生体データとの第2の相似性基準を満たすという判定に従って、電子デバイスは、デバイスの正規ユーザを識別するために将来の生体認証試行において使用可能な第3の生体データに基づいて、付加情報を記憶する。デバイスがアンロック状態の間、デバイスの正規ユーザを識別するために将来の生体認証試行において使用可能な第3の生体データに基づいて、付加情報を記憶すること(例えばまた、デバイスがロック状態の間、こうした動作を禁止すること)により、デバイス上に記憶された生体認証データに対する不正及び/又は未許可の試行を防止し、したがって、デバイスへの将来のアクセスを得るために、デバイスのセキュリティが強化される。デバイスのセキュリティ対策を向上させることにより、コンテンツへの未許可のアクセス及び操作を防止することで、デバイスの操作性を強化するとともに、ユーザがデバイスをより効率的に使用できるようにすることによって、デバイスの電力使用量を削減し、バッテリ寿命を向上させる。
いくつかの例において、電子デバイスは、将来の認証試行においてユーザを認証する際に使用されるユーザの顔に対する変化を学習する。いくつかの例において、第2の相似性基準が、第3の生体データと記憶された生体データとの間に要求する類似性は、第1の相似性基準によって要求される類似性よりも少ない。いくつかの例において、デバイスがアンロック状態である間、及び生体データ登録ユーザインタフェースにおいて、デバイスは、生体認証が失敗した後に、代替認証が正常に提供されるときに検出される生体特徴に関してデバイスが学習しているときよりも、現在登録されている生体特徴とは大きく異なる生体特徴に対応する、追加の生体データを受け入れるように構成される。いくつかの例において、デバイスの正規ユーザに対応する記憶された生体データに対する第2の相似性基準を、第3の生体データが満たさないという判定に従って、電子デバイスは、将来の生体認証試行において使用可能な第3の生体データに基づく付加情報を記憶する。いくつかの例において、電子デバイスは、将来の認証試行においてユーザを認証する際に使用するためのユーザの顔に対する変化を学習する。
方法1200に関して上記で説明した(例えば、図22A〜図22F)プロセスの詳細は、本明細書で説明する方法も同様に適用可能であることに留意されたい。例えば、方法2200は、方法800、1000、1200、1400、1600、1800、2000、2500、及び2700を参照しながら本明細書で説明する様々な方法の特徴のうちの1つ以上を、任意選択的に含む。例えば、方法1200において説明する登録生体データを使用して、図21C〜図21Eに関して説明する生体認証を実行することができる。別の例では、方法2000及び2700において説明する1つ以上のインタースティシャルインタフェースは、生体認証プロセスの完了前に、入力の受信に応じて任意選択的に表示される。簡潔にするために、これらの詳細は、本明細書では繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A、図3、及び図5Aに関連して説明する)又は特定用途向けチップなどの、情報処理装置内の1つ以上の機能モジュールを稼働することによって任意選択的に実施される。更に、図22A〜図22Fを参照しながら上記で説明する動作は、図1A〜図1Bに示される構成要素によって任意選択的に実施される。例えば、検出動作2202、実行動作2210、捕捉動作2212、遷移動作2216、維持動作2224、検出動作2226、実行動作2250、及び取り止め動作2254は、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって、任意選択的に実施される。イベントソータ170内のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に配信する。アプリケーション136−1のそれぞれのイベント認識部180は、イベント情報をそれぞれのイベント定義186と比較し、タッチ感知面上の第1の位置での第1の接触が、ユーザインタフェース上のオブジェクトの選択などの、既定のイベント又はサブイベントに対応するかどうかを判定する。それぞれの規定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ190を起動する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデーター176又はオブジェクトアップデーター177を任意選択的に利用又は呼び出す。いくつかの実施例において、イベントハンドラ190は、アプリケーションによって表示されるものを更新するために、それぞれのGUIアップデーター178にアクセスする。同様に、当業者にとって、他のプロセスが図1A〜図1Bに示される構成要素に基づいてどのように実施できるかは明らかであろう。
図23A〜図23Qは、いくつかの実施例に従って、生体認証を管理するための、例示的なユーザインタフェースを示す。以下でより詳細に説明するように、図23A〜図23Qに示されるユーザインタフェースの例示の実施例は、図24A〜図24BCに示されるユーザインタフェースの例示の実施例に関し、図25A〜図25Cにおけるプロセスを含む、以下で説明するプロセスを示すために使用される。
図23Aは、電子デバイス2300(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)を示す。図23A〜図23Qに示される例示の実施例において、電子デバイス2300はスマートフォンである。他の実施例において、電子デバイス2300は、ウェアラブルデバイス(例えば、スマートウォッチ)などの、異なるタイプの電子デバイスとすることができる。電子デバイス2300は、ディスプレイ2302、1つ以上の入力デバイス(例えば、ディスプレイのタッチスクリーン2302、ボタン2304、マイク(図示せず))、及び無線通信を有する。いくつかの例において、電子デバイスは複数のカメラを含む。いくつかの例において、電子デバイスは、1つのカメラのみを含む。いくつかの例において、電子デバイスは、任意選択的に、赤外線カメラ、サーモグラフィーカメラ、又はそれらの組合せなどのカメラを含む、1つ以上の生体センサ(例えば、生体センサ2303)を含む。いくつかの例において、1つ以上の生体センサ2303は1つ以上の生体センサ703である。いくつかの例において、デバイスは、IR投光灯、構造化光プロジェクタ、又はそれらの組合せなどの、発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データの捕捉中に、生体特徴(例えば、顔)を照明するために使用される。
図23Aにおいて、電子デバイス2300は、ディスプレイ2302上に、フォトギャラリーユーザインタフェース2310を表示する。いくつかの例において、フォトギャラリーユーザインタフェース2310は、ディスプレイのエッジからディスプレイ内にスライド(例えばディスプレイの底部エッジから上にスライド)して、以前のインタフェース、アプリケーション、及び/又は仮想キーボードの表示を置き換える。いくつかの例において、フォトギャラリーユーザインタフェース2310は、フォトギャラリーアプリケーションを開く要求に応じて、上にスライドする。いくつかの例において、フォトギャラリーユーザインタフェース2310は、メッセージングアプリケーションにおける会話の参加者に写真を転送する要求に応じて、上にスライドする。
いくつかの実施例において、図23Aに示すように、フォトギャラリーユーザインタフェース2310は、電子デバイス2300上に記憶された(又は、リモートサーバを介してデバイスによってアクセス可能な)写真に対応する複数の選択可能なプレビュー画像を含む。いくつかの実施例において、図23Aにも示すように、複数の選択可能なプレビュー画像は、時間(例えば、写真が撮影された日付け)及び/又は場所(例えば、写真が撮影された場所)に基づいて、編成される。例えば、ヘッダ2312の下に示される複数の選択可能なプレビュー画像2312A〜2312Fは、カリフォルニア州クパチーノで4月30日に撮影された写真に対応し、ヘッダ2314の下に示される複数の選択可能なプレビュー画像2314A〜2314Cは、カリフォルニア州サンフランシスコで昨日撮影された写真に対応する。
いくつかの例において、フォトギャラリーアプリケーションの始動時に、電子デバイス2300は、選択(又は転送)可能なフォトギャラリーユーザインタフェース2310の選択可能なプレビュー画像を表示する。例えば、複数の選択可能なプレビュー画像は、選択可能なプレビュー画像2314A〜2314Cを含む。図23Aに示すように、複数の選択可能なプレビュー画像2314A〜2314Cは、メッセージングアプリケーション又は電子メールアプリケーションなどの1つ以上のアプリケーションを介して参加者に転送されるように、ユーザによって選択可能である。
図23Bにおいて、フォトギャラユーザインタフェース2310を(転送するように選択された写真に対応する)選択可能なプレビュー画像2314A〜2314Cと共に表示しながら、電子デバイス2300は、選択可能なプレビュー画像2314A〜2314Cに対応する写真の転送を開始するために、転送アフォーダンス2316(例えば、ボタン)のユーザ起動2301を検出する。例えば、ユーザ起動2301は、転送アフォーダンス2316上でのタップジェスチャである。
図23Cにおいて、転送アフォーダンス2316の起動の検出に応じて、電子デバイス2300はプロンプト2318を提供する。図23Cに示すように、いくつかの例において、プロンプト2318は、ボタン2304の2回押下などの、1つ以上のボタン2304の起動を提供するように、ユーザに命じる。いくつかの例において、プロンプト2318は、1つ以上の他の表示されたオブジェクトに対して相対的に強調される。このようにプロンプトを強調することは、例えば、フォトギャラリーユーザインタフェース2310のうちの1つ以上の部分を難読化する、暗色化、ぼかし、及び/又は他の方法を含む。
更にまた図23Cに示されるように、転送アフォーダンス2316の起動の検出に更に応じて、電子デバイス2300は、複数のアプリケーションアフォーダンス2320A〜2320Hを含む、アプリケーション選択インタフェース2320を表示する。いくつかの例において、アプリケーションアフォーダンス2320A〜2320Hの各々は、選択可能プレビュー画像2314A〜2314Cに対応する画像などの画像を(電子デバイス2300以外の異なるデバイスに)転送するために使用可能な、アプリケーションに対応する。
いくつかの例において、ボタン2304は、電子デバイス2300のディスプレイ2302及び/又は1つ以上の他の構成要素に対する固定位置を有する。いくつかの例において、プロンプト2318も、電子デバイスのディスプレイ2302及び/又は1つ以上の他の構成要素に対する固定位置において表示される。このようにして、プロンプト2318は、ボタン2304に対して所定の位置に表示される。
図23Dにおいて、電子デバイス2300は、(フォトギャラリーユーザインタフェースの上に任意選択的に重ね合わせられた)プロンプト2318を表示しながら、ボタン2304のユーザ起動2306を検出する。いくつかの例において、図23Dに示すように、ユーザ起動はボタン2304の2回押下である。いくつかの例において、ボタン2304の2回押下は、所定の時間(例えば、1秒)内に発生する第1のボタン押し及び第2のボタン押しを含む。
電子デバイス2300は、ボタン2304の1回以上の起動を検出することに応じて、ユーザの生体特徴(例えば、顔)についての生体認証(例えば、顔認識認証)を開始する。図23Eに示すように、いくつかの例において、生体認証を開始する際に、生体認証インタフェース2322が提供される(例えば、ディスプレイ2302上に表示される)。いくつかの例において、生体認証インタフェースは、生体認証中、フォトギャラリーユーザインタフェース2310などのアプリケーションインタフェースの上に重ね合わせられる。いくつかの例において、生体認証は、グリフ2324などの生体特徴の表現のシミュレーションを含む。更に、ボタン2304の1回以上の起動に応じて、1つ以上のカメラ又は顔認識センサ(例えば、1つ以上の生体センサ2303内に含まれる)などの、電子デバイス2300の1つ以上の生体センサ2303が起動される。
いくつかの例において、1つ以上の生体センサ2303が起動されると、電子デバイス2300は、ユーザに関連付けられた生体特徴に対応する生体データを取得(例えば、捕捉)する。いくつかの例において、生体特徴は、電子デバイスの1つ以上の生体センサ2303(及び/又は、1つ以上のカメラの生体センサ)を使用して、生体データを捕捉する。任意選択的に、生体特徴の照明を支援するために、IR投光灯又は構造化光プロジェクタなどの発光デバイスが使用される。他の例において、電子デバイスは、別のデバイスから生体データを受信する。
いくつかの例において、電子デバイス2300が生体データを取得すると、電子デバイスはこの生体データを処理(例えば、分析)して、生体認証が成功したかどうかを判定する。いくつかの例において、この判定は、生体データとユーザに関連付けられた生体テンプレートとが一致するかどうかを判定することを含む。生体テンプレートは、任意選択的に、電子デバイス2300上に記憶される。
いくつかの例において、図23Fに示すように、生体認証インタフェース2322は、生体データを処理している間、例えば、図17A〜図17AIを参照しながら説明したように、生体認証インタフェースを使用して1つ以上の回転するリング2326を表示することによって、生体データが電子デバイスによって処理されていることを示す。いくつかの例において、1つ以上の回転リング2326が、生体認証インタフェース内のグリフ2324を置き換える。
電子デバイス2300が、生体認証が成功した(例えば、生体データとユーザに関連付けられた生体テンプレートとが一致する)と判定した場合、電子デバイスは、機能(例えば、画像転送)がディセーブルである状態から、その機能がイネーブルである状態へと遷移する。例えば、生体認証の成功により、電子デバイスは、選択可能なプレビュー画像2314A〜2314Cに対応する画像などの、画像の転送(例えば、共有)が可能になる。いくつかの例において、電子デバイスは、例えば、生体認証インタフェースにおいて生体特徴の表現のシミュレーションを表示することによって、生体認証が成功したことを更に示す。図23Gに示すように、いくつかの例において、生体認証インタフェース2322は、生体認証が成功したことを(ユーザに対して)示すグリフ2328を含む。いくつかの例において、グリフ2328は、生体認証インタフェース2322内の1つ以上の回転リング2326を置き換える。
図23Hを参照すると、生体認証の成功に応じて、電子デバイス2300上の画像転送がイネーブルされた後、かつ、アプリケーション選択インタフェース2320を表示している間に、電子デバイスは、(対応するアプリケーションを始動するための)アプリケーションアフォーダンスのユーザ起動2305を検出する。例えば、起動されるアフォーダンスはアプリケーションアフォーダンス2320Aである。アプリケーションアフォーダンス2320Aの起動は、図23Iに示すように、アプリケーションアフォーダンス2320Aに対応するアプリケーション2330(例えば、メッセージングアプリケーション)を始動し、かつ/又は、アプリケーション2330を使用して(例えば、アプリケーションの始動と同時に)、電子デバイスに、選択可能なプレビュー画像2314A〜2314Cに対応する画像を転送させる。
電子デバイス2300が、生体認証が失敗した(例えば、生体データと、ユーザに関連付けられた生体テンプレートとが一致しない)と判定した場合、電子デバイスは状態間を(例えば、画像の転送を許可するなどの機能がディセーブルな状態から、機能がイネーブルな状態へと)遷移せず、同じ状態を維持する。いくつかの例において、電子デバイスは、例えば、生体認証インタフェースにおいて生体特徴の表現のシミュレーションを表示することによって、生体認証が失敗したことを(ユーザに対して)更に示す。図23Jに示すように、いくつかの例において、生体認証インタフェース2322は、生体認証が失敗したことを示すグリフ2332を含む。グリフ2332は、例えば、生体特徴が電子デバイスによって認識されなかったことを示す。
図23Kにおいて、電子デバイスは、生体認証の失敗に応じて、電子デバイス2300上で画像転送がイネーブルされなかった後、かつ、アプリケーション選択インタフェース2320を表示している間に、アプリケーションアフォーダンス2320Aのユーザ起動2307を検出する。いくつかの例において、図23Lに示すように、電子デバイス2300は、アプリケーション選択ユーザインタフェース2320のアプリケーションアフォーダンス2320Aの起動の検出に応じて、代替認証アフォーダンス2334(例えば、パスワードアフォーダンス、パスコードアフォーダンス)を表示する。いくつかの例において、電子デバイスは、代替認証アフォーダンス2334を表示している間に、代替認証アフォーダンス2334のユーザ起動2309を検出する。代替認証アフォーダンスの起動により、図23Mに示すように、代替認証インタフェース2336(例えば、パスワードインタフェース、パスコードインタフェース)が表示される。
いくつかの例において、電子デバイス2300は、代替認証インタフェース2336の表示中に生体認証を実行する。いくつかの例において、電子デバイスは、生体データを取得して処理し、取得した生体データと、ユーザに関連付けられた生体テンプレートとが一致するかどうかを判定する。このように、いくつかの例において、代替認証インタフェース2336は、図23Mに示すように、(例えば、グリフ2324に対応する)グリフ2338などの生体特徴の表現のシミュレーションを含む。いくつかの例において、代替認証インタフェース2336は、例えば、図23Nに示すように、かつ図17A〜図17AIを参照しながら説明したように、(例えば、1つ以上の回転リング2326に対応する)1つ以上の回転リング2340を表示することによって、生体データが処理されていることを示す。いくつかの例において、1つ以上の回転リング2340は、代替認証インタフェース内のグリフ2338を置き換える。
電子デバイス2300が、生体認証が失敗した(例えば、生体データと、ユーザに関連付けられた生体テンプレートとが一致しない)と判定した場合、電子デバイスは、機能(例えば、画像転送)がディセーブルである状態を維持する。いくつかの例において、電子デバイスは、例えば、代替認証インタフェース2336において生体特徴の表現のシミュレーションを表示することによって、生体認証が失敗したことを更に示す。図23Oに示すように、いくつかの例において、代替認証インタフェース2336は、生体認証が失敗したことを(ユーザに対して)示す(例えば、グリフ2328に対応する)グリフ2342を含む。いくつかの例において、グリフ2342は、代替認証インタフェース内の1つ以上の回転リング2340を置き換える。
いくつかの実施例において、生体認証に加えて、又はその代わりに、電子デバイス2300は、代替認証インタフェース2336の表示中にパスコード認証を実行する。したがって、電子デバイスは、パスコードデータを受信して処理し、受信したパスコードデータが、ユーザに関連付けられた登録パスコードと一致するかどうかを判定する。このように、いくつかの例において、代替認証インタフェース2336は、図23Pに示すように、パスコードインジケーション2344などの受信したパスコード入力のインジケーションを含む。
前述のように、電子デバイス2300が、生体認証及び/又はパスコード認証が成功したと判定した場合、電子デバイスは、機能(例えば、画像転送)がディセーブルな状態から機能がイネーブルな状態へと遷移する。例えば、図23Qに示すように、生体認証及び/又はパスコード認証が成功すると、電子デバイスは、アプリケーション2330(例えば、メッセージングアプリケーション)を介して、選択可能なプレビュー画像2314A〜2314Cに対応する画像などの画像の転送(例えば、共有)を実行できるようになる。
前述のように、上記で説明した図23A〜図23Qに示されるユーザインタフェースの例示の実施例は、下記で説明する図24A〜図24BCに示されるユーザインタフェースの例示の実施例に関する。したがって、図23A〜図23Qに示される例示のユーザインタフェースに関して上記で説明したプロセスと、下記で説明する図24A〜図24BCに示される例示のユーザインタフェースに関して下記で説明するプロセスとは、大部分が類似したプロセスであり、電子デバイス(例えば、100、300、500、2300、又は2400)を使用する生体認証の開始及び管理を同様に含むことを理解されよう。
図24A〜図24BCは、いくつかの実施例に係る、生体認証を管理する例示的なユーザインタフェースを示すこれらの図におけるユーザインタフェースは、図25A〜図25Cにおける処理を含む、以下において説明される処理を示すために使用される。
図24Aは、電子デバイス2400(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)を示す。図24A〜図24BCに示される例示的な実施例では、電子デバイス2400はスマートフォンである。他の実施例において、電子デバイス2400は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なる種類の電子デバイスでもよい。電子デバイス2400は、ディスプレイ2402、1つ以上の入力デバイス(例えば、ディスプレイ2402のタッチスクリーン、ボタン2404、マイク(図示せず))、及び無線通信無線機を備える。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのみのカメラを含む。いくつかの例では、電子デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを任意選択的に含む、1つ以上の生体センサ(例えば、生体センサ2403)を含む。いくつかの例では、デバイスは更に、赤外線投光器、構造化光プロジェクタ、又はその組合せなどの発光デバイス(例えば、光プロジェクタ)を含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照明するために使用される。
図24Aにおいて、電子デバイス2400は、ディスプレイ2402にチュートリアルユーザインタフェース2410を表示する。いくつかの例では、チュートリアルユーザインタフェース2410は、ディスプレイの端からディスプレイ内へスライド(例えば、ディスプレイの下端から上にスライド)して、前のインタフェース、アプリケーション、及び/又は仮想キーボードの表示と置き換わる。いくつかの例では、チュートリアルユーザインタフェース2410は、支払い取引(例えば、取引端末などの別のデバイスでの)を進める要求に応じて上にスライドする。
いくつかの例では、図24Aに示すように、チュートリアルユーザインタフェース2410は、入力(例えば、ボタン2404の2回押下)を実行して支払い取引を進めることが可能であることをユーザに示すテキスト表示2410Aを含む。いくつかの例では、図24Aにやはり示すように、チュートリアルユーザインタフェース2410は、入力(例えば、ボタン2404の2回押下)を実行して支払い取引を進めることが可能であることを(ユーザに)示す、テキスト表示2410Aに対応する、グラフィック表示2410Bを含む。
いくつかの例では、電子デバイス2400は、チュートリアルユーザインタフェース2410上のアフォーダンス(例えば、「継続」アフォーダンス)のユーザアクティブ化の検出に応じて、図24Bに示すように、ユーザがボタン2404(例えば、ボタン2404の2回押下)の1つ以上のアクティブ化を行うように命令するプロンプト2416を上に重ねられた、支払い取引の使用向けに現在選択されてある支払いアカウント2414の表現を含む、支払いユーザインタフェース2412をディスプレイ2402に表示する。いくつかの例では、プロンプト2416は、(支払いユーザインタフェース2412上で)1つ以上の他の表示オブジェクトに対して強調される。このようにプロンプトを強調することは、例えば、支払いユーザインタフェース2412の1つ以上の部分を暗くする、ぼかす、及び/又は他の方法で難読化することを含む。
いくつかの例では、(例えば、支払い取引を進めるために)アクティブ化されることをプロンプト2416によって要求されるボタン2404の場所は、動的表示2418によって強調される。例えば、図24Bから図24Cへの遷移によって示すように、動的表示2418は、ディスプレイ上のボタン2404の場所に隣接して、連続的にサイズを変えること(例えば、連続的に更に広くなったり狭くなったりすること、又は連続的にサイズを変更すること)によって、デバイス上のボタン2404の位置を強調し、それによって、ユーザがプロンプト2416の要求に対応するボタンをより簡単に見つけることを可能にする。
図24Dでは、電子デバイス2400は、プロンプト2416を表示しながら、ボタン2404のアクティブ化2401を検出するいくつかの例では、図24Dに示すように、アクティブ化はボタン2404の2回押下である。いくつかの例では、ボタン2404の2回押下は、所定の時間(例えば、1秒)内に生じるボタンの第1の押下及び第2の押下を含む。
電子デバイス2400は、ボタン2404の1つ以上のアクティブ化に応じて、図24Eに示すように、プロンプト2416の表示(及びプロンプトの任意の対応する強調)と支払いユーザインタフェース2412上に重ねられた動的表示2418とを取り除き、図24Fに示すように、ユーザの生体特徴(例えば、顔)の生体認証(例えば、顔認識)を開始する。いくつかの実施例では、生体特徴は、顔(例えば、ユーザの顔)の少なくとも一部であり、生体認証は、(ユーザの)顔の少なくとも一部の顔認識を含む。
図24Fに示すように、いくつかの例では、生体認証を開始したとき、生体認証インタフェース2420が提供される。いくつかの例では、生体認証インタフェースは、生体認証の間、支払いユーザインタフェース2412上に重ねられる。いくつかの例では、生体認証は、グリフ2422などの生体特徴の表現のシミュレーションを含む。更に、ボタン2404の1つ以上のアクティブ化に応じて、(例えば、1つ以上の生体センサ2403に含まれる)1つ以上のカメラ又は顔認識センサなどの電子デバイス2400の1つ以上の生体センサがアクティブ化される。いくつかの例では、電子デバイスは、ディスプレイの中央領域に生体認証インタフェース2420を表示し、ディスプレイの上部に支払いアカウント2414の表現を(例えば、変位又は移動により)表示する。
いくつかの例では、1つ以上の生体センサがアクティブ化されると、電子デバイス2400は、ユーザに関連する生体特徴に対応する生体データを取得(例えば、キャプチャ)する。いくつかの例では、生体特徴は、電子デバイスの1つ以上の生体センサ2403(及び/又は1つ以上のカメラの生体センサ)を使用して生体データをキャプチャする。任意選択的に、赤外線投光器、構造化光プロジェクタなどの発光デバイスは、生体特徴の照明を補助するために使用される。他の例では、電子デバイスは、別のデバイスから生体データを受信する。
いくつかの例では、電子デバイス2400が生体データを取得すると、この電子デバイスは、生体データを処理(例えば、分析)して、生体認証は成功か否かを判定する。いくつかの例では、この判定は、ユーザに関連する生体テンプレートと生体データが一致するか否かの判定を含む。生体テンプレートは、任意選択的に、電子デバイス2400に記憶される。
いくつかの例では、図24Gに示すように、生体認証インタフェース2420は、例えば、生体認証インタフェースを用いて1つ以上の回転リング2424を表示することによって、生体データが電子デバイスによって処理されていることを示す。いくつかの例では、1つ以上の回転リング2424が、生体認証インタフェース内のグリフ2422と置き換わる。
電子デバイス2400が、生体認証は成功した(例えば、生体データが、ユーザに関連付けられた生体テンプレートと一致する)と判定した場合、電子デバイスは、機能(例えば、支払いクレデンシャルの送信の許可)を無効化された第1の状態から、機能を有効にされた第2の状態に遷移する。いくつかの例では、第1の状態は、デバイスのセキュア要素がセキュアデータ(例えば、デバイスで提供される支払いアカウントの支払いクレデンシャル)のリリースを無効化された状態であり、第2の状態は、セキュア要素がセキュアデータのリリースを可能にされた状態である。
いくつかの例では、生体認証の成功により、電子デバイスが支払い取引に関連してアカウントクレデンシャルを伝送することを許可する。いくつかの例では、電子デバイスは更に、例えば、生体認証インタフェースにおける生体特徴の表現のシミュレーションを表示することによって、生体認証が成功したことを(ユーザに)示す。図24Hに示すように、いくつかの例では、生体認証インタフェース2420は、生体認証が成功したことを(ユーザに)示すグリフ2426を含む。いくつかの例では、グリフ2426は、生体認証インタフェース内の1つ以上の回転リング2424と置き換わる。
図24Iにおいて、生体認証が成功したと電子デバイス2400が判定した後、電子デバイスは、現在選択されている支払いアカウント(例えば、支払いアカウント2414)を用いて支払い取引を進めるための権限が付与されており、したがって、支払い取引を開始することができることを(ユーザに)示す。いくつかの例では、電子デバイス2400は、テキスト表示2428A及び/又はグラフィック表示2428Bを表示して、支払い取引が開始可能であることを示す。いくつかの例では、テキスト表示2428A及び/又はグラフィック表示2428Bは、図24Iに示すように、支払いユーザインタフェース2412上の生体認証インタフェース2420と置き換わる。いくつかの例では、グラフィック表示2428Bは、支払いユーザインタフェース2412内のグリフ2426と置き換わる。
図24Jにおいて、支払い取引において使用するために選択及び許可された支払いアカウント2414を有する支払いユーザインタフェース2412を表示しながら、電子デバイス2400は、(例えば、このデバイスの無線送信無線機を介して)この電子デバイスとは異なる第2のデバイス2430(例えば、取引端末)を検出する。第2のデバイス(例えば、取引端末)の検出に応じて、電子デバイス2400は、(例えば、このデバイスの無線送信無線機を介して)第2の電子デバイスに支払いアカウント2414に関連付けられた支払いクレデンシャルを送信して支払い取引を完了する。
いくつかの例では、図24Kに示すように、電子デバイス2400は、支払いクレデンシャルを第2のデバイス2430に無事に送信した後、支払い取引が無事完了したことを(ユーザに)示すために、支払いユーザインタフェース2412内のテキスト表示2428Aを(例えば、「支払い完了」に)及び/又はグラフィック表示2428B(例えば、チェックマークに)更新する。
いくつかの実施例では、支払いアカウント2414を用いて第2のデバイス(例えば、取引端末)と支払い取引を進める前に、取引に使用する別の支払いアカウントを選択することができる。いくつかの例では、図24Lに示すように、電子デバイス2400は、支払いユーザインタフェース2412内に(例えば、インタフェースの下部領域に)、現在選択されている支払いアカウント2414とは異なる1つ以上の支払いアカウント(例えば、支払いアカウント2432A〜2432C)の表現を表示する。いくつかの例では、図24Lに示すように、電子デバイス2400は、支払いアカウント2414とは異なる1つ以上の支払いアカウントのうちの別の支払いアカウント(例えば、支払いアカウント2432A)のユーザ選択2406(例えば、タップジェスチャ)を受信する。
いくつかの実施例では、第2のデバイスが、店にある取引端末である場合、生体認証(例えば、顔認識認証)を用いて店内支払いを許可するために、ユーザは、まず、ハードウェアボタンをアクティブ化することによって(例えば、ボタン2404、スリープ/ウェイクボタンをダブルクリックすることによって)支払う意図を確認する必要がある。いくつかの例では、ユーザは、そのデバイスを第2のデバイス(例えば、取引端末)の近くに配置する前に生体認証(例えば、顔認識認証)を用いて認証する。いくつかの例では、ユーザが、生体認証(例えば、顔認識認証)後に別の支払い方法の選択を望む場合、デバイスは、生体認証を用いた再認証をユーザに促すが、ユーザがハードウェアボタン(例えば、ボタン2404)をアクティブ化する(例えば、スリープ/ウェイクボタンを再びダブルクリックする)ことは要求しない。
いくつかの例では、支払いアカウント2432Aのユーザ選択2406により、図24Mに示すように、支払いアカウント2432Aの表現は、支払いユーザインタフェース2412内で上にスライドし、支払いアカウント2414の表現は、支払いユーザインタフェース2412内で下にスライドする。いくつかの例では、図24Nに示すように、支払いアカウント2432Aの表現は、支払いアカウント2414の表現によって前に占有されていた場所に支払いユーザインタフェース2412内で上にスライドし(それによって、支払いアカウント2432Aが支払い取引で使用するために現在選択されていることをユーザに対して示す)、支払いアカウント2414の表現は、支払いユーザインタフェース2412内で下にスライドして、現在選択されている支払いアカウントとは異なる支払いアカウントの1つ以上の表現に加わる。現在選択されている支払いアカウントが支払いアカウント2414から支払いアカウント2432Aに切り替わると、デバイスは、支払いアカウント2432Aを用いて支払い取引を進めて(例えば、図24Jを参照して説明したように)取引を完了することができる。
いくつかの例では、図24Oに示すように、電子デバイス2400が、命令ユーザインタフェース2410とは別のアプリケーション2434(例えば、メッセージングアプリケーション)をディスプレイ2402に表示している間、図24B〜図24Nを参照して説明された技術を開始することができる(例えば、プロンプト2416に応じたアクティブ化2401によって開始されるように)。例えば、図24Oは、アプリケーション2434(例えば、メッセージングアプリケーション)をディスプレイ2402に表示する電子デバイス2400を示す。電子デバイス2400は、アプリケーション2434を表示しながら、ボタン2404のユーザアクティブ化(例えば、2回押下2405)を受信する。ユーザアクティブ化を受信したことに応じて、電子デバイスは、図24B〜図24Nを参照して説明された技術を進めて、支払い取引(例えば、その電子デバイスとは別の第2のデバイスとの)を進めるための生体認証を得る。
いくつかの例では、図24Pに示すように、図24B〜図24Nを参照して説明された技術は、電子デバイス2400のディスプレイ2402がオフ状態にある間に、開始することができる(例えば、プロンプト2416によるアクティブ化2401によって又はアプリケーション2434が表示されている間にアクティブ化2405によって開始されるように)。ディスプレイ2402がオフ状態にある間、電子デバイス2400は、ボタン2404のユーザアクティブ化(例えば、2回押下2407)を受信する。ユーザアクティブ化を受信したことに応じて、電子デバイスは、図24B〜図24Nを参照して説明された技術を進めて、支払い取引(例えば、その電子デバイスとは別の第2のデバイスとの)を進めるための生体認証を得る。
図24Qは、オフ状態のディスプレイ2402を備えた電子デバイス2400を示す。ディスプレイ2402がオフ状態にある間に、電子デバイスが、第2のデバイス2430(例えば、取引端末)を検出する(例えば、電子デバイスの無線通信無線機を介して)。いくつかの例では、電子デバイス2400は、ディスプレイ2402がオフ状態にある間に、第2のデバイス2430を検出することに応じて、支払い取引を進めるための支払いユーザインタフェース2412及びプロンプト2416をディスプレイ2402に表示する(図24Bに示すように)。
電子デバイス2400が、生体認証が失敗した(例えば、生体データは、ユーザに関連付けられた生体テンプレートと一致しない)と判断した場合、デバイスは、第1の状態から第2の状態に遷移せず、いくつかの例では、この電子デバイスは第1の状態のままになる(例えば、支払い取引を進めるための認証が無効にされたままになる)。いくつかの例では、電子デバイスは更に、例えば、生体認証インタフェース2420において生体特徴の表現のシミュレーションを表示することによって、生体認証が失敗したことを示す。図24Rに示すように、いくつかの例では、生体認証インタフェース2420は、生体認証が失敗したことを示すグリフ2436を含む。グリフ2436は、例えば、生体特徴が電子デバイスによって認識されなかったことを示す。いくつかの実施例では、電子デバイス2400は、生体認証インタフェース2420内のグリフ2436に加えて、生体認証が失敗したことを更に(ユーザに対して)示す触覚出力2438(例えば、触覚フィードバック)を生成する。
いくつかの例では、グリフ2436は更に、生体認証インタフェース2420の領域内で更に動いて(例えば、水平又は垂直に)、生体認証が失敗したことを更に(ユーザに対して)示す。例えば、図24Rから図24Sへ、図24Tへの遷移に示すように、グリフ2436は、所定の期間(例えば、3秒)にわたり水平方向に往復してスライドする(例えば、左右に連続的にスライドする移動を繰り返す)。いくつかの実施例では、デバイスは、生体認証インタフェース2420内のグリフ2436の移動の継続期間中に触覚出力2438(例えば、触覚フィードバック)を生成し続ける。いくつかの例では、触覚出力2438は、グリフ2436の移動と同期される。
いくつかの実施例では、図24Uに示すように、電子デバイス2400は、生体認証が失敗したことをユーザに示す生体認証インタフェース2420内のグリフ2436を表示しながら、支払い取引を進めるための代替(例えば、パスコード、パスワード)認証(例えば、生体認証に加えた又はその代わりの)を提供する代替認証アフォーダンス2440を支払いユーザインタフェース2412内(例えば、生体認証インタフェース2420の下)に表示する。いくつかの例では、図24Vに示すように、電子デバイスは、代替認証を提供する代替認証アフォーダンス2440を表示しながら、アフォーダンスのユーザ選択2411(例えば、タップジェスチャ)を検出する。
図24Wに示すように、アフォーダンス2440のユーザ選択の検出に応じて、電子デバイス2400は、代替認証インタフェース2442をディスプレイ2402に表示する。いくつかの例では、電子デバイス2400は、代替認証インタフェース2442の表示中に生体認証を実行する。いくつかの例では、電子デバイスは、生体データを取得して処理し、得られた生体データがユーザに関連付けられた生体テンプレートと一致するか否かを判定する。そのようなものとして、いくつかの例において、図24Wに示すように、代替認証インタフェース2442は、グリフ2444(例えば、グリフ2422に対応する)などの生体特徴の表現のシミュレーションを含む。いくつかの例では、代替認証インタフェース2442は、図24Xに示すように、例えば、1つ以上の回転リング2446(例えば、1つ以上の回転リング2424に対応する)を表示することによって、電子デバイスによって生体データが処理されていることを示す。いくつかの例では、1つ以上の回転リング2446が、代替認証インタフェース内のグリフ2444と置き換わる。
電子デバイス2400が、生体認証が成功した(例えば、生体データはユーザに関連付けられた生体テンプレートと一致する)と判定した場合、このデバイスは、機能(例えば、支払いクレデンシャルを送信する認証)が無効にされた第1の状態から機能が有効にされた第2の状態に遷移する。いくつかの例では、生体認証の成功により、電子デバイスが支払いクレデンシャル(例えば、支払いアカウント2414に関連付けられた)を、例えば取引端末に、伝送することが可能になる。いくつかの例では、電子デバイスは更に、例えば、代替認証インタフェース2442に生体特徴の表現のシミュレーションを表示することによって、生体認証が成功したことを示す。図23Yに示すように、いくつかの例では、代替認証インタフェース2442は、生体認証が成功したことを(ユーザに)示すグリフ2448(例えば、グリフ2426に対応する)を含む。いくつかの例では、グリフ2448は、代替認証インタフェース内の1つ以上の回転リング2446と置き換わる。
いくつかの実施例では、生体認証に加えて又はその代わりに、電子デバイス2400は、代替認証インタフェース2442の表示中にパスコード認証を実行する。これにより、電子デバイスは、パスコードデータを受信して処理し、ユーザに関連付けられた登録されたパスコードとこの受信したパスコードデータが一致するか否かを判定する。そのようなものとして、いくつかの例では、代替認証インタフェース2442は、図23Yに示すように、パスコード表示2450などの受信したパスコード入力の表示を含む。
図24Zでは、生体認証(及び/又はパスコード認証などの代替認証)が成功したと電子デバイス2400が判定することに続いて、この電子デバイスは、現在選択されている支払いアカウント(例えば、支払いアカウント2414)を使用する支払い取引を進めるための認証が与えられたことと、したがって、支払い取引(例えば、取引端末との)を開始することができることとを(ユーザに)示す。いくつかの例では、電子デバイス2400は、テキスト表示2452A(例えば、テキスト表示2428Aに対応する)及び/又はグラフィック表示2452B(例えば、グラフィック表示2428Bに対応する)を表示して、支払い取引が開始可能であることを示す。
図24AAは、図24Wのそれに類似した代替認証インタフェース2442をディスプレイ上に表示している電子デバイス2400を示す。図24Wのように、電子デバイス2400は、代替認証インタフェース2442の表示中に生体認証を実行する。これにより、電子デバイスは、生体データを取得して処理して、取得した生体データがユーザに関連付けられた生体テンプレートと一致するか否かを判定する。そのようなものとして、代替認証インタフェース2442は、生体データが取得された(又は取得中である)ことをユーザに示すグリフ2444を含む。図24ABでは、図24Xのように、代替認証インタフェース2442は、例えば、1つ以上の回転リング2446を表示することによって、生体データが電子デバイスによって処理されていることを示す。
電子デバイス2400が、生体認証は失敗した(例えば、ユーザに関連付けられた生体テンプレートと生体データが一致しない)と判定した場合、電子デバイスは、機能(例えば、支払いクレデンシャルを送信する認証)が無効にされた第1の状態から機能が有効にされた第2の状態への遷移を取り止める(したがって、デバイスが支払い取引を進めることを許可しない)。いくつかの例では、電子デバイス2400は更に、例えば、代替認証インタフェース2442に生体特徴の表現のシミュレーションを表示することによって、生体認証が失敗したことを(ユーザに)示す。図23ACに示すように、いくつかの例では、代替認証インタフェース2442は、生体認証が失敗したことを(ユーザに)示すグリフ2454(例えば、グリフ2436に対応する)を含む。
図24ADは、生体認証の失敗後に代替認証インタフェース2442をディスプレイ2402に表示する電子デバイス2400を示す。電子デバイスは、生体認証が失敗したというインジケーション(例えば、グリフ2454を介する)とともに表示する。いくつかの例では、図24AEに示すように、生体認証の失敗に続いて、電子デバイス2400は、ボタン2404の1つ以上のアクティブ化(例えば、ボタン2404の2回押下)を受けて、代替認証インタフェース2442を表示しながら生体認証プロセス(例えば、図24B〜図24Jを参照して説明したような)を再開する。したがって、生体認証及び/又は代替認証プロセスに失敗したとき、ユーザは、ボタン2404の1つ以上のアクティブ化を介してこのプロセスを再試行することができる。いくつかの例では、生体認証プロセスを所定の連続回数試みて失敗した、又は所定の期間内に所定の連続回数試みて失敗した場合、ボタン2404の1つ以上のアクティブ化(例えば、ボタン2404の2回押下)は、生体認証プロセス(例えば、図24B〜図24Jを参照して説明したような)の再開をそれ以上可能にしない。
図24AFにおいて、電子デバイス2400は、代替認証インタフェース2442を表示しながら、第2のデバイス2430(例えば、取引端末)を検出する(例えば、デバイスの無線通信無線機を介して)。いくつかの例では、第2のデバイス2430を検出することに応じて、電子デバイス2400は、代替認証インタフェースを表示しながら、支払いユーザインタフェースと、支払い取引を進めるプロンプト(例えば、図24Bに示すプロンプト2416に対応する)とを表示する。
図24AGは、支払いユーザインタフェース2412をディスプレイ2402に表示し、現在選択されている支払いアカウント(例えば、支払いアカウント2414)を用いて取引を開始することを許可された(例えば、生体及び/又はパスコードなどの代替の認証を無事に提供された後)、電子デバイス2400を示す。いくつかの例では、支払いユーザインタフェース2412は、図24AGに示すように、メニュータブ2456(例えば、ディスプレイの底縁部の隣の、インタフェースの下部領域にある)を含む。いくつかの例では、電子デバイスは、メニュータブ2456のスライドさせるジェスチャ2415(例えば、上に向かって)を検出する。例えば、スライドさせるジェスチャ2415は、メニュータブ2456に触れてスライドさせる(上方向へ)ジェスチャに対応する。
いくつかの例では、図24AHに示すように、メニュータブ2456上のスライドさせるジェスチャ2415はメニュータブを拡張する(例えば、支払いユーザインタフェース2412の上に)。拡張されると、メニュータブ2456は、デバイス上にインストールされかつメニュータブからアクセス可能なアプリケーションに対応する1つ以上のアプリケーションアフォーダンス(例えば、アプリケーションアフォーダンス2456A〜2456D)を含む。例えば、メニュータブ2456は、メッセージングアプリケーションに対応する第1のアプリケーションアフォーダンス2456Aと、音声通話アプリケーションに対応する第2のアプリケーションアフォーダンス2456Bと、電子メールアプリケーションに対応する第3のアプリケーションアフォーダンス2456Cと、ブラウジングアプリケーションに対応する第4のアプリケーションアフォーダンス2456Dとを含む。いくつかの実施例では、ファーストパーティーアプリケーション(デバイスのオペレーティングシステムによって制御される)のみをメニュータブ2456に含めることができる。
図24AIは、ジェスチャがディスプレイ上での下方向へのスライドである(それにより、拡張されたメニューバーを縮小する)間に、スライドさせるジェスチャ2415を検出する電子デバイス2400を示す。図24AJに示すように、メニューバー2456の下方向にスライドさせるジェスチャ2415の結果として、メニューバーは、元のサイズ及び場所(例えば、支払いユーザインタフェース2412の下部)まで縮小する(又は折り畳む)。メニューバーが完全に折り畳むと、支払いユーザインタフェースをディスプレイ上で再び完全に見ることができる。
図24AKは、ブラウジングアプリケーションのウェブページ2458をディスプレイ2402に表示する電子デバイス2400を示す。例えば、ウェブページ2458は、ユーザが購入を希望するアイテム2460のレジページであり、このアイテムの購入を進める購入アフォーダンス2462を含む。いくつかの例では、図24AKに示すように、電子デバイスは、購入アフォーダンス2462のユーザアクティブ化2417を検出する。
いくつかの実施例では、購入アフォーダンス2462のユーザアクティブ化を検出したとき、電子デバイス2400は、図24ALに示すように、支払いシートインタフェース2464をディスプレイ2402に表示する。いくつかの例では、支払いシートインタフェース2464は、(部分的に)ブラウジングアプリケーションの上に重なり、生体認証インタフェース2420を含む。いくつかの例では、図24ALにやはり示すように、支払いシートインタフェースに加えて、デバイスは更に、購入の認証の提供を進めるための1つ以上のアクティブ化(例えば、ボタン2404の2回押下)を行うように(ユーザに)示唆するプロンプト2466(例えば、プロンプト2416に対応する)を表示する。
いくつかの例では、支払いシートインタフェース2464は、図24ALに示すように、提案されている取引に関する1つ以上の細目(例えば、支払いアカウント、出荷方法、請求書送付先住所、発送先、連絡先情報)を含む。いくつかの例では、1つ以上の細目は、選択された支払いアカウントを含む。いくつかの例では、ユーザは、選択された支払いアカウントに対応する細目領域2464A(その中の領域又はその中のアイコン)を選択することによって、選択された支払いアカウントから別の支払いアカウントに変更することができる。いくつかの例では、1つ以上の細目は、選択された出荷方法を含む。いくつかの例では、ユーザは、選択された出荷方法に対応する細目領域2464B(その中の領域又はその中のアイコン)を選択することによって、選択された出荷方法を別の出荷方法に変更することができる。いくつかの例では、1つ以上の細目は、選択された住所(例えば、請求書送付先住所、発送先住所)を含む。いくつかの例では、ユーザは、選択された住所に対応する細目領域2464C(その中の領域又はその中のアイコン)を選択することによって、選択した住所を別の住所に変更することができる。いくつかの例では、1つ以上の細目は、選択された連絡先情報(例えば、電子メール、電話番号)を含む。いくつかの例では、ユーザは、選択された連絡先情報に対応する細目領域2464D(その中領域又はその中のアイコン)を選択することによって、選択した連絡先情報を別の連絡先情報に変更することができる。
図24AMでは、ブラウジングアプリケーションのウェブページ2458の上に支払いシートインタフェース2464及びプロンプト2466を表示した後、電子デバイス2400は、プロンプト2466の要求に対応する入力(例えば、ボタン2404の2回押下)を検出する。いくつかの例では、プロンプト2466の要求に対応する入力(例えば、ボタン2404の2回押下)を受信したとき、グリフ2468(例えば、グリフ2422に対応する)が、支払いシートインタフェース2464内に表示された生体認証インタフェース2420内に提供される。更に入力に応じて、1つ以上のカメラ又は顔認識センサ(例えば、1つ以上の生体センサ2403の中に含む)などの電子デバイス2400の1つ以上の生体センサがアクティブ化される。
いくつかの例では、電子デバイス2400は、1つ以上の生体センサがアクティブ化されると、ユーザに関連する生体特徴に対応する生体データを取得(例えば、キャプチャ)する。いくつかの例では、生体特徴は、電子デバイスの1つ以上の生体センサ2403(及び/又は1つ以上のカメラの)を使用して生体データをキャプチャする。任意選択的に、赤外線投光器又は構造化光プロジェクタなどの発光デバイスを用いて、生体特徴の照明を補助する。他の例では、電子デバイスは、別のデバイスから生体データを受信する。
いくつかの例では、電子デバイス2400が生体データを取得すると、電子デバイスは、この生体データを処理(例えば、分析)して、生体認証が成功したか否かを判定する。いくつかの例では、この判定は、ユーザに関連付けられた生体テンプレートと生体データが一致するか否かを判定することを含む。生体テンプレートは、任意選択的に、電子デバイス2400に記憶される。
いくつかの例では、図24AOに示すように、支払いシートインタフェース2464内の生体認証インタフェース2420は、例えば、生体認証インタフェースを使用して1つ以上の回転リング2470(例えば、1つ以上の回転リング2424に対応する)を表示することによって、生体データが電子デバイスによって処理されていることを示す。いくつかの例では、1つ以上の回転リング2470が、生体認証インタフェース内のグリフ2468と置き換わる。
電子デバイス2400が、生体認証が成功した(例えば、生体データはユーザに関連付けられた生体テンプレートと一致する)と判定した場合、この電子デバイスは、機能(例えば、支払い取引で使用する支払いクレデンシャルの送信の認可)が無効にされた第1の状態からこの機能が有効にされた第2の状態に遷移する。そのようなものとして、生体認証が成功した場合、デバイスは、支払いクレデンシャル(例えば、支払いアカウント2472に関連付けられた)が支払い取引(例えば、アイテム2460の購入を行うための)で使用するために送信(例えば、取引端末へ、外部サーバへ)を許可された状態にある。いくつかの例では、図24APに示すように、電子デバイスは更に、生体認証が成功したことを(ユーザに)示すグリフ2474(例えば、グリフ2426に対応する)を表示することによって、生体認証が成功したことを示す。いくつかの例では、グリフ2474は、生体認証インタフェース内の1つ以上の回転リング2470と置き換わる。
いくつかの例では、生体認証が成功したという判定に応じて、電子デバイス2400は、支払い取引を処理する(例えば、外部サーバなどの外部デバイスに支払いクレデンシャルを送信し、クレデンシャルが無事に受信されたことを示す外部デバイスからの応答を受信する)。いくつかの例では、図24AQに示すように、電子デバイス2400はまた、支払い取引が処理されていることを(ユーザに)示す支払いシートインタフェース2464内の処理表示2476(例えば、1つ以上のリング2470に類似する又はこれと同一のパターンを有する)を表示する。いくつかの例では、取引の処理が完了すると、電子デバイス2400は、図24ARに示すように、処理表示2476を完了表示2467(例えば、完了を示すチェックマークを含む)で置き換え、これによって、支払い取引が無事に完了した(そして、アイテム2460は無事に購入された)ことを(ユーザに)示す。
いくつかの実施例では、アプリケーション内で又はウェブ(例えば、ウェブページ2458)上で支払いを行うために、電子デバイスは、ユーザがハードウェアボタン(例えば、ボタン2404)をアクティブ化すること(例えば、スリープ/ウェイクボタンをダブルクリックすること)によって意図を確認することを求め、次いで、生体認証(例えば、顔認識認証)を用いて認証して支払いを許可する。いくつかの例では、支払い取引が、ハードウェアボタン(例えば、2404)のアクティブ化(例えば、スリープ/ウェイクボタンのダブルクリック)の所定の時間閾値(例えば、30秒)内に完了しなかった場合、デバイスは、再びユーザがハードウェアボタン(例えば、ボタン2404)をアクティブ化すること(例えば、スリープ/ウェイクボタンをダブルクリックすること)によって支払いの意図を再確認することを求める。
図24ASは、ブラウジングアプリケーションのウェブページ2484(例えば、ウェブページ2458に類似)をディスプレイ2482に表示する電子デバイス2480(例えば、ラップトップコンピュータ)を示す。例えば、ウェブページ2484は、ユーザが購入を希望するアイテム2486のレジページである。いくつかの例では、ブラウジングアプリケーションのウェブページ2484は、電子デバイス2480とは異なるデバイスを使用した(例えば、電子デバイス2400を使用した)アイテムの購入を進めるために認証を行う購入アフォーダンス2488を含む。
いくつかの実施例では、電子デバイス2480での購入アフォーダンス2480のユーザアクティブ化により電子デバイス2400に、図24ATに示すような、遠隔支払いユーザインタフェース2490を表示させる。いくつかの例では、遠隔支払いユーザインタフェース2490は、支払い取引を進めるための遠隔認証を要求するデバイス(例えば、電子デバイス2480)の(グラフィック)表示2492と、支払い取引においてユーザのために現在選択されてある支払いアカウント2494の表示と、支払い取引の認証(例えば、生体認証)の提供を進めるためのボタン2404の1つ以上のアクティブ化(例えば、2回押下)をユーザが行うことを要求するプロンプト2496(例えば、プロンプト2416に対応する)とを含む。いくつかの例では、図24ATに示すように、プロンプト2496は、1つ以上の表示されたオブジェクトに対して(例えば、電子デバイス2480の表示2492に対して)強調される。この方式でのプロンプトの強調は、例えば、遠隔支払いユーザインタフェース2490の1つ以上の部分の暗転、ぼかし、及び/又は他の方法での難読化を含む。
いくつかの例では、支払い取引において使用するために現在選択されている支払いアカウントの表示2494は、アフォーダンス2494Aを含む。いくつかの例では、図24AUに示すように、電子デバイス2400は、アフォーダンス2494Aのユーザアクティブ化2421(例えば、タップジェスチャ)を検出する。いくつかの例では、アフォーダンス2494Aのユーザ選択の検出に応じて、電子デバイス2400は、図24AVに示すように、デバイス上に用意された(したがって、支払い取引において使用するために利用可能な)1つ以上の支払いアカウント(例えば、支払いアカウント2494、支払いアカウント2498)の表現を遠隔支払いユーザインタフェース2490内に表示する。いくつかの例では、図24AVにやはり示すように、現在選択されている支払いアカウントの表現はまた、それが現在選択されているアカウントに対応することを(ユーザに)示す表示2494B(例えば、チェックマーク)を含む。
図24AWでは、電子デバイス上に用意された支払いアカウント(例えば、支払いアカウント2494、支払いアカウント2498)の表現を遠隔支払いユーザインタフェース2490内に表示しながら、電子デバイス2400は、現在選択されている支払いアカウント(例えば、支払いアカウント2494)とは異なる支払いアカウント(例えば、支払いアカウント2498)のユーザ選択2423を検出する。支払いアカウント2498のユーザ選択2423の検出に応じて、電子デバイス2400は、図24AXに示すように、遠隔支払いユーザインタフェース2490から利用可能な支払いアカウントの表現を除去し、支払い取引で使用するために現在選択されている支払いアカウントとして支払いアカウント2498(支払いアカウント2494の代わりに)を表示する。
図24AXにやはり示すように、支払いアカウント2494を支払いアカウント2498に置き換えた後、電子デバイス2400は、プロンプト2496の要求に対応するボタン2404の1つ以上のアクティブ化2425(例えば、2回押下)を検出する。図24AYでは、ボタン2404の1つ以上のアクティブ化2425の検出に応じて、電子デバイス2400は、生体認証インタフェース2420を遠隔支払いユーザインタフェース2490内に表示する。いくつかの例では、電子デバイスは更に、遠隔支払いユーザインタフェース2490内に表示された生体認証インタフェース2420内にグリフ2499(例えば、グリフ2422に対応する)を表示する。更に入力に応じて、1つ以上のカメラ又は顔認識センサなどの電子デバイス2400の1つ以上の生体センサ(例えば、1つ以上の生体センサ2403を含む)がアクティブ化される。
いくつかの例では、電子デバイス2400は、1つ以上の生体センサがアクティブ化されると、ユーザに関連する生体特徴に対応する生体データを取得(例えば、キャプチャ)する。いくつかの例では、生体特徴は、電子デバイスの(及び/又は1つ以上のカメラの)1つ以上の生体センサ2403を用いて生体データをキャプチャする。任意選択的に、赤外線投光器又は構造化光プロジェクタなどの発光デバイスを用いて、生体特徴の照明を補助する。他の例では、電子デバイスは、別のデバイスから生体データを受信する。
いくつかの例では、電子デバイス2400が生体データを取得すると、この電子デバイスは、生体データを処理(例えば、分析)して、生体認証が成功したか否かを判定する。いくつかの例では、この判定は、ユーザに関連付けられた生体テンプレートと生体データが一致するか否かを判定することを含む。生体テンプレートは、任意選択的に、電子デバイス2400に記憶される。
いくつかの例では、図24AZに示すように、遠隔支払いユーザインタフェース2490内の生体認証インタフェース2420は、例えば、生体認証インタフェースを使用して1つ以上の回転リング2497(例えば、1つ以上の回転リング2424に対応する)を表示することによって、生体データが電子デバイスによって処理されていることを示す。いくつかの例では、1つ以上の回転リング2497が、生体認証インタフェース内のグリフ2499と置き換わる。
電子デバイス2400が、生体認証が成功した(例えば、生体データがユーザに関連付けられた生体テンプレートと一致する)と判定した場合、電子デバイスは、機能(例えば、支払い取引で使用する支払いクレデンシャルの送信を許可すること)が無効にされた第1の状態からこの機能が有効にされた第2の状態に遷移する。そのようなものとして、生体認証が成功した場合、デバイスは、支払いクレデンシャル(例えば、支払いアカウント2498に関連する)が支払い取引(例えば、アイテム2486の購入を行うための)で使用するために送信(例えば、取引端末への、外部サーバへの)を許可された状態にある。いくつかの例では、図24BAに示すように、電子デバイスは更に、例えば、生体認証が成功したことを(ユーザに)示すグリフ2495(例えば、グリフ2426に対応する)を表示することによって、生体認証が成功したことを示す。いくつかの例では、遠隔支払いユーザインタフェース2490の生体認証インタフェース2420内の1つ以上の回転リング2497をグリフ2495に置き換える。
いくつかの例では、生体認証が成功したという判定に応じて、電子デバイス2400は支払い取引を処理する(例えば、外部サーバなどの外部デバイスに支払いクレデンシャルを送信し、クレデンシャルが無事に受信されたことを示す外部デバイスからの応答を受信する)。いくつかの例では、図24BBに示すように、電子デバイス2400はまた、支払い取引が処理されていることを(ユーザに)示す遠隔支払いユーザインタフェース2490内の処理表示2493(例えば、1つ以上のリング2497と類似する又は同一のパターンを有する)を表示するいくつかの例では、取引の処理が完了すると、電子デバイス2400は、図24BCに示すように、処理表示2493を完了表示2491(例えば、完了を示すチェックマークを含む)に置き換え、それにより、支払い取引が無事に完了した(そして、アイテム2486が無事に購入されたこと)を(ユーザに)示す。
図25A〜図25Cは、いくつかの実施例に係る、電子デバイスを使用して生体認証を実行する方法を示すフロー図である。方法2500は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び、無線通信無線機(例えば、Bluetooth(登録商標)接続、WiFi(登録商標)接続、4GLTE接続などのモバイルブロードバンド接続)を備えるデバイス(例えば、100、300、500、1900)において実行される。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つのみのカメラを含む。いくつかの例では、デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを任意選択的に含む、1つ以上の生体センサを含む。いくつかの例では、デバイスは、赤外線投光器、構造化光プロジェクタ、又はその組合せなどの発光デバイスを更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に、生体特徴(例えば、顔)を照明するために使用される。方法2000のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
以下において説明されるように、方法2500は、生体認証を管理する直感的な方法を提供する。この方法は、生体認証を管理するユーザの認識的負担を軽減し、それによって、更に効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが生体認証を更に速くかつ更に効率的に管理することを可能にすることにより、電力が節約され、バッテリ充電の間隔は延びる。
いくつかの例では、電子デバイス(例えば、2300、2400)は、アクションを進める要求を第2のデバイスから受信し(2502)、この要求は、第2のデバイスで選択された1つ以上のオプションに関連する情報を含む。いくつかの例では、電子デバイスは、取引を進める要求を受信し、取引の詳細に関する第2のデバイスからの情報を更に受信する。いくつかの例では、アクションは、取引を含む。いくつかの例では、電子デバイスは、取引参加の要求に対応するユーザ入力を受信する前に、取引に対応する入力を第2のデバイスから受信して、この入力は取引の1つ以上の細目を含み、取引を進めるための認証の要求とともに取引に関連する1つ以上の取引細目を表示する。
電子デバイス(例えば、2300、2400)は、この電子デバイスが、デバイスの対応する機能が無効にされた第1の状態にある間に、ボタン(例えば、2304、2404)の1つ以上のアクティブ化(例えば、ハードウェアボタン又は機械式ボタンなどのボタンの2回押下、ボタン2304又はボタン2404の2回押下)を検出する(2508)。いくつかの例では、この対応する機能は、商品又はサービスに対する支払いなどの金融取引に関連する。いくつかの例では、機能が無効にされている場合、デバイスは、取引に参加することができない。
いくつかの例では、電子デバイス(例えば、2300、2400)の対応する機能は、取引への参加である(2510)。いくつかの例では、取引への参加は、電子デバイスからのセキュリティ保護されたデータの送信を含む。いくつかの例では、このセキュリティ保護されたデータは金融データである。いくつかの例では、取引は、セキュリティ保護されていないデータの送信を付加的に又は代替的に含む。いくつかの例では、デバイスが取引に参加することを可能にする情報は、セキュア要素(例えば、クレデンシャルをそれらが悪意を持ってアクセスされるのを防ぐような方法で記憶する物理的に及び/又は論理的に隔離されたメモリ)に安全に記憶される。いくつかの例では、電子デバイスは、第1の状態にある場合、取引(例えば、商品又はサービスに対する支払いなどの金融取引)に参加することを可能にされない。いくつかの例では、デバイスが第1の状態にある場合、デバイスが取引に参加することを可能にする情報はセキュア要素の外のデバイスにおいてアクセス不可能である(例えば、支払いクレデンシャルは無線支払い取引において使用するために利用することはできない)。
いくつかの例では、電子デバイス(例えば、2300、2400)の対応する機能は、電子デバイス(2512)の短距離通信無線を介するアクションに関連する情報を提供する機能である。いくつかの例では、電子デバイスは、このデバイスのディスプレイ(例えば、2302、2402)、生体センサ(例えば、2303、2403)、及び/又は1つ以上の他の構成要素が非アクティブである非アクティブ状態にある間、第1の状態にある。いくつかの例では、デバイスの対応する機能が、デバイスの短距離通信無線(例えば、NFC送信機)を介してアクション(例えば、取引)に関連する情報(例えば、支払い情報)を提供する機能であるため、電子デバイスは、第1の状態にあるときに取引に参加するように構成されない。例えば、デバイスは、生体又はパスコード/パスワード認証とともに受信されるハードウェアボタン(例えば、2304、2404)のダブルクリックなどの支払い情報を提供するための認証がユーザによって提供されるまで、デバイスは支払い情報の要求に対して支払い情報で応答しない。
いくつかの例では、電子デバイス(例えば、2300、2400)のディスプレイがオフである又は支払いに関連しないユーザインタフェース(例えば、ロックスクリーンユーザインタフェース、複数の最近の通知を含むカバーシートユーザインタフェース、複数の異なるアプリケーションのアプリケーションアイコン若しくは任意選択的に1つ以上のウィジェットを含むホーム画面ユーザインタフェース、又は、電子メールアプリケーション、電話アプリケーション、メッセージアプリケーション、若しくはカメラアプリケーションなどの決済アプリケーションではないアプリケーションのアプリケーションユーザインタフェース)を表示している間にボタン(例えば、2304、2404)の1つ以上のアクティブ化が少なくとも部分的に生じる(2514)。
いくつかの例では、電子デバイス(例えば、2300、2400)のディスプレイがオフである又は支払いに関連しないユーザインタフェースを表示している間に、電子デバイスは、支払い情報の要求に応じて決済端末(例えば、2430)に支払い情報を送信するように構成されない(例えば、ユーザは支払い情報の提供を意図していない状況において支払い情報が意図せずに提供されないように保護するために)。いくつかの例では、デバイスのディスプレイがオフである又は支払いに関連しないユーザインタフェースを表示している場合に少なくともいくつかの状況において、電子デバイスは、支払い情報の要求をリッスンし、支払い情報が要求されたことをユーザに知らせて、支払い情報を提供するための認証を提供するようにユーザに促す支払いユーザインタフェース(例えば、仮想財布)を表示することによって、支払い情報を求める少なくともいくつかの要求に応答する。
いくつかの例では、(ハードウェア)ボタンの1つ以上のアクティブ化は、ボタン(2516)の2回押下(例えば、所定の期間内のボタンの第1の押下及び第2の押下)を含む。いくつかの例では、ハードウェアボタン(例えば、2304、2404)は、電子デバイス(例えば、2300、2400)の側面にある。いくつかの例では、ハードウェアボタンは機械式ボタンである。いくつかの例では、所定の期間内にボタンの第2のアクティブ化がないボタンのアクティブ化は、異なる機能(例えば、デバイスのディスプレイのスイッチを入れる又は切ること)を実行する。いくつかの例では、ボタンの異なるアクティブ化(例えば、異なる期間のボタンの長押し)は、異なる機能(例えば、デバイスのスイッチを切る又はアシスタントの呼び出しのためのユーザインタフェースの入力)を生じさせる。
いくつかの例では、第1のアプリケーションが電子デバイス(2518)上でアクティブである間に、(ハードウェア)ボタン(例えば、2304、2404)の1つ以上のアクティブ化が検出される。いくつかの例では、チュートリアルインタフェース(例えば、2410)を表示している間にボタンの1つ以上のアクティブ化の検出が生じる(2520)。いくつかの例では、電子デバイス(例えば、2300、2400)は、チュートリアルインタフェースを表示しないが、生体認証インタフェース(例えば、2322、2420)を表示し、生体認証を実行する。生体認証(例えば、パスワード認証などの別の種類の認証とは対照的に)の実行により、ユーザがデバイスを使用して特定の操作(例えば、取引)を実行するための認証をより素早くかつ簡単に(例えば、入力なしに、より短い期間内に)行うことを可能にする。操作を行うために必要な入力の数を低減することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスで操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を低減し、バッテリ寿命を改善する。
いくつかの例では、ボタン(例えば、2304、2404)は、電子デバイス(例えば、2300、2400)のディスプレイに対して固定の位置を有する(例えば、ボタンは単にソフトウェアボタンではない)。いくつかの例では、ボタンは、機械式ボタン又はソリッドステートボタンなどのハードウェアボタンである。いくつかの例では、ボタンは、スイッチ又は任意の他の種類のトグルである。いくつかの例では、ボタンは、電子デバイスがボタンの位置に基づいてプロンプトを表示することができるように、電子デバイスに対して、具体的には電子デバイスのディスプレイに対して、固定の位置を有する。
いくつかの例では、ボタン(例えば、2304、2404)は、機械式ボタン(例えば、プッシュボタンなどのハードウェアボタン)である。いくつかの例では、ボタンは、電子デバイス(例えば、2300、2400)のタッチスクリーン上のボタンなどのソフトウェアボタンではない。いくつかの例では、ボタンはソリッドステートボタンである。いくつかの例では、ボタンは、容量性及び/又は抵抗性タッチに応じて動作するソリッドステートボタンであり、及び/又は、ボタンをアクティブ化するために押し下げられた機械スイッチを有することなく入力の強度の変化に反応する代わりに、ソリッドステートボタンのアクティブ化に対応する強度閾値を入力の強度が上回るかどうかを監視する。
いくつかの例では、電子デバイス(例えば、2300、2400)は、ボタン(例えば、2304、2404)の1つ以上のアクティブ化を検出する(2508)前に、ボタンの1つ以上のアクティブ化が行われることを要求するプロンプト(例えば、2318、2416)を出力する(2504)(例えば、ディスプレイを表示することによって)。いくつかの例では、電子デバイスは、「支払うにはダブルクリック」を表示することによってユーザに促す。いくつかの例では、プロンプトが、電子デバイスのディスプレイ(例えば、2302、2404)上に表示される。いくつかの例では、プロンプトはボタンに隣接して表示される。いくつかの例では、プロンプトは、聴覚的及び/又は触覚的プロンプトである。いくつかの例では、デバイスが取引ユーザインタフェースを表示しているが、取引端末が近隣にあり取引クレデンシャルを要求しているというインジケーションを受信しない場合、プロンプトが表示される(例えば、支払い情報を要求しているNFCリーダのNFCフィールド内にデバイスが置かれる前に、ボタンの1つ以上のアクティブ化を行うようにというプロンプトが表示される)。いくつかの例では、電子デバイスは、プロンプトを出力する前に、アフォーダンスを含むチュートリアルインタフェースを表示する。
いくつかの例では、プロンプト(例えば、2318、2416)の出力は、アフォーダンスの選択に応じて生じる。いくつかの例では、チュートリアルインタフェース(例えば、2410)は、ボタンのもう一度のアクティブ化を行うことなく対応する機能の実装をユーザが試みる第1の時間を表示される。いくつかの例では、チュートリアルインタフェースは、デバイス上のボタン(例えば、2304、2404)の場所に基づく場所にアニメーションを含む(例えば、アニメーションは、デバイス上のボタンに隣接又は近接する場所においてボタンを押すことができる方向でのユーザインタフェースオブジェクトの移動を含む)。
いくつかの例では、プロンプト(例えば、2318、2416)をユーザに対して出力してボタンの1つ以上のアクティブ化を行うことは、電子デバイス(例えば、2300、2400)のディスプレイに表示された1つ以上の要素に対してプロンプトを強調することを含む(2506)。いくつかの例では、プロンプトを強調することは、電子デバイスのディスプレイの少なくとも一部の表示をぼかす、暗くする、及び/又は中止することを含む。いくつかの例では、プロンプトを強調することは、プロンプトを明るくすること、プロンプトの点滅、又は他の方法でプロンプトへの注意を喚起することを含む。いくつかの例では、電子デバイスのディスプレイに表示された1つ以上の要素に対してプロンプトを強調することは、1つ以上の要素をぼかすことを含む。いくつかの例では、ディスプレイ(例えば、2302、2402)に表示されたすべての要素(プロンプトを除く)は、ぼかされる。いくつかの例では、プロンプトに隣接する要素のみが、ぼかされる。いくつかの例では、電子デバイスのディスプレイに表示された1つ以上の要素に対してプロンプトを強調することは、この1つ以上の要素の表示を暗くすることを含む。いくつかの例では、ディスプレイに表示されたすべての要素(プロンプトを除く)が暗くされる。いくつかの例では、プロンプトに隣接する要素のみが暗くされる。任意選択的にこの方式で暗くすることは、輝度を下げること及び/又は表示された色を暗くすることを含む。
いくつかの例では、プロンプト(例えば、2318、2416)の出力は、所定の種類の外部信号の検出に応じて生じる。いくつかの例では、電子デバイス(例えば、2300、2400)は、決済端末(例えば、2430)などのNFCリーダからのNFCフィールドなどの信号を検出し、NFCリーダへの送信に利用可能な支払いクレデンシャルをデバイスが作ることを許可するための生体認証プロセスを開始するための入力を行うようにユーザに促す。
いくつかの例では、プロンプト(例えば、2318、2416)を出力することは、ボタンに隣接するプロンプト要素を含む教育インタフェースを表示することを含む。いくつかの例では、電子デバイス(例えば、2300、2400)は、プロンプトがボタンの場所の近くに表示される及び/又はボタンの場所を示すインタフェースを用いて、ボタン(例えば、2304、2404)の1つ以上のアクティブ化を行うようにユーザに促す。いくつかの例では、ユーザが電子デバイスの対応する機能の実装を試みたが、電子デバイスが対応する機能を実装できるように生体認証を開始するために必要な1つ以上のアクティブ化を行っていない場合に、教育インタフェースが表示される。
いくつかの例では、電子デバイス(例えば、2300、2400)は、生体認証インタフェース(例えば、2322、2420)内の第1の位置にあるボタン(例えば、2304、2404)の1つ以上のアクティブ化を行うためのプロンプトをディスプレイに表示する。ボタンの1つ以上のアクティブ化が行われることを要求するプロンプトを出力することにより、デバイスの現在の状態に関するフィードバックをユーザに提供し、デバイスを使用して特定の機能を進めるためにユーザがどのようなステップを講じなければならないかを示すユーザに対する視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、電子デバイス(例えば、2300、2400)は、第1のアプリケーションのアフォーダンスのアクティブ化(例えば、選択)(例えば、商品又はサービスの取引を要求するアプリケーションのアフォーダンスのアクティブ化)を検出する。いくつかの例では、第1のアプリケーションは通信アプリケーションである。いくつかの例では、デバイスは、取引の細目と、取引を開始するアフォーダンス及び生体認証をトリガするプロンプトのうちの1つ以上とを表示する。いくつかの例では、取引の細目は、アフォーダンスのアクティブ化の前に又は生体認証がユーザ入力(例えば、2回押下)を用いてトリガされた後に生体特徴の検出の前に、任意選択的に修正される。
いくつかの例では、第1のアプリケーションのアフォーダンスのアクティブ化の検出(2522)に応じて、電子デバイス(例えば、2300、2400)は、第1のアプリケーションから第2のアプリケーションへのアクションに関連する情報を提供(例えば、伝送)する。いくつかの例では、第1のアプリケーションから第2のアプリケーションへのアクションは、取引を含む。いくつかの例では、取引参加の要求に対応するユーザ入力を受信する前に、電子デバイスは、第1のアプリケーションのアフォーダンスのアクティブ化の検出に応じて、第1のアプリケーションのアフォーダンスのアクティブ化を検出し、第1のアプリケーションから第2のアプリケーションに取引に関する情報を提供し、第2のアプリケーションを使用して取引を進める。
いくつかの例において、電子デバイスはまた、第1の場所(例えば、第1のアプリケーションとは別個で、クレジットカード番号、請求書送付先住所などの第1のアプリケーションと共有されない取引情報を含む支払いユーザインタフェース領域内)においてアクションに関連する情報の少なくとも一部を、そして、第2の場所においてボタンの1つ以上のアクティブ化を行うための第2のプロンプトをディスプレイ(例えば、2302、2402)に同時に表示し、第2の場所は第1の場所よりもボタンに近い。
いくつかの例では、ボタンのアクティブ化を行うためのプロンプトをボタンに近接して表示することができるように、ボタン(例えば、2304、2404)のアクティブ化を受信する以前、取引の細目は、ディスプレイの特定の部分に留められる。プロンプトが関連するボタンに近接して表示され得るように取引の細目をディスプレイの特定の部分に留めることにより、ユーザがプロンプトの要求に更に素早くかつ簡単に従うことを可能にする視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、細目は、ディスプレイの特定の高さに限定される。いくつかの例では、第2のプロンプトより下の使用可能な領域に表示することができる情報が更にある場合、アクションに関連する情報は、スクロール可能領域がスクロールされるまで隠される(例えば、画面外の)追加情報を表示するためにユーザ入力に応じてスクロールするスクロール可能領域に表示される。いくつかの例では、第1のアプリケーションから第2のアプリケーションに取引に関する情報を提供することは、使用可能な領域に表示することができる情報及び隠された追加情報を提供することを含む。
いくつかの例では、プロンプト(例えば、2318、2416)を表示した後、電子デバイス(例えば、2300、2400)は、ディスプレイ(例えば、2302、2402)上の第2の位置からディスプレイ上の第1の位置にユーザクレデンシャルの表現を移動する。いくつかの例では、ユーザクレデンシャルがボタン(例えば、2304、2404)を押下(例えば、ダブルクリック)するためのプロンプトをカバーする及び/又は生体認証グリフ(例えば、2324、2422)を見せるように、ユーザクレデンシャルの表現を移動する。いくつかの例では、第2の位置から第1の位置にユーザクレデンシャルの表現を移動することは、ユーザクレデンシャルが第2の位置に表示されたときにユーザクレデンシャルによって占有されたディスプレイの一部において生体認証グリフを表示することを含む。
ボタンの1つ以上のアクティブ化の検出(2522)に応じて、電子デバイス(例えば、2300、2400)は、ボタン(例えば、2304、2404)とは別個の1つ以上の生体センサ(例えば、2303、2403)で生体データをキャプチャする(2524)。いくつかの例では、ハードウェアボタンの2回押下に応じて、デバイスは、ユーザの顔のデータなどの生体データを受信する。いくつかの例では、1つ以上の生体センサは顔認識センサを含み、生体データは顔の少なくとも一部に対応する。
いくつかの例では、生体データをキャプチャすることは、カメラを使用して生体データをキャプチャすることを含む。いくつかの例では、生体データは、カメラ及び/又は顔認識センサ(例えば、2303、2403)を使用してキャプチャされる。いくつかの例では、ユーザがデバイスを見ていることを確保するためにカメラが使用され、ユーザの顔を認証するために顔認識センサが使用される。
いくつかの例では、1つ以上の生体センサで生体データをキャプチャすることは、第2の所定の期間にわたり1つ以上の生体センサ(例えば、2303、2403)をアクティブ化することを含む。例えば、ボタン(例えば、2304、2404)の押下に応じて、電子デバイス(例えば、2300、2400)は、顔認識センサ又はカメラなどの1つ以上の生体センサ(例えば、2303、2403)をアクティブ化(例えば、生体センサを非アクティブ状態からアクティブ状態に遷移)し、アクティブ化された1つ以上の生体センサを使用して生体データをキャプチャする。いくつかの例では、アクティブ化された1つ以上の生体センサは、ある期間にわたりアクティブ化され、生体データがその期間中にキャプチャされない場合、生体認証プロセスは失敗する。いくつかの例では、第2の所定の期間は、ボタンの1つ以上のアクティブ化が検出されたときに開始する。いくつかの例では、期間は、ボタンが押下されたときに開始する。いくつかの例では、この方式で生体データをキャプチャすることは、生体特徴を照明することと、この照明に対応するデータをキャプチャすることとを含む。いくつかの例では、生体特徴は、赤外線投光器又は構造化光プロジェクタを使用して照明される。
いくつかの例では、ボタンの1つ以上のアクティブ化の検出(2522)に応じて、電子デバイス(例えば、2300、2400)はまた、適切な生体認証なしに使用されることを制限されたユーザクレデンシャルの表現を含む生体認証インタフェース(例えば、2322、2420)を表示する(2526)。いくつかの例では、生体認証インタフェースは、認証グリフ(例えば、2324、2422)及び/又はユーザクレデンシャルの1つ以上の表現(例えば、クレジットカードの画像、銀行口座の画像、名刺の画像などの電子デバイスの機能によって使用されることになるデータを表す画像)を含む。認証グリフを提供することにより、認証プロセスの現在の状態又は進度に関する簡単に可視及び認識可能な視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。いくつかの例では、機能は、表現されたデータを使用して取引を実行する。いくつかの例では、生体認証は、特定のクレデンシャルについて実行され、クレデンシャルは、その他のクレデンシャルに対して強調表示される。いくつかの例では、生体認証インタフェース(例えば、2322、2420)は、アニメーション(例えば、カードカルーセル)を含む。
生体データが生体認証基準を満足する(例えば、生体基準が、デバイスに記憶された生体テンプレートと一致する)という判定に応じて、電子デバイス(例えば、2300、2400)は、デバイスの対応する機能が有効にされた第2の状態に遷移する(2528)。いくつかの例では、デバイスが有効にされている場合、デバイスは取引に参加することができる。いくつかの例では、電子デバイスは、生体データが生体認証基準を満足するか否かを判定する。取引に参加するためのデバイスの能力を、デバイスが有効にされている(取引に参加するために)場合に制限することにより、ユーザが意図しない取引の実行を回避するのを支援し、同時に高度なデバイスセキュリティを提供することによって、デバイスのより高度な制御をユーザに提供する。付加的な制御装置の表示でユーザインタフェースを雑然とさせることなくデバイスの付加的制御を提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、電子デバイス(例えば、2300、2400)は、第2の状態にあるときに取引に参加することを可能にされる。いくつかの例では、デバイスが第2の状態にあるときに、デバイスが取引に参加することを可能にする情報が、セキュア要素によってセキュア要素外部のデバイスにおいて一時的にアクセス可能にされる(例えば、支払いクレデンシャルは無線支払い取引において使用するために利用可能である)。
いくつかの例では、第2の状態に遷移した後、電子デバイス(例えば、2300、2400)は、第1の所定の期間(例えば、60秒)にわたりデバイスを第2の状態に維持する(2530)。いくつかの例では、電子デバイスの機能は、ユーザクレデンシャルの変更(例えば、カード切り替えの結果としての)時にも有効にされる。いくつかの例では、第1の所定の期間は、ボタンの1つ以上のアクティブ化が検出されたとき(例えば、ボタンが押下されたとき)に開始する。いくつかの例では、第2の状態に遷移した後、電子デバイスは、第1の所定の期間が経過した後に、第2の状態から第1の状態に遷移する(2532)。いくつかの例では、第2の状態に遷移した後、電子デバイスは、電子デバイスの対応する機能を使用して、情報に基づくアクション(例えば、取引を処理する遠隔サーバにクレデンシャルを送信すること)を実行する(2534)。いくつかの例では、電子デバイスは、要求において提供されたクレデンシャルを使用して取引を進める。いくつかの例では、クレデンシャルは、取引を進める遠隔サーバに提供される。いくつかの例では、電子デバイスは、認証が成功したか否かを示すインジケーションの表示を他方のデバイスにおいてもたらす。いくつかの例では、電子デバイスは、取引が成功したか否かを示すインジケーションの表示を別のデバイス(例えば、他方のデバイス又は第2のデバイス)においてもたらす。いくつかの例では、取引の細目が表示されている間に、プロンプトが出力される。
いくつかの例では、デバイスが第2の状態にある間に、電子デバイス(例えば、2300、2400)は、第1のアプリケーションを終了する要求に対応するユーザ入力を検出する(2536)。いくつかの例では、第1のアプリケーションを終了する要求に対応するユーザ入力の検出に応じて、電子デバイスは、第1のアプリケーションを終了し(2538)、第1の状態に遷移する。いくつかの例では、デバイスが取引に参加することを可能にされたとき、受信した入力がデバイスを取引に参加可能にさせたアプリケーションを終了することにより、デバイスを取引に参加不可能にさせる。いくつかの例では、デバイスが、財布アプリケーションにおいて支払い取引の支払いクレデンシャルを提供することを許可され、デバイスが、財布アプリケーションから別のアプリケーションに切り替えたとき、デバイスは、支払いクレデンシャルの提供がユーザによって再び許可される(例えば、生体認証で)まで支払いクレデンシャルを提供する能力を無効にする。したがって、デバイスが支払いクレデンシャルを提供するように構成されていることを示すユーザインタフェースをデバイスが表示していないとき、支払い情報の送信を無効にすることによって支払い情報の意図しない送信が回避される。
生体データが生体認証基準を満足しない(例えば、生体データがデバイスに記憶された生体テンプレートと一致しない)という判定に応じて、電子デバイス(例えば、2300、2400)は、第1の状態を維持し(2540)、生体認証が失敗したというインジケーションをディスプレイに表示する(2540)。認証が失敗したときに第1の状態(例えば、デバイスが取引を進めることを許可されていない状態)を維持することにより、デバイスの高度な制御及びセキュリティをユーザに提供する。付加的な制御装置の表示でユーザインタフェースを雑然とさせることなくデバイスの付加的制御及び高度なセキュリティを提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、電子デバイス(例えば、2300、2400)はまた、代替認証アフォーダンス(例えば、2334、2440)を表示する(2542)。いくつかの例では、代替認証アフォーダンスは、選択されたときに、パスワード、パスコード、又はパターン入力などの代替形式の認証(例えば、非生体形式の認証)をユーザが提供することができるインタフェース(例えば、2336、2442)を電子デバイスに表示させる、アフォーダンスである。いくつかの例では、代替認証を介する認証の成功は、電子デバイスを第2の状態に遷移させる。いくつかの例では、第1の失敗は、「もう一度試す」アフォーダンスの表示をもたらし、第2の失敗は、「パスコード」アフォーダンスなどの代替認証アフォーダンス(例えば、2336、2442)の表示をもたらす。いくつかの例では、電子デバイスは、ボタンの2回押下などのユーザ入力を受信する。いくつかの例では、閾値数の生体認証の試行が達せられた場合、電子デバイスは、パスコード(又はパスワード)を入力するためのアフォーダンス、及び任意選択的に、生体認証が利用不可能及び/又は閾値数に達したというインジケーション(例えば、「顔IDを有効にするためにパスコードが必要」)を表示する。
いくつかの例では、(例えば、代替認証インタフェース又は代替認証アフォーダンスを表示している間に)生体データは生体認証基準を満足しないと判定した後、電子デバイス(例えば、2300、2400)は、代替認証アフォーダンス(例えば、2334、2440)の選択を検出する(2544)。いくつかの例では、代替認証アフォーダンスの選択に応じて、電子デバイス(例えば、2300、2400)は、アフォーダンスの選択に応じて、パスワード又はパスコードインタフェースなどの代替認証インタフェース(例えば、2336、2442)をディスプレイに表示する(2546)。
いくつかの例では、電子デバイス(例えば、2300、2400)はまた、1つ以上の生体センサ(例えば、2303、2403)で第2の生体データをキャプチャする(2548)。いくつかの例では、第2の生体データが生体認証基準を満足するという判定に応じて、電子デバイスは第2の状態に遷移する(2550)。いくつかの例では、アフォーダンスの選択に応じて、電子デバイスは、生体認証の第2の反復を行う。
いくつかの例では、生体認証が、代替認証インタフェース(例えば、2336、2442)の表示中又はこれへの遷移中に実行される。いくつかの例では、代替認証インタフェースが、生体認証が起きていることをユーザが知らされるような生体認証グリフシーケンスの表示を含む。いくつかの例では、生体認証の成功により代替認証の必要性はなくなる。結果として、電子デバイス(例えば、2300、2400)は、代替認証インタフェース(例えば、2336、2442)の表示を中止し、ユーザが第1の試行で無事に認証されたかのように進む。
いくつかの例では、第2の生体データは生体認証基準を満足しないという判定に応じて、電子デバイス(例えば、2300、2400)は第1の状態を維持し(2552)、ディスプレイ(例えば、2302、2402)に代替認証インタフェース(例えば、2336、2442)を表示する。いくつかの例では、失敗すると、ユーザが代替認証を任意選択的に行うように、代替認証インタフェースの表示は維持される。ユーザが代替認証を行うことができるように代替認証インタフェースの表示を維持すること(失敗したときに)により、認証(デバイスによって実行されることになる特定の動作の)を行う複数の異なる方法をユーザに提供することによって、ユーザにデバイスの更なる制御を提供する。付加的な制御装置の表示でユーザインタフェースを雑然とさせることなくデバイスの付加的制御を提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、電子デバイス(例えば、2300、2400)は、生体認証を再試行する要求に対応するそれぞれのユーザ入力を検出する(2554)。いくつかの例では、電子デバイスは、電子デバイスのボタン押下又は移動(例えば、デバイスを上げること及び/又は下げること)あるいは代替認証アフォーダンス(例えば、2334、2440)の選択などのユーザ入力を検出する。いくつかの例では、生体認証を再試行する要求に対応するユーザ入力は、ボタンの1つ以上のアクティブ化を含む。いくつかの例では、ユーザ入力は、生体認証の第1の反復を開始するために使用されるボタンの1つ以上のアクティブ化を含む。いくつかの例では、生体認証を再試行する要求に対応するユーザ入力は、電子デバイスの移動を含む。いくつかの例では、所定の種類のユーザ入力は、ボタンのアクティブ化とは異なる入力である。いくつかの例では、所定の種類のユーザ入力は、電子デバイスを上げること及び/又は下げることである(例えば、電子デバイスは、NFC対応デバイスなどの別の電子デバイスの近くへと下げられ、ユーザの目の高さまで再び持ち上げられる。
いくつかの例では、生体認証を再試行する要求に対応するユーザ入力の検出に応じて、電子デバイス(例えば、2300、2400)は1つ以上の生体センサで第3の生体データをキャプチャする(2556)。いくつかの例では、ユーザ入力に応じて、デバイスは、生体認証の追加の反復を実行する。いくつかの例では、第3の生体データが生体認証基準を満足するという判定に応じて、電子デバイスは、デバイスの対応する機能が有効にされた第2の状態に遷移する(2558)。いくつかの例では、第3の生体データは生体認証基準を満足しないという判定に応じて、電子デバイスは、第1の状態を維持する(2560)(そして、任意選択的に、生体認証が失敗したというインジケーションをディスプレイに表示する)。
いくつかの例では、電子デバイス(例えば、2300、2400)は、ボタン(例えば、2304、2404)の別の1つ以上のアクティブ化を検出する。いくつかの例では、生体キャプチャ基準が満足されたという判定に応じて、電子デバイスは、ボタン(例えば、2304、2404)とは別個の1つ以上の生体センサ(例えば、2303、2403)で第2の生体データをキャプチャする。いくつかの例では、生体キャプチャ基準は満足されていないという判定に応じて、電子デバイスは、第2の生体データのキャプチャを取り止める。いくつかの例では、生体認証の試行の数は、所定の数(例えば、5)に制限される。いくつかの例では、この数は、認証の成功に応じてリセットされる。いくつかの例では、この数は、設定された時間の後にリセットされる。
なお、方法1200に関して上述された処理(例えば、図25A〜図25C)の詳細はまた、ここで説明される方法にも類似の方式で適用可能であることに留意されたい。例えば、方法2500は、方法800、1000、1200、1400、1600、1800、2000、2200、及び2700を参照して上述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法1200に記載された登録された生体認証データは、図24F〜Gに関して説明されるように生体認証を行うために使用することができる。別の例では、方法2000及び2700に記載された1つ以上のインタースティシャルインタフェースは、生体認証プロセスの完了前に入力の受信に応じて任意選択的に表示される。簡潔にするために、これらの詳細は、ここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A、図3及び図5Aに関して説明したような)又は特定用途向けチップなどの、情報処理装置内の1つ以上の機能モジュールを稼働することによって任意選択的に実装される。更に、図25A〜図25Cを参照して上述された動作は、図1A〜図1Bに示された構成要素によって任意選択的に実装される。例えば、検出動作2508、遷移動作2528、及び維持動作2540は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190により実装される。イベントソータ170内のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に配信する。アプリケーション136−1のそれぞれのイベント認識部180は、イベント情報をそれぞれのイベント定義186と照会し、タッチ感知面上の第1の場所の第1の接触がユーザインタフェース上のオブジェクトの選択など、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連するイベントハンドラ190をアクティブ化する。イベントハンドラ190は、任意選択的に、アプリケーション内部状態192を更新するために、データアップデーター176又はオブジェクトアップデーター177を利用する又は呼び出す。いくつかの実施例では、イベントハンドラ190は、アプリケーションにより表示されるものを更新するために、対応するGUIアップデーター178にアクセスする。同様に、当業者にとって、他の処理を図1A〜図1Bに示された構成要素に基づいてどのように実装できるかは明らかであろう。
図26A〜図26ASは、いくつかの実施例に係る、生体認証の例示的なユーザインタフェースを示す。以下で更に詳しく説明するように、図26A〜図26ASに示すユーザインタフェースの例示的な実施例は、図27A〜図27Eの処理を含む、以下で説明する処理を示すために使用される。
図26Aは、電子デバイス2600(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)を示す。図26A〜図26ASに示す例示的な実施例において、電子デバイス1900はスマートフォンである。他の実施例では、電子デバイス1500は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なる種類の電子デバイスでもよい。電子デバイス1900は、ディスプレイ2602、1つ以上の入力デバイス(例えば、ディスプレイ2602のタッチスクリーン、ボタン2604、マイク(図示せず))、及び無線通信無線機を備える。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのみのカメラを含む。いくつかの例では、電子デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなど、カメラを任意選択的に含む1つ以上の生体センサ(例えば、生体センサ2603)を含む。いくつかの例では、1つ以上の生体センサ2603は、1つ以上の生体センサ703である。いくつかの例では、デバイスは、赤外線投光器、構造化光プロジェクタ、又はその組合せなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照明するために使用される。
図26Aにおいて、電子デバイスは、ロック解除済みの状態にある間に、ロック解除済みインタフェース2606を表示する。ロック解除済みインタフェース2606は、通知アフォーダンス2608及びロック解除済みの状態インジケータ2610を含む。いくつかの例では、電子デバイス2600がロック解除済みの状態にあるため、通知アフォーダンス2608は、通知アフォーダンス2608に関連するセキュリティ保護されたコンテンツの表示を含む。例えば、図示するように、通知アフォーダンスは、メッセージングアプリケーションに関連付けられ、電子デバイスによって受信されたメッセージの少なくとも一部を含む。
図26B〜Dを参照すると、電子デバイス2100は、ロック解除済みインタフェース2606を表示しながら、例えば、ディスプレイ2602の縁部の近くで、ユーザ入力2612(図26B)を検出する。ユーザ入力2612は、いくつかの例では、電子デバイス2600のホーム画面インタフェースにアクセスする要求である、スワイプジェスチャであり、スワイプ入力2612に応じて、電子デバイスは、図26Dのホーム画面インタフェース2614を表示する(例えば、ロック解除済みインタフェース2606の表示をこれに置き換える)。いくつかの例では、ホーム画面インタフェース2129を表示することは、図19P〜Rを参照して類似的に説明したように、ロック解除済みインタフェース2606を上方向にスライドしてホーム画面インタフェース2614を表示(明瞭化)することを含む。
図26Eにおいて、電子デバイスは、ロック解除済みの状態にある間に、ロック解除済みインタフェース2606を表示する。ロック解除済みインタフェース2606は、通知アフォーダンス2608及びロック解除済みの状態インジケータ2610を含む。いくつかの例では、電子デバイス2600がロック解除済みの状態にあるため、通知アフォーダンス2608は、通知アフォーダンス2608に関連付けられたセキュリティ保護されたコンテンツの表示を含む。例えば、図示するように、通知アフォーダンスは、メッセージングアプリケーションに関連付けられ、電子デバイスによって受信されたメッセージの少なくとも一部を含む。
電子デバイスは、ロック解除済みインタフェース2606を表示しながら、通知アフォーダンス2608のアクティブ化を検出する。通知アフォーダンス2608のアクティブ化は、いくつかの例において、タップジェスチャ2615である。通知アフォーダンス2608のアクティブ化に応じて、電子デバイスは、図26Gのメッセージングアプリケーションインタフェース2616を表示する(例えば、ロック解除済みインタフェース2606の表示をこれに置き換える)。図21F〜Gを参照すると、いくつかの例では、メッセージングアプリケーションインタフェース2616を表示することは、図19P〜Rを参照して類似的に説明したように、ロック解除済みインタフェース2606を上方向にスライドしてメッセージングアプリケーションインタフェース2616を表示(例えば、明瞭化)することを含む。
図26Hにおいて、電子デバイスは、ロック済み状態にある間、ロック済みインタフェース2620を表示する。ロック済みインタフェース2620は、通知アフォーダンス2622及びロック済み状態インジケータ2624を含む。いくつかの例では、電子デバイス2600がロック済み状態にあるため、通知アフォーダンス2622は、通知アフォーダンス2622に関連付けられたセキュリティ保護されたコンテンツの表示を含まない。
図26I〜Kを参照すると、電子デバイス2600は、ロック済みインタフェース2620を表示しながら、例えば、ディスプレイ2602の縁部の近くで、ユーザ入力2628(図26I)を検出する。ユーザ入力2628は、いくつかの例において、電子デバイス2600のホーム画面インタフェースにアクセスする要求である、スワイプジェスチャである。いくつかの例では、電子デバイス2600は、最初の生体認証(例えば、図21A〜Cを参照して説明したように、ウェイク条件に応じて実行される生体認証)を完了する前に、ユーザ入力2628を受信する。これにより、電子デバイスは、スワイプ入力2628に応じて、電子デバイスは生体認証をまだ完了していないことを示す図26Kのインタースティシャルインタフェース2630を表示する(例えば、ロック済みインタフェース2620の表示をこれに置き換える)。いくつかの例では、インタースティシャルインタフェース2630を表示することは、図19P〜Rを参照して類似的に説明したように、ロック済みインタフェース2620を上方向にスライドしてインタースティシャルインタフェース2630を表示(例えば、明瞭化)することを含む。インタースティシャルインタフェース2630は、いくつかの例において、ロック済み状態インジケータ2624を含む。
代替的に、いくつかの例では、電子デバイスは、生体認証の試行の閾値数(例えば、5)に達したと判定する。その後、ユーザ入力2628に応じて、電子デバイス2600は、インタースティシャルインタフェース2632を表示する。インタースティシャルインタフェースは、生体認証が無効にされた(例えば、試行の数が達せられたため)ことを示す生体認証有効化インジケータを含む。インタースティシャルインタフェース2632は更に、代替認証アフォーダンス2636及び2638を含む。代替認証アフォーダンス2636のアクティブ化は、指紋認証インタフェースなどの第1の代替認証インタフェースを電子デバイスに表示させ、代替認証アフォーダンス2638のアクティブ化は、パスコード認証インタフェースなどの第2の代替認証インタフェースを電子デバイスに表示させる。
いくつかの例では、電子デバイスは、インタースティシャルインタフェース2630を表示しながら、生体データ(例えば、顔生体データ)を検出し、これに応じて、生体認証を実行する。図26Mを参照すると、電子デバイス2600は、生体データが処理されていることを示すために、生体進度インジケータ2625を表示する。
図26Nにおいて、電子デバイス2600は、生体認証が成功したと判定する。応じて、電子デバイス2600は、ロック解除済みの状態インジケータ2626を表示し、任意選択的に、触知出力2640を出力する。生体認証が成功したことを示した後(例えば、所定の時間の後)、電子デバイスは、図26Pのホーム画面インタフェース2614を表示する(例えば、インタースティシャルインタフェース2630の表示をこれに置き換える)。図21O〜Pを参照すると、いくつかの例において、ホーム画面インタフェース2614を表示することは、図19P〜Rを参照して類似的に説明したように、ホーム画面インタフェース2614をスライドすることを含む。
代替的に、図26Qにおいて、電子デバイス2600は、生体認証は成功しなかったと判定する。応じて、電子デバイス2600は、ロック済み状態インジケータ2627の位置を行きつ戻りつさせて「シェイク」効果をシミュレーションする。電子デバイス2600は更に、生体認証が失敗したことを示すために、触知出力2644を出力する。いくつかの例では、触知出力2644は、触知出力2640と同じである。いくつかの例では、触知出力2644は、触知出力2640とは異なる。いくつかの例では、生体認証が失敗したと判定したことに応じて、電子デバイスは代替認証アフォーダンス2642を表示する。
図26Rを参照すると、電子デバイスは、ロック済み状態インジケータ2624のアクティブ化を受信する。いくつかの例では、ロック済み状態インジケータのアクティブ化は、ロック済み状態インジケータ2624上でのタップジェスチャ2650である。応じて、図26Sに示すように、電子デバイス2600は、生体認証を開始する。いくつかの例では、生体認証を開始することは、生体特徴の少なくとも一部に対応するデータを取得すること(例えば、1つ以上の生体センサ2603でキャプチャすること)と、生体データを処理して、生体特徴(又はその一部)が生体認証基準を満足する否かを判定する(例えば生体データが生体テンプレートと閾値内で一致するか否かを判定する)こととを含む。電子デバイスは、生体データを処理する間、電子デバイス2600が生体データを処理していることを示す生体進度インジケータ2625を表示する(例えば、ロック済み状態インジケータ2624の表示をこれに置き換える)。生体認証が成功したと電子デバイス2600が判定した場合、図26N〜Pを参照して説明したように、電子デバイスは成功を示す。
図26Tにおいて、電子デバイス2600は、生体認証(例えば、図26Sを参照して説明されたような)は失敗したと判定し、これに応じて、ロック済み状態インジケータの位置を行きつ戻りつさせて「シェイク」効果をシミュレーションし、触知出力2652を出力し、代替認証アフォーダンス2642を表示する。
図26Uにおいて、電子デバイスは、代替認証アフォーダンス2642のアクティブ化を検出する。いくつかの例では、代替認証アフォーダンスのアクティブ化は、代替認証アフォーダンス2642上でのタップジェスチャ2654である。図26Vを参照すると、代替認証アフォーダンス2642のアクティブ化に応じて、電子デバイスは、代替認証インタフェース2656を表示し(例えば、インタースティシャルインタフェース2630の表示をこれに置き換え)、これを用いてユーザは有効なパスコード(又はパスワード)の入力時に電子デバイスで認証する。
図26W〜Yを参照すると、いくつかの例において、電子デバイスは、所定の時間にわたり生体特徴の検出に失敗し、電子デバイスは、1つ以上のインタフェースを表示する及び/又は低電力状態に入る。図26Wにおいて、電子デバイスは、インタースティシャルインタフェース2630を表示する(電子デバイスは生体認証の完了前に受信したセキュリティ保護されたコンテンツの要求に応じてインタースティシャルインタフェース2630を表示することを想起されたい)。電子デバイス2600が、所定の時間にわたり、生体特徴を検出しなかった場合、電子デバイスは、代替認証インタフェース2657を表示する(例えば、インタースティシャルインタフェース2630の表示をこれに置き換える)。いくつかの例では、代替認証インタフェース2657は、パスコードなどの代替認証を行うようにユーザにインジケーションを提供するインジケータを含む。他の例では、図26Xに示すように、代替認証インタフェース2657は、代替認証を提供するようにユーザにインジケーションを提供するインジケータを含まない。
代替認証インタフェース2657の表示中に、生体特徴が所定の時間にわたり検出されず、代替認証が行われない場合、電子デバイス2600は、図26Yに示すように、低電力状態(例えば、ディスプレイ無効化状態)に遷移する。
代替認証インタフェース2657の表示中に、生体特徴が検出された場合、電子デバイス2600は、上述のように、生体認証を実行する。図26Zに示すように、電子デバイスは、生体進度インジケータ2625を表示して(例えば、ロック済み状態インジケータ2624の表示をこれと置き換えて)、電子デバイスが生体データを処理していることを示す。図26AAにおいて、電子デバイス2600は、生体認証に成功したと判定する。応じて、電子デバイスは、ロック解除済みの状態インジケータ2610を表示し(生体進度インジケータ2625の表示をこれに置き換え)、任意選択的に、触知出力2658を出力して、生体認証が成功したことを示す。いくつかの例では、電子デバイス2600は、その後、図26ABに示すように、ホーム画面インタフェース2614を表示する。
図26AC〜AEを参照すると、代替認証インタフェース2657の表示中に、生体認証が失敗し、代替認証の少なくとも一部が行われた場合、電子デバイス2600は、触知出力を提供せずに、生体認証が失敗したことを示す。図26ACに示すように、電子デバイスは、生体認証を実行する(生体進度インジケータ2625によって示されるように)間に、ユーザ入力(例えば、タップジェスチャ)2660によって代替認証(例えば、パスコード)の一部を受信する。図26ADにおいて、電子デバイスは、生体認証は失敗したと判定し、これに応じて、ロック済み状態インジケータ2627を表示し、ロック済み状態インジケータの位置を行きつ戻りつさせて「シェイク」効果をシミュレーションする。いくつかの例では、電子デバイス2600は、触知出力を出力せず、図26AEに示すように、代替認証インタフェース2657の表示を更に維持する。
図26AFにおいて、電子デバイス2600は、ロック済み状態にある間に、ロック済みインタフェース2620を表示する。上述のように、ロック済みインタフェース2620は、通知アフォーダンス2622及びロック済み状態インジケータ2624を含む。いくつかの例では、電子デバイスは、電子デバイス上でセキュリティ保護されたコンテンツの要求(例えば、通知アフォーダンス2622に関連するメッセージ)を受信する。電子デバイス2600は、例えば、通知アフォーダンス2622のアクティブ化を検出する。いくつかの例では、通知アフォーダンス2622のアクティブ化は、タップジェスチャ2662である。
いくつかの例では、通知アフォーダンス2622のアクティブ化は、生体認証の完了前に受信される。これにより、図26AGに示すように、通知アフォーダンス2622のアクティブ化に応じて、電子デバイス2600は、生体インジケータ2666を含むインタースティシャルインタフェース2629を表示する。生体インジケータ2666は、いくつかの例において、セキュリティ保護されたコンテンツを求める受信された要求に関連するセキュリティ保護されたコンテンツを識別する。
図AHに示すように、インタースティシャルインタフェース2629を表示する間に、電子デバイス2600が生体特徴を検出しなかった場合、電子デバイスは代替認証アフォーダンス2668を表示する。いくつかの例では、代替認証アフォーダンス2668のアクティブ化は、代替認証インタフェース(例えば、図26Xの代替認証インタフェース2657)を電子デバイスに表示させる。
代替認証インタフェースの表示中に、生体特徴が所定の時間にわたり検出されず、代替認証が提供されない場合、電子デバイス2600は、図26AIに示すように、低電力状態(例えば、ディスプレイ無効化状態)に遷移する。
図AHに関して説明したように、生体特徴が検出されない場合、電子デバイスは代替認証アフォーダンス2668を表示する。いくつかの例では、生体特徴が代替認証アフォーダンス2668の表示の後に検出され、これに応じて、電子デバイスは、上述のように、生体認証を実行する。図AJに示すように、生体データが処理されていることを示すために、電子デバイス2600は、生体進度インジケータ2625を表示する。図26AKにおいて、電子デバイス2600は、生体認証が成功したと判定する。これに応じて、電子デバイス2600は、ロック解除済みの状態インジケータ2610を表示し、任意選択的に、生体認証が成功したことを示すために触知出力2670を提供する。いくつかの例では、図26AMに示すように、電子デバイス2600は、その後、メッセージングアプリケーションインタフェース2616を表示する。図26AL〜AMを参照すると、いくつかの例で、メッセージングアプリケーションインタフェース2616を表示することは、図19P〜Rを参照して類似的に説明したように、インタースティシャルインタフェース2629を上方向にスライドしてメッセージングアプリケーションインタフェース2616を表示(例えば、明瞭化)することを含む。
図26ANにおいて、電子デバイス2600は、代替認証アフォーダンス2668を有するインタースティシャルインタフェース2629を表示する。電子デバイスは、インタースティシャルインタフェース2629を表示しながら、代替認証アフォーダンス2668のアクティブ化を検出する。いくつかの例では、代替認証アフォーダンス2668のアクティブ化は、代替認証アフォーダンス2668上でのタップジェスチャ2674である。
図26AOを参照すると、代替認証アフォーダンス2668のアクティブ化に応じて、電子デバイス2600は代替認証インタフェース2631を表示する。いくつかの例では、代替認証インタフェース2631は、要求されたセキュリティ保護されたコンテンツを識別する(「メッセージのパスコードを入力」)。
図26AP−AQを参照すると、有効なパスコード(又はパスワード)が、タップジェスチャ2076(図26AP)、及び任意選択的に、有効なパスコードの追加の英数字のインジケーションを提供する1つ以上の他の入力に応じて、少なくとも部分的に、電子デバイス2600によって受信される。図26AR−ASに示すように、有効なパスコードを受信すると、電子デバイスはロック解除され、メッセージングアプリケーションインタフェース2616を表示する(例えば、代替認証インタフェース2631の表示をこれに置き換える)。いくつかの例では、メッセージングアプリケーションインタフェース2616を表示することは、図19P〜Rを参照して類似的に説明したように、代替認証インタフェース2631を上方向にスライドしてメッセージングアプリケーションインタフェース2616を表示(例えば、明瞭化)することを含む。
図27A〜図27Eは、いくつかの実施例に係る、電子デバイスを使用した生体認証を実行する方法を示すフロー図である。方法2700は、ディスプレイ、1つ以上の入力デバイス(例えば、タッチスクリーン、マイク、カメラ)、及び無線通信無線機(例えば、Bluetooth接続、WiFi接続、4G LTE接続などのモバイルブロードバンド接続)を備えるデバイス(例えば、100、300、500、2600)において実行される。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイである。いくつかの実施例では、ディスプレイは、タッチ感知ディスプレイではない。いくつかの実施例では、電子デバイスは、複数のカメラを含む。いくつかの実施例では、電子デバイスは、1つのみのカメラを含む。いくつかの例では、デバイスは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを任意選択的に含む、1つ以上の生体センサを含む。いくつかの例では、デバイスは、赤外線投光器、構造化光プロジェクタ、又はその組合せなどの発光デバイスを更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照明するために使用される。方法2700のいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作は、任意選択的に順序を変更され、いくつかの動作は、任意選択的に省略される。
以下で説明されるように、方法2700は、生体認証を実行する直感的な方法を提供する。この方法は、生体特徴の認証のためのユーザの認識負担を減らし、それにより、更に効率的なヒューマン−マシンインタフェース及び直感的ユーザエクスペリエンスが作成される。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが生体特徴の認証を更に速くかつ更に効率的に実行することを可能にすることにより、電力が節約され、バッテリ充電の間隔は延びる。
いくつかの例では、電子デバイス(例えば、2700)が、デバイスが対応する動作の実行を許可されていないロック済み状態にある間に、電子デバイスは、デバイスがロック済み状態にあることを示す第1のグラフィック表示(例えば、2624)(例えば、閉じた鍵のアイコン)を表示する。デバイスがロック済み状態にあることを示す第1のグラフィック表示を表示することにより、デバイスの状態に関する簡単に入手可能な通知をユーザに提供する。次いで、ユーザはデバイスのどの機能が有効にされている及び/又は使用可能かに関して知らされ、それにより、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、デバイスが対応する動作を実行することを許可されたロック解除済みの状態にデバイスがある間に、デバイスがロック解除済みの状態にあることを示す第2のグラフィック表示(例えば、2610)(例えば、開いた鍵のアイコン)を第1のグラフィック表示の代わりに表示すること。デバイスがロック解除済みの状態にあることを示す第2のグラフィック表示を表示することにより、デバイスの状態に関する簡単に入手可能な通知をユーザに提供する。次いで、ユーザはデバイスのどの機能が有効にされている及び/又は使用可能かに関して知らされ、それにより、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、第1のグラフィック表示及び第2のグラフィック表示が、ユーザインタフェース(例えば、2606、2620)内のそれぞれの場所(例えば、ディスプレイ2602の中央上部のほぼ近く)において表示される。
いくつかの例において、電子デバイスは、認証を必要とする対応する動作を実行する要求を検出する(2702)。いくつかの例では、認証を必要とする対応する動作を実行する要求は、選択されると対応するアプリケーションを開く複数のアプリケーションオープンアイコンを有するホーム画面(例えば、2614)を表示する要求(例えば、2612)、あるいは、選択された通知に対応するアプリケーションユーザインタフェースを表示する要求である。いくつかの例では、対応する動作を実行する要求は、ホーム入力(例えば、2612)を含む。いくつかの例では、ホーム入力は、ホームボタンの選択、又は、ディスプレイの下部などのディスプレイのそれぞれの縁部からの上方向のスワイプなどのホームジェスチャである。いくつかの例では、対応する動作を実行する要求は、通知(例えば、2608)の選択(例えば、2615)を含む。いくつかの例では、通知の選択は、通知ユーザインタフェースオブジェクト上のタップ、長押し、強い押下、又はスワイプである。いくつかの例では、対応する動作は、異なるアプリケーションを開く複数のアプリケーションアイコンを含むホーム画面を含む。いくつかの例では、異なるアプリケーションを開く複数のアプリケーションアイコンは、選択されると対応するアプリケーションを開かせるアプリケーションアイコンである。いくつかの例では、ホーム画面はまた、1つ以上のウィジェット、システム状態インジケータ、デバイス制御装置なども含む。いくつかの例では、対応する動作は、通知に対応するアプリケーションのアプリケーションユーザインタフェース(例えば、2616)を表示することを含む。いくつかの例では、アプリケーションインタフェースは、通知に具体的に関連する情報を含む(例えば、通知は電子通信の通知であり、アプリケーションユーザインタフェースは電子通信又は通知の表現を含む)。
認証(2704)を必要とする対応する動作を実行する要求の検出に応じて、デバイスはロック解除済みであるという判定に応じて、電子デバイスは、対応する動作を実行する(2706)。更に、デバイスはロックされていて第1の形式の認証が使用可能であるという判定に応じて(2708)、電子デバイスは、第2の形式の認証を使用する1つ以上のアフォーダンス(例えば、2636、2638)を表示せずに第1の形式の認証の認証インジケータ(例えば、2625)をディスプレイ(例えば、2602)に表示する(2712)。第2の形式の認証を使用するアフォーダンスを表示せずに認証インジケータを表示することにより、生体認証が実行されている間にデバイスが追加のオプションの提供を取り止める直感的インタフェースをユーザに提供する。この方式で直感的インタフェースを提供することにより、デバイスの操作性が改善され(例えば、生体認証の完了前にユーザが代替認証を試みることを回避する)、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、認証インジケータは、第1の形式の認証(例えば、パスワード、パスコード、指紋、又は他の形式の認証)を記述するテキスト又はグラフィック要素など、第1の形式の認証がデバイスによって試みられるという視覚的なインジケーションである。いくつかの例では、認証の第1の形式は、1つ以上の生体センサ(2603)によって取得されたデータに基づく生体認証(例えば、顔認識又はアイリス認識などの非接触形式の生体認証)の形式である。いくつかの例では、認証インジケータは、デバイスが第1の形式の認証を使用しようとしていることを示す情報を含む(2714)。いくつかの例では、認証インジケータは、「顔ID」又は「メッセージを開くための顔ID」などの顔生体認証が利用可能であることを示すグラフィック又はテキスト記述を含む。いくつかの例では、認証インジケータは、認証をキャンセルするオプションとともに表示される。いくつかの例では、認証インジケータは、デバイスのロック解除なしに緊急情報(例えば、非常コールユーザインタフェース及び/又は緊急医療情報)を表示するオプションとともに表示される。いくつかの例では、認証インジケータは、図11A〜図11Oに関して更に詳しく説明した進度インジケータなどの第1の形式の認証の試行の進度の情報を含む(2716)。
いくつかの例では、電子デバイスは、第2の形式の認証を使用するアフォーダンスを表示せずに第1の形式の認証の認証インジケータを表示しながら、1つ以上の生体センサ(例えば、2603)からの対応するデータを処理する(2718)。いくつかの例では、第2の形式の認証を使用する1つ以上のアフォーダンスを表示せずに第1の形式の生体認証の生体認証インジケータを表示している間に処理される、1つ以上の生体センサからの対応するデータの少なくとも一部は、第1の形式の認証の認証インジケータを表示する前に1つ以上の生体センサによって取得された(2720)。いくつかの例では、第2の形式の認証を使用する1つ以上のアフォーダンスを表示せずに第1の形式の生体認証の生体認証インジケータを表示している間に処理される、1つ以上の生体センサからの対応するデータの少なくとも一部は、第1の形式の認証の認証インジケータを表示した後に1つ以上の生体センサによって取得された(2722)。
いくつかの例では、1つ以上の生体センサからの対応するデータを処理した後(2724)、1つ以上の生体センサからの対応するデータは、対応する動作を実行することを許可された生体情報に矛盾しない(例えば、デバイスが、対応する生体データにおいて許可された顔を検出した)という判定に応じて、電子デバイスは、対応する動作を実行する(2726)。1つ以上の生体センサからの対応するデータは、対応する動作を実行することを許可された生体情報に矛盾しないと判定したことに応じて対応する動作を実行することにより、いくつかの例では、ユーザが手動で認証する必要なくデバイスで認証することを可能にすることによって、デバイスの操作性を高め、それにより、ユーザ−デバイスインタフェースを更に効率的にする。
いくつかの例では、更に、1つ以上の生体センサからの対応するデータを処理した後、対応するデータは、対応する動作を実行することを許可された生体情報と矛盾する(例えば、デバイスが顔を検出しない、又は許可された顔と一致しない顔を検出した)という判定に応じて(2728)、電子デバイスは、1つ以上の生体センサからの対応するデータを処理する前に表示されなかった第2の形式の認証を使用する1つ以上のアフォーダンス(例えば、2636、2638)を表示する(2730)。1つ以上の生体センサからの対応するデータを処理する前に表示されなかった第2の形式の認証を使用する1つ以上のアフォーダンスを表示することにより、生体データが失敗したときに認証の成功を必要とするデバイスの動作(例えば、ロック済み動作)にアクセスするための迅速な代替方法をユーザに提供する。追加の表示される制御装置を有する追加の制御オプションを提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、1つ以上のアフォーダンスは、「パスコードを使用」ボタン、「パスワードを使用」ボタン、又は、パスコード/パスワードを入力するキーパッド/キーボードの表示を含む。いくつかの例では、第2の形式の認証を使用する1つ以上のアフォーダンスが、第2の形式の認証を使用する1つ以上のアフォーダンスを表示せずに第1の形式の認証の認証インジケータが表示される対応する遅延の後に表示される。
いくつかの例では、1つ以上のアフォーダンスを表示することは、以下を含む:第1の形式の認証に対応する生体特徴が1つ以上の生体センサによって検出されたという判定に応じて、(例えば、認証インジケータが表示されてから)第1の期間が経過した後に第2の形式の認証を使用する1つ以上のアフォーダンスを表示することと、1つ以上の生体センサによって第1の形式の認証に対応する生体特徴が検出されないという判定に応じて、(例えば、認証インジケータが表示されてから)第2の期間が経過した後に第2の形式の認証を使用する1つ以上のアフォーダンスを表示すること。いくつかの例では、第2の期間は、第1の期間とは異なる(例えば、更に長い又は更に短い)。
いくつかの例では、1つ以上のアフォーダンスを表示することは、以下を含む:第1の形式の認証において使用することができるが許可された生体特徴と一致しない生体特徴が検出されたという判定に応じて、第2の形式の認証で認証するために1つ以上の入力を行うようにという対応する命令(例えば、1つ以上の文字入力キーを使用して認証する文字列を入力するようにという命令を表示すること(例えば、パスコードキーパッドが「ロックを解除するためにパスコードを入力」という命令と表示される))と同時に第2の形式の認証のユーザインタフェース(例えば2656)を表示すること(例えば、認証する文字列(例えば、パスワード又はパスコード)を入力する複数の文字入力キー(例えば、キーボード又はキーパッド)を表示すること)と、1つ以上の生体センサによって第1の形式の認証に対応する生体特徴が検出されなかったという判定に応じて、第2の形式の認証で認証するために1つ以上の入力を行うようにという対応する命令を表示せずに、第2の形式の認証のユーザインタフェース(例えば、2657)を表示すること(例えば、認証する文字列(例えば、パスワード又はパスコード)を入力する複数の文字入力キー(例えば、キーボード又はキーパッド)を表示すること)。いくつかの例では、1つ以上の文字入力キーを使用して認証する文字列を入力するようにという対応する命令を表示せずに、第2の形式の認証のユーザインタフェースが表示される(例えば、「ロックを解除するためにパスコードを入力」という命令はなしに、パスコードキーパッドが表示される)。いくつかの例では、1つ以上の文字入力キーを使用して認証する文字列を入力するようにという対応する命令はなしに、複数の文字入力キーが最初に表示され(例えば、デバイスが第1の形式の認証の使用を試みる間に)、次いで、第1の形式の認証の使用が失敗すると、デバイスは、1つ以上の文字入力キーを使用して認証する文字列を入力するようにという明示的命令を表示する。
いくつかの例では、1つ以上のアフォーダンスを表示することは、以下を含む:対応する動作を実行する要求がホーム入力を含むという判定に応じて、認証する文字列(例えば、パスワード又はパスコード)を入力する複数の文字入力キー(例えば、キーボード又はキーパッド)を表示することと、対応する動作を実行する要求が通知の選択を含むという判定に応じて、アクティブ化されると認証の文字列(例えば、パスワード又はパスコード)を入力する複数の文字入力キー(例えば、キーボード又はキーパッド)の表示をもたらすパスコードアフォーダンスを表示すること。いくつかの例では、パスコードアフォーダンスは、タップ入力に応答するアクティブ化を制限され、タッチ入力を超える追加の入力要件を含む1つ以上の他の種類の入力に反応する。いくつかの例では、1つ以上の追加の入力要件は、入力が強い押下の入力であるという要件(例えば、入力が対応する強度閾値を上回る特性強度を達するという要件)、入力は長押し入力であるという要件(例えば、入力が所定の距離を超えて移動せずに所定の時間を超えてタッチ感知面上で維持される接触を含むという要件)、及び/又は、入力はスワイプ入力であるという要件(例えば、入力がそれぞれの方向における移動の閾値を超える接触の移動を含むという要件)を含む。この方式でタップ入力に応答するアクティブ化を制限することにより、パスコードアフォーダンスの偽の(例えば、偶発的及び/又は意図しない)アクティブ化を回避し、電子デバイスの制御及び有用性を改善し、それにより、デバイスを操作/対話するときにユーザの誤りを削減し、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、1つ以上の生体センサからの対応するデータを処理する前に表示されなかった第2の形式の認証を使用する1つ以上のアフォーダンスを表示した後:対応する動作を実行する要求がホーム入力を含むという判定に応じて、電子デバイスは、第2の形式の認証を使用する1つ以上のアフォーダンスの表示を(自動的に、更なるユーザ入力なしに)停止する(例えば、ディスプレイをオフにする)前に第1の遅延期間にわたり追加の入力を待ち、対応する動作を実行する要求が通知の選択を含むという判定に応じて、電子デバイスは、第2の形式の認証を使用する1つ以上のアフォーダンスの表示を(自動的に、更なるユーザ入力なしに)停止する(例えば、ディスプレイをオフにする)前に第2の遅延期間にわたり追加の入力を待つ。いくつかの例では、第2の遅延期間は、第1の遅延期間とは異なる(例えば、更に短い又は更に長い)。
いくつかの例では、デバイスがロックされていて第1の形式の認証が使用可能である間、電子デバイスは、第1の形式の認証を使用して生体認証を試みる(2732)。いくつかの例では、対応する動作を実行する要求に応じて、第2の形式の認証を使用しようとする試みに応じて、又はデバイスを持ち上げること、デバイスのボタン(例えば、2604)を押下すること、あるいは、デバイス上の鍵アイコンをタップすること又はデバイスのタッチ感知ディスプレイをタップすることなどの認証を要求する入力に応じて、デバイスはロックされる及び/又は第1の形式の認証は使用可能である。いくつかの例では、第1の形式の認証を使用した生体認証を試みる間、電子デバイスは、第1の形式の認証を使用した生体認証に向けた進度を示すために外観を変化させる進度インジケータ(例えば、進度インジケータ2624及び/又は2625によって示されるような)を表示する(2734)。いくつかの例では、電子進度インジケータは、「顔検出」アイコン又はアニメーションから「顔分析」アイコン又はアニメーションに変化する、進度バー又はアイコンである。いくつかの例では、第1の形式の認証を使用した生体認証を試みながら、デバイスは、第1のグラフィック表示を進度インジケータに置き換える。いくつかの例では、第1の形式の認証の試行を完了した後、認証が失敗したという判定に応じて、電子デバイスは、進度インジケータを第1のグラフィック表示(例えば、閉じた鍵のアイコン)に置き換え、認証が成功したという判定に応じて、電子デバイスは、進度インジケータを第2のグラフィック表示(例えば、開いた鍵のアイコン)に置き換える。
いくつかの例では、第1の形式の認証を使用した生体認証を試みた後(2736)、第1の形式の認証での生体認証が成功したという判定に応じて、電子デバイスは、第1の方式(例えば、チェックマーク又は開いた鍵のアイコンを表示する)で進度インジケータを更新(2738)して、第1の形式の認証での認証の成功を示す(及び、任意選択的に、対応する動作を実行する)、及び/又は、(例えば、認証の失敗を示す第1の触知出力とは異なる)認証の成功を示す第2の触知出力(例えば、シングルタップ)を生成する。
いくつかの例では、第1の形式の認証を使用した生体認証を試みた後、第1の形式の認証での生体認証が、第1の形式の認証において使用することができるが許可された生体特徴と一致しない生体特徴を検出したという判定に応じて、電子デバイスは、第2の方式(例えば、認証が失敗したことを示すために鍵アイコン又は顔アイコンを左右に交互に振動させること)で進度インジケータを更新(2740)して認証の失敗を示す。いくつかの例では、進度インジケータの更新の第2の方式は、進度インジケータの更新の第1の方式とは異なる(2742)。いくつかの例では、電子デバイスは、認証失敗を示す第1の触知出力(例えば、トリプルタップ)を生成する。
いくつかの例では、第1の形式の認証を使用した生体認証を試みた後、第1の形式の認証での生体認証は、第1の形式の認証において使用することができる生体特徴を検出しないという判定に応じて、電子デバイスは、第1の方式及び第2の方式とは異なる第3の方式(例えば、認証が失敗したことを示すために鍵アイコンを左右に交互に振動させることなく閉じた鍵のアイコンを表示すること)で進度インジケータを更新する(2744)。
いくつかの例では、第1の形式の認証を使用した生体認証を試みた後、第1の形式の認証での生体認証は、第1の形式の認証において使用することができる生体特徴を検出しないという判定に応じて、電子デバイスは、触知出力を生成せずに、認証の成功は生じなかったというグラフィック表示を行う。いくつかの例では、デバイスが、第1の形式の認証に使用することができる生体特徴を認識しなかったため、デバイスは、認証失敗を示す第1の触知出力又は別の触知出力を生成しない。
いくつかの例では、第1の時間にわたり第1の形式の認証を使用した生体認証を試みた後:電子デバイスは、認証の文字列(例えば、パスワード又はパスコード)を入力する複数の文字入力キー(例えば、キーボード又はキーパッド)を含む第2の形式の認証のユーザインタフェース(例えば、2654)を表示する。更に、電子デバイスは、第2の形式の認証のユーザインタフェースを表示しながら、第2の時間にわたり第1の形式の認証を使用した生体認証を試みる。更に、第1の形式の認証での生体認証が成功したという判定に応じて、電子デバイスは、対応する動作を実行する(そして、任意選択的に、第1の方式(例えば、チェックマーク又は開いた鍵のアイコン(例えば、2610)を表示すること)で進度インジケータを更新して第1の形式の認証での認証の成功を示す。更に、第1の形式の認証での生体認証が、複数の文字入力キーのうちの1つ以上を介して閾値数未満の文字(例えば、1、2、3、4、又は5文字未満)を入力する入力を受信する前に、第1の形式の認証において使用することができるが許可された生体特徴と一致しない生体特徴を検出したという判定に応じて、電子デバイスは、対応する動作の実行を取り止め、認証失敗を示す第1の触知出力(例えば、トリプルタップ)を生成する(及び、任意選択的に、認証の成功はなかったというグラフィック表示を行う)。更に、複数の文字入力キーのうちの1つ以上を介して少なくとも閾値数の文字(例えば、1、2、3、4、又は5文字未満)を入力する入力を受信した後、第1の形式の認証での生体認証が、第1の形式の認証において使用することができるが許可された生体特徴と一致しない生体特徴を検出したという判定に応じて、電子デバイスは、対応する動作を実行し、触知出力(例えば、閉じた鍵のアイコン)を生成せずに、認証の成功はなかったというグラフィック表示を行う。
いくつかの例では、認証を必要とする対応する動作を実行する要求の検出に応じて:(例えば、対応する動作を実行する要求を受信したときに)デバイスはロックされていて第1の形式の生体認証は使用不可能であるという判定に応じて、電子デバイスは、第2の形式の認証を使用する1つ以上のアフォーダンス(例えば、パスコード若しくはパスワードエントリユーザインタフェース又は指紋認証などの第2の形式の生体認証を使用するためのプロンプト)を表示する(2746)。いくつかの例では、第1の形式の認証が無効にされているため、これは使用不可能である(2748)。いくつかの例では、第1の形式の生体認証での閾値数を超える生体認証の試行の失敗により、デバイスの再起動により、又は第1の形式の生体認証を無効にするユーザ要求により、第1の形式の認証が使用不可能である。いくつかの例では、デバイスにおいて追加情報にアクセスする要求に対応するオプションを選択せずに緊急オプションユーザインタフェースへのユーザエントリに応じて、第1の形式の認証が無効にされる(例えば、ユーザは、閾値時間を超えて同時に2つ以上のボタンを押下することによって緊急オプションユーザインタフェースの表示をトリガし、次いで、医療情報を表示する若しくは緊急ダイアルインタフェースを表示するオプションを選択するのではなくて、デバイスをシャットダウンする若しくは緊急オプションユーザインタフェースの表示をキャンセルするオプションを選択する)。いくつかの実施例では、第1の形式の生体認証を無効にするオプションのユーザ選択(例えば、設定ユーザインタフェースにおける生体認証設定を介する)に応じて、第1の形式の認証が無効にされる。いくつかの例では、1つ以上の生体センサの動作が、既定のパラメータ内で動作する1つ以上の生体センサの能力を下げる現在の環境及び/又はデバイスの状態によって制限されているため、第1の形式の認証は使用不可能である(2750)。いくつかの例では、デバイスが熱すぎる、デバイスが冷たすぎる、デバイスの環境が明るすぎる、デバイスの環境が暗すぎる、及び/又は1つ以上の生体センサを稼働するのに十分にデバイスのバッテリが充電されてない。
いくつかの例では、電子デバイスは、ユーザインタフェース内のそれぞれの場所に対応する場所において第1の入力(例えば、2650)(例えば、タップ入力)を検出する。いくつかの例では、ユーザインタフェース内のそれぞれの場所に対応する場所における第1の入力の検出に応じて、デバイスはロック済み状態にある(例えば、閉じた鍵のアイコン上でタップ入力が検出された)という判定に応じて、電子デバイスは、第1の形式の認証を試みる。ユーザインタフェース内のそれぞれの場所に対応する場所における第1の入力の検出に応じてかつデバイスはロック済み状態にあるという判定に応じて第1の形式の認証を試みることにより、第1の形式の認証が開始される直感的かつ便宜的特徴を提供し、それにより、ユーザ−デバイスインタフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用できるようにすることによって、デバイスの電力使用を削減し、電池寿命を改善する。
いくつかの例では、電子デバイスは、ユーザインタフェース内のそれぞれの場所に対応する場所において第2の入力(例えば、タップ入力)を検出する。いくつかの例では、ユーザインタフェース内のそれぞれの場所に対応する場所における第2の入力の検出に応じて、デバイスはロック解除済みの状態にある(例えば、開いた鍵のアイコン上でタップ入力が検出された)という判定に応じて、電子デバイスは、ロック解除済みの状態からロック済み状態にデバイスを遷移させる。いくつかの例では、それぞれの場所は、デバイス画面が最初にオンにされたときに表示されるカバーシートユーザインタフェース上にあり、第2のグラフィック表示(例えば、開いた鍵のアイコン)は、デバイスがまだロック解除済みの状態にある間にカバーシートユーザインタフェースがデバイスに表示されるときに表示され、一方、第1のグラフィック表示(例えば、鍵アイコン)は、デバイスがロック済み状態にある間にカバーシートユーザインタフェースがデバイスに表示されるときに表示される。
方法1200に関して上述された処理(例えば、図27A〜図27E)の詳細はまた、ここで説明される方法にも類似の方式で適用可能であることに留意されたい。例えば、方法2700は、方法800、1000、1200、1400、1600、1800、2000、2200、及び2500を参照して上述された、様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法1200に記載の登録された生体データは、図26L〜Nに関して説明したような生体認証を実行するために使用することができる。別の例では、方法2000及び2700に記載の1つ以上のインタースティシャルインタフェースを、生体認証プロセスの完了前の入力の受信に応じて、表示する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
上述の情報処理方法での動作は、汎用プロセッサ(例えば、図1A、図3及び図5Aに関して説明したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを稼働することによって任意選択的に実装される。更に、図27A〜図27Eを参照して上述された動作は、図1A〜図1Bに示された構成要素によって任意選択的に実装される。例えば、検出動作2702、実行動作2706、表示動作2712、及び表示動作2746は、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって任意選択的に実装される。イベントソータ170のイベントモニタ171は、タッチ感知面604上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に配信する。アプリケーション136−1の対応するイベント認識部180は、イベント情報を対応するイベント定義186と照会し、タッチ感知面上の第1の場所の第1の接触がユーザインタフェース上のオブジェクトの選択などの、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連するイベントハンドラ190をアクティブ化する。イベントハンドラ190は、任意選択的に、アプリケーション内部状態192を更新するために、データアップデーター176又はオブジェクトアップデーター177を利用する又は呼び出す。いくつかの実施例では、イベントハンドラ190は、アプリケーションにより表示されるものを更新するために、対応するGUIアップデーター178にアクセスする。同様に、当業者にとって、他の処理が図1A〜図1Bに示された構成要素に基づいてどのように実装できるかは明らかであろう。
図28A〜図28AAは、いくつかの実施例に係る、生体認証の再試行を防ぐ例示的なユーザインタフェースを示す。以下で更に詳しく説明するように、図28A〜図28AAに示すユーザインタフェースの例示的な実施例は、図29A〜図29Bにおける処理を含む、以下で説明する処理を示すために使用される。
図28Aは、電子デバイス2800(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500、又はデバイス1700)を示す。図28A〜図28AAに示す例示的な実施例において、電子デバイス2800はスマートフォンである。他の実施例では、電子デバイス2800は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なる種類の電子デバイスでもよい。電子デバイス2800は、ディスプレイ2802、1つ以上の入力デバイス(例えば、ディスプレイ2802のタッチスクリーン及びマイクロフォン)、及び無線通信無線機を含む。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのみのカメラを含む。図28Aにおいて、電子デバイスは生体センサ2803を含む。いくつかの例では、生体センサは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを含み得る1つ以上の生体センサである。いくつかの例では、生体センサ2803は、生体センサ703である。いくつかの例では、1つ以上の生体センサは、1つ以上の指紋センサ(例えば、ボタンに統合された指紋センサ)を含む。いくつかの例では、デバイスは、赤外線投光器、構造化光プロジェクタ、又はその組合せなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照明するために使用される。
図28Aにおいて、電子デバイス2800は、アプリケーションのユーザインタフェース2804をディスプレイ2802に表示する。アプリケーションはモバイルブラウザアプリケーションであり、ユーザインタフェース2804はウェブサイト(onlinestore.com)に対応する。図28Bにおいて、電子デバイス2800は、ログインアフォーダンス2808上でタップジェスチャ2806を検出する。電子デバイス2800は、ログインユーザインタフェース2810(図28Cに示す)をロードする要求としてタップジェスチャ2806を識別する。電子デバイス2800はまた、ログインユーザインタフェース2810において記入可能フィールド、ユーザ名フィールド2812及びパスワードフィールド2814、にクレデンシャル情報(例えば、ユーザがアカウントに無事にログインできるようにするユーザ名及びパスワード)を自動記入する要求としてタップジェスチャ2806を識別する。自動記入の要求は、記入可能フィールドの自動記入を進めるために、生体認証を必要とする。いくつかの例では、要求は、ユーザが、クレデンシャルを提出してログインするために、提出アフォーダンス(例えば、図28Zの2860)をタップする必要のないような、ユーザに自動的にログインする要求も含む。
図28Cにおいて、タップジェスチャ2806(例えば、記入可能フィールドに自動記入する要求)に応じて、電子デバイス2800は、生体センサ2803を使用して、ある特定の生体認証基準が満足されているか否かを判定する。電子デバイス2800は、生体センサ2803からの生体データをキャプチャ及び処理(例えば、分析)して、生体特徴(又はその一部)が生体認証基準を満足するか否かを生体データに基づいて判定する(例えば、生体データが閾値内で生体テンプレートと一致するか否かを判定する)。センサが、ユーザからの物理的入力なしに(例えば、タップジェスチャ2806の後に追加のジェスチャなしに)生体認証を実行するように構成されるように、生体センサ2803は非接触式である。結果として、電子デバイス2800は、生体認証を開始する明示的要求をユーザから受信する必要なく、生体センサ2803を用いて生体認証を開始する。
生体認証を実行することは、生体認証グリフ2818を有する生体認証インタフェース2816を表示することを含む。生体認証グリフ2818は、生体特徴(例えば、顔)の表現のシミュレーションである。図28Cに示すように、生体認証インタフェース2816は、ログインユーザインタフェース2810の少なくとも一部の上に重ねられる。生体認証インタフェース2816は、任意選択的に、オペレーティングシステムレベルインタフェース(例えば、デバイスのオペレーティングシステムによって生成されたインタフェース)であり、ログインユーザインタフェース2810は、アプリケーションレベルインタフェース(例えば、デバイスのオペレーティングシステムとは別個のサードパーティアプリケーションによって生成されたユーザインタフェース)である。いくつかの例では、表示された生体認証インタフェースは、図28B〜図28Eにあるように横及び/又は縦軸に沿っておおよそ中心にある。いくつかの例では、電子デバイス2800は、ディスプレイ2802の上部、下部、脇、又は角に生体認証インタフェースを表示する。例えば、電子デバイス2800は、例えば、図30ALにあるように、ディスプレイ2802の上部の近くに生体認証インタフェースを表示する。いくつかの例では、電子デバイス3000は、生体認証が実行されている間、生体認証インタフェースを表示しない。
図28D〜図28Eにおいて、電子デバイス2800は、生体センサ2803が生体データの取得を試みる間のアニメーションの一部の役割を果たす、図28Dの生体認証グリフ2820及び図28Eの生体認証グリフ2822を含む生体認証アニメーション表示する。
図28Fにおいて、生体認証が失敗した(例えば、生体認証基準が満足されていない)という判定が行われる。結果として、電子デバイス2800は、ユーザ名フィールド2812及びパスワードフィールド2814の自動記入を取り止める。加えて、電子デバイス2800は、ユーザは生体認証を再試行するべきであるというユーザに対するインジケーションを表示しない。いくつかの例では、生体認証が成功した(例えば、生体認証基準が満足された)という判定が行われる。結果として、それらの例において、電子デバイス2800は、ユーザ名フィールド2812及びパスワードフィールド2814に自動記入する。
図28Gにおいて、電子デバイス2800は、生体認証が失敗したと判定した後、リロードアフォーダンス2826上でタップジェスチャ2824を検出する。電子デバイス2800は、ログインユーザインタフェース2810をリロードする要求としてタップジェスチャ2824を識別する。電子デバイス2800はまた、ログインユーザインタフェース2810において1つ以上の記入可能フィールド(例えば、ユーザ名フィールド2812及びパスワードフィールド2814)に自動記入する要求としてタップジェスチャ2824を識別する。上述のように、自動記入する要求は、記入可能フィールドの自動記入を進めるために、生体認証を必要とする。
記入可能フィールドに自動記入する要求に応じて、図28Fの生体認証の失敗は、所定の時間にわたり顔の存在を検出しなかったことが原因であったという判定が行われる。結果として、電子デバイス2800は、図28Hに示すように、生体センサ2803を使用して生体認証を再実行する。電子デバイス2800は、認証を開始する入力をユーザが行う必要なしに、自動的に生体認証を再実行する。
図28H〜図28Iにおいて、電子デバイス2800は、図28C〜図28Dに関して説明したように、生体認証インタフェース及び生体認証グリフを表示することを含む、生体認証を実行する。電子デバイス2800が、生体データを取得する(例えば、十分な生体データを取得する)と、電子デバイスは、生体認証グリフ2828の表示に遷移する。電子デバイス2800は、生体データが処理されていることを示すために生体認証グリフ2828を表示する。いくつかの例では、生体認証グリフ2828は、例えば表示されている間、球状に回転する、複数のリングを含む。
図28Kにおいて、生体認証が再び失敗したという判定が行われる。結果として、電子デバイス2800は、生体認証失敗のグリフ2832を有する生体認証失敗のインタフェース2830を表示する。結果として、電子デバイス2800は、ユーザ名フィールド2812及びパスワードフィールド2814の自動記入を取り止める。いくつかの例では、生体認証は成功したという判定が行われる。結果として、それらの例において、電子デバイス2800は、ユーザ名フィールド2812及びパスワードフィールド2814に自動記入する。
図28Lにおいて、電子デバイス2800は、第2の時間にわたり生体認証が失敗したと判定した後、リロードアフォーダンス2826上でタップジェスチャ2824を検出する。電子デバイス2800は、ログインユーザインタフェース2810をリロードする要求としてタップジェスチャ2826を識別する。電子デバイス2800はまた、ログインユーザインタフェース2810において1つ以上の記入可能フィールド(例えば、ユーザ名フィールド2812及びパスワードフィールド2814)に自動記入する要求としてタップジェスチャ2826を識別する。上述のように、自動記入する要求は、記入可能フィールドの自動記入を進めるために、生体認証を必要とする。
記入可能フィールドに自動記入する要求に応じて、図28Kの生体認証の失敗は、許可された顔と一致しない顔を検出した(例えば、生体データが、閾値内で、生体テンプレートと一致しない)ことによるという判定が行われる。結果として、図28Mに示すように、電子デバイス2800は、生体認証の実行を取り止める。
図28Nにおいて、電子デバイス2800は、タップジェスチャ2826に応じて生体認証の実行を取り止めた後、ユーザ名フィールド2812上でタップジェスチャ2834を検出する。結果として、図28Oに示すように、電子デバイス2800は、ユーザ名フィールド2812内にカーソル2836を表示し、仮想キーボード2838及びパスワードアフォーダンス2840も表示する。図28Pにおいて、電子デバイス2800は、パスワードアフォーダンス2840上でタップジェスチャ2842を検出する。結果として、図28Qに示すように、電子デバイス2800は、候補入力アフォーダンス(例えば、2844、2846、及び2848)のリストを表示する。いくつかの例では、ユーザ名フィールド2812上でのタップジェスチャ2834の検出に応じて、電子デバイス2800は、パスワードアフォーダンス2840の代わりに「ユーザ名」のラベルを付されたアフォーダンスを表示する。
図28Rにおいて、電子デバイス2800は、候補入力アフォーダンス2848(「jj_appleseed@email.com」のラベルを付された)上でタップジェスチャ2850を検出する。電子デバイス2800は、ユーザ名フィールド2812及びパスワードフィールド2814に候補入力アフォーダンス2848に対応するクレデンシャル情報を自動記入する要求としてタップジェスチャ2850を識別する。この記入可能フィールドに自動記入する要求は、ログインユーザインタフェース2810をロード又はリロードする要求から生じるものとは異なる種類の自動記入する要求である。ログインユーザインタフェースをロードする要求を介する自動記入する要求は、ログインユーザインタフェースをロードする要求の一部として実行されるので、暗黙の要求である。対称的に、図28Rにおける自動記入する要求は、候補入力アフォーダンス2848に対応するクレデンシャル情報をユーザ名フィールド2812及びパスワードフィールド2814に自動記入するユーザによる明示的な要求である。図28Rの明示的要求を介する記入可能フィールドに自動記入する要求に応じて、図28Sに示すように、電子デバイス2800は、生体認証を開始する。
図28S〜図28Uにおいて、電子デバイス2800は、図28H〜図28Jに関して説明したように、生体認証インタフェース及び生体認証グリフを表示することを含む、生体認証を実行する。
図28Vにおいて、生体認証は成功したという判定が行われる。結果として、電子デバイス2800は、生体認証が成功したことを示す生体認証成功グリフ2852を表示する。
図28Wでは、生体認証が成功したため、電子デバイス2800は、候補入力アフォーダンス2848に対応するクレデンシャル情報をユーザ名フィールド2812及びパスワードフィールド2814に自動記入する。いくつかの例では、生体認証は失敗したという判定が行われる。結果として、それらの例において、電子デバイス2800は、クレデンシャル情報をユーザ名フィールド2812及びパスワードフィールド2814に自動記入するのを取り止める。いくつかの例では、生体認証が失敗したとき、図17Mに関して説明したように、電子デバイス2800は、図28Xにある失敗インタフェース2854を表示する。代替的に、電子デバイス2800は、図15Sに関して説明したように、図28Yにある失敗インタフェース2856を表示することができる。失敗インタフェース2854は、ユーザが生体認証の試行の失敗の最大数(例えば、介在する認証の試行の成功のない試行の失敗の最大数)に達していないときに、表示することができる。生体認証の試行の失敗の最大数が達せられると、失敗インタフェース2856を代わりに表示することができる。
図28Wにおいて電子デバイス2800がユーザ名フィールド2812及びパスワードフィールド2814を自動記入した後、電子デバイスは、図28Zに示すように、提出アフォーダンス2860上でタップジェスチャ2858を検出する。電子デバイス2800は、ユーザ認証するためにユーザ名フィールド2812及びパスワードフィールド2814においてクレデンシャル情報を提出する要求としてタップジェスチャ2858を識別する。ユーザ認証が成功したとき、電子デバイス2800は、図28AAのユーザインタフェース2862において、制限されたコンテンツ(例えば、ユーザがログインした後にのみ見ることができるコンテンツ)へのアクセスを提供する。
図29A〜図29Bは、いくつかの例に係る、電子デバイスを使用した最初の生体認証の試行の失敗の後に生体認証を再実行する方法を示すフロー図である。方法2900は、1つ以上の生体センサ(例えば、2803)(例えば、指紋センサ、非接触式生体センサ(例えば、熱又は光顔認識センサなどの物理的接触を必要としない生体センサ)、アイリススキャナ)を用いてデバイス(例えば、100、300、500、1700、2800)において実行される。いくつかの例では、1つ以上の生体センサ(例えば、2803)は1つ以上のカメラを含む。電子デバイス(例えば、100、300、500、1700、2800)は、任意選択的に、ディスプレイ(例えば、2802)を含む。いくつかの例では、ディスプレイ(例えば、2802)は、タッチ感知ディスプレイである。いくつかの例では、ディスプレイ(例えば、2802)は、タッチ感知ディスプレイではない。
方法2900のいくつかの動作は任意選択的に組み合わされ、いくつかの動作は順序を任意選択的に変更され、いくつかの動作は任意選択的に省略される。以下で説明するように、方法2900は、最初の生体認証の試行の失敗の後に生体認証を再実行する直感的な方法を提供する。この方法は、電子デバイスで認証するユーザの認識的負担を軽減し、それによって、更に効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが更に速くかつ更に効率的に認証することを可能にすることにより、電力が節約され、バッテリ充電の間隔は延びる。
電子デバイス(例えば、100、300、500、1700、2800)は、認証を必要とする対応する動作を実行する(例えば、自動記入する、デバイスのロックを解除する、支払いを行う)第1の要求(例えば、2806)を受信する(2902)。いくつかの例では、第1の要求(例えば、2806)は、対応する動作の性能に関連する。いくつかの例では、第1の要求(例えば、2806)はまた、対応する動作とは異なる第2の動作を実行する要求(例えば、ウェブページ(例えば、2810)を表示する又は認証を必要とするコンテンツをロードする要求)である。いくつかの例では、第2の動作は認証を必要としない。
いくつかの例によれば、第1の要求(例えば、2806)はまた、生体認証を必要としない動作を実行する要求である。第1の要求(例えば、2806)の受信に応じて、電子デバイス(例えば、100、300、500、1700、2800)は、生体認証を必要としない動作を実行する。
いくつかの例によれば、第1の要求(例えば、2806)は、ウェブページ(例えば、2810)を開く要求である。
対応する動作を実行する第1の要求(例えば、2806)の受信に応じて(2904)、電子デバイス(例えば、100、300、500、1700、2800)はブロック2906〜2910に進む。
電子デバイス(例えば、100、300、500、1700、2800)は、1つ以上の生体センサ(例えば、2803)を使用して(2906)、生体認証基準が満足されているか否かを判定し、生体認証基準は、対応する動作を実行することを許可された対応する種類の生体特徴(例えば、顔又は指紋)が生体センサ(例えば、2803)によって検出されるという要件を含む。いくつかの例では、生体認証基準は、許可された生体特徴が1つ以上の生体センサ(例えば、2803)によって検出されるという要件を含む。
生体認証基準が満たされたという判定に応じて、電子デバイス(例えば、100、300、500、1700、2800)は対応する動作を実行する(2908)。
生体認証基準が満たされていないという判定に応じて(2910)、電子デバイス(例えば、100、300、500、1700、2800)は、対応する動作の実行を取り止める(2912)。生体認証基準を満足しないことに基づいて対応する動作を取り止める(又は実行する)ことにより、セキュリティを提供し、無許可のユーザがデリケートな動作を開始するのを防ぐことができる。セキュリティの向上を実現することにより、デバイスの操作性を高め、ユーザーデバイスインタフェースを(例えば、無許可のアクセスを制限することにより)更に効率的にし、加えて、制限された動作の性能を限定することによって、デバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、更に、対応する動作を実行する第1の要求(例えば、2806)の受信に応じて(2904)、生体認証基準が満足されていないという判定に応じて(2910)、電子デバイス(例えば、100、300、500、1700、2800)は、1つ以上の生体センサ(例えば、2803)を使用して認証を再試行するためのインジケーション(例えば、生体認証を再試行するようにユーザに促す視覚的に提示された命令)をディスプレイ(例えば、2802)に表示するのを取り止める(2914)。いくつかの例では、電子デバイス(例えば、100、300、500、1700、2800)はまた、対応する動作を再要求するためのインジケーションの表示を取り止める。
いくつかの例によれば、生体認証基準が満足されているか否かを判定することは、生体特徴に対応する1つ以上の生体センサ(例えば、2803)から取得したデータに基づいて判定される生体特徴の少なくとも一部が生体認証基準を満足するか否かを判定することを含む。いくつかの例では、要求(例えば、2806)がまた、認証を必要とせず対応する動作とは異なる第2の動作を実行する要求であるとき、第2の動作は、生体認証基準が満足されていないという判定に応じても実行される。例えば、第1の要求(例えば、2806)(例えば、URLアドレスのエントリ)は、認証を必要とする対応する動作(例えば、ユーザ名及び/又はURLアドレスに関連付けられたウェブページ(例えば、2810)のパスワードを自動記入すること)を実行する要求であり、認証を必要としない第2の動作(URLアドレスに関連付けられたウェブページ(例えば、2810)の表示)を実行する要求でもある。生体認証基準が満足されていないときでも、認証を必要としない第2の動作を実行することにより、生体でセキュリティ保護された動作が実行されない場合にも、要求に対するフィードバックをユーザに提供することができる。改善されたフィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
第1の要求(例えば、2806)の受信に応答した生体認証基準は満足されなかった(例えば、顔が検出されなかった、又は検出された顔は許可された顔と一致しない)という判定の後、電子デバイス(例えば、100、300、500、1700、2800)は、対応する動作を実行する第2の要求(例えば、2824)を受信する(2916)。いくつかの例では、ウェブページ(例えば、2810)をリロードする非ユーザ要求は、生体認証の再試行に関連する要求ではない。
対応する動作を実行する第2の要求(例えば、2824)の受信に応じて(2918)、電子デバイス(例えば、100、300、500、1700、2800)はブロック2920〜2922に進む。
対応する種類の生体特徴の存在を1つ以上の生体センサ(例えば、2803)が検出しなかったことによる第1の要求(例えば、2806)に応答した生体認証基準は満足されなかったという判定に応じて、第2の要求(例えば、2824)に応じて1つ以上の生体センサ(例えば、2803)を使用して生体認証基準が満足されているか否かを判定すること(2920)。前に認証の失敗が、生体特徴の存在を検出しなかったことによる場合に生体認証を再実行することにより、追加入力の必要なしにかつ追加の表示される制御装置でユーザインタフェースを雑然とさせる必要なしに認証を再試行する能力をユーザに与える。追加入力なしにかつ追加の表示される制御装置でユーザインタフェースを雑然とさせずに認証を再試行する能力を提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例では、生体特徴は、顔であり、生体センサ(例えば、2803)からのデータは、顔が検出されたことを示すデータを含まない。いくつかの例では、第1の要求(例えば、2806)に応答した生体認証基準は満足されなかったという判定は、1つ以上の生体センサ(例えば、2803)が所定の時間にわたり対応する種類の生体特徴の存在を検出しなかったときに生じる。
いくつかの例によれば、対応する種類の生体特徴の存在を1つ以上の生体センサ(例えば、2803)が検出しなかったことによる第1の要求(例えば、2806)に応答した生体認証基準は満足されなかったという判定は、1つ以上の生体センサ(例えば、2803)が、少なくとも所定の時間(例えば、対応する動作を実行する第1の要求(例えば、2806)などによって生体認証がトリガされた後の所定の時間)にわたり、対応する種類の生体特徴の存在を検出しないことによる第1の要求(例えば、2806)に応答した、生体認証基準は満足されなかったという判定である。
許可された生体特徴に対応しない対応する種類の生体特徴(例えば、許可された顔と一致しない検出された顔)を1つ以上の生体センサ(例えば、2803)が検出することによる第1の要求(例えば、2806)に応答した生体認証基準は満足されなかったという判定に応じて、電子デバイス(例えば、100、300、500、1700、2800)は、第2の要求(例えば、2824)に応じて1つ以上の生体センサ(例えば、2803)を使用して生体認証基準が満足されているか否かを判定することを取り止める(2922)(例えば、デバイスは、ウェブページ(例えば、2810)のリロードに応じて自動的に生体認証を再試行しない)。いくつかの例では、生体認証の再実行を取り止めることは更に、生体認証基準が満足されている場合に実行される動作の実行を取り止めることを含む。前の認証の失敗が、許可されていない生体特徴の検出による場合に、生体認証の再試行を取り止めることにより、セキュリティを向上させ、無許可であると思われるユーザの複数の資源集約的な再試行の事例を減らす。セキュリティの向上の実現により、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、無許可のアクセスを制限することによって)更に効率的にし、加えて、制限された動作の性能を限定することによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの例によれば、第1の要求(例えば、2806)の受信に応答した生体認証基準は満足されなかったという判定の後、電子デバイス(例えば、100、300、500、1700、2800)は、第3の要求(例えば、2850)(例えば、セキュリティ保護されたパスワードフィールドをタップしてパスワードを選択して自動記入する、セキュリティ保護されていないユーザ名フィールドをタップしてユーザ名を選択して自動記入する)を受信して、対応する動作を実行し、第3の要求は、第1の要求(例えば、2806)及び第2の要求(例えば、2824)とは異なる種類の要求である(例えば、第3の要求は、第1の要求及び第2の要求を行うために使用されたものとは異なるアフォーダンスの選択を使用して行われ、第1の要求及び第2の要求はまた、第2の動作を実行する要求であるが、第3の種類の要求は第2の動作(例えば、ウェブページのロード)を実行する要求ではない)。対応する動作を実行する第3の要求(例えば、2850)の受信に応じて、電子デバイス(例えば、100、300、500、1700、2800)は、第3の要求(例えば、2850)に応じて、1つ以上の生体センサ(例えば、2803)を使用して生体認証基準が満足されているか否かを判定する(例えば、第1の要求(例えば、2806)に応じて、生体認証基準が満足されなかった理由にかかわらず(例えば、許可された生体特徴に対応しないそれぞれの種類の生体特徴を1つ以上の生体センサが検出したことにより、又は対応する種類の生体特徴の存在を1つ以上の生体センサが検出しなかったことにより、生体認証基準が満足されなかったかどうかにかかわらず)、1つ以上の生体センサを使用して生体認証基準が満足されているか否かを判定すること。前の認証失敗の理由にかかわらず異なる種類の要求(例えば、明示的要求)を受信した後に生体認証を再実行することにより、ユーザに再認証を明示的に要求する能力を提供し、付加的な制御オプションをユーザに提供する。付加的な制御オプションをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、更に、対応する動作を実行する第2の要求(例えば、2824)の受信に応じて、かつ生体認証は利用不可能(例えば、生体認証の試行の失敗の最大数に達した、最後の認証の成功以後の試行が、許可される試行の既定の数を超えた)という判定に応じて、電子デバイス(例えば、100、300、500、1700、2800)は、代替形式の認証(例えば、パスワード又はパスコードなどの非生体形式の認証)を促す(例えば、2854、2856)。生体認証がもはや利用可能ではない場合に代替認証のプロンプトを提供すること(例えば、通知を表示すること)により、デバイスの現在の状態に関するフィードバックをユーザに提供し、認証に必要なものを示すユーザへのフィードバックを提供する。改善されたフィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、電子デバイス(例えば、100、300、500、1700、2800)は、代替形式の認証が必要とされる以前に許される生体認証の試行の失敗の数にそれぞれの制限を課す。電子デバイス(例えば、100、300、500、1700、2800)は、(例えば、閾値期間内に)対応する動作を実行する既定の数の要求が生体認証の試行の失敗に終わった後、対応する動作を実行する要求に応じて1つ以上の生体センサ(例えば、2803)を使用して生体認証基準が満足されているか否かを判定することを中止し、要求の既定の数は、対応する制限より少ない。
いくつかの例では、対応する動作を実行するそれぞれの要求の検出に応じて、デバイス(例えば、100、300、500、1700、2800)は、対応する動作を実行する所定の数の要求が生体認証の試行の失敗に終わったか否かを判定する。対応する動作を実行する所定の数の要求が生体認証の試行の失敗という結果になったという判定に応じて、電子デバイス(例えば、100、300、500、1700、2800)は、生体認証の試行を取り止める。対応する動作を実行する所定の数の要求が生体認証の試行の失敗をもたらさなかったという判定に応じて、電子デバイス(例えば、100、300、500、1700、2800)は、追加の生体認証の試行を進める。
いくつかの例では、行うことができる(例えば、成功せずに行われる)生体認証の試行又は再試行の数は、代替認証(例えば、パスワード又はパスコード)が要求される以前には、試行失敗の所定の数に制限される。そのような例では、電子デバイス(例えば、100、300、500、1700、2800)は、許容可能な試行の所定の数を超えないために、(例えば、対応する種類の生体特徴の存在を検出しないことによる、前の失敗の後に)生体認証が他の方法で試行されるであろう条件の下でも、ある特定の数の試行の後に生体認証の再試行を取り止める。要求が繰り返された後に許される数の試行を使い果たす前に生体センサの使用を停止すること(例えば、生体認証を取り止めること)で、繰り返される要求(例えば、同じ種類の繰り返される要求)で許可される数の試行をユーザが使い果たすことを回避し、生体認証を必要とする他の動作の要求のために少なくとも1度の試行をとっておく。少なくとも1度の試行をとっておくことにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、繰り返す、同様の要求で認証の試行を使い果たすことを回避することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、1つ以上の生体センサ(例えば、2803)を使用して生体認証基準が満足されているか否かを判定することは、対応する動作を実行する第2の要求(例えば、2824)の受信に応じて自動的に(例えば、ユーザからの入力の必要なしに)生じる。
いくつかの例によれば、1つ以上の生体センサ(例えば、2803)は、ユーザからの物理的接触なしに生体認証を実行するように構成された非接触式生体センサ(例えば、2803)(例えば、赤外線カメラ、可視光カメラ、又はその組合せ)である。
いくつかの例によれば、第2の要求(例えば、2824)に応じて、かつ第2の要求(例えば、2824)に応答した生体認証基準が満足されたという判定に応じて、電子デバイス(例えば、100、300、500、1700、2800)は、対応する動作(例えば、動作は、自動記入、データアクセス、デバイスのロック解除、及び/又は支払いの実行を含む)を実行する。
いくつかの例によれば、対応する動作は、1つ以上の記入可能フィールド(例えば、2812、2814)にクレデンシャル情報(例えば、クレジットカード情報又はログイン情報)を自動記入することである。いくつかの例では、クレジットカード情報は、支払いアカウント情報(例えば、クレジットカード、銀行口座、又は支払いサービス情報)に関連する情報を含む。いくつかの例では、ログイン情報は、アプリケーション、アカウント、又はウェブサイト(例えば、2862)にログインするために必要とされる情報を含む。要求及び認証の成功を受けてクレデンシャル情報を自動記入することにより、(要求を超える)更なる入力の必要なしにクレデンシャルを追加する能力をユーザに与える。更なるユーザ入力を必要とせずに、条件のセットが満足されたときに動作を実行することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、対応する動作は、制限されたコンテンツへのアクセスを提供することである。(例えば、ウェブページ(例えば、2862)にログインすること、ユーザに関連するパスワードのリストを表示すること、クレジットカード情報を表示すること。)
いくつかの例によれば、対応する動作は、電子デバイス(例えば、100、300、500、1700、2800)をロック済み状態からロック解除済みの状態に遷移させることである。いくつかの例では、電子デバイス(例えば、100、300、500、1700、2800)をロック解除済みの状態に遷移させることは、電子デバイスのディスプレイ(例えば、2802)、1つ以上の生体センサ(例えば、2803)、及び/又はマイクロフォンを有効にすることを含む。
いくつかの例によれば、対応する動作は、電子デバイス(例えば、100、300、500、1700、2800)が取引(例えば、商品又はサービスに対する支払いなどの金融取引)に参加することを可能にすることである。
いくつかの例によれば、電子デバイス(例えば、100、300、500、1700、2800)は、1つ以上の生体センサ(例えば、2803)を使用して生体認証基準が満足されているか否かを判定する間、生体認証が実行されているというインジケーションをディスプレイ(例えば、2802)に表示する(例えば、小型のインジケータが上部、下部、脇、又は角に表示される)。いくつかの例では、生体認証中にインジケータは表示されない。いくつかの例では、電子デバイス(例えば、100、300、500、1700、2800)は、1つ以上の生体センサ(例えば、2803)を使用して、生体認証基準が満足されているか否かを判定する間、生体認証が実行されているというインジケーションの表示を取り止める。いくつかの例では、対応する種類の生体特徴の存在を1つ以上の生体センサ(例えば、2803)が検出しなかったことにより第1の要求(例えば、2806)に応じて生体認証基準が満足されない場合、第1の視覚的なインジケーション(例えば、2822)が表示される。いくつかの例では、許可された生体特徴に対応しない対応する種類の生体特徴を1つ以上の生体センサ(例えば、2803)が検出することにより第1の要求(例えば、2806)に応じて生体認証基準が満足されない場合、第2の視覚的なインジケーション(例えば、2832)(例えば、第1の視覚的なインジケーションと同じ又は異なるもの)が表示される。いくつかの例では、生体認証基準が満足された場合、第3の視覚的なインジケーション(例えば、2852)が表示される(例えば、第1の視覚的なインジケーション及び/又は第2の視覚的なインジケーションとは異なる第3の視覚的なインジケーション)。
方法2900に関して上述された処理(例えば、図29A〜図29B)の詳細はまた、以下において説明され、上述された方法にも類似の方式で適用可能であることに留意されたい。例えば、方法2900は、方法800、1000、1200、1400、1600、2000、2200、2500、2700、3100、3300、及び3500を参照して上述された様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法1200に記載された登録された生体データは、方法2900に関して説明したように、生体認証を実行するために使用することができる。更なる一例として、方法3100の認証キャッシュ記憶は、方法2900に関して説明したように再実行される生体認証に応じて実行される認証の成功に基づくことができる。簡潔にするために、これらの詳細は、以下では繰り返さない。
図30A〜図30ALは、いくつかの実施例に係る、キャッシュ記憶された生体認証の例示的なユーザインタフェースを示す。以下で更に詳しく説明するように、図30A〜図30ALに示すユーザインタフェースの例示的な実施例は、図31A〜図31Bの処理を含む、以下で説明される処理を示すために使用される。
図30Aは、電子デバイス3000(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500、又はデバイス1700)を示す。図30A〜図30ALに示す例示的な実施例において、電子デバイス3000はスマートフォンである。他の実施例では、電子デバイス3000は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なる種類の電子デバイスでもよい。電子デバイス3000は、ディスプレイ3002、1つ以上の入力デバイス(例えば、ディスプレイ3002のタッチスクリーン、ボタン3004、及びマイクロフォン)、及び無線通信無線機を含む。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのみのカメラを含む。図30Aにおいて、電子デバイスは、生体センサ3003を含む。いくつかの例では、生体センサは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを含み得る1つ以上の生体センサである。いくつかの例では、生体センサ3003は、生体センサ703である。いくつかの例では、1つ以上の生体センサは、1つ以上の指紋センサ(例えば、ボタンに統合された指紋センサ)を含む。いくつかの例では、デバイスは、赤外線投光器、構造化光プロジェクタ、又はその組合せなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照明するために使用される。
図30Aにおいて、電子デバイス3000は、アプリケーションのユーザインタフェース3006をディスプレイ3002に表示する。アプリケーションは、モバイルブラウザアプリケーションであり、インタフェースはウェブサイト(online.com)に対応する。いくつかの例では、ウェブサイトonline.comは、online.comドメインのルートドメインである。電子デバイス3000は、タップジェスチャ3008をログインアフォーダンス3010上で検出する。電子デバイス3000は、ログインユーザインタフェース3012(図30Bに示す)をロードする要求としてタップジェスチャ3008を識別する。ユーザインタフェース3012は、ウェブページid.online.comである。いくつかの例では、id.online.comは、制限されたコンテンツに対してアクセスが許可される前に認証の成功を必要とするonline.comドメインのサブドメインである。電子デバイス3000はまた、ログインユーザインタフェース3012において、記入可能フィールド、ユーザ名フィールド3014及びパスワードフィールド3016、に自動記入する要求としてタップジェスチャ3008を識別する。自動記入の要求は、記入可能フィールドの自動記入を進めるために、生体認証を必要とする。いくつかの例では、要求はまた、クレデンシャルを提出してログインするためにユーザが提出アフォーダンス(例えば、3030、3046)をタップする必要のないようにユーザに自動的にログインする要求を含む。
図30Bにおいて、タップジェスチャ3008(例えば、記入可能フィールドに自動記入する要求)に応じて、電子デバイス3000は、生体センサ3003を使用して、ある特定の生体認証基準が満足されているか否かを判定する。電子デバイス3000は、生体センサ3003から生体データをキャプチャして処理(例えば、分析)して、生体特徴(又はその一部)が生体認証基準を満足するか否かを生体データに基づいて判定する(例えば、生体データが閾値内で生体テンプレートと一致するか否かを判定する)。ユーザからの物理的入力なしに(例えば、タップジェスチャ3008の後に追加のジェスチャなしに)生体認証を実行するようにセンサが構成されるように、生体センサ3003は非接触式である。結果として、電子デバイス3000は、生体認証を開始するユーザからの明示的要求を受信する必要なしに生体センサ3003を使用して生体認証を開始する。
生体認証を実行することは、生体認証グリフ3020を有する生体認証インタフェース3018を表示することを含む。生体認証グリフ3020は、生体特徴(例えば、顔)の表現のシミュレーションである。図30Bに示すように、生体認証インタフェース3018は、ログインユーザインタフェース3012の少なくとも一部の上に重ねられる。生体認証インタフェース3018は、任意選択的に、オペレーティングシステムレベルインタフェース(例えば、デバイスのオペレーティングシステムによって生成されたインタフェース)であり、ログインユーザインタフェース3012は、アプリケーションレベルインタフェース(例えば、デバイスのオペレーティングシステムとは別個のサードパーティアプリケーションによって生成されたユーザインタフェース)である。
図30Cにおいて、電子デバイス3000は、その間に生体センサ3003が生体データを取得するアニメーションの一部の役割を果たす、生体認証グリフ3022を含む生体認証アニメーションの一部を表示する。いくつかの実施例では、グリフ3020及び3022がその一部であるアニメーションは、電子デバイスが特定の種類の生体特徴の識別(例えば、顔の識別)を試みていることを示す。電子デバイス3000が生体データを取得する(例えば、十分な生体データを取得する)と、図30Dに示すように、電子デバイス3000は、生体認証グリフ3024を表示する工程に遷移する。電子デバイス3000は、生体データが処理されていることを示すために生体認証グリフ3024を表示する。いくつかの例では、生体認証グリフ3024は、例えば表示されている間、球状に回転する、複数のリングを含む。
図30Eにおいて、生体認証は成功したという判定が行われる。その結果、電子デバイス3000は、生体認証が成功したことを示す生体認証成功グリフ3026を表示する。
図30Fにおいて、生体認証が成功したので、電子デバイス3000は、ユーザ名フィールド3014及びパスワードフィールド3016にクレデンシャル情報(例えば、ユーザがアカウントに無事にログインすることを可能にするユーザ名及びパスワード)を自動記入する。電子デバイス3000は、デバイスがロック解除済みの状態にある間に、フィールドに自動記入する。いくつかの例では、生体認証は失敗した(例えば、生体認証基準が満足されていない)という判定が行われる。結果として、それらの例において、電子デバイス3000は、1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3014及びパスワードフィールド3016)の自動記入を取り止める。
図30Gにおいて、電子デバイス3000は、提出アフォーダンス3030上でタップジェスチャ3028を検出する。タップジェスチャ3028の検出に応じて、電子デバイス3000は、ユーザ認証するためにユーザ名フィールド3014及びパスワードフィールド3016においてクレデンシャル情報を提出する。ユーザ認証が成功したとき、電子デバイス3000は、図30Hのアカウントユーザインタフェース3032において制限されたコンテンツ(例えば、ユーザがログインすれば見ることができるコンテンツ)へのアクセスを提供する。
図30Iにおいて、電子デバイス3000は、ショップアフォーダンス3036上でタップジェスチャ3034を検出する。電子デバイス3000は、ユーザインタフェース3038にログインする要求としてタップジェスチャ3034を識別する(図30Jに示す)。ユーザインタフェース3038はウェブページshop.online.comである。いくつかの例では、shop.online.comは、制限されたコンテンツへのアクセスが許可される前に認証の成功を必要とするonline.comドメインのサブドメインである。図30Jの例などのいくつかの例では、サブドメインshop.online.comは、図30B〜図30Iに関して論じた、サブドメインid.online.comなどのonline.comドメインの1つ以上の他のサブドメインによって必要とされるものとは別個の認証を必要とする。電子デバイス3000はまた、ログインユーザインタフェース3038において1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3040及びパスワードフィールド3042)に自動記入する要求としてタップジェスチャ3034を識別する。上述のように、いくつかの例では、要求はまた、クレデンシャルを提出してログインするためにユーザが提出アフォーダンス(例えば、3030、3046)をタップする必要のないようにユーザに自動的にログインする要求を含む。
記入可能フィールドに自動記入する要求に応じて、図30Eにおいて生じた認証の成功からキャッシュ記憶された認証は使用可能であるという判定が行われる。結果として、電子デバイス3000は、図30Jに示すように、生体認証の再実行を取り止め、ユーザ名フィールド3040及びパスワードフィールド3042の自動記入に進む。電子デバイス3000は、生体センサ3003が生体特徴(例えば、顔又は指)を検出するか否かにかかわらずフィールドに自動記入する。図30Kにおいて、電子デバイス3000は、提出アフォーダンス3046上でタップジェスチャ3044を検出する。タップジェスチャ3044の検出に応じて、電子デバイス3000は、ユーザ認証するためにユーザ名フィールド3040及びパスワードフィールド3042においてクレデンシャル情報を提出する。ユーザ認証が成功したとき、電子デバイス3000は、図30Lのショップユーザインタフェース3048において、制限されたコンテンツ(例えば、ユーザがログインすると見ることができるコンテンツ)へのアクセスを提供する。
代替的に、記入可能フィールドに自動記入する要求に応じて、キャッシュ記憶された認証は使用不可能であるという判定が行われる。図30N〜図30Vは、以下で説明するように、キャッシュ記憶された認証を電子デバイス3000による使用を不可能にさせる様々な例を示す。図30W〜Yは、以下で説明するように、キャッシュ記憶された認証が使用不可能なときに生体認証が実行されなければならないことを示す。
図30Mでは、電子デバイス3000は、ショップユーザインタフェース3048を表示し、リンクアフォーダンス3052上でタップジェスチャ3050を検出する。タップジェスチャ3050の検出に応じて、図30Nに示すように、電子デバイス3000は、アカウントユーザインタフェース3032を表示する。
図30N〜図30Oは、キャッシュ記憶された認証を電子デバイス3000によって使用できないようにさせる一例を示す。図30Nにおいて、電子デバイス3000は、ホームボタン3056において指3054による入力(例えば、単一の押下)を検出する。入力の検出に応じて、電子デバイス3000は、図30Oに示すように、ホーム画面3058を表示し、アカウントユーザインタフェース3032を有するアプリケーションを非アクティブ状態(例えば、サスペンド状態、休止状態、バックグラウンド状態、及び/又はアクティブでない状態)にさせる。ログインユーザインタフェース3012(例えば、図30F)内の記入可能フィールドが自動記入され、ログインユーザインタフェース3038(例えば、図30J)内の記入可能フィールドに自動記入する要求が受信される間に閾値時間(例えば、2分と40秒)を超えてアプリケーションが非アクティブ状態にある場合、キャッシュ記憶された認証は、電子デバイス3000によって使用不可能である。
図30P〜図30Tは、キャッシュ記憶された認証を電子デバイス3000によって使用できないようにさせる一例を示す。図30Pにおいて、電子デバイス3000は、ホームボタン3056において指3054による入力(例えば、2回押下)を検出する。入力の検出に応じて、電子デバイス3000は、図30Qに示すように、最近使用されたアプリビュー3060を表示する。図30R〜図30Sにおいて、電子デバイス3000は、アカウントユーザインタフェース3032を有するアプリケーションを閉じさせる(例えば、終了させる)スワイプジェスチャ3062を検出する。結果として、電子デバイス3000は、図30Tに示すように、アカウントユーザインタフェース3032を有するアプリケーションをそれ以上含まない、最近使用されたアプリビュー3060を表示する。ログインユーザインタフェース3012(例えば、図30F)内の記入可能フィールドが自動記入され、ログインユーザインタフェース3038(例えば、図30J)内の記入可能フィールドに自動記入する要求が受信される間にアプリケーションが閉じられると、キャッシュ記憶された認証は、電子デバイス3000によって使用不可能である。
図30U〜図30Vは、キャッシュ記憶された認証を電子デバイス3000によって使用できないようにさせる一例を示す。図30Uにおいて、電子デバイス3000は、ボタン3004において指3064による入力(例えば、単一の押下)を検出する。入力の検出に応じて、電子デバイス3000は、ロック解除済みの状態からロック済み状態にデバイスを遷移させる。ロック済み状態にデバイスを遷移させることは、電子デバイス3000のディスプレイ3002、1つ以上の生体センサ3003、及び/又はマイクロフォンを非アクティブ化すること(例えば、無効にすること)を含む。図30Vにおいて、電子デバイス3000は、ロック済み状態にあり、ディスプレイ3002に何も表示しない。ログインユーザインタフェース3012(例えば、図30F)内の記入可能フィールドが自動記入され、ログインユーザインタフェース3038(例えば、図30J)内の記入可能フィールドに自動記入する要求が受信される間に電子デバイス3000がロック済み状態に遷移すると、キャッシュ記憶された認証は、電子デバイス3000によって使用不可能である。
図30Wにおいて、電子デバイス3000は、キャッシュ記憶された認証がもはや利用不可能になった後に(例えば、図30N〜図30O、図30P〜図30T、又は図30U〜図30Vに関して論じたシーケンスのイベントのうちの1つ以上のイベントの後に)アカウントユーザインタフェース3032を表示する。電子デバイス3000は、ショップアフォーダンス3036上でタップジェスチャ3034を検出する。電子デバイス3000は、ログインユーザインタフェース3038(図30Xに示す)をロードする要求としてタップジェスチャ3034を識別する。電子デバイス3000はまた、ログインユーザインタフェース3038において1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3040及びパスワードフィールド3042)に自動記入する要求としてタップジェスチャ3034を識別する。上述のように、いくつかの例では、要求はまた、ユーザが提出アフォーダンスをタップしてクレデンシャルを提出してログインする必要のないように、ユーザに自動的にログインする要求を含む。
1つ以上の記入可能フィールドに自動記入する要求に応じて、キャッシュ記憶された認証は電子デバイス3000によって使用不可能であるという判定が行われる。図30Yにおいて、電子デバイス3000は、1つ以上の生体センサ3003を使用して生体認証を再実行する。生体認証は、生体認証を開始するためにユーザからの中間入力が必要とされないように、記入可能フィールドに自動記入する要求の受信に応じて自動的に生じる。生体認証が成功した(例えば、生体認証基準が満足された)場合、電子デバイスは記入可能フィールドに自動記入する。生体認証が成功しなかった(例えば、生体認証基準が満足されない)場合、電子デバイス3000は、記入可能フィールドの自動記入を取り止める。
図30Zでは、ユーザは、ログインされておらず、図30Aに類似するユーザインタフェースを提示される。電子デバイス3000は、アプリケーションのユーザインタフェース3006をディスプレイ3002に表示する。電子デバイス3000は、タップジェスチャ3008をログインアフォーダンス3010上で検出する。電子デバイス3000は、ログインユーザインタフェース3012(図30AAに示す)をロードする要求としてタップジェスチャ3008を識別する。電子デバイス3000はまた、ログインユーザインタフェース3012において1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3014及びパスワードフィールド3016)に自動記入する要求としてタップジェスチャ3008を識別する。自動記入の要求は、記入可能フィールドの自動記入を進めるために、生体認証を必要とする。上述のように、いくつかの例では、要求はまた、ユーザが提出アフォーダンスをタップしてクレデンシャルを提出してログインする必要のないように、ユーザに自動的にログインする要求を含む。
図30AAにおいて、記入可能フィールドに自動記入する要求に応じて、電子デバイス3000は、生体センサ3003を使用して、ある特定の生体認証基準が満足されているか否かを判定する。ユーザからの物理的入力なしに生体認証を実行するようにセンサが構成されるように、生体センサ3003は非接触式である。結果として、電子デバイス3000は、生体認証を開始する明示的要求をユーザから受信する必要なしに生体センサ3003を使用して生体認証を開始する。生体認証は成功しなかった(例えば、生体認証基準は満足されていない)。結果として、電子デバイス3000は、図17Mに関して説明したように、生体認証が失敗したときに図30ABの失敗インタフェース3066を表示する。失敗インタフェース3066は、生体認証の試行の失敗の最大数をユーザが達していないときに、表示される。
図30ACでは、電子デバイス3000は、キャンセルアフォーダンス3070上でタップジェスチャ3068を検出する。タップジェスチャ3068の検出に応じて、電子デバイス3000は、ログインユーザインタフェース3012(図30ADに示す)を表示する。図30ADでは、ユーザ名フィールド3014の選択を検出することに応じて、電子デバイス3000は、ユーザ名フィールド3014内にカーソル3072を表示し、仮想キーボード3074もまた表示する。電子デバイス3000は、ユーザ名フィールド3014及びパスワードフィールド3016においてクレデンシャル情報に対応する1つ以上の文字を入れる入力を受信する。図30AEでは、電子デバイス3000は、提出アフォーダンス3030上でタップジェスチャ3028を検出する。結果として、電子デバイス3000は、ユーザ認証するためにユーザ名フィールド3014及びパスワードフィールド3016においてクレデンシャル情報を提出する。ユーザ認証が成功したとき、電子デバイス3000は、図30AFのアカウントユーザインタフェース3032において、制限されたコンテンツ(例えば、ユーザがログインすると見ることができるコンテンツ)へのアクセスを提供する。
図30AGでは、電子デバイス3000は、ショップアフォーダンス3036上でタップジェスチャ3034を検出する。電子デバイス3000は、ログインユーザインタフェース3038(図30AHに示す)をロードする要求としてタップジェスチャ3034を識別する。電子デバイス3000はまた、ログインユーザインタフェース3038において1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3040及びパスワードフィールド3042)に自動記入する要求としてタップジェスチャ3034を識別する。上述のように、いくつかの例では、要求はまた、クレデンシャルを提出してログインするためにユーザが提出アフォーダンスをタップする必要のないように、ユーザに自動的にログインする要求を含む。
1つ以上の記入可能フィールドに自動記入する要求に応じて、キャッシュ記憶された認証は電子デバイス3000によって使用不可能であるという判定が行われる。図30AHでは、電子デバイス3000は、生体センサ3003を使用して生体認証を実行する。生体認証は、ユーザからの中間入力が生体認証を開始するために必要とされないように、記入可能フィールドに自動記入する要求の受信に応じて自動的に生じる。
図30AIにおいて、生体認証は成功した(例えば、生体認証基準が満足された)という判定が行われる。結果として、電子デバイス3000は、生体認証が成功したことを示す生体認証成功グリフ3026を有する生体認証インタフェース3018を表示する。生体認証が成功したとき、電子デバイス3000は、図30AJに示すように、ユーザ名フィールド3040及びパスワードフィールド3042にクレデンシャル情報を自動記入する。
図30AJにおいて、電子デバイス3000は、提出アフォーダンス3046上でタップジェスチャ3044を検出する。タップジェスチャ3044の検出に応じて、電子デバイス3000は、ユーザ認証するためにユーザ名フィールド3040及びパスワードフィールド3042においてクレデンシャル情報を提出する。ユーザ認証が成功したとき、電子デバイス3000は、図30AKのショップユーザインタフェース3048において、制限されたコンテンツ(例えば、ユーザがログインすると見ることができるコンテンツ)へのアクセスを提供する。
いくつかの例では、電子デバイス3000は、生体認証グリフを有する生体認証インタフェースを表示し、生体認証が実行されていることを示す。いくつかの例では、表示される生体認証インタフェースは、図30B〜図30Eにあるように横及び/又は縦軸に沿ってほぼ中心に置かれる。他の例において、電子デバイス3000は、ディスプレイ3002の上部、下部、脇、又は角に生体認証インタフェースを表示する。例えば、電子デバイス3000は、図30ALに示すように、ディスプレイ3002の上部の近くに生体認証インタフェース3076を表示する。いくつかの例では、電子デバイス3000は、生体認証が実行されている間、生体認証インタフェースを表示しない。
図31A〜図31Bは、いくつかの例に係る、電子デバイスを使用して、生体再認証が必要とされるか又はキャッシュ記憶された認証は使用可能であるかを判定する方法を示すフロー図である。方法3100は、1つ以上の生体センサ(例えば、3003)(例えば、指紋センサ、非接触式生体センサ(例えば、熱又は光顔認識センサなどの物理的接触を必要としない生体センサ)、アイリススキャナ)を備えるデバイス(例えば、100、300、500、1700、3000)において実行される。いくつかの例では、1つ以上の生体センサ(例えば、3003)は1つ以上のカメラを含む。電子デバイス(例えば、100、300、500、1700、3000)は、任意選択的に、ディスプレイ(例えば、3002)を含む。いくつかの例では、ディスプレイ(例えば、3002)は、タッチ感知ディスプレイである。いくつかの例では、ディスプレイ(例えば、3002)は、タッチ感知ディスプレイではない。
方法3100のいくつかの動作は任意選択的に組み合わされ、いくつかの動作は任意選択的に順序を変更され、いくつかの動作は任意選択的に省略される。以下のように、方法3100は、生体再認証が必要であるか、又はキャッシュ記憶された認証が使用可能であるかを判定する直観的な方法を提供する。この方法は、電子デバイスで認証するユーザの認識的負担を軽減し、それによって、更に効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが更に速くかつ更に効率的に認証することを可能にすることにより、電力が節約され、バッテリ充電の間隔は延びる。
電子デバイス(例えば、100、300、500、1700、3000)は、認証を必要とする第1の動作を実行する(例えば、パスワードを選択して自動記入する、デバイスのロックを解除する、支払いを行う)第1の要求(例えば、3008)を受信する(3102)。
第1の動作を実行する第1の要求(例えば、3008)の受信に応じて(3104)、電子デバイス(例えば、100、300、500、1700、3000)はブロック3106〜3110に進む。
電子デバイス(例えば、100、300、500、1700、3000)は、1つ以上の生体センサ(例えば、3003)を使用して(3106)、第1の生体認証基準が満足されているか否かを判定する。第1の生体認証基準は、第1の動作を実行することを許可された対応する種類の生体特徴(例えば、顔又は指紋)が生体センサ(例えば、3003)によって検出されるという要件を含む。
第1の生体認証基準が満足された(例えば、生体特徴に対応する1つ以上の生体センサ(例えば、3003)から得られたデータに基づいて判定された、生体特徴の少なくとも一部が、生体認証基準を満足する(例えば、検出された顔が、許可された顔と一致する))という判定に応じて、電子デバイス(例えば、100、300、500、1700、3000)は、第1の動作を実行する(3108)。要求及び認証の成功を受けて第1の動作を実行することにより、(要求を超える)更なる入力を必要とせずに第1の動作を実行する能力をユーザに与える。更なるユーザ入力を必要とせずに条件のセットが満足されたときに動作を実行することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
生体認証基準が満足されていないという判定に応じて、電子デバイス(例えば、100、300、500、1700、3000)は、第1の動作の実行を取り止める(3110)。生体認証基準を満足しないことに基づいて対応する動作を取り止めること(又は実行すること)で、セキュリティを提供し、無許可のユーザがデリケートな動作を開始するのを防ぐことができる。改善されたセキュリティを提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、無許可のアクセスを制限することによって)更に効率的にし、加えて、制限された動作の性能を限定することによって電力使用を削減し、デバイスのバッテリ寿命を改善する。
第1の動作を実行した後、電子デバイス(例えば、100、300、500、1700、3000)は、認証を必要とする第2の動作(例えば、第1の動作と同じ又は異なる動作)を実行する第2の要求(例えば、3034)(例えば、パスワードを選択して自動記入する、デバイスのロックを解除する、支払いを行う)を受信する(3112)。
第2の要求(例えば、3034)の受信に応じて(3114)、電子デバイス(例えば、100、300、500、1700、3000)はブロック3116〜3118に進む。
再認証基準が満足された(例えば、キャッシュ記憶された認証が第2の動作について許可されていない又はキャッシュ記憶された認証が使用不可能)という判定に応じて、電子デバイス(例えば、100、300、500、1700、3000)は、1つ以上の生体センサ(例えば、3003)を使用して(3116)、第2の生体認証基準が満足されているか否かを判定する。第2の生体認証基準は、第2の動作を実行することを許可された対応する種類の生体特徴(例えば、顔又は指紋)が生体センサ(例えば、3003)によって検出されるという要件を含む。いくつかの例では、第1の生体認証基準と第2の生体認証基準とは同じである。いくつかの例では、第1の生体認証基準と第2の生体認証基準とは異なる。キャッシュ記憶された認証が使用不可能なときに生体認証を実行することにより、セキュリティを提供し、無許可のユーザがデリケートな動作を開始するのを防ぐことができる。改善されたセキュリティを提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、無許可のアクセスを制限することによって)更に効率的にし、加えて、制限された動作の性能を限定することによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
再認証基準が満足されていない(例えば、キャッシュ記憶された認証は使用可能である)という判定に応じて、電子デバイス(例えば、100、300、500、1700、3000)は、生体認証を実行すること及び1つ以上の生体センサ(例えば、3003)を使用して第2の生体認証基準が満足されているか否かを判定することを取り止めることなく、第2の動作を実行する(3118)。再認証を必要とせずに要求に応じて第2の動作を実行することにより、(要求を超える)更なる入力を必要とせずに動作を実行する能力をユーザに与える。更なるユーザ入力又は再認証を必要とせずに条件のセットが満足されたときに動作を実行することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、第1の動作及び第2の動作は、電子デバイス(例えば、100、300、500、1700、3000)がロック解除済みの状態にあるときに生じる。いくつかの例では、1つ以上の生体センサ(例えば、3003)を使用して第2の生体認証基準が満足されているか否かを判定することは、電子デバイス(例えば、100、300、500、1700、3000)がロック解除済みの状態にある間に生じる。デバイスがロック解除済みの状態にある間に生体認証を実行することにより、デバイスが生体認証の進度のインジケーションを表示することによってフィードバックを提供することを可能にする。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、第2の要求(例えば、3034)の受信に応じて、第2の生体認証基準が満足されていないという判定に応じて、電子デバイス(例えば、100、300、500、1700、3000)は第2の動作の実行を取り止める。
いくつかの例によれば、第2の動作を実行することは、第2の動作を実行することを許可された対応する種類の生体特徴が第2の要求(例えば、3034)の受信に応じて生体センサ(例えば、3003)によって検出されるか否かにかかわらず、生じる。
いくつかの例によれば、第1の動作は、第1のウェブドメインにログインすること(例えば、3028)であり、第2の動作は、第1のウェブドメインに対応する第2のウェブドメインにログインすること(例えば、3044)である。いくつかの例では、第2のウェブドメインは、第1のウェブドメインと同じである。いくつかの例では、第2のウェブドメインは、第1のウェブドメインのサブドメインである。
いくつかの例によれば、再認証基準は、第1の動作が実行されたときと第2の要求(例えば、3034)が受信された(例えば、キャッシュ記憶された認証が使用不可能である)ときとの間にデバイス(例えば、100、300、500、1700、3000)がロック済み状態にあるという要件を含む(例えば、第1の動作が実行されたときと第2の要求が受信されるときとの間にデバイスがロック解除済みの状態のままであったとき、再認証基準は満足されず、生体認証は再び必要とされない)。
いくつかの例によれば、第1の動作はアプリケーションにおいて実行され、再認証基準は、第1の動作が実行されたときと第2の要求(例えば、3034)が受信された(例えば、キャッシュ記憶された認証が使用不可能である)ときとの間にアプリケーションが閉じられている(例えば、終了されている)という要件を含む(例えば、第1の動作が実行されたときと第2の要求が受信されるときとの間にアプリケーションが開いたままであるとき、再認証基準は満足されず、生体認証は再び必要とされない)。
いくつかの例によれば、再認証基準は、第1の動作が実行されたときと第2の要求(例えば、3034)が受信された(例えば、キャッシュ記憶された認証が使用不可能である)ときとの間に閾値時間(例えば、2分と40秒)を超えてアプリケーションが非アクティブ状態(例えば、サスペンド状態、休止状態、バックグラウンド状態、アクティブでない状態)にあるという要件を含む(例えば、第1の動作が実行されたときと第2の要求が受信されるときとの間にアプリケーションがアクティブ状態のままであるとき、再認証基準は満足されず、生体認証は再び必要とされない)。
いくつかの例によれば、1つ以上の生体センサ(例えば、3003)を使用して第2の生体認証基準が満足されているか否かを判定することは、認証を必要とする第2の動作を実行する第2の要求(例えば、3034)の受信に応じて、自動的に(例えば、ユーザからの中間入力の必要なしに)生じる。
いくつかの例によれば、1つ以上の生体センサ(例えば、3003)は、ユーザからの物理的接触なしに生体認証を実行するように構成された非接触式生体センサ(例えば、赤外線カメラ、可視光カメラ、又はその組合せ)である(例えば、1つ以上の生体センサ(例えば、3003)は、ユーザからの物理的入力(例えば、タッチ又はボタン押下)なしに生体認証を実行することができる)。
いくつかの例によれば、1つ以上の生体センサ(例えば、3003)を使用して、第1の又は第2の生体認証基準が満足されているか否かを判定する間、電子デバイス(例えば、100、300、500、1700、3000)は、生体認証が実行されているというインジケーション(例えば、3076)をディスプレイ(例えば、3002)に表示する(例えば、小型のインジケータが上部、下部、脇、又は角に表示される)。ディスプレイの中央から離れて小型のインジケータを表示することにより、表示を妨げる又は雑然とさせること及びユーザの焦点をそらすことなく生体認証の進度のインジケーションをユーザに提供し、それにより、認証の間に改善された視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。いくつかの例では、インジケータは生体認証の間に表示されない。いくつかの例では、電子デバイス(例えば、100、300、500、1700、3000)は、生体認証基準が満足されているか否かを1つ以上の生体センサ(例えば、3003)を使用して判定する間、生体認証が実行されているというインジケーションの表示を取り止める。
方法3100に関して上述された処理(例えば、図31A〜図31B)の詳細はまた、以下及び上記において説明される方法にも類似の方式で適用可能であることに留意されたい。例えば、方法3100は、方法800、1000、1200、1400、1600、2000、2200、2500、2700、2900、3300、及び3500を参照して上述された、様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法1200に記載された登録された生体データは、方法3100に関して説明されたように生体認証を実行するために使用することができる。更なる一例として、方法3300の視認性基準は、生体認証が実行される(又は再実行される)べきときに制御する方法3100と合わせて使用することができる。簡潔にするために、これらの詳細は、以下では繰り返さない。
図32A〜図32Wは、いくつかの実施例に係る、視認性基準に基づいて記入可能フィールドに自動記入する例示的なユーザインタフェースを示す。以下で更に詳しく説明するように、図32A〜図32Wに示すユーザインタフェースの例示的な実施例は、図33の処理を含む、以下で説明される処理を示すために使用される。
図32Aは、電子デバイス3200(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)を示す。図32A〜図32Wに示す例示的な実施例において、電子デバイス3200はスマートフォンである。他の実施例では、電子デバイス3200は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なる種類の電子デバイスでもよい。電子デバイス3200は、ディスプレイ3202、1つ以上の入力デバイス(例えば、ディスプレイ3202のタッチスクリーン及びマイクロフォン)、及び無線通信無線機を含む。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのみのカメラを含む。図32Aにおいて、電子デバイスは、生体センサ3203を含む。いくつかの例では、生体センサは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを含み得る1つ以上の生体センサである。いくつかの例では、生体センサ3203は生体センサ703である。いくつかの例では、1つ以上の生体センサは、1つ以上の指紋センサ(例えば、ボタンに統合された指紋センサ)を含む。いくつかの例では、デバイスは、赤外線投光器、構造化光プロジェクタ、又はその組合せなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照明するために使用される。
図32Aでは、電子デバイス3200は、アプリケーションのユーザインタフェース3204をディスプレイ3202に表示する。アプリケーションはモバイルブラウザアプリケーションであり、インタフェースはウェブサイト(airline.com)に対応する。図32B〜図32Dでは、ログインユーザインタフェースがある特定の視認性基準を満足していないため、電子デバイス3200は生体認証を開始しない。例えば、視認性基準は、ユーザインタフェースの可視のエリア内に1つ以上の記入可能フィールド(例えば、クレデンシャル情報に対応する)の閾値量が表示されるか否かを含むことができる。
図32B〜図32Cにおいて、電子デバイス3200は、上方向の動きでスクロールジェスチャ3206を検出する。スクロールジェスチャ3206の検出に応じて、電子デバイス3200はユーザインタフェース3204を下にスクロールさせる。図32Dにおいて、スクロールジェスチャ3206に続いて、電子デバイス3200は、スクロールされたユーザインタフェース3208を表示する。視認性基準が満足されていないという判定により、電子デバイス3200はまだ生体認証を開始していない。
図32Eにおいて、電子デバイス3200は、隠しメニューアフォーダンス3212上でタップジェスチャ3210を検出する。タップジェスチャ3210の検出に応じて、電子デバイス3200は、図32Fに示すように、1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3216及びパスワードフィールド3218)を含む隠しメニュー3214を表示する。電子デバイス3200は、スクロールされたユーザインタフェース3208の覆われた部分がそれ以上表示されないようにスクロールされたユーザインタフェース3208上に重ねられた、隠しメニュー3214を表示する。記入可能フィールドがある特定の視認性基準を満足するか否かに関して判定が行われる。
記入可能フィールドがある特定の視認性基準を満足すると判定された場合、電子デバイス3200は、隠しメニュー3214において記入可能フィールドにクレデンシャル情報(例えば、ユーザがアカウントに無事にログインできるようにするユーザ名及びパスワード)を自動記入する要求を受信する。自動記入の要求は、記入可能フィールドの自動記入を進めるために、生体認証を必要とする。いくつかの例では、要求はまた、クレデンシャルを提出してログインするためにユーザが提出アフォーダンス(例えば、図32Lの提出アフォーダンス3232)をタップする必要のないようにユーザに自動的にログインする要求を含む。
図32Gでは、1つ以上の記入可能フィールドがある特定の視認性基準を満足すると判定したとき、電子デバイス3200は、生体センサ3203を使用して、ある特定の生体認証基準が満足されているか否かを判定する。電子デバイス3200は、生体センサ3203から生体データをキャプチャして処理(例えば、解析)して、生体データに基づいて、生体特徴(又はその一部)が生体認証基準を満足しているかを判定する(例えば、生体データが閾値内で生体テンプレートと一致するか否かを判定する)。記入可能フィールドは視認性基準を満足しているという判定が行われると、生体認証は自動的に生じる。センサがユーザからの物理的接触なしに生体認証を実行するように構成されるように、生体センサ3203は非接触式である。結果として、電子デバイス3200は、ユーザからの生体認証を開始する明示的要求の受信なしに生体センサ3203を使用して生体認証を開始する。いくつかの例では、生体認証を開始することは、1つ以上の指紋センサとの接触を検出することと、この接触がある特定の指紋認証基準を満足するか否かを判定すること(例えば、セキュア要素115に関して上記で論じたように、指紋が登録された指紋と一致するか否かを判定し、方法1600、1800、2200、及び図17O及び図21に関して上記で論じたように、記憶された情報と指紋が一致するか否かを判定する)とを含む。いくつかの例では、指紋が登録された指紋と一致するか否かを判定することは、米国特許出願公開第2015/0146945号(段落[0119]〜[0121])において論じた方法のうちの1つ以上により実行される。米国特許出願公開第2015/0146945号は、特に指紋が登録された指紋と一致するか否かを判定する方法のその開示に関して、参照することにより本明細書に組み込まれる。
代替的に、1つ以上の記入可能フィールドがある特定の視認性基準を満足していないという判定が行われ得る。記入可能フィールドが視認性基準を満足しない場合、電子デバイス3200は、生体認証の開始を取り止める。
生体認証を実行することは、生体認証グリフ3222を有する生体認証インタフェース3220を表示することを含む。生体認証グリフ3222は、生体特徴(例えば、顔)の表現のシミュレーションである。図32Gに示すように、生体認証インタフェース3220は、隠しメニュー3214の少なくとも一部に重ね合わされる。生体認証インタフェース3220は、任意選択的に、オペレーティングシステムレベルインタフェース(例えば、デバイスのオペレーティングシステムによって生成されたインタフェース)であり、隠しメニュー3214は、アプリケーションレベルインタフェース(例えば、デバイスのオペレーティングシステムとは別個のサードパーティアプリケーションによって生成されたユーザインタフェース)である。いくつかの例では、表示される生体認証インタフェースは、図32G〜図32Jなどのように横及び/又は縦軸に沿ってほぼ中心に置かれる。いくつかの例では、電子デバイス3200は、ディスプレイ3202の上部、下部、脇、又は角に生体認証インタフェースを表示する。例えば、電子デバイス3200は、例えば、図30ALなどのように、ディスプレイ3202の上部の近くに生体認証インタフェースを表示する。いくつかの例では、電子デバイス3200は、生体認証が実行されている間、生体認証インタフェースを表示しない。
図32Hでは、電子デバイス3200は、生体センサ3203が生体データを取得する間のアニメーションの一部の役割を果たす生体認証グリフ3224を含む生体認証アニメーションの一部を表示する。電子デバイス3200が生体データを取得する(例えば、十分な生体データを取得する)と、電子デバイス3200は、図32Iに示すように、生体認証グリフ3226の表示に遷移する。電子デバイス3200は、生体認証グリフ3226を表示して、生体データが処理されていることを示す。いくつかの例では、生体認証グリフ3226は、例えば表示されている間、球状に回転する、複数のリングを含む。
図32Jでは、生体認証は成功したという判定が行われる。結果として、電子デバイス3200は、生体認証が成功したことを示す生体認証成功グリフ3228を表示する。
図32Kでは、生体認証が成功したので、電子デバイス3200は、1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3216及びパスワードフィールド3218)にクレデンシャル情報(例えば、ユーザがアカウントに無事にログインできるようにするユーザ名及びパスワードなどのログイン情報)を自動記入する。いくつかの例では、電子デバイス3200は、記入可能フィールドにクレジットカード情報(例えば、支払いアカウント情報に関連する情報)を自動記入する。
代替的に、生体認証基準が満足されていないという判定を行うことができる。生体認証が失敗した場合、電子デバイス3200は、1つ以上の記入可能フィールドにクレデンシャル情報(例えば、ログイン情報又はクレジットカード情報)を自動記入することを取り止める。1つ以上の記入可能フィールドの自動記入を取り止めることは、任意選択的に、図28Xの失敗インタフェース2854又は図28Yの失敗インタフェース2856などの失敗インタフェースを表示することを含む。
図32Lでは、電子デバイスは、提出アフォーダンス3232上でタップジェスチャ3230を検出する。タップジェスチャ3230の検出に応じて、電子デバイス3200は、ユーザ認証するためにユーザ名フィールド3216及びパスワードフィールド3218においてクレデンシャル情報を提出する。認証が成功したとき、電子デバイス3200は、図32Mのメンバユーザインタフェース3234において、制限されたコンテンツ(例えば、ユーザがログインすると見ることができるコンテンツ)へのアクセスを提供する。
図32N〜図32Wは、ある特定の視認性基準が最初は満足されておらず、次いでユーザ入力の後で、視認性基準が満足される、様々なシナリオを示す。
図32Nにおいて、電子デバイス3200は、アプリケーションのユーザインタフェース3236をディスプレイ3202に表示する。アプリケーションはモバイルブラウザアプリケーションであり、インタフェースはウェブサイト(restaurant.com)に対応する。ユーザインタフェース3236は、1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3238及びパスワードフィールド3240)を含む。記入可能フィールドは、閾値サイズ(例えば、ある特定の視認性基準を満足するために満足する又は超える必要がある閾値サイズ)を下回るサイズでユーザインタフェース3236の可視のエリア内に表示される。
図32Oでは、電子デバイス3200は、ユーザインタフェース3236を表示しながら、ズームジェスチャ3242を検出する。ズームジェスチャ3242の検出に応じて、電子デバイス3200は、図32Pに示すような拡大されたユーザインタフェース3244を表示する。拡大されたユーザインタフェース3244は、拡大されたユーザ名フィールド3246及び拡大されたパスワードフィールド3248を含む。ズームジェスチャ3242は記入可能フィールドにある特定の視認性基準を満足しなかったという判定が行われる。例えば、記入可能フィールドはまだ、閾値サイズを下回るサイズで、拡大されたユーザインタフェース3244の可視のエリア内に表示される。電子デバイス3200は、視認性基準はまだ満足されていないという判定の下で、生体認証の開始を取り止める。
図32Qにおいて、電子デバイス3200は、拡大されたユーザインタフェース3244を表示しながら、ズームジェスチャ3250を検出する。ズームジェスチャ3250の検出に応じて、電子デバイス3200は、図32Rに示すように、拡大されたユーザインタフェース3252を表示する。拡大されたユーザインタフェース3252は、拡大されたユーザ名フィールド3254及び拡大されたパスワードフィールド3256を含む。ズームジェスチャ3250により記入可能フィールドは視認性基準を満足したという判定が行われる。例えば、記入可能フィールドは、ここで、閾値サイズ以上のサイズで拡大されたユーザインタフェース3252の可視のエリア内に表示される。視認性基準が満足されたと判定したとき、電子デバイス3200は、図32Gに関して説明したように、生体認証を開始し、生体認証グリフ3222を有する生体認証インタフェース3220を表示する。
図32Sにおいて、電子デバイス3200は、アプリケーションのユーザインタフェース3258をディスプレイ3202に表示する。アプリケーションはモバイルブラウザアプリケーションであり、インタフェースはウェブサイト(newsfeed.com)に対応する。ユーザインタフェース3258は、電子文書(例えば、HTML文書)の一部に対応するユーザインタフェース領域である。この電子文書は、ユーザインタフェース3258の可視のエリアの外にある1つ以上の記入可能フィールド(例えば、図32Wのユーザ名フィールド3268及びパスワードフィールド3270)を含む。
図32Tでは、電子デバイス3200は、ユーザインタフェース3258を表示しながら、上方向の動きのスクロールジェスチャ3260を検出する。スクロールジェスチャ3260の検出に応じて、電子デバイス3200は、ユーザインタフェース3258を下にスクロールさせる。図32Uにおいて、スクロールジェスチャ3260に続いて、電子デバイス3200は、1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3268)の一部の表示を含む、スクロールされたユーザインタフェース3262を表示する。スクロールジェスチャ3260は1つ以上の記入可能フィールドにある特定の視認性基準を満足させなかったという判定が行われる。例えば、視認性基準は、スクロールされたユーザインタフェース3262の可視のエリア内に閾値量の1つ以上の記入可能フィールドが表示されるか否かを含む。視認性基準がまだ満足されていないと判定したとき、電子デバイス3200は、生体認証を開始することを取り止める。
図32Vでは、電子デバイス3200は、スクロールされたユーザインタフェース3262を表示しながら、スクロールジェスチャ3264を検出する。スクロールジェスチャ3264の検出に応じて、電子デバイス3200は、スクロールされたユーザインタフェース3262を更に下にスクロールさせる。図32Wでは、スクロールジェスチャ3264に続いて、電子デバイス3200は、スクロールされたユーザインタフェース3266を表示し、これは、1つ以上の記入可能フィールド(例えば、ユーザ名フィールド3268及びパスワードフィールド3270)の表示を含む。スクロールジェスチャ3264により記入可能フィールドは視認性基準を満足したという判定が行われる。例えば、閾値量の1つ以上の記入可能フィールドが、ここで、スクロールされたユーザインタフェース3262の可視のエリア内に表示される。視認性基準が満足されたと判定したとき、電子デバイス3200は、図32Gに関して説明したように、生体認証を開始し、生体認証グリフ3222を有する生体認証インタフェース3220を表示する。
図33は、いくつかの例に係る、電子デバイスを使用していつ認証動作を実行するかを決定する方法を示すフロー図である。方法3300は、ディスプレイ(例えば、3202)を備えたデバイス(例えば、100、300、500、1700、3200)において実行される。いくつかの例では、ディスプレイ(例えば、3202)は、タッチ感知ディスプレイである。いくつかの例では、ディスプレイ(例えば、3202)は、タッチ感知ディスプレイではない。
方法3300のいくつかの動作は任意選択的に組み合わされ、いくつかの動作は任意選択的に順序を変更され、いくつかの動作は任意選択的に省略される。以下において説明されるように、方法3300は、認証動作をいつ実行するかを決定する直感的な方法を提供する。この方法は、認証動作を実行するユーザの認識的負担を軽減し、それにより、更に効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが更に速くかつ更に効率的に認証することを可能にすることにより、電力が節約され、バッテリ充電の間隔は延びる。
電子デバイス(例えば、100、300、500、1700、3200)は、対応するコンテンツ(例えば、3208)の第1の部分(例えば、3214)を表示する要求(例えば、3210)(例えば、ウェブページをロードする、ウェブページをスクロールする、ウェブページをズームする要求)を受信する(3302)。
対応するコンテンツ(例えば、3208)の第1の部分(例えば、3214)を表示する要求(例えば、3210)に応じて(3304)、電子デバイス(例えば、100、300、500、1700、3200)はブロック3306〜3310に進む。
電子デバイス(例えば、100、300、500、1700、3200)は、対応するコンテンツ(例えば、3208)の少なくとも第1の部分(例えば、3214)(例えば、ユーザ対話型要素を有する電子文書(例えば、HTML文書)の領域)をディスプレイ(例えば、3202)に表示する(3306)。対応するコンテンツ(例えば、3208)は、認証動作に関連する要素(例えば、3216、3218)(例えば、クレジットカードエントリフィールドなどの1つ以上の記入可能フィールド、サービスにログインするユーザ名及びパスワードフィールドを任意選択的に含むログインユーザインタフェース要素)を含む。
認証動作に関連する要素(例えば、3216、3218)が視認性基準を満足する(例えば、認証動作に関連する要素が完全にコンテンツの可視のエリア外にある、認証動作に関連する少なくとも閾値量の要素がコンテンツの可視のエリア外にある、認証動作に関連する要素が、閾値サイズ未満のサイズでコンテンツの可視のエリア内に表示される、及び/又は動作に関連する要素が、たたまれたメニュー領域又は他の隠された要素に含まれるなど、ビューから隠されたコンテンツの一部に含まれる)(例えば、1つ以上の記入可能フィールドの少なくとも一部が表示される、1つ以上の記入可能フィールドが完全に表示される、及び/又は、1つ以上の記入可能フィールドが閾値サイズよりも大きい)という判定に応じて、電子デバイス(例えば、100、300、500、1700、3200)は、生体認証(例えば、図17G〜図17Hを参照して説明したような)を開始する(3308)。いくつかの例では、領域は、電子文書(例えば、HTML文書)の一部に対応し、1つ以上の記入可能フィールドは、1つ以上の要素を可視の状態にさせるプロパティを有する電子文書の1つ以上の要素(例えば、「インライン」の「style.display」プロパティを有するHTML要素)である。視認性基準を満足したときに生体認証を開始することにより、(視認性基準を満足させる入力を超える)更なる入力を必要とせずに生体認証を実行する能力をユーザに与える。更なるユーザ入力を必要とせずに、条件のセットが満足されたときに生体認証を行うことにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
認証動作に関連する要素(例えば、3216、3218)は視認性基準(例えば、認証動作に関連する要素がコンテンツの可視のエリア内に完全に表示される、認証動作に関連する少なくとも閾値量の要素がコンテンツの可視のエリア内に表示される、認証動作に関連する要素が、閾値サイズを超えるサイズでコンテンツの可視のエリア内に表示される、及び/又は、動作に関連する要素は、たたまれたメニュー領域又は他の隠された要素に含まれるなど、ビューから他の方法で隠されていないコンテンツの一部である)を満足していないという判定に応じて、電子デバイス(例えば、100、300、500、1700、3200)は、生体認証の開始を取り止める(3310)。視認性基準を満足しないことに基づいて生体認証の開始を取り止めることにより、ユーザがそのデバイスが生体認証を開始することを意図していなかったときに生体認証が生じるのを防ぐ。意図されていない生体認証を防ぐことにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、無許可のアクセスを制限することによって)更に効率的にし、加えて、制限された動作の性能を限定することによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの例によれば、対応するコンテンツ(例えば、3208)の第2の部分をディスプレイ(例えば、3202)に表示せずに、この対応するコンテンツの第1の部分(例えば、3214)が表示される。いくつかの例では、第1の部分を表示する前に第2の部分が表示される。
いくつかの例によれば、認証動作に関連する要素(例えば、3216、3218)が視認性基準を満足するという判定に応じて、生体認証が自動的に(例えば、生体認証を開始するために中間入力を必要とせずに)生じる。
いくつかの例によれば、電子デバイス(例えば、100、300、500、1700、3200)は、対応するコンテンツの第1の部分(例えば、3236、3258)を表示しながら、入力(例えば、3242、3250、3260、3264)(例えば、ズーム、スクロール、メニュー表示)を検出する。入力(例えば、3250、3264)の検出に応じて、入力により認証動作に関連する要素(例えば、3246、3248、3268、3270)は視認性基準を満足したという判定に応じて、電子デバイス(例えば、100、300、500、1700、3200)は、生体認証を開始する。入力に応じてかつ視認性基準を満足したときに生体認証を開始することにより、(視認性基準を満足させる入力を超える)更なる入力を必要とせずに生体認証を実行する能力をユーザに与える。更なるユーザ入力を必要とせずに条件のセットが満足されたときに生体認証を行うことにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。入力(例えば、3242、3260)の検出に応じて、入力により認証動作に関連する要素(例えば、3238、3240、3268、3270)は視認性基準を満足さなかったという判定に応じて、電子デバイス(例えば、100、300、500、1700、3200)は生体認証の開始を取り止める。いくつかの例では、入力(例えば、3210、3242、3250、3260、3264)(例えば、アフォーダンスの選択、要求のサイズ変更)は、認証動作に関連する要素(例えば、3216、3218、3246、3248、3268、3270)の視認性特性に影響を及ぼし、視認性基準を満足しないことから視認性特性を満足することに要素を遷移させる。視認性基準を満足しないことに基づいて生体認証の開始を取り止めることにより、ユーザがそのデバイスが生体認証を開始することを意図していなかったときに生体認証が生じるのを防ぐ。意図されていない生体認証を防ぐことにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、無許可のアクセスを制限することによって)更に効率的にし、加えて、制限された動作の性能を限定することによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの例によれば、入力(例えば、3242、3250)は、ズーム動作を実行する要求であり、視認性基準は、認証動作に関連する要素(3238、3240、3246、3248、3254、3256)が閾値サイズより大きいサイズを有するという要件を含む。
いくつかの例によれば、入力(3260、3264)は、スクロール動作を実行する要求であり、視認性基準は、認証動作に関連する少なくとも所定の量の要素(3268、3270)がディスプレイ(例えば、3202)上に表示されるという要件を含む。
いくつかの例によれば、入力(例えば、3210)は、隠されたインタフェース領域表示動作を実行する要求(例えば、隠されたメニュー又は他の隠されたインタフェース領域を表示する要求)であり、視認性基準は、認証動作に関連する要素(例えば、3216、3218)が隠されたインタフェース領域における表示用に指定されていないという要件を含む。
いくつかの例によれば、電子デバイス(例えば、100、300、500、1700、3200)は更に、1つ以上の生体センサ(例えば、3203)を含み、生体認証を開始することは、1つ以上の生体センサ(例えば、3203)を使用して生体認証を開始することを含む。
いくつかの例によれば、1つ以上の生体センサ(例えば、3203)は、ユーザからの物理的接触なしに生体認証を実行するように構成された1つ以上の非接触式生体センサ(例えば、赤外線カメラ、可視光カメラ、又はその組合せ)を含む(例えば、1つ以上の生体センサ(例えば、3203)が、ユーザからの物理的入力(例えば、タッチ又はボタン押下)なしに生体認証を実行することができる)。生体認証を開始することは、生体認証を開始する明示的要求の受信なしに生じる。
いくつかの例によれば、1つ以上の生体センサ(例えば、3203)は、1つ以上の顔認識センサを含む。生体認証を開始することは、1つ以上の顔認識センサを使用して、顔認証基準が満足されているか否かを判定すること(例えば、図23D〜図23Fに関して説明したように)を含む。
いくつかの例によれば、1つ以上の生体センサ(例えば、3203)は、1つ以上の指紋センサを含む。生体認証を開始することは、以下を含む:1つ以上の指紋センサで接触を検出することと、接触が指紋認証基準を満足する(例えば、指紋が、登録された又は許可された指紋と一致する)か否かを判定すること。
いくつかの例によれば、生体認証を開始することは、生体認証プロセスの状態を示す進度インジケータ(例えば、3222、3224、3226、3228)をディスプレイ(例えば、3202)に表示することを含む。いくつかの例では、進度インジケータは、シミュレーション進度インジケータ(例えば、ユーザの生体特徴の表現の周りに分散された複数の進度要素などの生体特徴のシミュレーションを取り囲んで進度インジケータの特徴の一部又はすべてを表示する進度インジケータ)に対応する。いくつかの例では、小型の進度インジケータが上部、下部、脇、又は角に表示される。ディスプレイの中央から離れて小型のインジケータを表示することにより、表示を妨げる又は雑然とさせること及びユーザの焦点をそらすことなく生体認証の進度のインジケーションをユーザに提供し、それにより、改善された視覚的フィードバックを認証中に提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。いくつかの例では、生体認証中にインジケータは表示されない。いくつかの例では、生体認証中に進度インジケータは表示されない。いくつかの例では、電子デバイス(例えば、100、300、500、1700、3200)は、生体認証プロセスの状態を示す進度インジケータの表示を取り止める。
いくつかの例によれば、認証動作に関連する要素は、記入可能フィールド(例えば、3216、3218、3254、3256、3268、3270)(例えば、ユーザ名、パスワード、クレデンシャル又は支払い情報エントリフィールド)である。生体認証を開始することに応じて、生体認証基準が満足されたという判定に応じて、電子デバイス(例えば、100、300、500、1700、3200)は、記入可能フィールド(例えば、3216、3218、3254、3256、3268、3270)にクレデンシャル情報を自動記入する(例えば、ユーザ名、パスワード、クレジットカード情報又は他の機密情報など、電子デバイス(例えば、100、300、500、1700、3200)によって記憶された又は電子デバイス(例えば、100、300、500、1700、3200)にアクセス可能なデータをフィールドに追加する)。生体認証を開始することに応じて、生体認証基準が満足されていないという判定に応じて、電子デバイス(例えば、100、300、500、1700、3200)は、記入可能フィールド(例えば、3216、3218、3254、3256、3268、3270)にクレデンシャル情報を自動記入することを取り止める。
いくつかの例によれば、生体認証を開始することに応じて、生体認証基準が満足されたという判定に応じて、電子デバイス(例えば、100、300、500、1700、3200)は、制限されたコンテンツへのアクセス(例えば、ウェブページ(例えば、3234)にログインすること、ユーザに関連するパスワードのリストを表示すること、クレジットカード情報を表示すること)を提供する。生体認証を開始することに応じて、生体認証基準が満足されていないという判定に応じて、電子デバイス(例えば、100、300、500、1700、3200)は、制限されたコンテンツへのアクセスの提供を取り止める。
いくつかの例によれば、クレデンシャル情報は、ログイン情報(例えば、アプリケーション、アカウント、又はウェブサイトにログインするために必要とされる情報)を含む。
いくつかの例によれば、クレデンシャル情報は、支払いアカウント情報に関連する情報(例えば、クレジットカード、銀行口座、又は支払いサービス情報)を含む。
方法3300(例えば、図33)に関して上述された処理の詳細はまた、以下及び上記において説明される方法にも類似の方式で適用可能であることに留意されたい。例えば、方法3300は、方法800、1000、1200、1400、1600、2000、2200、2500、2700、2900、3100、及び3500を参照して上述された、様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法1200に記載された登録された生体データは、方法3300に関して説明したように生体認証を実行するために使用することができる。更なる一例として、方法3100の再認証基準は、生体認証が実行される(又は再実行される)べきときに制御する方法3300と併せて使用することができる。簡潔にするために、これらの詳細は、以下では繰り返さない。
図34A〜図34Nは、いくつかの実施例に係る、生体認証を使用する自動ログインの例示的なユーザインタフェースを示す。以下で更に詳しく説明するように、図34A〜図34Nに示すユーザインタフェースの例示的な実施例は、図35の処理を含む、以下で説明される処理を示すために使用される。
図34Aは、電子デバイス3400(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500、又はデバイス1700)を示す。図34A〜図34Nに示す例示的な実施例において、電子デバイス3400はスマートフォンである。他の実施例では、電子デバイス3400は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なる種類の電子デバイスでもよい。電子デバイス3400は、ディスプレイ3402、1つ以上の入力デバイス(例えば、ディスプレイ3402のタッチスクリーン及びマイクロフォン)、及び無線通信無線機を含む。いくつかの例では、電子デバイスは、複数のカメラを含む。いくつかの例では、電子デバイスは、1つのみのカメラを含む。図34Aにおいて、電子デバイスは、生体センサ3403を含む。いくつかの例では、生体センサは、赤外線カメラ、サーモグラフィカメラ、又はその組合せなどのカメラを含み得る1つ以上の生体センサである。いくつかの例では、生体センサは、デバイス100の深度カメラ175、あるいは、デバイス700及び生体センサ703のある種の例に関して説明したような深度カメラの1つ以上の特徴及び/又は機能を有する深度カメラである。いくつかの例では、生体センサ3403は、生体センサ703に関して上述したように、可視光カメラによってキャプチャされたオブジェクトの異なる部分の深度マップを決定するために可視光カメラと併せて使用される深度カメラである。
電子デバイス3400はまた、図34Aにあるように、ボタンに統合された指紋センサ3414(例えば、生体センサ)を含む。いくつかの例では、デバイスは、赤外線投光器、構造化光プロジェクタ、又はその組合せなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照明するために使用される。
いくつかの例では、電子デバイス3400は、1つ以上の特徴、要素、及び/又は構成要素をデバイス100、300、500、700、900、1100、1300、1500、1700、1900、2100、2300、2400、2600、2800、3000、3200、3600、3800,4000、及び4200と共用することができ、それらのデバイスの各々は、それらのデバイスのうちの別のデバイスの1つ以上の特徴、要素、及び/又は構成要素を共用することができる(例えば、デバイス700はデバイス3200の構成要素を含んでもよく、逆もまた可能である)。例えば、生体センサ3403を生体センサ903にすることができ、又は、生体センサ1103を生体センサ1303にすることができる。もう1つの例では、ボタン統合指紋センサ3414は指紋センサ1764でもよい。もう1つの例では、ディスプレイ3402をディスプレイ1302にすることができ、又はディスプレイ1502をディスプレイ2102にすることができる。
図34Aのログインユーザインタフェース3404を表示する前に、電子デバイス3400は、ログインユーザインタフェース3404をロードする要求を検出する。要求の検出に応じて、指紋センサ3414を使用する生体認証が利用可能か否かの判定が行われる。生体認証が利用可能であると判定したとき、電子デバイス3400は、提出アフォーダンス3420(例えば、選択すると、1つ以上の記入可能フィールド(例えば、ユーザ名フィールド又はパスワードフィールド)においてクレデンシャル情報を提出するアフォーダンス)内に置かれたプロンプト3406(「指をスキャンしてログイン」)を有するログインユーザインタフェース3404を表示する。プロンプト3406は、指紋センサ3414上にユーザの指を置くとクレデンシャル情報(例えば、ユーザがアカウントに無事にログインできるようにするユーザ名及びパスワード)をユーザ名フィールド3408及びパスワードフィールド3410を介して提出することになることをユーザに示す。加えて、ユーザ名フィールド3408は、図34Aに示すように、既定のユーザ名(例えば、jj_appleseed@email.com)で事前に記入されている。いくつかの例では、ユーザ名フィールドはユーザ名で事前に記入されていない。
図34Bでは、電子デバイス3400は、ログインユーザインタフェース3404を表示しながら、指紋センサ3414を使用して指3412を検出する。指3412の検出に応じて、この指はある特定の生体認証基準を満足している(例えば、指紋が登録された指紋と一致する)という判定が行われる。認証が成功すると、図34Cにおいて、電子デバイス3400は、ユーザ名フィールド3408及び/又はパスワードフィールド3410においてクレデンシャル情報を自動的に入力し、ユーザ認証するためのクレデンシャル情報を提出する(例えば、ユーザからの更なる入力を必要とせずに情報を提出する)。ユーザ認証が成功したとき、電子デバイス3400は、図34Dのアカウントユーザインタフェース3416において、制限されたコンテンツ(例えば、ユーザがログインすると見ることができるコンテンツ)へのアクセスを提供する。
代替的に、指がある特定の生体認証基準を満足していないという判定が行われた場合、電子デバイス3400は、クレデンシャル情報の入力及び提出を取り止め、図34Eに示すように、失敗インタフェース3418を表示する。ユーザが生体認証の試行の失敗の最大数に達したときに、失敗インタフェース3418を表示することができる。生体認証の試行の失敗の最大数に達した場合、指紋センサ3414は生体認証のために利用不可能である。
図34Fは、指紋センサ3414を使用した生体認証が使用不可能なとき(例えば、ユーザ選択可能な設定を介してそのような認証が無効にされたとき又は試行の最大数を超えたとき)に表示される、ログインユーザインタフェース3404−1を示す。ログインユーザインタフェースを表示する要求の検出に応じて、指紋センサ3414を使用した生体認証は利用不可能であるという判定が行われる。この判定により、電子デバイス3400は、プロンプト3406なしにログインユーザインタフェース3404−1を表示する。電子デバイス3400は、テキスト3422(「LOGIN」)が提出アフォーダンス3420−1内に表示された、元の、修正されていない状態で提出アフォーダンス3420−1を表示する。
いくつかの例では、電子デバイス3400は、ログインユーザインタフェースをロードする要求に応じて直ちにプロンプト3406を表示しない。そうではなくて、電子デバイス3400は、テキストを入力するために、記入可能フィールドの選択を受信した後にプロンプト3406を表示する。図34Gにおいて、電子デバイス3400は、プロンプト3406なしでログインユーザインタフェース3404−1を最初に表示する。電子デバイス3400は、パスワードフィールド3410上でタップジェスチャ3424を検出する。タップジェスチャ3424の検出に応じて、電子デバイス3400は、図34Hに示すように、仮想キーボード3426(例えば、1つ以上の文字を入力するキーボード)及びパスワードフィールド3410内のカーソル3428を表示する。更に、タップジェスチャ3424に応じて、電子デバイス3400は、提出アフォーダンス3420内に置かれたプロンプト3406を有するログインユーザインタフェース3404を表示する。
図34Iにおいて、電子デバイス3400は、1つ以上の文字(例えば、文字3430)のエントリに対応する仮想キーボード3426を介する入力を受信する。文字3430の入力の受信に応じて、電子デバイス3400は、プロンプト3406なしでログインユーザインタフェース3404−1を再び表示する。電子デバイス3400は、元の、修正されていない状態で提出アフォーダンス3420−1を表示し、テキスト3422が提出アフォーダンス3420−1において表示される。
図34Jでは、仮想キーボード3426を介して入力を受信した後、電子デバイス3400は、提出アフォーダンス3420−1上でタップジェスチャ3432を検出する。タップジェスチャ3432の検出に応じて、電子デバイス3400は、ユーザ認証するためにユーザ名フィールド3408及びパスワードフィールド3410において1つ以上の文字を提出する。ユーザ認証が成功したとき、電子デバイス3400は、図34Kのアカウントユーザインタフェース3416において、制限されたコンテンツ(例えば、ユーザがログインすると見ることができるコンテンツ)へのアクセスを提供する。
いくつかの例では、指紋認証(図34A〜図34Dを参照して説明したような)を介するユーザ認証の成功は、ある特定の結果(例えば、制限されたアプリケーション、ウェブページ、又はアカウントへのアクセス)をもたらす。いくつかの例では、クレデンシャル情報をタイプ入力及び提出することによるユーザ認証の成功(図34F〜図34Kを参照して説明したような)は、同じ結果(例えば、制限されたアプリケーション、ウェブページ、又はアカウントへのアクセス)をもたらす。
図34Lは、ログインユーザインタフェース上の他の場所にプロンプト3406を表示できることと、インタフェース3404及び3404−1に関して論じられたいくつかの要素を省略することができることとを示す。図34Lにおいて、ログインユーザインタフェースを表示する要求の検出に応じて、生体認証が利用可能である場合に、電子デバイス3400はログインユーザインタフェース3404−2を表示し、プロンプト3406がパスワードフィールド3410内に表示され、提出アフォーダンス(例えば、3420、3420−1)は表示されない。
図34Mにおいて、電子デバイス3400は、ログインユーザインタフェース3404−2を表示しながら、指紋センサ3414を使用して指3412を検出する。指3412の検出に応じて、この指はある特定の生体認証基準を満足している(例えば、指紋が登録された指紋と一致する)という判定が行われる。認証が成功すると、電子デバイス3400は、ユーザ認証するためのクレデンシャル情報を自動的に提出する。ユーザ認証が成功したとき、電子デバイス3400は、制限されたコンテンツ(例えば、ユーザがログインすると見ることができるコンテンツ)へのアクセスを提供する。
代替的に、この指はある特定の生体認証基準を満足していない(例えば、指紋が登録された指紋と一致しない)という判定が行われた場合、電子デバイス3400は、クレデンシャル情報の提出を取り止める。加えて、生体認証が失敗したとき、電子デバイス3400は、前に隠されていた提出アフォーダンス(例えば、3420、3420−1)を含むログインユーザインタフェース3404−1(図34Nに示す)を表示する。更に、生体認証が失敗したとき、電子デバイス3400は、パスワードフィールド3410などの記入可能フィールドにおいてカーソル28を表示することによって、手動エントリをユーザに促す。
図35は、いくつかの例に係る、電子デバイスを使用して生体認証の可用性を示す方法を示すフロー図である。方法3500は、ディスプレイ(例えば、3402)及び1つ以上の生体センサ(例えば、3403、3414)(例えば、指紋センサ、非接触式生体センサ(例えば、熱又は光顔認識センサなど、物理的接触を必要としない生体センサ)、アイリススキャナ)を備えるデバイス(例えば、100、300、500、1700、3400)において実行される。いくつかの例では、1つ以上の生体センサ(例えば、3403)は、1つ以上のカメラを含む。いくつかの例では、ディスプレイ(例えば、3402)は、タッチ感知ディスプレイである。いくつかの例では、ディスプレイ(例えば、3402)は、タッチ感知ディスプレイではない。
方法3500のいくつかの動作は任意選択的に組み合わされ、いくつかの動作は任意選択的に順序を変更され、いくつかの動作は任意選択的に省略される。以下において説明されるように、方法3500は、生体認証の可用性を示す直感的な方法を提供する。この方法は、生体認証の可用性を判定するユーザの認識的負担を軽減し、それによって、更に効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが生体認証の可用性を更に速くかつ更に効率的に識別することを可能にすることにより、電力が節約され、バッテリ充電の間隔は延びる。
電子デバイス(例えば、100、300、500、1700、3400)は、クレデンシャル提出(例えば、ログイン)ユーザインタフェース要素(例えば、3408、3410)(例えば、ユーザ名又はパスワードなどの記入可能フィールド)を有するクレデンシャル提出(例えば、ログイン)ユーザインタフェース(例えば、3404)に対応する既定の動作(例えば、ユーザインタフェースをロード及び/又は表示する要求、ユーザインタフェースの特定の要素の選択)を検出する(3502)。
既定の動作の検出に応じて(3504)、電子デバイス(例えば、100、300、500、1700、3400)はブロック3506〜3516に進む。
既定の動作の検出に応じて(3504)、1つ以上の生体センサ(例えば、3403、3414)を介する生体認証(例えば、タッチID、顔ID)が利用可能であるという判定に応じて(3506)、電子デバイス(例えば、100、300、500、1700、3400)は、1つ以上の生体センサ(例えば、3403、3414)に対する生体認証基準を満足する生体特徴(例えば、3412)の提示によりクレデンシャル提出ユーザインタフェース要素(例えば、3408、3410)を介してクレデンシャルを提出することになるという視覚的なインジケーション(例えば、3406)とともにクレデンシャル提出(例えば、ログイン)ユーザインタフェース(例えば、3404)をディスプレイ(例えば、3402)に表示する(3508)。
いくつかの例では、クレデンシャル提出ユーザインタフェースは、電子文書(例えば、HTML文書)に基づいて生成され、クレデンシャル提出ユーザインタフェース要素は、クレデンシャルを提出する入力要素(例えば、ログインボタン)である。いくつかの例では、生体認証が利用可能である場合、電子デバイス(例えば、100、300、500、1700、3400)は、第1の状態(例えば、既定の状態、生体認証が利用不可能なときに表示される状態)でクレデンシャル−エントリ要素をレンダリング及び表示するのではなくて、生体認証要素(例えば、クレデンシャル提出ユーザインタフェース要素の代わりに必要な生体認証入力(例えば、指紋)を提供する命令)を表示する。センサ上に指を置くと自動的にログインすることをユーザに示すプロンプトを表示することにより、デバイスの現在の状態に関するフィードバック(例えば、生体認証が利用可能である)をユーザに提供し、ログインする効率的オプションを示してユーザにフィードバックを提供する。改善されたフィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによって、デバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、既定の動作の検出に応じて(3504)、1つ以上の生体センサ(例えば、3403、3414)を介する生体認証が利用可能であるという判定に応じて(3506)、電子デバイス(例えば、100、300、500、1700、3400)は、クレデンシャル提出アフォーダンス(例えば、3420)をディスプレイ(例えば、3402)に表示するのを取り止める(3516)(例えば、ログインボタンを表示しない)。ログインボタンの表示の省略により、ログインの効率的方法を追求するようにユーザに促し、それにより、改善されたフィードバックを提供する。改善されたフィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、既定の動作の検出に応じて(3504)、1つ以上の生体センサ(例えば、3403、3414)を介する生体認証は利用不可能であるという判定に応じて(3510)、電子デバイス(例えば、100、300、500、1700、3400)は、視覚的なインジケーション(例えば、3406)を表示せずにクレデンシャル提出(例えば、ログイン)ユーザインタフェース(例えば、3404−1)をディスプレイ(例えば、3402)に表示する(3512)。生体認証を介してログインするためのプロンプトの表示を取り止めることにより、生体認証を介するログインが利用不可能なことをユーザに示し、デバイスの現在の状態に関するフィードバックをユーザに提供する。改善されたフィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、更に、既定の動作の検出に応じて(3504)、1つ以上の生体センサ(例えば、3403、3414)を介する生体認証が利用不可能であるという判定に応じて(3510)、電子デバイス(例えば、100、300、500、1700、3400)は、クレデンシャル提出アフォーダンス(例えば、3420)(例えば、1つ以上の記入可能フィールドと関連付けられたタッチアクティブ化ログインボタン)をディスプレイ(例えば、3402)に表示する(3514)。クレデンシャル提出アフォーダンス(例えば、3420)に対応する入力(例えば、3432)を受信することにより、クレデンシャル提出ユーザインタフェース要素(例えば、3408、3410)を介してクレデンシャルを提出させる(例えば、生体認証を使用せずにクレデンシャルを提出させる)。
いくつかの例によれば、電子デバイス(例えば、100、300、500、1700、3400)は、クレデンシャル提出ユーザインタフェース(例えば、3404)を表示しながら、対応する種類の生体特徴(例えば、3412)を1つ以上の生体センサ(例えば、3403、3414)を介して検出する。対応する種類の生体特徴(例えば、3412)の検出に応じて、生体特徴(例えば、3412)が生体認証基準を満足するという判定に応じて、電子デバイス(例えば、100、300、500、1700、3400)は、クレデンシャル提出ユーザインタフェース要素(例えば、3408、3410)を介してクレデンシャルを提出する(例えば、認証の成功によりクレデンシャルの提出をもたらす)。対応する種類の生体特徴(例えば、3412)の検出に応じて、生体特徴(例えば、3412)が生体認証基準を満足していないという判定に応じて、電子デバイス(例えば、100、300、500、1700、3400)は、クレデンシャル提出ユーザインタフェース要素(例えば、3408、3410)を介するクレデンシャルの提出を取り止める。生体認証基準を満足しないことに基づいてクレデンシャルの提出を取り止めることにより、セキュリティを提供し、無許可のユーザがデリケートな動作を開始するのを防ぐことができる。改善されたセキュリティを提出することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、無許可のアクセスを制限することによって)更に効率的にし、加えて、制限された動作の性能を限定することによって、電力使用を削減し、デバイスのバッテリ寿命を改善する。
いくつかの例によれば、クレデンシャル提出ユーザインタフェース要素(例えば、3408、3410)は、1つ以上の記入可能フィールドを含む。
いくつかの例によれば、クレデンシャル提出ユーザインタフェース(例えば、3404、3404−1、3404−2)を表示することは、クレデンシャル提出ユーザインタフェース要素(例えば、3408、3410)を介して提出されることになるクレデンシャルで事前に記入された(例えば、既定のユーザ名が事前に記入された)クレデンシャル提出ユーザインタフェース要素を表示することを含む。既定のユーザ名を事前に記入することにより、より少ない入力でログインする能力をユーザに与える。入力の数を減らして動作を実行することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、電子デバイス(例えば、100、300、500、1700、3400)は、1つ以上の記入可能フィールドのうちのある記入可能フィールド(例えば、3408、3410)の選択を受信する。記入可能フィールドの受信に応じて、電子デバイス(例えば、100、300、500、1700、3400)は、文字入力インタフェース(例えば、3426)(例えば、パスワード又はパスコードを入力する文字入力キーを含むキーパッド又はキーボード)をディスプレイ(例えば、3402)に表示する。
いくつかの例によれば、電子デバイス(例えば、100、300、500、1700、3400)は、記入可能フィールドにおいて文字入力インタフェース(例えば、3426)を介して(例えば、文字入力キーを介して)1つ以上の文字のエントリに対応する入力(例えば、3430)を受信する。いくつかの例では、文字入力インタフェースは文字入力キーを含む。入力の受信に応じて、電子デバイス(例えば、100、300、500、1700、3400)は、第2のクレデンシャル提出アフォーダンス(例えば、3420)(例えば、ログインボタン)の選択を受信する。第2のクレデンシャル提出アフォーダンスの選択の受信に応じて、電子デバイス(例えば、100、300、500、1700、3400)は、クレデンシャル検証のために記入可能フィールド(例えば、3408、3410)において1つ以上の文字を提出する。
いくつかの例によれば、1つ以上の生体センサ(例えば、3403、3414)に対する生体認証基準を満足する生体特徴(例えば、3412)の提示によりクレデンシャル提出ユーザインタフェース要素(例えば、3408、3410)を介してクレデンシャルを提出することになるという視覚的表示(例えば、3406)が、1つ以上の記入可能フィールド(例えば、ユーザ名フィールド、パスワードフィールド)のうちの1つの記入可能フィールド(例えば、3410)に表示される。センサ上にユーザの指を置くと自動的にログインすることをユーザに示すプロンプトを表示することにより、デバイスの現在の状態(例えば、生体認証が利用可能である)に関するフィードバックをユーザに提供し、ログインする効率的オプションを示してユーザにフィードバックを提供する。パスワードフィールドにおいてプロンプトを表示することにより、認証が成功すると実行されることになる動作(例えば、パスワードフィールドの自動記入)に関するフィードバックを提供することができる。改善されたフィードバックをユーザに提供することにより、デバイスの操作性を高め、ユーザ−デバイスインタフェースを(例えば、デバイスを操作/対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの例によれば、既定の動作は、クレデンシャル提出インタフェース(例えば、3404、3404−1、3404−2)をディスプレイ(例えば、3402)に表示する(例えば、クレデンシャル提出ユーザインタフェースをロードする、クレデンシャル提出ユーザインタフェースをビューにスクロールする、クレデンシャル提出ユーザインタフェースにズームインする、隠されたユーザインタフェース要素からクレデンシャル提出ユーザインタフェースを明瞭化する)要求である。いくつかの例では、クレデンシャル提出インタフェースを表示する要求である既定の動作はまた、方法3300(例えば、3302における方法3300)に関して説明したように、対応するコンテンツの第1の部分を表示する要求である。
いくつかの例によれば、クレデンシャル提出インタフェース(例えば、3404、3404−1)を表示しながら、既定の動作が検出され、既定の動作は、クレデンシャル提出ユーザインタフェースの一部に向けられた入力(例えば、3424)(例えば、クレデンシャル提出ユーザインタフェース上でのユーザ入力(例えば、タップ)、又は、ユーザ名若しくはパスワードフィールドなどの記入可能フィールドでのユーザ入力)を含む。
いくつかの例によれば、クレデンシャル検証のための記入可能フィールド(例えば、3408、3410)における1つ以上の文字の提出に応じて、第2のクレデンシャル提出アフォーダンス(例えば、3420)の選択の受信に応じて、電子デバイス(例えば、100、300、500、1700、3400)は第1の結果を提供する。クレデンシャル提出ユーザインタフェース要素(例えば、3408、3410)を介するクレデンシャルの提出に応じて、1つ以上の生体センサ(例えば、3403、3414)を介して検出された生体特徴(例えば、3412)が生体認証基準を満足するという判定に応じて、電子デバイス(例えば、100、300、500、1700、3400)は第1の結果を提供する。いくつかの例では、クレデンシャル提出ユーザインタフェース要素を介して入力されたパスワード又はパスコードを介してクレデンシャル(例えば、有効なクレデンシャル)を提出すること(例えば、無事に提出すること)は、生体認証を介する認証の成功と同じ結果(例えば、制限されたアプリケーション、ウェブページ、又はアカウントへのアクセス)をもたらす。
方法3500に関して上述された処理(例えば、図33)の詳細はまた、以下及び上記において説明される方法にも類似の方式で適用可能であることに留意されたい。例えば、方法3500は、方法800、1000、1200、1400、1600、2000、2200、2500、2700、2900、3100、及び3300を参照して上述された、様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法1200に記載された登録された生体データは、方法3500に関して説明したように生体認証を実行するために使用することができる。更なる一例として、方法3100の再認証基準は、生体が利用可能なときに制御するための方法3500と併せて使用することができる。簡潔にするために、これらの詳細は、以下では繰り返さない。
いくつかの例では(例えば、方法1600、1800、2000、2200、2900、3100、3300、及び3500のいくつかの例では)、電子デバイスは、生体認証が無効化される(例えば、代替手段を介して認証の成功が生じるまで無効化される)前に行うことができる生体認証試行の許容される数を制限する(例えば、セキュリティのバイパス及びデバイス資源の節約のためにブルートフォース試行を防止することによって、改善されたセキュリティを提供するため)。いくつかのそのような例では、許容/限定される数の試行を使い果たす前に生体センサの使用を止める(例えば、更なる生体認証の再試行を取り止める)ことで、ユーザが繰り返される要求(例えば、同じタイプの繰り返される要求)に応じて許容される数の試行を消費するのを回避し、それによって生体認証を必要とする他の動作への要求(例えば、他のより重要な動作への要求)のために少なくとも1つの試行を節約する。少なくとも1つの試行を節約することで、デバイスの操作性が向上し、ユーザ−デバイスインタフェースがより効率的になり(例えば、繰り返される類似の要求に対して認証試行を使い果たすのを回避することによる)、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。加えて、少なくとも1つの生体認証試行を節約することで、ユーザが代替非生体認証(例えば、パスワード又はパスコード認証など)を提供しなければならない例を低減させることができ、それにより、許容される試行を使い果たしたために生体認証が無効化されたとき、そのようなパスワード/パスコードを頻繁に使用する必要によって、ユーザがよりセキュアなパスワード/パスコードを使用する意欲がなくなるため、よりセキュアな(例えば、より複雑な)パスワード/パスコードの使用を促進することができる。よりセキュアなパスワード/パスコードの使用を促進することで、無許可アクセスのリスクを低減させることによって、デバイスの操作性が向上する。
図36A〜36Lは、いくつかの実施例による、クレデンシャルエントリユーザインタフェースにおいて生体認証をリトライする例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図37A〜図37Bにおけるプロセスを含む後述するプロセスを示すために使用される。
図36Aは、電子デバイス3600(例えば、ポータブル多機能デバイス100、デバイス300、又はデバイス500)を示す。図36A〜図36Lに示される典型的な実施例では、電子デバイス3600は、スマートホンである。他の実施例で、電子デバイス3600は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスとすることができる。電子デバイス3600は、ディスプレイ3602、1つ以上の入力デバイス(例えば、ディスプレイ3002のタッチスクリーン、ボタン3604、及びマイクロフォン)、及び無線通信無線機を含む。一部の実施例では、電子デバイスは、複数のカメラを含む。一部の実施例では、電子デバイスは、1つのみのカメラを含む。図36Aにおいて、電子デバイスは、生体センサ3603を含む。一部の実施例では、生体センサは、赤外線カメラ、サーモグラフィカメラ、又はそれらの組み合わせなどのカメラを含み得る、1つ以上の生体センサである。いくつかの実施例では、生体センサ3603は、生体センサ703である。いくつかの実施例では、1つ以上の生体センサは、1つ以上の指紋センサ(例えば、ボタンに組み込まれた指紋センサ)を含む。いくつかの実施例では、デバイスは、IRフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによって生体特徴(例えば、顔)の生体データをキャプチャする間にこの生体特徴を照らすために使用される。
図36Aにおいて、電子デバイス3600は、電子デバイス3600がロック状態にあるというユーザに対するインジケーションを提供する、ロックアイコン3608を含むロック状態ユーザインタフェース(UI)3606を表示する。電子デバイス3600はロック状態にあるので、ユーザは通知3610Aの制限付きコンテンツ(例えば、ジョン・アップルシードからのメッセージ)を見ることができない。
図36Bで、ユーザは、電子デバイス3600をロック解除してデバイス上で制限付きコンテンツ(例えば、ジョン・アップルシードからのメッセージ、図36Lのホーム画面3628、直近に使用されたアプリケーション)にアクセスすることを望む。デバイスのロック解除は、ユーザ認証の成功を必要とする。デバイスのロック解除を要求するために、ユーザは、ディスプレイ3602の下縁に隣接する既定領域である領域3612A内から開始する上向きのスワイプを実行する。
電子デバイス3600は、ロック状態のUI3606を表示している間に、入力3614A(例えば、上向きのスワイプ)を受信する。電子デバイス3600は、ロック状態のUI3606を表示している間、デバイスをロック解除する要求をトリガするために、上向きのスワイプが領域3612A内から開始することを必要とする。入力3614Aの受信に応じて、電子デバイス3600は、入力3614Aが領域3612A内から開始したかどうかを判定する。
電子デバイス3600は、入力3614A(例えば領域3612A内で開始する入力)を検出すると、生体認証を開始し、電子デバイス3600上で生体認証が現在有効にされてあるか(又は使用可能であるか)否かを判定する。生体認証は、例えば、そのデバイスでの最後の認証成功以後に所定の回数(例えば、5、10、15回)よりも多く生体認証が失敗したことを含む、様々な理由で使用不能になり得る。
いくつかの実施例では、入力3614Aを受信する代わりに、電子デバイス3600は、入力3614B〜E(例えば、入力3614Aと類似の距離移動するスワイプ入力)のうちのいずれか1つを受信する。入力3614Aのように、入力3614B〜Eの各々は、上向きのスワイプである。いくつかの実施例では、入力3614Bも領域3614A内で開始するので、電子デバイス3600は入力3614A及び3614Bを同じに処理する(例えば、電子デバイス3600は両方の入力に同じ応答を有する)。これと対照的に、いくつかの実施例では、入力3614C〜Eに対する電子デバイス3600の応答は、入力3614A〜Bに対する応答とは異なる。具体的には、いくつかの実施例では、入力3614C〜Eのいずれか1つの受信に応じて、電子デバイス3600は、図36C関して後述するように、生体認証を開始しない。代わりに、電子デバイス3600は、図36Kに示すように、デバイスをロック状態で維持しながら、1つ以上の通知(例えば、3610A〜E)(例えば、未読の通知)を表示する(例えば、ウェイクスクリーンユーザインタフェース(例えば、3606)の一部分をスクロールして、接触の移動の大きさ又は速度に基づいてスクロールの量が任意選択的に判定されるディスプレイ上で前には不可視であった1つ以上の通知を表示することによって)。
図36Cにおいて、入力3614に応じて、かつ生体認証が現在有効であると判定したとき、電子デバイス3600は、ユーザの生体認証を試みる(例えば、生体センサ3603を使用して取得したユーザの顔に関する情報を記憶された許可されたクレデンシャルと一致させようと試みる)。ユーザの生体認証を試みる間に、電子デバイス3600は、認証グリフ3618を有するインタースティシャルインタフェース3616を表示する(例えば、ロック状態のUI3606の表示をこれに置き換える)。ディスプレイに平行な軸の周りを回転してディスプレイのz軸の外に回転するように見える複数のリングを含む認証グリフ3618は、ユーザに生体認証が実行されていることを示すインジケーションを提供する。
電子デバイス3600は、ユーザの生体認証を試みながら、生体センサ3603を使用して、ある特定の生体認証基準が満たされているかどうかを判定する。より具体的には、電子デバイス3600は、生体データを生体センサ3603からキャプチャ及び処理(例えば、分析)して、生体データに基づいて、生体特徴(又はその一部分)が生体認証基準を満たすかどうかを判定する(例えば、生体データが、閾値内で、生体テンプレート(例えば、記憶された許可されたクレデンシャル)と一致するかどうかを判定する)。生体認証を開始した後に、電子デバイス3600は、生体認証は失敗した(例えば、生体センサ3603からの生体データが、記憶された許可されたクレデンシャルと一致しない)と判定する。
図36Dにおいて、電子デバイス3600は、生体認証に失敗したと判定したとき、異なる位置の間を往復して「シェイク」効果を模擬するロックアイコン3608のアニメーションを表示する。この「シェイク」アニメーションは、電子デバイス3600がユーザを生体認証できなかったというユーザに対するインジケーションを提供する。
図36Eに示すように、生体認証に失敗したという判定に応じて、電子デバイス3600は、電子デバイス3600においてユーザを認証する代替(例えば、生体ではない)方法を提供する、パスコードエントリUI3620を表示する(例えば、インタースティシャルインタフェース3616の表示をこれに置き換える)。パスコードエントリUI3620はロックアイコン3608と、パスワード又はパスコードを入力(又はエンター)する複数の入力キーとを含む。パスコードエントリUI3620はまた、プロンプト3622Aを含み、プロンプト3622Aは、上向きにスワイプして生体認証をリトライするかパスコード(又はパスワード)を入力してユーザを認証する(例えば、非生体に)ようにユーザに促す。電子デバイス3600は、生体認証がデバイス上で現在有効にされてあると判定したとき、プロンプト3622Aを表示する。更に、生体認証が現在有効にされてあると判定すると、電子デバイス3600は、ロック解除インジケーション3624を表示し、生体認証をリトライするための上向きのスワイプをユーザが開始することができるディスプレイ3602上の近似位置のインジケーションを提供する。
図36Eにおいて、ユーザは、パスワード又はパスコードを入力して認証するのではなくて、生体認証のリトライを求める。パスコードエントリUI3620を表示しつつ、電子デバイス3600は、図36Bの領域3612Aの外で開始する入力3614Cを受信する。それにもかかわらず、入力3614Cは領域3612B内で開始するので、入力3614Cは生体認証のリトライをトリガする。特に、ロック状態のUI3606に比べて、パスコードエントリUI3620上では、生体認証を開始するために上向きのスワイプが開始しなければならないパラメータは緩和されているので、領域3612Bは領域3612Aよりも大きい。
いくつかの実施例では、入力3614Cを受信する代わりに、電子デバイスは、入力3614A〜B及び3614D〜Eのうちのいずれか1つを受信する。いくつかの実施例では、パスコードエントリUI3620上の緩和されたパラメータを考慮して、入力3614E以外のすべてが、生体認証のリトライをトリガすることになる。いくつかの実施例では、入力3614Eの受信に応じて、電子デバイス3600は、入力3614Eが領域3612B内から開始していないと判定し、それに応じて、生体認証をリトライしない。
図36Fにおいて、電子デバイス3600は、入力3614Cを受信したことに応じて、入力3614は領域3612B内から開始したと判定する。入力3614は領域3612B内から開始したと判定すると、電子デバイス3600は、生体認証をリトライする。電子デバイス3600は、生体認証をリトライしている間、認証グリフ3618を表示する(例えば、ロックアイコン3608の表示をこれに置き換える)。認証グリフ3618は、生体認証が実行されているというユーザに対するインジケーションを提供する。
生体認証をリトライしながら、電子デバイス3600は、生体認証が成功した(例えば、生体センサ3603を使用して得られた生体データは、記憶された許可されたクレデンシャルと一致する)と判定する。
図36G〜36Hにおいて、生体認証に成功したと判定したとき、電子デバイス3600は、ロック状態からロック解除状態に遷移する。電子デバイス3600は、電子デバイス3600がロック解除状態に遷移したとのインジケーションを提供する、図36Hのロックアイコン3608がロック解除アイコン3626に遷移するアニメーションを表示することにより、この遷移のインジケーションを提供する。また、電子デバイス3600は、生体認証が成功したと判定したとき、ロック解除アイコン3626を表示した後、制限付きコンテンツへのアクセスを提供する。例えば、電子デバイス3600は、図36Lのホーム画面3628又は直近に使用されたアプリケーション(例えば、直近に使用されたアプリケーションのユーザインタフェース(例えば、図26Gのメッセージングアプリケーションインタフェース2616))を表示する。
いくつかの実施例では、電子デバイス3600は、生体認証が失敗したと図36Cで判定する代わりに、生体認証は成功したと判定する。いくつかの実施例では、電子デバイス3600は、生体認証に成功したと判定したとき、図36G〜36Hに関して前述したように、ロック解除状態に遷移し、ロック解除アイコン3626を表示する。加えて、いくつかの実施例では、生体認証が成功したと判定したとき、図36Hのロック解除アイコンを表示した後に、電子デバイス3600は、ホーム画面3628を表示する。(ホーム画面3628は、図26Dのホーム画面インタフェース2614の特徴の一部又はすべてを含むことができる。)いくつかの実施例では、生体認証に成功したと判定したとき、ロック解除アイコン3626を表示した後に、電子デバイス3600は、直近に使用されたアプリケーション(例えば、図26Gのメッセージングアプリケーションインタフェース2616)を表示する。
いくつかの実施例では、図36B〜36Cに関して前述したように生体認証がデバイス上で有効にされてあると判定する代わりに、電子デバイス3600は、生体認証が現在有効にされていないと判定する(例えば、ユーザが生体認証を(手動で)無効にしたため、又は所定の生体認証が試みられたが成功しなかったため)。いくつかの実施例では、電子デバイス3600は、生体認証が現在有効にされていないと判定したとき、図36Eのプロンプト3622Aの代わりに図36Iのプロンプト3622Bを表示する。プロンプト3622Aとは対照的に、プロンプト3622Bは、ユーザにスワイプして生体認証をリトライすることを促すことはなく、単に、ユーザにパスコード(又はパスワード)を入力してユーザを認証するように促す。加えて、いくつかの実施例では、生体認証が現在有効にされていないと判定したとき、電子デバイス3600は、図36Iに示すように、ロック解除インジケーション3624を表示しない。前述のように、ロック解除インジケーション3624は、そこからユーザが上向きのスワイプを開始して生体認証をリトライすることができる、ディスプレイ3602上の近似位置のインジケーションを提供する。いくつかの実施例では、生体認証は現在有効にされていないので、電子デバイス3600はロック解除インジケーション3624を表示しない。
いくつかの実施例では、電子デバイス3600は、図36Fで生体認証が成功したと判定する代わりに、生体認証は失敗したと判定する。いくつかの実施例では、電子デバイス3600は、生体認証に失敗したと判定したとき、異なる位置の間を往復して「シェイク」効果を模擬するロックアイコン3608のアニメーションを表示する(図36G〜36Hに関して前述したようにロック解除状態への遷移を表示する代わりに)。前述のように、この「シェイク」のアニメーションは、電子デバイス3600がユーザを生体認証できなかったというユーザに対するインジケーションを提供する。
図37A〜37Bは、いくつかの実施例による、電子デバイスを使用してクレデンシャルエントリユーザインタフェースにおいて生体認証をリトライする方法を示すフロー図である。方法3700は、タッチ感知ディスプレイ(例えば、3602)及び1つ以上の生体センサ(例えば、3603)(例えば、複数の生体センサを備えるデバイスの第1の生体センサ)(例えば、指紋センサ、非接触生体センサ(例えば、熱式又は光学式顔認識センサなど、物理接触を必要としない生体センサ)、虹彩スキャナ)を有する電子デバイス(例えば、100、300、500、3600)において実行される。いくつかの実施形態では、1つ以上の生体センサは、1つ以上のカメラを含む。方法3700におけるいくつかの動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
後述するように、方法3700は、電子デバイスを使用して、クレデンシャルエントリユーザインタフェースにおいて生体認証をリトライする直観的な方法を提供する。この方法は、生体認証をリトライするユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスでは、生体認証をユーザがより迅速かつ効率的にリトライできるようにすることで、電力を節約し、バッテリ充電の間隔を伸ばす。
電子デバイス(例えば、100、300、500、3600)は、タッチ感知ディスプレイ(例えば、3602)上に、複数の文字入力キーを有するクレデンシャルエントリ(例えば、パスコード、パスワード、パターン)ユーザインタフェース(例えば、3620)を表示する(3706)。いくつかの実施例では、クレデンシャルエントリユーザインタフェースは、仮想キーボード又は仮想キーパッドを含む。いくつかの実施例では、仮想キーパッド又は仮想キーボードは、複数の文字入力キーを含む。いくつかの実施例では、電子デバイスは、クレデンシャルエントリユーザインタフェース(例えば、3620)を表示しながら、複数の文字入力キーのうちの1つ以上の文字入力キーに対応する入力を受信する。いくつかの実施例では、電子デバイスは、複数の文字入力キーに対応する入力を受信したことに応じて(又は、その後に)、許可されたクレデンシャル(例えば、記憶されたパスコード又はパスワード)に受信した入力が対応(又は一致)するという判定に従って、ロック状態(例えば3606に対応)からロック解除状態(例えば3628に対応)に遷移する。
クレデンシャルエントリユーザインタフェース(例えば、3620)を表示しながら、電子デバイスは、タッチ感知ディスプレイ(例えば、3602)を介して、タッチ感知ディスプレイとの接触の移動を含むタッチジェスチャ入力(例えば、3614A〜B)(例えば、既定の場所におけるスワイプ)を受信する(3708)。
タッチ感知ディスプレイとの接触の移動を含むタッチジェスチャ入力を受信したことに応じて(3712)、かつ第1の組の1つ以上の基準が満たされたという判定に従って(3714)、第1の組の1つ以上の基準は生体認証が電子デバイス上で現在有効にされてあるという要件を含む、電子デバイスは、1つ以上の生体センサを使用してキャプチャされた生体情報に基づいて、電子デバイスのユーザの生体認証を試みる。いくつかの実施例では、第1の組の1つ以上の基準は、1つのみの基準を含む。いくつかの実施例では、以下の条件のうちの1つ以上が満たされている場合、生体認証は、使用不可能になる(又は、電子デバイス上で有効にされていない)可能性がある:電子デバイスが、電源を入れられて又は再開されて以後、認証に成功されていないことと、電子デバイスが、所定の時間(例えば、48時間)を超えてロック解除されなかったことと、パスコードが、所定の時間(例えば、156時間)を超えてデバイスをロック解除するために使用されなかったことと、生体特徴(例えば、顔、指紋)を用いた生体認証が、所定の時間(例えば、4時間)を超えてデバイスをロック解除するために使用されなかったことと、電子デバイスが、遠隔ロックコマンドを受信したことと、生体認証が、デバイスでの最後の認証成功以後に、既定の回数(例えば、5、10、15回)を超えて失敗したことと、電子デバイスが、電源オフ及び/又は緊急SOSコマンドを受信したこと。いくつかの実施例では、タッチジェスチャ入力は、電子デバイス3600をロック解除する要求である。クレデンシャルエントリユーザインタフェースにおいてタッチジェスチャ入力を実行することによって生体認証をリトライする能力をユーザに提供することで、付加的な表示された制御デバイスでUIをあふれさせることなく、デバイスの付加的制御を行うことによって、デバイスの操作性を向上させる。この能力の提供により、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、タッチ感知ディスプレイとの接触の移動を含むタッチジェスチャ入力を受信したことに応じて(3712)、かつ第1の組の1つ以上の基準が満たされていない(例えば、生体認証がデバイス上で現在有効にされていないため)という判定に従って(3716)、電子デバイスは、1つ以上の生体センサ(例えば、3603)を使用してキャプチャされた生体情報に基づいて電子デバイスのユーザの生体認証を試みることを取り止める。生体認証が有効にされていない場合にユーザを生体認証しようとすることを取り止めることにより、デバイスの不正使用を防止してデバイスのセキュリティを向上させる。
いくつかの実施例では、クレデンシャルエントリユーザインタフェース(例えば、3620)の表示は、認証を必要とする動作を実行する要求(例えば、電子デバイスをロック解除する要求(例えば、3614A〜B)(例えば、ディスプレイの縁部(例えば、底縁部)から開始する又はディスプレイの既定領域内(例えば、下部)から開始するスワイプ))を受信したこと(3702)と、1つ以上の生体センサを使用してキャプチャされた生体情報に基づいて電子デバイスのユーザを生体認証することに失敗したこととに応じて、生じる。いくつかの実施例では、1つ以上の生体センサを使用してキャプチャされた生体情報が、許可されたクレデンシャル(例えば、生体認証に使用することが許可された生体特徴(例えば、顔、指紋)に関する記憶された情報)に対応(又は一致)しない場合、電子デバイス(例えば、100、300、500、3600)は、この電子デバイスのユーザの生体認証に失敗する。1組の条件が満たされている場合にクレデンシャルエントリユーザインタフェースを表示することにより、クレデンシャルエントリユーザインタフェースが表示されることをユーザが明示的に要求する必要なしに代替方法を介して認証する能力をユーザに提供する。更なるユーザ入力を必要とせずに1組の条件が満たされている場合に動作を実行することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、認証を必要とする動作を実行する要求(例えば、3614A〜B)は、タッチ感知ディスプレイとの接触の移動を含む第2のタッチジェスチャ入力(3704)(例えば、ディスプレイの縁部(例えば、底縁部)から開始する又はディスプレイの既定領域(例えば、3612A)内(例えば、下部)から開始するスワイプ)である。いくつかの実施例では、この1組の1つ以上の基準は、タッチジェスチャ入力がディスプレイの第1の領域(例えば、3612A)(例えば、ディスプレイの底縁部に沿った領域)において開始してディスプレイの第2の領域(ディスプレイの底縁部に沿った領域の上の領域(例えば、3612A))で終了する(又は第2の領域を通って進む)という要件を含む。
いくつかの実施例では、生体認証が電子デバイス上で現在有効にされてあるという要件を含む、第2の組の1つ以上の基準が満たされているという判定に従って、クレデンシャルエントリユーザインタフェース(例えば、3620)を表示することは、タッチ感知ディスプレイ上でジェスチャを実行してユーザの生体認証を試行するためのインジケーション(例えば、3622A)(例えば、テキスト、グラフィック、アイコン)をタッチ感知ディスプレイ(例えば、3602)上に表示することを含む。いくつかの実施例では、第2の組の1つ以上の基準が満たされていないという判定に従って、電子デバイスは、タッチ感知ディスプレイ上でジェスチャを実行してユーザの生体認証を試行するためのインジケーションの表示を取り止める。いくつかの実施例では、第2の組の1つ以上の基準は、第1の組の1つ以上の基準と同じである。いくつかの実施例では、第2の組の1つ以上の基準は、基準を1つのみ含む。生体認証が使用可能なときにジェスチャを実行するためのインジケーションを表示することにより、デバイスの現在の状態に関するフィードバック(例えば、生体認証が使用可能であること)をユーザに提供し、このインジケーションに関連するジェスチャを実行するようにユーザに促す。更に、生体認証が使用可能でないときにジェスチャを実行するためのインジケーションを表示しないことによってもまた、デバイスの現在の状態に関するフィードバック(例えば、生体認証が使用可能でないこと)をユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、生体認証が電子デバイス上で現在有効にされてあるという要件を含む、第3の組の1つ以上の基準が満たされているという判定に従って、クレデンシャルエントリユーザインタフェース(例えば、3620)を表示することは、タッチ感知ディスプレイ(例えば、3602)上に、タッチ感知ディスプレイの縁部(例えば、ディスプレイの底縁部)に隣接してユーザインタフェース要素(例えば、3624)(例えば、グラフィカル要素、水平バー、ホームアフォーダンス、生体認証を試行するためにユーザがスワイプを開始するべき場所のインジケーション)を表示することを含む。いくつかの実施例では、第3の組の1つ以上の基準は、第1の組の1つ以上の基準と同じである。いくつかの実施例では、第3の組の1つ以上の基準は、基準を1つのみ含む。いくつかの実施例では、第3の組の1つ以上の基準が満たされていないという判定に従って、電子デバイス(例えば、100、300、500、3600)は、ユーザインタフェース要素の表示を取り止める。いくつかの実施例では、1組の1つ以上の基準は、タッチジェスチャ入力がディスプレイの第1の領域(例えば、3612A)(例えば、ディスプレイの底縁部に沿った領域)で開始してディスプレイの第2の領域(例えば、ディスプレイの底縁部に沿った領域の上の領域)で終了するという要件を含む。いくつかの実施例では、ユーザインタフェース要素(例えば、3624)は、ディスプレイの第1の領域に対応する(例えば、その中にある)場所に表示される。生体認証が使用可能であるときにディスプレイの縁部に隣接するユーザインタフェース要素を表示することにより、デバイスの現在の状態に関するユーザへのフィードバックと、ユーザがデバイスのロック解除をどのように要求することができるかに関するフィードバックとを提供する。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、3600)は、1つ以上の生体センサを使用してキャプチャされた生体情報に基づいて電子デバイスのユーザの生体認証を試みる間に、生体認証が発生していることを示す1つ以上の動く要素(例えば、3618)を有するアニメーションをタッチ感知ディスプレイに表示する(例えば、ディスプレイ上で動く1つ以上のリング(例えば、グラフィックアイコン)を含むアニメーションを表示して)。いくつかの実施例では、このアニメーションは、生体情報が処理されているとのインジケーションを提供する。いくつかの実施例では、このアニメーションは、オブジェクト(例えば、球)の周りを回転するリングを含む。いくつかの実施例では、この球は、目視可能である。いくつかの実施例では、この球は、可視ではない。生体認証が発生していることを示す1つ以上の動く要素を表示することにより、デバイスの現在の状態に関する(例えば、生体認証が実行されてという)及びユーザは現時点で何らのアクションをとる必要はないというフィードバックをユーザに提供する。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、1つ以上の動く要素を有するアニメーションを表示することは、1つ以上の動く要素を有するアニメーションからロックアイコン(例えば、3608)(例えば、ロック状態を示すアイコン)に遷移することを含む。いくつかの実施例では、1つ以上の動く要素(例えば、3618)を有するアニメーションからロックアイコンへの遷移の後に、1つ以上の生体センサを使用してキャプチャされた生体情報は許可されたクレデンシャル(例えば、生体認証における使用を許可された生体特徴(例えば、顔、指紋)に関する記憶された情報)に対応する(例えば、一致する)という判定に従って、電子デバイスは、ロック状態からロック解除状態に遷移する。いくつかの実施例では、電子デバイスをロック状態からロック解除状態に遷移させることは、ロックアイコンがロック解除アイコン(例えば、3626)(例えば、ロック解除状態を示すアイコン)に遷移するアニメーションを表示することを含む。いくつかの実施例では、1つ以上の動く要素を有するアニメーションからロックアイコンに遷移した後、1つ以上の生体センサを使用してキャプチャされた生体情報は許可されたクレデンシャルに対応していない(例えば、一致しない)という判定に従って、電子デバイスは、第1の位置と第2の位置との間を往復するロックアイコン(例えば、3608)を有するアニメーションをタッチ感知ディスプレイ(例えば、3602)上に表示し、第2の位置は第1の位置とは異なる。いくつかの実施例では、ロックアイコンを有するアニメーションは、ロックアイコンが揺れる(例えば、左右に、前後に回転する)アニメーションである。いくつかの実施例では、電子デバイスは、生体認証に失敗したことを示すロックアイコンを含むアニメーションを表示する。いくつかの実施例では、触知出力が、揺れるロックアイコンと組み合わせて提供される。いくつかの実施例では、触知出力は提供されない。いくつかの実施例では、電子デバイス(例えば、100、300、500、3600)は、1つ以上の生体センサを使用してキャプチャされた生体情報が、認可クレデンシャルに対応していない又は一致していないという判定に従って、電子デバイスのロック状態を維持する。ロックアイコンがロック解除アイコンに遷移するアニメーションを表示することにより、デバイスの現在の状態に関するフィードバック(例えば、生体認証が成功したこと、デバイスがロック解除されたこと、ユーザは制限付きコンテンツに現在アクセスできること)をユーザに提供する。更に、揺れるロックアイコンのアニメーションを表示することにより、デバイスの現在のデバイス状態に関するフィードバック(例えば、生体認証が失敗したこと)をユーザに提供してユーザが更なるアクションを実行するように促す。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、タッチ感知ディスプレイとの接触の移動を含むタッチジェスチャ入力は、タッチ感知ディスプレイの縁部(例えば、ディスプレイの底縁部)から離れた(例えば、実質的に近くない)場所から開始される(3710)。いくつかの実施例では、このタッチ感知ディスプレイ(例えば、3602)の縁部から離れた場所は、縁部よりもディスプレイの中心に近い場所を含む。いくつかの実施例では、タッチ感知ディスプレイの縁部から離れた場所は、ディスプレイの縁部からの距離が閾値を超える場所(又は、既定領域(例えば、3612A)の外)を含む。いくつかの実施例では、閾値距離(又は既定領域)は、スワイプ入力がディスプレイの縁部から閾値距離より近くで開始したときにウェイクスクリーンを閉じるかどうかを決定するために、ウェイクスクリーンで使用される。いくつかの実施例では、閾値距離(又は既定領域(例えば、3612A))は、スワイプ入力がディスプレイの縁部から閾値距離よりも離れて(又は既定領域(例えば3612A)の外部で)開始されるときにウェイクスクリーン上でコンテンツ(例えば、3610A〜E)をスクロースすることなどのウェイクスクリーンでの異なる動作を実行するために使用される。いくつかの実施例では、タッチジェスチャ入力がどこで開始される必要があるかのパラメータは、クレデンシャルエントリユーザインタフェース(例えば、3620)については緩和される。タッチジェスチャ入力がどこで開始される必要があるかについてのクレデンシャルエントリユーザインタフェースにおけるパラメータを緩和することにより、より精度の低いジェスチャで生体認証を開始することを可能にすることによって、デバイスの操作性を向上させる。ユーザは生体認証を開始する意欲を既に伝えているので、パラメータは緩和される。その結果、ユーザが意図していないクレデンシャルエントリユーザインタフェースにおいて生体認証が開始するリスクは下がる。ユーザが生体認証を開始する意欲を既に伝えた後に更に精度の低いジェスチャにより生体認証を開始することを可能にすることにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、更に、制限付き動作の実行を制限することによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、タッチ感知ディスプレイの縁部から離れた場所から開始されるタッチ感知ディスプレイとの接触の移動を含むタッチジェスチャ入力(例えば、3614C〜E)の受信に応じて、かつ1つ以上の生体センサを使用してキャプチャされた生体情報は許可されたクレデンシャル(例えば、生体認証において使用することを許可された生体特徴(例えば、顔、指紋)に関する記憶された情報)に対応している(例えば、一致している)という判定に従って(3718)、電子デバイスは、ロック状態からロック解除状態に遷移する。いくつかの実施例では、電子デバイスをロック解除状態に遷移させることは、ロック解除されたユーザインタフェース(例えば、ホーム画面(例えば、3628)又は直近に使用されたアプリケーションなど、ロック解除状態を示すユーザインタフェース)を表示することを含む。
いくつかの実施例では、クレデンシャルエントリユーザインタフェースを表示する前に、電子デバイス(例えば、100、300、500、3600)は、タッチ感知ディスプレイ(例えば、3602)上に、ロックユーザインタフェース(例えば、3606)(例えば、電子デバイスのロック状態を示すユーザインタフェース、ウェイクスクリーン、ロックスクリーン)を表示する。いくつかの実施例では、ロックユーザインタフェースは、クレデンシャルエントリユーザインタフェース(例えば、3620)とは異なる。いくつかの実施例では、ロックユーザインタフェースを表示しながら、電子デバイスは、タッチ感知ディスプレイ(例えば、3602)を介して、開始場所を有するタッチジェスチャ入力(例えば、3614A〜B)(例えば、上向きのスワイプ)を受信する。この開始場所を有するタッチジェスチャ入力の受信に応じて、かつ第4の組の1つ以上の基準が満たされているという判定に従って、この第4の組の1つ以上の基準は、タッチジェスチャ入力の開始場所がタッチ感知ディスプレイの縁部の十分近く(例えば、既定領域(例えば、3612A)内、縁部から既定の距離内、ディスプレイの中心よりも縁部に近い場所)に位置するという要件を含む、電子デバイスは、生体認証を開始する。いくつかの実施例では、第4の組の1つ以上の基準は1つの基準だけを含む。いくつかの実施例では、生体認証を開始することは、1つ以上の生体センサを使用してキャプチャされた生体情報に基づいて、電子デバイスのユーザの生体認証を試みることを含む。いくつかの実施例では、この開始場所を有するタッチジェスチャ入力の受信に応じて、かつ第4の組の1つ以上の基準が満たされていないという判定に従って、電子デバイスは、生体認証の開始を取り止める。
方法3700に関して前述したプロセス(例えば、図37A〜37B)の詳細はまた、後述する方法にも類似の方式で適用可能であることに留意されたい。例えば、方法3900、方法4100、及び/又は方法4300は、方法3700に関して前述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法3700に関して前述したような、生体認証をリトライするプロセスは、方法4100に関して記載するように、商品の支払いを許可するための生体認証をリトライするために使用することができる。同様に、生体認証をリトライするプロセスは、方法3900に関して記載されるプロセスにおいて生体認証をリトライするために使用することができる。簡潔にするために、これらの詳細は、以下では繰り返されない。
図38A〜38ADは、いくつかの実施例による、生体認証中にエラー状態のインジケーションを提供する例示的なユーザインタフェースを示している。これらの図におけるユーザインタフェースは、図39A〜図39Bにおけるプロセスを含む、後述するプロセスを示すために使用される。
図38Aは、電子デバイス3800(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500)を示す。図38A〜図38ADに示された典型的な実施例では、電子デバイス3800は、スマートホンである。他の実施例では、電子デバイス3600は、ウェアラブルデバイス(例えば、スマートウォッチ)などの、異なるタイプの電子デバイスとすることができる。電子デバイス3600は、ディスプレイ3802、1つ以上の入力デバイス(例えば、ディスプレイ3802のタッチスクリーン、ボタン3804、及びマイクロフォン)と、無線通信無線機とを含む。一部の実施例では、この電子デバイスは、複数のカメラを含む。一部の実施例では、この電子デバイスは、1つのみのカメラを含む。図38Aにおいて、この電子デバイスは、生体センサ3803を含む。一部の実施例では、この生体センサは、赤外線カメラ、サーモグラフィカメラ、又はそれらの組み合わせなどのカメラを含み得る、1つ以上の生体センサである。いくつかの実施例では、生体センサ3803は、生体センサ703である。いくつかの実施例では、1つ以上の生体センサは、1つ以上の指紋センサ(例えば、ボタンに組み込まれた指紋センサ)を含む。いくつかの実施例では、このデバイスは、IRフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照らすために使用される。
図38Aでは、ユーザは、自分がジョン・アップルシードからのメッセージを受信したことを通知3808から知る。ユーザは、通知3808の制限付きコンテンツ(例えば、ジョン・アップルシードからのメッセージ)の視聴を望むが、電子デバイス3800は現在ロック状態にあるため、これを行うことはできない。電子デバイス3800は、ロックアイコン3806を有するロック状態のユーザインタフェース(UI)を表示し、電子デバイス3800がロック状態にあるとのインジケーションを提供する。通知3808の制限付きコンテンツを見るには、認証の成功(例えば、生体センサ3803を使用して得られた生体特徴に関する情報(又はデータ)が、記憶された許可されたクレデンシャルに対応している(又はこれと一致している)という判定)が必要である。通知3808の制限付きコンテンツを見るために、ユーザは、電子デバイス3800を(例えば、ほぼ水平な向きから図38Aのユーザの手中に図示されているようなデバイスの向きに)持ち上げる(又は起こす)。電子デバイス3800は、電子デバイス3800の向きの変化を検出し、これに応じて、生体認証を開始する。いくつかの実施例では、電子デバイス3800は、生体認証が開始された後、生体認証に成功したと判定する。いくつかの実施例では、電子デバイス3800は、生体認証に成功したと判定すると、ロック状態からロック解除状態に遷移し、通知3808の制限付きコンテンツを表示する。
電子デバイス3800は、生体認証を開始した後(例えば、認証成功前)に、生体センサ3803により顔が検出されたかどうかを判定する。図38Bにおいて、電子デバイス3800は、顔が検出されたと判定すると、球状に回転する複数のリングを含む認証グリフ3810を表示する。認証グリフ3810は、生体認証が実行されているとのインジケーションを提供する。いくつかの実施例では、電子デバイス3800は、ロックアイコン3806が認証グリフ3810にモーフィングするアニメーションを表示する。いくつかの実施例では、生体センサ3803を使用して顔が検出されないと判定された場合、電子デバイス3800は、ロック状態を維持し、認証グリフ3810を表示しない。
顔の存在を検出した後、電子デバイス3800は、生体センサ3803を使用してユーザの顔に関する十分な情報を得ることに失敗したことにより認証に失敗したと判定する。具体的には、図38Bに示すように、生体センサ3803が、許容距離範囲3812の外(例えば、最大閾値範囲を超えて)に位置付けられ、ユーザの顔に関する十分な情報を得られない結果をもたらす。電子デバイス3800は、ユーザの顔が許容距離範囲3812外にあることに起因して生体認証が失敗したと判定すると、デバイスをロック状態に維持し、通知3808の制限付きコンテンツを表示しない。いくつかの実施例では、電子デバイス3800は、認証が失敗し、エラー状態は存在しないと判定された場合、デバイスをロック状態に維持し、通知3808の制限付きコンテンツを表示しない。いくつかの実施例では、(例えば、キャプチャされた生体情報が、許可された生体情報プロファイル(例えば、記憶された許可されたクレデンシャル)と一致しないことにより、及びエラー状態が存在しない(例えば、十分な生態情報のキャプチャを妨げる状態がないことにより)認証が失敗したと判定したとき、電子デバイス3800は、ロック状態を維持して生体認証を自動的にリトライする。いくつかの実施例では、生体認証をリトライしながら、電子デバイス3800は、図38Bの認証グリフ3810の表示を継続する。
図38C〜38Gに示すように、ユーザの顔が許容距離範囲3812の外にあることにより生体認証は失敗したと判定したとき、電子デバイス3800は、認証グリフ3810の表示をエラーインジケーション3814Aに置き換えるような、認証グリフ3810がエラーインジケーション3814Aにモーフィングするアニメーションを表示する。図38Gにおいて、電子デバイス3800は、エラーインジケーション3814Aを表示し、これによりエラーインジケーション3814Aの下にあるエラー状態を補正するためのアクションをとるようにユーザに促す。具体的には、ユーザインジケーション3814Aは、生体センサ3803に顔を近づけるようにユーザに促す。エラーインジケーション3814Aはまた、エラーインジケーション3814Aの原因である、ユーザの顔が生体センサ3803から離れすぎていることをユーザに示唆する。ユーザの顔が許容距離範囲3812外にある限り、電子デバイス3800は、エラーインジケーション3814Aは存在すると判定し続けることになる。エラーインジケーション3814Aはまだ存在すると判定すると、電子デバイス3800は、生体認証のリトライを試みない。電子デバイス3800は、図38Aのロックアイコン3806の位置と一致する位置にエラーインジケーション3814Aを表示することに留意されたい。更に、電子デバイス3800は、生体センサ3803に隣接するディスプレイ3802の一部にエラーインジケーション3814Aを表示して、エラーインジケーション3814Aは生体センサ3803に関連する(又は対応する)ことをユーザに示唆する。
図38Hに示すように、エラーインジケーション3814Aを補正するように促された後、ユーザは、ユーザの顔が許容距離範囲3812内にあるように、ユーザの顔を生体センサ3803に近づける。図38Hで、電子デバイスは、エラーインジケーション3814Aはもう存在しないと判定する。エラーインジケーション3814Aはもう存在しないと判定したとき、電子デバイス3800は、デバイスでの生体認証を可能にし、生体センサ3803を使用して生体認証を自動的にリトライする。
自動的に生体認証をリトライしたことに応じて、電子デバイス3800は、シマー効果(例えば、エラーインジケーションの1つ以上の部分が左右に移動して、エラーインジケーションが輝いて見える効果を生み出すように、エラーインジケーションをアニメーション化すること)を有するエラーインジケーション3814Aを表示して、電子デバイス3800が再びユーザを生体認証しようとしていることを示す。図38H〜38Lは、シマー効果を有するエラーインジケーション3814Aのアニメーションを示している。いくつかの実施例では、電子デバイス3800は、シマー効果を有するエラーインジケーション3814Aを表示する代わりに、電子デバイス3800がユーザを再び生体認証しようとしていることを示す認証グリフ3810を表示する(例えば、エラーインジケーション3814Aの表示を認証グリフ3810に置き換える)。したがって、いくつかの実施例では、電子デバイス3800は、ロックアイコン3806にモーフィングするエラーインジケーション3814Aに代えて、ロックアイコン3806にモーフィングする認証グリフ3814Aのアニメーションを表示する。
図38Lで、生体認証をリトライした後、電子デバイス3800は、ユーザの生体認証に成功する。電子デバイス3800は、生体認証の成功に応じて、デバイスをロック状態からロック解除状態に遷移させる。電子デバイス3800は、ロック状態からロック解除状態に遷移しながら、図38L〜38Nに示すように、ロックアイコン3806にモーフィングするエラーインジケーション3814Aのアニメーションを表示する。電子デバイス3800は、ロックアイコン3806にモーフィングするエラーインジケーション3814Aのアニメーションを表示した後、図38N〜38Oに示すように、ロック解除アイコン3816に遷移するロックアイコン3806のアニメーションを表示する。ロック解除アイコン3816は、電子デバイス3800がロック解除状態にあることを示すインジケーションを提供する。また、図38Oに示すように、電子デバイス3800は、生体認証が成功したことに応じて、通知3808の制限付きコンテンツ(例えば、「ねえ、私たちのミーティングはまだ続いている?」)を表示する。
図38Pでは、電子デバイス3800は、図38Bに関して前述したようにユーザの顔が許容距離範囲3812外にあると判定する代わりに、生体認証はこのデバイス上で使用可能でないと判定する。生体認証が使用可能でないと判定したとき、電子デバイス3800は、図38Pのエラーインジケーション3814Bを表示し、このデバイス上で生体認証は現在使用可能でないとのインジケーションを提供する。生体認証は、最後の認証成功以後に既定の回数(例えば、5、10、15回)より多く生体認証が失敗したことを含む、様々な理由で使用不可能になり得る。
生体認証が使用できないことにより、ユーザは、ユーザを認証するための代替方法を使用しなければならない。例えば、ユーザは、電子デバイス3800でパスコードを入力することによって、認証することができる。図38Pのエラーインジケーション3814Bを表示しながら、電子デバイス3800は、エラーインジケーションで3814Bにおいて入力3820を受信する。
図38Qで、エラーインジケーション3814Bで入力3820を受信したことに応じて、電子デバイス3800は、パスコード(又はパスワード)を入力する複数のエントリアフォーダンスを有するパスコードエントリUI3822Aを表示する。
いくつかの実施例では、図38L〜38Oに関して上記で論じたように、生体認証のリトライの結果として認証が成功したと判定する代わりに、電子デバイス3800は、認証に失敗したと判定する。いくつかの実施例では、電子デバイス3800は、認証に失敗したと判定したとき、ロック状態を維持し、図38Rのロックアイコン3806が異なる位置の間で往復して「シェイク」効果を模擬するアニメーションを表示する。シェイクアニメーションは、生体認証が失敗したことと、電子デバイス3800はロック状態のままであることとのインジケーションをユーザに提供する。
認証が失敗したと判定した後、ユーザは、生体認証のリトライをトリガするために、電子デバイス3800においてアクションを実行することができる。図38Sで、ユーザは、ディスプレイ3802の底縁部に近い領域から開始する上向きのスワイプによって、生体認証のリトライをトリガする。電子デバイス3800は、入力3824を受信し、それに応じて、生体認証をリトライする。いくつかの実施例では、生体認証をリトライした後、電子デバイス3800は、認証に成功したと判定する。いくつかの実施例では、生体認証のリトライの結果として認証に成功したと判定したとき、電子デバイス3800は、ロック状態からロック解除状態に遷移する。
図38S〜38Tで、電子デバイスは、入力3824に応じて、生体認証のリトライの結果として認証は失敗したと判定する。生体認証のリトライの結果として認証が失敗したと判定したとき、電子デバイス3800は、図38TのパスコードエントリUI3822Bを表示する。図37のプロセスに関して記載したように、ユーザは、上向きのスワイプ(例えば、入力3826)を実行することによってパスコードエントリUI3822Bにおいて再び生体認証をリトライすることができる。(パスコードエントリUI3822Bは、生体認証を開始するために上向きのスワイプが開始する必要がある場所の緩和されたパラメータを含む、パスコードエントリUI3620の特徴の一部又はすべてを含む。)
図38Uで、電子デバイスは、パスコードエントリUI3822Bにおける生体認証のリトライの結果として認証が成功したと判定する。認証に成功したと判定したとき、電子デバイスは、図38U〜38Wに示すように、ロック状態からロック解除状態に遷移する。いくつかの実施例では、図38Uで、電子デバイスは、パスコードエントリUI3822Bにおける生体認証のリトライの結果として認証は成功しなかったと判定する。いくつかの実施例では、この判定を行ったとき、電子デバイスは、ロック状態を維持する。
図38X〜38ADは、電子デバイス3800がユーザの生体認証を試みながら検出することができる、様々なエラー状態を示している。図38Gに関して前述したようにエラーインジケーション3814Aを表示する代わりに、電子デバイス3800は、後述のエラーインジケーション(例えば、エラーインジケーション3814C〜I)のうちのいずれか1つを表示することができる。図38X〜38ADはまた、電子デバイス3800がユーザの生体認証をリトライすることができるように、検出されたエラー状態を補正するためのアクションをとるように電子デバイス3800が(例えば、エラーインジケーション3814C〜Iを介して)ユーザを指導することを図示する。
図38Xでは、ユーザの顔は生体センサ3803に近すぎる位置にある。その結果、電子デバイス3800は、ユーザの顔が許容距離範囲3812外(例えば、最小閾値範囲未満)に位置すると判定する。ユーザの顔が許容距離範囲3812の外に位置すると判定したとき、電子デバイス3800は、生体センサ3803からユーザの顔を離すようにユーザに促すエラーインジケーション3814Cを表示する。エラーインジケーション3814Cはまた、エラー状態の原因のインジケーション(例えば、ユーザの顔が生体センサ3803に近すぎるというインジケーション)を提供する。
図38Yでは、ユーザの手が生体センサ3803を覆っている。その結果、電子デバイス3800は、ユーザの顔に関する情報をセンサが取得することができないようにオブジェクト(例えば、ユーザの手)が生体センサ3803を覆っていると判定する。オブジェクトが生体センサ3803を覆っていると判定したとき、電子デバイス3800は、ユーザにその手を生体センサ3803から離すように促す、エラーインジケーション3814Dを表示する。エラーインジケーション3814Dはまた、エラー状態の原因のインジケーション(例えば、生体センサ3803が覆われているというインジケーション)を提供する。
図38Zでは、ユーザは、電子デバイス3800を見ていない。その結果、電子デバイス3800は、ユーザの目がデバイスを見ていないと判定する。ユーザの目がデバイスを見ていないと判定したとき、電子デバイス3800は、デバイスを見てエラー状態を補正するようにユーザに促す、エラーインジケーション3814Eを表示する。エラーインジケーション3814Eはまた、エラー状態の原因のインジケーション(例えば、ユーザがデバイスを見ていないというインジケーション)を提供する。
図38AAで、ユーザの顔は視野3828内にあるが、ユーザは帽子を着用している。その結果、電子デバイス3800は、ユーザの顔の一部が不明瞭である(又は遮蔽されている)と判定する。例えば、電子デバイス3800は、生体センサ3803を使用してユーザの顔に関する部分的情報を取得し、この部分的情報は、記憶された許可されたクレデンシャルと比較するために必要とされる閾値量未満である。ユーザの顔の一部が不明瞭であると判定したとき、電子デバイス3800は、ユーザに帽子を取るように促すエラーインジケーション3814Fを表示する。エラーインジケーション3814Fはまた、エラー状態の原因のインジケーション(例えば、ユーザの顔の一部が不明瞭であるというインジケーション)を提供する。
図38ABにおいて、ユーザの顔は、生体センサ3803の視野3828の外にある。その結果、電子デバイス3800は、ユーザの顔が生体センサ3803の視野3828外にあると判定する。いくつかの実施例では、ユーザの顔は、顔の閾値部分より多くが視野外にある場合に、視野3828外にある。いくつかの実施例では、ユーザの顔は、視野3828内で顔が検出されない場合、視野外にある。ユーザの顔が視野3828の外にあると判定したとき、電子デバイス3800は、ユーザにその顔を視野3828内に動かすように促す、エラーインジケーション3814Gを表示する。エラーインジケーション3814Gはまた、エラー状態の原因のインジケーション(例えば、ユーザの顔が視野3814Gの外にあるというインジケーション)を提供する。
図38ACでは、ユーザの顔は、視野3828内にあるが、生体センサ3803の方を向いていない。その結果、電子デバイス3800は、ユーザの顔が生体センサ3803の方を向いていないと判定する。ユーザの顔が生体センサ3803の方を向いていないと判定したとき、電子デバイス3800は、センサの方に顔を向けるようにユーザに促す、エラーインジケーション3814Hを表示する。エラーインジケーション3814Hはまた、エラー状態の原因のインジケーション(例えば、ユーザの顔が生体センサ3803の方を向いていないというインジケーション)を提供する。
図38ADで、ユーザの顔は、生体センサ3803の視野及び許容距離範囲内に適切に位置付けられている。しかし、ユーザが置かれている環境の照明条件は、生体認証を行うのに好適ではない。具体的には、光量が多すぎて、生体認証の実行を妨げている。その結果、電子デバイス3800は、光量が既定閾値を超えていると判定する(例えば、1つ以上の周囲光センサを介して)。光量が閾値を超えていると判定したとき、電子デバイス3800は、より少ない光量を有する改善された照明条件を求めるようにユーザに促す、エラーインジケーション3814Iを表示する。エラーインジケーション3814Iはまた、エラー状態の原因のインジケーション(例えば、光状態が生体認証を実行するのに好適でないというインジケーション)を提供する。
図39A〜39Bは、いくつかの実施例による、生体認証の間にエラー状態のインジケーションを提供する方法を示すフロー図である。方法3900は、ディスプレイ(例えば、3802)及び1つ以上の入力デバイス(例えば、加速度計(例えば、168)、ディスプレイ(例えば、3802)のタッチスクリーン)を有する電子デバイス(例えば、100、300、500、3800)において実行される。いくつかの実施例では、電子デバイスは、1つ以上の生体センサ(例えば、指紋センサ、非接触生体センサ(例えば、熱式又は光学式顔認識センサなど、物理接触を必要としない生体センサ)、虹彩スキャナ)を含む。いくつかの実施例では、1つ以上の生体センサは、1つ以上のカメラを含む。方法3900の一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
後述するように、方法3900は、生体認証中にエラー状態のインジケーションを提供する直観的な方法を提供する。この方法は、生体認証を実行するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスでは、ユーザが生体認証をより迅速かつ効率的に実行することを可能にすることで、電力を節約し、バッテリ充電の間隔は延びる。
電子デバイス(例えば、100、300、500、3800)は、1つ以上の入力デバイス(例えば、加速度計(例えば、168)、ディスプレイ(例えば、3802)のタッチスクリーンを介して、認証(例えば、生体認証)を必要とする動作を実行する要求を受信する(3902)。いくつかの実施例では、認証を必要とする動作を実行する要求は、デバイスをロック解除する要求(例えば、既定の場所におけるスワイプ)を含む。いくつかの実施例では、要求は、デバイスをほぼ水平な位置から持ち上げることによってトリガされる。
認証(例えば、生体認証)を必要とする動作を実行する要求に応じて(3904)、かつ認証(例えば、生体認証)が成功したという判定に従って(3906)、電子デバイスは、その動作を実行する。いくつかの実施例では、ユーザ入力(例えば、ユーザの生体特徴(例えば、顔、指)に対応する1つ以上の生体センサから取得されたデータ、パスコード)が許可されたクレデンシャル(例えば、登録済みの指紋、顔、又はパスコード)に対応する(例えば、一致する)とき、認証は成功である。いくつかの実施例では、ユーザ入力が、許可されたクレデンシャルと一致するとき、ユーザ入力は、許可されたクレデンシャルに対応している。
認証(例えば、生体認証)を必要とする動作を実行する要求に応じて(3904)、認証(例えば、生体認証)は成功しなかったという、かつ1組のエラー状態基準が満たされている(例えば、エラー状態が存在する)という判定に従って(3908)、電子デバイス(例えば、100、300、500、3800)は、(例えば、1組のエラー状態基準の)エラー状態のインジケーション(例えば、3814A〜I)をディスプレイ(例えば、3802)に表示し(3910)、その動作の実行を取り止める(3916)。このインジケーションは、エラー状態の原因に関する情報を含む(3912)。いくつかの実施例では、ユーザ入力(例えば、ユーザの生体特徴(例えば、顔、指)に対応する1つ以上の生体センサから取得されたデータ、パスコード)が、許可されたクレデンシャル(例えば、登録済みの指紋、顔、又はパスコード)に対応(例えば、一致)しないとき、認証は成功しない。いくつかの実施例では、ユーザ入力が、許可されたクレデンシャルと一致しないとき、ユーザ入力は、認可されたクレデンシャルに対応していない。いくつかの実施例では、1組のエラー状態基準は、1つの基準のみを含む。エラー状態のインジケーションを表示することにより、デバイスの現在の状態に関する(例えば、エラー状態が生体認証の成功を妨げているという)フィードバックをユーザに提供し、エラー状態を補正するための更なるアクションをとるようにユーザに促す。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。また、生体認証が失敗してエラー状態が検出されたときに動作の実行を取り止めることで、セキュリティを向上させ、エラー状態に起因して失敗すると考えられる生体認証の複数のリソース集約的な再試行のインスタンスを減らす。改良されたセキュリティを提供することで、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし(例えば、無許可アクセスを制限することによって)、加えて、制限付き動作の実行を制限することによって電力使用量を減少させ、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、認証を必要とする動作を実行する要求に応じて(3904)、認証(例えば、生体認証)に成功しなかったという及び1組のエラー状態基準が満たされていないという判定に従って(3926)、電子デバイス(例えば、100、300、500、3800)は、エラー状態のインジケーションのディスプレイ(例えば、3802)上の表示を取り止め(3928)、動作の実行を取り止める(3930)。
いくつかの実施例では、エラー状態のインジケーション(例えば、3814A〜I)は、(例えば、次の認証を試みるために)エラー状態を補正するために実行することができるユーザアクションのインジケーション(例えば、可視のインジケーション(例えば、グラフィック又はテキスト)を含む(3914)。いくつかの実施例では、ユーザアクションのインジケーションは、次の認証の試みのためにエラー状態を補正する方法を示す。エラー状態を補正するために実行可能なユーザアクションのインジケーションを表示することにより、その後の認証の試みにおいてユーザを生体認証することができるように、どのようなアクションをとるべきかについて、ユーザにフィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。いくつかの実施例では、生体認証中にインジケータは表示されない。
いくつかの実施例では、エラー状態のインジケーション(例えば、3814A〜I)は、エラー状態の原因に関する情報(例えば、ユーザのアクション及び/又はデバイスの状態のインジケーション、可視のインジケーション(例えば、グラフィック又はテキスト))を含む。エラー状態の原因のインジケーションを表示することにより、その後の認証の試みにおいてユーザを生体認証することができるように、どのようなアクションをとるべきかについて、ユーザにフィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。いくつかの実施例では、生体認証中にインジケータは表示されない。
いくつかの実施例では、1組のエラー状態基準は、第1のタイプ(例えば、許可された生体特徴に対応するタイプ)の生体特徴(例えば、指紋、顔)が電子デバイスの1つ以上の生体センサ(例えば、3803)を使用して検出された場合に満たされる要件を含む。いくつかの実施例では、潜在的に有効な生体特徴が検出されない(例えば、ユーザがデバイスに現在関わっていないことを示す)場合、エラー状態のインジケーション(例えば、3814A〜I)は表示されない。生体特徴が検出されない場合、ユーザは生体認証を行おうとしていないと考えられるので、生体特徴が検出されないときにエラー状態のインジケーションの表示を取り止めることにより、ユーザを潜在的に混乱させることを防ぐ。したがって、このシナリオにおいてインジケーションの表示を取り止めることにより、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、3800)は、認証(例えば、生体認証)が成功したという判定に従って、エラー状態のインジケーション(例えば、3814A〜I)をディスプレイ(例えば、3802)に表示することを取り止める。
いくつかの実施例では、エラー状態のインジケーション(例えば、3814A〜I)を表示した後、1組のエラー状態基準が継続して満たされているという判定に従って、電子デバイス(例えば、100、300、500、3800)は、電子デバイス上で生体認証を試みることを取り止める(3918)(そして、任意選択で、生体認証の更なる試みを無効にする)(例えば、1組のエラー状態が満たされている間、生体認証機能はデバイス上で使用不可能である)。いくつかの実施例では、エラー状態のインジケーションを表示した後、1組のエラー状態基準がもはや満たされていないという判定に従って、電子デバイスは、電子デバイスの生体認証のリトライを有効にする(3922)(例えば、(例えば、エラー状態を補正するアクションをユーザがとることにより)エラー状態はもはや存在しない(例えば、修正された))。1組のエラー状態基準がもはや満たされていない場合にバイトメトリック認証を自動的にリトライすることにより、ユーザが生体認証を明示的に要求する必要なしにユーザが自分で生体認証を素早く試行することを可能にする。更なるユーザ入力を必要とせずに1組の状態が満たされた場合に最適化された動作を実行することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、エラー状態のインジケーションを表示した後、1組のエラー状態基準がもはや満たされていないという判定に応じて、電子デバイスは、認証(例えば、生体認証)をリトライする(3924)(例えば、自動的に認証をリトライして)。いくつかの実施例では、認証をリトライすることは、1つ以上の生体センサによって取得された生体情報を許可されたクレデンシャル(例えば、生体認証において使用することを許可された記憶されたデータ)と一致させようと試みることを含む。いくつかの実施例では、エラー状態が満たされていないという判定は、エラー状態を補正するための入力を受信した後に(又はこの受信に応じて)生じる。いくつかの実施例では、エラー状態を満たされないようにさせるユーザ入力を検出することによるエラー状態が満たされていないという判定に従って、認証のリトライは生じる(又は、この判定に従ってのみ生じる)。
いくつかの実施例では、1組のエラー状態基準はもはや満たされていないという判定(例えば、エラー状態が補正されたことを検出すること)に続いて、電子デバイス(例えば、100、300、500、3800)は、1つ以上の入力デバイスを介して、認証をリトライする要求に対応する入力(例えば、3824、3826)を受信する。いくつかの実施例では、この入力は、タッチジェスチャ入力(例えば、タップ、スワイプ(例えば、上向きのスワイプ))又はハードウェアボタン(例えば、電源ボタン)のアクティブ化である。いくつかの実施例では、認証をリトライする要求に対応する入力を受信したことに応じて、電子デバイスは、認証(例えば、生体認証)をリトライする(例えば、自動的に認証をリトライして)。いくつかの実施例では、認証をリトライすることは、許可されたクレデンシャル(例えば、生体認証において使用することを許可された記憶されたデータ)と1つ以上の生体センサによって取得された生体情報を一致させようと試みることを含む。いくつかの実施例では、認証をリトライすることは、1つ以上の生体センサを使用してユーザの生体特徴(例えば、顔、指紋)のデータを取得することを含む。
いくつかの実施例では、エラー状態のインジケーション(例えば、3814A〜I)の表示は、認証の試みが進行中であることを示すアニメーション(例えば、揺らぎ)を含む。いくつかの実施例では、認証の試みは、1つ以上の生体センサを使用して生体情報を検出しようと試みることを含む。認証の試みが進行中であることを示す揺らぐアニメーションを表示することにより、デバイスの現在の状態に関する及び更なるアクションは現時点で必要ないというユーザに対するフィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。いくつかの実施例では、生体認証中にインジケータは表示されない。
いくつかの実施例では、認証を必要とする動作を実行する要求を受信した後(又は、応じて)、かつインジケーションエラー状態の(例えば、3814A〜I)を表示する前に、電子デバイス(例えば、100、300、500、3800)は、認証を実行する。いくつかの実施例では、電子デバイス3800は、認証を実行しながら、電子デバイスが電子デバイスの1つ以上の生体センサ(例えば、3803)を使用して生体特徴に関する情報を取得しているという第1のインジケーション(例えば、3810、3814A〜I)(例えば、球体の周りを回転するリング、エラー状態のインジケーションを含む揺らぐユーザインタフェースオブジェクト)をディスプレイ(例えば、3802)に表示する。いくつかの実施例では、エラー状態のインジケーションを表示することは、第1のインジケーションの表示をエラー状態のインジケーションの表示に置き換えることを含む。生体認証が発生しているというインジケーションを表示することで、デバイスの現在の状態(例えば、生体認証が実行されている)についての及びユーザは現時点でアクションをとる必要はないというフィードバックをユーザに提供する。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、3800)は、認証を実行しながら、第1のロックアイコン(例えば、3806)(例えば、電子デバイスのロック状態を示すアイコン)と、第1のロックアイコンから第1のインジケーションに遷移する第1のアニメーションとをディスプレイ(例えば、3802)に表示する。いくつかの実施例では、エラー状態のインジケーションを表示した後(例えば、及び認証が成功したという判定に従って)、かつ第1のアニメーションを表示した後、電子デバイスは、エラー状態のインジケーションからロック解除アイコン(例えば3816)へ遷移する第2のアニメーション(例えば、電子デバイスのロック状態のアイコンインジケーション)をディスプレイ(例えば、3802)に表示する。いくつかの実施例では、第1のアニメーション及び第2のアニメーションは、1つのオブジェクトから次のオブジェクトへのモーフィングを示す。いくつかの実施例では、第2のアニメーションは、エラー状態のインジケーションの後であり、かつロック解除アイコンの前に、第1のロックアイコンを表示することを含む。
いくつかの実施例では、エラー状態のインジケーションを表示した後、電子デバイスは、ディスプレイ(例えば、3802)上に、エラー状態のインジケーションから第2のロックアイコン(例えば、3806)に、又は電子デバイスが電子デバイスの1つ以上の生体センサを使用して生体特徴に関する情報を取得しているという第2のインジケーション(例えば、3810、3814A〜I)(例えば、球体の周りを回転するリング)から第2のロックアイコン(例えば、電子デバイスのロック状態を示すアイコン)に、遷移するアニメーションを表示する。いくつかの実施例では、第2のロックアイコンは、第1のロックアイコンである。いくつかの実施例では、第2のインジケーションは、第1のインジケーションである。
いくつかの実施例では、認証をリトライしている間に、エラー状態のインジケーションを表示した後、エラー状態がないという判定に従って、電子デバイスは、ディスプレイ上に、電子デバイスが電子デバイスの1つ以上の生体センサを使用して生体特徴に関する情報を取得しているという第3のインジケーション(例えば、3810、3814A〜I)(例えば、球体の周りを回転するリング、エラー状態のインジケーションを含む揺らぐユーザインタフェースオブジェクト)を表示する。いくつかの実施例では、第3のインジケーションは、第1のインジケーションである。
いくつかの実施例では、エラー状態のインジケーションを表示する前に、電子デバイス(例えば、100、300、500、3800)は、ディスプレイ上の場所にある第3のロックアイコン(例えば、3806)(例えば、電子デバイスのロック状態を示すアイコン)をディスプレイ(例えば、3802)上に表示する。いくつかの実施例では、エラー状態のインジケーション(例えば、3814A〜I)は、ディスプレイ上のその場所に近接して(例えば、その場所の近くに、その場所に隣接して、その場所において、その場所から所定の距離内に)表示される。いくつかの実施例では、第3のロックアイコンは、第1のロックアイコン及び/又は第2のロックアイコンである。
いくつかの実施例では、認証を必要とする動作を実行する要求を受信している間に電子デバイスがロック状態にある場合に、認証に成功したという判定に従って、電子デバイス(例えば、100、300、500、3800)は、ロック状態からロック解除状態に遷移する。いくつかの実施例では、認証を必要とする動作は、電子デバイスをロック状態からロック解除状態に遷移させることである。いくつかの実施例では、認証が必要な動作を実行する要求を受信している間に電子デバイスがロック状態にある場合に、認証は成功しなかったという判定に従って、電子デバイスはロック状態を維持する。認証に失敗した場合にデバイスをロック状態で維持することにより、デバイスへの不正及び/又は無許可アクセスを防止し、デバイスのセキュリティを向上させる。デバイスのセキュリティ対策を改善することにより、コンテンツ及び動作への無許可アクセスを防止することによって、デバイスの操作性を向上させるとともに、ユーザがより効率的にデバイスを使用できるようにすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、認証が必要な動作を実行する要求を受信している間に電子デバイスがロック状態にある場合に、認証は成功しなかったという判定に従って、電子デバイス(例えば、100、300、500、3800)は、ロック状態を維持し、認証(例えば、生体認証)をリトライする(例えば、自動的に認証をリトライする)。いくつかの実施例では、認証をリトライすることは、電子デバイスの1つ以上の生体センサを使用して生体特徴(例えば、顔、指紋)に関する情報の取得を試みることを含む。いくつかの実施例では、認証をリトライすることは、1つ以上の生体センサによって取得した生体情報を許可されたクレデンシャル(例えば、生体認証での使用を許可された記憶されたデータ)と一致させようと試みることを含む。いくつかの実施例では、認証をリトライした後、認証のリトライの結果として生じた認証は成功したという判定に従って、電子デバイスは、ロック状態からロック解除状態に遷移する。いくつかの実施例では、認証をリトライした後、認証のリトライの結果として生じた認証は成功しなかったという判定に従って、電子デバイスは、ロック状態を維持する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、3800)は、認証を必要とする動作を実行する要求を受信した後(又は、これに応じて)、認証(例えば、生体認証)を試みる。いくつかの実施例では、認証を試みながら、電子デバイスは、ディスプレイ(例えば、3802)上に、電子デバイスが電子デバイスの1つ以上の生体センサを使用して生体特徴(例えば、顔、指紋)に関する情報を取得しているという第3のインジケーション(例えば、3810、3814A〜I)(例えば、球体の周りを回転するリング)を表示する。いくつかの実施例では、このインジケーションは、スキャンするアニメーションである。いくつかの実施例では、第3のインジケーションは、第1のインジケーション及び/又は第2のインジケーションである。いくつかの実施例では、電子デバイスは、認証をリトライしながら、ディスプレイ(例えば、3802)上に第3のインジケーションの表示を維持する。
いくつかの実施例では、認証のリトライによって生じた認証は成功しなかったという判定に従って、電子デバイスは、第1の位置と第2の位置との間を往復するロックアイコン(例えば、3806)(例えば、電子デバイスのロック状態を示すアイコン)を有するアニメーションをディスプレイ(例えば、3802)上に表示し、第2の位置は第1の位置とは異なる。いくつかの実施例では、ロックアイコンを有するアニメーションは、ロックアイコンが揺れる(例えば、左右に、前後に回転する)アニメーションである。いくつかの実施例では、電子デバイスは、生体認証に失敗したことを示すためのロックアイコンを含むアニメーションを表示する。いくつかの実施例では、触知出力が、揺れるロックアイコンと組み合わせて提供される。いくつかの実施例では、触知出力は提供されない。いくつかの実施例では、電子デバイス(例えば、100、300、500、3800)は、1つ以上の生体センサを使用してキャプチャされた生体情報は許可されたクレデンシャルと対応しない又は一致しないという判定に従って、電子デバイスのロック状態を維持する。ロックアイコンが揺れるアニメーションを表示することにより、デバイスの現在の状態に関する(例えば、生体認証が失敗したという)フィードバックをユーザに提供し、ユーザに更なるアクションをとるように促す。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、3800)は、生体センサ(例えば、3803)を含み、1組のエラー状態基準は、以下のエラー状態基準のうちの1つ以上を含む:
●生体センサから生体特徴の距離が、第1の所定の閾値距離を超える(例えば、生体特徴(例えば、顔)が、生体センサから遠すぎる)、又は距離範囲(例えば、3812)の最大を超える。いくつかの実施例では、第1の所定の閾値又は距離範囲の最大を超えることは、生体センサによって取得された生体特徴に関する情報の精度の低下又は低減と相関性が高い。いくつかの実施例では、ユーザは、ユーザの顔を生体センサに近づけることによって、このエラー状態を補正することができる。
●生体センサからの生体特徴の距離が、第2の所定の閾値距離未満である(例えば、生体特徴(例えば、顔)が、生体センサに近すぎる)、又は距離範囲(例えば、3812)の最小に満たない。いくつかの実施例では、第2の所定の閾値又は距離範囲の最小に満たないことは、生体センサによって得られた生体特徴に関する情報の精度の低下又は低減と相関性が高い。いくつかの実施例では、ユーザは、ユーザの顔を生体センサから更に遠くに離すことによって、このエラー状態を補正することができる。
●生体センサ(例えば、3803)が、遮蔽されている(例えば、部分的に遮蔽されている、完全に遮蔽されている、センサの動作を阻害するのに十分な程度に遮蔽されている)(例えば、電子デバイスと対話している間に、ユーザの一部分(例えば、手)によって遮蔽されている)。いくつかの実施例では、ユーザは、生体センサから手を離すことによって、このエラー状態を補正することができる。
●検出された生体特徴の副部分(例えば、検出された顔の目)が、生体センサに向けられていない(例えば、1つ以上の目が電子デバイス(例えば、生体センサ)に合焦していない)。いくつかの実施例では、ユーザは、ユーザの目を開く又は電子デバイス(例えば、生体センサ)を見ることによって、このエラー状態を補正することができる。
●検出された生体特徴の少なくとも一部分が、遮蔽されている(例えば、部分的に遮蔽されている、完全に遮蔽されている、生体特徴に関する不完全な情報をもたらすのに十分な程度に遮蔽されている)。いくつかの実施例では、ユーザは、アクセサリ(例えば、サングラス)又はユーザの顔を遮っている衣類(例えば、スカーフ、帽子)を取り除くことによって、このエラー状態を補正することができる。
●生体センサの視野(例えば、3828)内で生体特徴が検出されない。
●検出された生体特徴のポーズ(例えば、生体センサに対する向き)が、閾値範囲を超えている(例えば、生体特徴(例えば、顔)が生体センサの方を向いていない)。いくつかの実施例では、閾値範囲を超えることは、生体センサによって得られる生体特徴に関する情報の精度の低下又は低減と相関性が高い。いくつかの実施例では、ユーザは、ユーザの顔を電子デバイス(例えば、生体センサ)の方に向けることによって、このエラー状態を補正することができる。
●電子デバイスは、所定の光閾値を超える光量(例えば、周囲光)を(例えば、1つ以上の周囲光センサを介して)検出する(例えば、所定の光閾値を超えることは、生体センサによって得られる生体特徴に関する情報の精度の低下又は低減と相関性が高い)。いくつかの実施例では、ユーザは、電子デバイスによって検出される光の量を減少させるように、又は周囲光がより少ない新しい場所(例えば、屋内)に移動するように、ユーザの背を太陽に向けさせることによって、このエラー状態を補正することができる。
いくつかの実施例では、1つの組のエラー状態基準は、上記のエラー状態の第1のサブセットとすることができる。例えば、第1のサブセットは、以下からなる群から選択された1つ以上のエラー状態基準を含むことができる:生体特徴の距離が第1の所定の閾値距離を超えることと、生体特徴の距離が第2の所定の閾値距離未満であることと、生体特徴が生体センサの視野の外にあることと、生体特徴のポーズが閾値範囲を超えること。第1のサブセットは、顔の位置決め及び/又は向きを含むエラー状態を補正するようにユーザを導くことに集中する。更なる一実施例として、第2のサブセットは、以下からなる群から選択された1つ以上のエラー状態基準を含むことができる:生体センサが遮蔽されていることと、生体特徴が生体センサの視野内で検出されないこと。第2のサブセットは、生体センサがユーザの生体特徴に関する情報を取得することができないエラー状態を補正するようにユーザを導くことに集中する。別の実施例で、第3のサブセットは、以下からなる群から選択された1つ以上のエラー状態基準を含むことができる:検出された生体特徴のポーズが閾値範囲を超えていることと、生体センサが遮蔽されていること。第3のサブセットは、ある特定のフォームファクタ/サイズのデバイス(例えば、タブレットデバイス(例えば、iPad))について生じやすいエラー状態に集中する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、3800)は、電子デバイスの一部分(例えば、場所)(例えば、ディスプレイ上ではない一部分)にある生体センサ(例えば、3803)を含む。いくつかの実施例では、認証を必要とする動作を実行する要求に応じて、電子デバイスは、ディスプレイ(例えば、3802)上に、エラー状態のインジケーションを含む進度インジケータ(例えば、3814A〜I)を電子デバイスのその部分に近接して(例えば、その部分に隣接して、その部分の近くに、その部分から所定の距離内に)表示する。生体センサの近くに進度インジケータを表示することにより、デバイスにおいて生じるプロセス(例えば、試行される認証)との生体センサの関連付けに関するフィードバックをユーザに提供する。具体的には、ユーザは、生体センサと干渉するアクションをユーザが実行しにくいように、生体認証の間に生体センサを意識するようになる、あるいは、別法として、ユーザは補正アクションをとるように促される。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、エラー状態のインジケーション(例えば、3814B)は、生体認証は電子デバイス上で現在有効にされていないという判定に従って、生体認証は電子デバイス上で現在有効にされていないというインジケーションを含む。いくつかの実施例では、以下の状態のうちの1つ以上が満たされている場合、生体認証は使用不可能になり得る(又は、電子デバイス上で有効にされないことがある):電子デバイスがオンに又は再起動されて以後、その認証が成功していないこと、電子デバイスが、所定の時間(例えば、48時間)を超えて、ロック解除されていないこと、パスコードが、所定の時間(例えば、156時間)を超えて、デバイスをロック解除するために使用されていないこと、生体特徴(例えば、顔、指紋)を用いた生体認証が、所定の時間(例えば、4時間)を超えて、デバイスをロック解除するために使用されないこと、電子デバイスが遠隔ロックコマンドを受信したこと、デバイスでの最後の認証成功以後に所定の回数(例えば、5、10、15回)を超えて生体認証が失敗したこと、電子デバイスが、電源オフ及び/又は緊急SOSコマンドを受信し、生体認証を不可能にするためのユーザによる明示的な要求が検出されたこと。生体認証は現在有効にされていないというインジケーションを表示することにより、デバイスの現在の状態のユーザへのフィードバックを提供し、ユーザを認証するための代替方法を追求するようにユーザに促す。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、生体認証は現在有効にされていないというインジケーションは、アフォーダンス(例えば、3814B)を含む(例えば、そのインジケーションはアフォーダンスである)。いくつかの実施例では、電子デバイス(例えば、100、300、500、3800)は、アフォーダンスに対応する入力(例えば、3820)を受信し、アフォーダンスに対応する入力を受信したことに応じて、電子デバイス(例えば、100、300、500、3800)は、複数の文字入力キーを有するクレデンシャルエントリユーザインタフェース(例えば、3822A)をディスプレイ(例えば、3802)に表示する。いくつかの実施例では、クレデンシャルエントリユーザインタフェースは、仮想キーパッド又は仮想キーボードを含む。いくつかの実施例では、仮想キーパッド又は仮想キーボードは、複数の文字入力キーを含む。
いくつかの実施例では、電子デバイス(例えば、100、300、500、3800)は、認証(例えば、生体認証)の試みをトリガする状態を検出する。いくつかの実施例では、認証を必要とする動作を実行する要求は、デバイスをロック解除する(例えば、既定の場所でのスワイプ)要求を含む。いくつかの実施例では、認証(例えば、生体認証)の試みをトリガする状態の検出に応じて、かつ生体特徴が1つ以上の生体センサによる検出のために利用可能である(例えば、深度カメラなどの1つ以上の顔検出センサの視野内で顔が検出される)間に(例えば、ユーザ入力の検出以外の基準の達成に基づいて)デバイスに向けられたユーザ入力なしにデバイスによって生成されたアラート(例えば、3808)にその状態が対応しているという判定に従って、電子デバイスは、電子デバイスがその電子デバイスの1つ以上の生体センサを使用して生体特徴に関する情報を得ているという第5のインジケーション(例えば、3810)(例えば、球体の周りを回転するリング)を表示する。いくつかの実施例では、生体特徴が1つ以上の生体センサによる検出のために使用可能でない(例えば、深度カメラなどの1つ以上の顔検出センサの視野内で顔が検出されない)間に(例えば、ユーザ入力の検出以外の基準の達成に基づいて)デバイスに向けられたユーザ入力なしにデバイスによって生成されたアラートにその状態が対応しているという判定に従って、電子デバイスは、電子デバイスが電子デバイスの1つ以上の生体センサを使用して生体特徴に関する情報を取得しているという第5のインジケーション(例えば、球体の周りを回転するリング)の表示を取り止める。いくつかの実施例では、デバイスに向けられたユーザ入力(例えば、通知に関連しない要求、タッチジェスチャ入力(例えば、タップ、スワイプ(例えば、3824)(例えば、上向きのスワイプ)又はハードウェアボタン(例えば、電源ボタン)のアクティブ化)である要求)にその条件が対応しているという判定に従って、電子デバイスは、(例えば、生体特徴が1つ以上の生体センサによる検出に使用可能かどうかにかかわらず)電子デバイスは電子デバイスの1つ以上の生体センサを使用して生体特徴に関する情報を取得しているという第5のインジケーションを表示する。生体特徴が検出されない場合にユーザは生体認証の開始を意図していない可能性が高いので、顔が検出されない場合にインジケーションを表示することを取り止めることにより、ユーザを潜在的に混乱させることを防ぐ。したがって、このシナリオにおけるインジケーションの表示の取り止めにより、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
方法3900(例えば、図39A〜図39B)に関して前述したプロセスの詳細はまた、前述/後述の方法にも類似の方式で適用可能であることに留意されたい。例えば、方法3700、方法4100、及び/又は方法4300は、方法3900に関して前述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法3900に関して記載されたエラーインジケーション(例えば、3814A〜I)は、方法3700及び方法4100に関して記載されたプロセスにおいて実行される生体認証中のエラー状態のインジケーションを提供するために使用することができる。簡潔にするために、これらの詳細は、以下では繰り返されない。
図40A〜40Uは、いくつかの実施例による、生体認証中に生体センサに関するインジケーションを提供する例示的ユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図41A〜図41Cのプロセスを含む、後述のプロセスを示すために使用される。
図40Aは、電子デバイス4000(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500)を示す。図40A〜40Uに示す例示的実施例において、電子デバイス4000はタブレットコンピュータである。他の実施例で、電子デバイス4000は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスにすることができる。電子デバイス4000は、ディスプレイ4002、1つ以上の入力デバイス(例えば、ディスプレイ4002のタッチスクリーン、ボタン4004、及びマイクロフォン)、及び無線通信無線機を含む。一部の実施例では、電子デバイスは、複数のカメラを含む。一部の実施例では、電子デバイスは、1つのみのカメラを含む。図40Aにおいて、電子デバイスは、生体センサ4003を含む。一部の実施例では、生体センサは、赤外線カメラ、サーモグラフィカメラ、又はそれらの組み合わせなどのカメラを含み得る、1つ以上の生体センサである。いくつかの実施例では、生体センサ4003は、生体センサ703である。いくつかの実施例では、1つ以上の生体センサは、1つ以上の指紋センサ(例えば、ボタンに組み込まれた指紋センサ)を含む。いくつかの実施例では、デバイスは、IRフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照らすために使用される。
図40Aで、ユーザは、電子デバイス4000に記憶された支払い情報を使用する商品の購入を希望する。図40Aに示すように、電子デバイス4000は、分割画面(例えば、マルチタスク)モードにある。分割画面モードのとき、電子デバイス4000は、ディスプレイ4002の左側領域4007にアプリストアユーザインタフェース(UI)4006を、ディスプレイ4002の右側領域4009にブラウザUI4008を同時に表示する。アプリストアUI4006及びブラウザUI4008を同時に表示しながら、電子デバイス4000は、購入アフォーダンス4012において入力4010を受信する。
図40Bにおいて、電子デバイス4000は、購入アフォーダンス4012で入力4010を受信したことに応じて、ディスプレイ4002の左側領域4007及び右側領域4009に表示中のアプリケーションを入れ替える。具体的には、電子デバイス4000は、左側領域4007にブラウザUI4008を表示し、右側領域4009にアプリストアUI4006を表示する。電子デバイス4000は、購入している商品に関連付けられているアプリケーションを生体センサ4003に近い領域に配置するために、これらのアプリケーションを入れ替える。電子デバイス4000は、左側領域4007にブラウザUI4008を置くことにより、商品を購入するための支払いを許可する前にユーザを認証するために使用される、生体センサ4003の場所をユーザにインジケーションを提供する。図40Bに示すように、アプリケーションを入れ替えることにより更に、購入されている商品に関連付けられたアプリケーションをボタン4004により近い領域に配置する。いくつかの実施例では、ボタン4004及び生体センサ4003がごく接近していない(例えば、同じ側にない)場合、電子デバイス4000は、必要に応じて、アプリケーションを入れ替えて、生体センサ4003により近い領域に購入されている商品に関連付けられたアプリケーションを配置する。いくつかの実施例では、ボタン4004及び生体センサ4003がごく近接していない(例えば、同じ側にない)場合、電子デバイス4000は、必要に応じて、アプリケーションを入れ替えて、ボタン4004により近い領域に購入されている商品に関連付けられたアプリケーションを配置する。
また、図40Bに示すように、購入アフォーダンス4012において入力4010を受信したことに応じて、電子デバイス4000は、ブラウザUI4008を暗くし、その一方で、ブラウザUI4008よりもアプリストアUI4006を更に暗くする。電子デバイス4000は、アプリストアUI4006よりもブラウザUI4008を暗くしないことによって、どのアプリケーションが支払いシートインタフェース4014及びユーザが購入を希望する商品と関連付けられているかをユーザに示す。
また、購入アフォーダンス4012において入力4010を受信したことに応じて、電子デバイス4000は、購入している商品に関する情報を有する支払いシートインタフェース4014と、ボタン4004をダブルクリックして商品の支払いを許可するプロセスを開始するようにユーザに促すプロンプト4016とを同時に表示する。更に、購入アフォーダンス4012における入力4010の受信に応じて、電子デバイス4000は、動的インジケーション4018を表示してボタン4004の場所を強調する。支払いシートインタフェース4014を表示しながら、電子デバイスは、ボタン4004において入力4020(例えば、ボタン4004の二重押し)を受信する。いくつかの実施例では、プロンプト4016は、プロンプト2416の特徴の一部又はすべてを含む。いくつかの実施例では、動的インジケーション4018は、動的インジケーション2418の特徴の一部又はすべてを含む。いくつかの実施例では、支払いシートインタフェース1014は、それが対応するアプリケーションの名称(例えば、支払いを許可するプロセスをユーザが開始したアプリケーションの名称)を含む。
図40Cにおいて、電子デバイス4000は、ボタン4004において入力4020を受信したことに応じて、商品の支払いを許可するプロセスを開始する。商品に対する支払いを許可することは、ユーザの認証に成功することを必要とする。その結果、電子デバイス4000は、入力4020を受信したことに応じて、生体センサ4003を使用して生体認証を開始する。電子デバイス4000は、生体認証を開始した後、顔グリフ4022を表示し、電子デバイス4000が生体認証をしようとしている(例えば、生体センサ4003を使用してユーザに関する生体情報を取得しようとしている)とのインジケーションを提供する。いくつかの実施例では、顔グリフ4022は、図24Fのグリフ2468の特徴の一部又はすべてを含む。いくつかの実施例では、ボタン4004での入力4020の受信に応じて、電子デバイスは、図40Cに示すように、プロンプト4016の場所から顔グリフ4022の場所に移動する顔グリフ4022のアニメーションを表示する。いくつかの実施例では、アニメーションは、顔グリフ4022がプロンプト4016からスライドして出るように見える。
図40Dにおいて、電子デバイスは、顔グリフ4022を表示した後、認証グリフ4024の表示に遷移し、電子デバイス4000が生体認証をしようとしている(例えば、生体情報を取得しようとし続けている、取得した情報を記憶された許可されたクレデンシャルと一致させようとしている)とのインジケーションを提供する。認証グリフ4024は、球状に回転する複数のリングを含む。いくつかの実施例では、認証グリフ4024は、図24Gの1つ以上のリング2470の特徴の一部又はすべてを含む。
電子デバイス4000は、認証グリフ4024を表示しながら、エラー状態(例えば、生体センサ4003がユーザの顔に関する十分な情報を得ることができない状態)が存在していることを検出する。具体的には、電子デバイス4000は、生体センサ4003が物理的オブジェクト(例えば、ユーザの手)によって覆われていることを検出する。いくつかの実施例では、電子デバイス4000は、エラー状態を検出せず、ユーザの顔に関する十分な情報を得ることができる。いくつかの実施例では、電子デバイス4000は、ユーザの顔に関する十分な情報を得た後に、認証グリフ4024を表示しながら、取得した情報が生体認証基準を満たすかどうかを判定する(例えば、取得した生体情報が、閾値内で、ユーザに関連する生体テンプレート(例えば、記憶された許可されたクレデンシャル)と一致するかどうかを判定する)。いくつかの実施例では、生体認証が成功した(例えば、生体認証基準が満たされている)と判定したときと、電子デバイス4000は、ロック解除状態に遷移する。
図40Eでは、エラー状態が存在することの検出に応じて、電子デバイス4000は、ディスプレイ4002の上部(例えば、地面に対して、ユーザに対して)の場所にエラーインジケーション4026を表示する。エラーインジケーション4026は、現在存在するエラー状態のインジケーションを提供する。更に、エラー状態が存在することの検出に応じて、電子デバイス4000は、生体センサ4003に隣接するディスプレイ4002の場所にエラーアイコン4028を表示し、それによって、生体センサ4003の場所のインジケーションを提供する。生体センサ4003の場所のインジケーションを提供することによって、エラーアイコン4028は、エラー状態の原因をユーザに示唆する。いくつかの実施例では、エラー状態が存在することの検出に応じて、電子デバイス4000は、生体センサ4003に隣接する場所にエラーインジケーション4026を表示する。いくつかの実施例では、エラーインジケーション4026は、シマー効果を含むエラーインジケーション3814Aの特徴の一部又はすべてを含む。
図40Fでは、更に、エラー状態が存在することの検出に応じて、電子4000は、図40Eにおけるその初期位置から、生体センサ4003により近い、図40Fにおける場所に移動する支払いシートインタフェース4014のアニメーションを表示する。支払いシートインタフェースを生体センサ4003の方に移動させることによって、電子デバイス4000は、生体センサ4003の場所を示すことに加えて、エラーアイコン4028の存在をユーザに示す(そして、これによりエラー状態の原因をユーザに示唆する)。
いくつかの実施例では、エラーアイコン4028は、ディスプレイ4002上のユーザの手の位置に応じて、ディスプレイ4002の異なる場所に表示される。図40Fに示すように、ユーザの手は、生体センサ4003に隣接するディスプレイ4002の一部分を覆っている。ユーザの手がディスプレイ4002に接触している間、電子デバイス4000は、ユーザの手との接触の結果として入力を検出する。この入力を検出したことに応じて、電子デバイス4000は、入力が検出されていない場所にエラーアイコン4028を表示する。別の実施例として、図40Gでは、ユーザの手は、図40Fにおけるユーザの手よりもディスプレイ4002を少なく覆っている。いくつかの実施例では、図40Gにおけるユーザの手の入力の検出に応じて、電子デバイス4000は、図40Fにおける場所とは異なる場所にエラーアイコン4028を表示し、図40Gにおける場所は図40Fのそれよりも生体センサ4003に近い。更に別の実施例として、図40Hでは、ユーザの手は、ディスプレイ4002の左上の大部分を覆っている。いくつかの実施例では、図40Hにおけるユーザの手の入力の検出に応じて、電子デバイス4000は、図40F〜40Gにおける場所とは異なる場所にエラーアイコン4028を表示する。具体的には、いくつかの実施例において、電子デバイス4000は、ユーザの手の入力を検出した場所ではなくて生体センサ4003に近接する(又は十分に近い)場所に、エラーアイコン4028を表示する。
図40Iでは、ユーザは、生体センサ4003をもう覆うことがなくなるようにその手を離す。電子デバイス4000は、エラーアイコン4028を表示しながら、エラー状態がもはや存在しなくなったことを検出する。
図40Jでは、エラー状態がもはや存在しなくなったことを検出したことに応じて、電子デバイス4000は、自動的に生体認証をリトライする。電子デバイス4000は、生体認証をリトライしつつ、認証グリフ4024を表示する。認証グリフ4024を表示しながら、電子デバイス4000は、ユーザの生体認証を試みる。具体的には、電子デバイス4000は、生体センサ4003を使用してユーザの顔に関する情報を取得し、生体認証が成功した(例えば、取得した情報が記憶された許可されたクレデンシャルと一致している)かどうかを判定する。
電子デバイス4000は、生体認証をリトライしつつ、生体認証に成功したと判定する。図40Kでは、生体認証が成功したと判定したとき、電子デバイス4000は、成功グリフ4030を表示し、生体認証が成功したとのインジケーションを提供する。いくつかの実施例では、成功グリフ4030は、グリフ2474の特徴の一部又はすべてを含む。
図40Lでは、電子デバイス4000は、生体認証に成功したと判定したことに更に応じて、処理インジケータ4032を表示し、支払い取引が処理中である(例えば、電子デバイス4000が、支払いを許可するために、支払い情報(例えば、クレデンシャル)を外部デバイス(例えばサーバ)に送信している)とのインジケーションを提供する。いくつかの実施例では、処理インジケータ4032は、処理インジケーション2476の特徴の一部又はすべてを有する。
図40Mでは、支払いが完了した(例えば、許可された)というインジケーションを受信したとき、電子デバイス4000は、完了インジケーション4034を表示し、支払いが完了したとのインジケーションを提供する。いくつかの実施例では、完了インジケーション4034は、図24ARの完了インジケーション2478の特徴の一部又はすべてを有する。
図40N〜40Sは、エラーインジケーション4026及びエラーアイコン4028がほぼ同じ場所に表示されようとするときにエラーインジケーション4026及びエラーアイコン4028を表示する技法を示す。図40Nにおいて、ユーザは、デバイスをロック解除して制限付きコンテンツ(例えば、ホーム画面、直近に使用されたアプリケーション)にアクセスすることを望む。図40Nは、ユーザがその手で生体センサ4003を覆っている、地面に対して縦向きにある電子デバイス4000を示す。また、電子デバイス4000は、ロックアイコン4038と共にロック状態UI4036を表示する。ロックアイコン4038は、電子デバイス4000がロック状態にあるとのインジケーションを提供する。
電子デバイス4000は、ロック状態UI4036を表示している間に、デバイスのロック解除の要求を受信する。例えば、電子デバイス4000は、ユーザがデバイスをほぼ水平な位置から持ち上げることを検出する。
図40Oにおいて、電子デバイス4000は、デバイスのロック解除の要求を受信したことに応じて、ユーザの生体認証を試みる。電子デバイス4000は、ユーザの生体認証を試みながら、認証グリフ4024を表示する。また、ユーザの生体認証を試みながら、電子デバイス4000は、エラー状態(例えば、生体センサ4003がユーザの顔に関する十分な情報を得ることができない状態)が存在することを検出する。具体的には、電子デバイス4000は、生体センサ4003が物理的オブジェクト(例えば、ユーザの手)によって覆われていることを検出する。
図40Pでは、エラー状態が存在することを検出したことに応じて、電子デバイス4000は、生体センサ4003の近くであるディスプレイ4002の場所に(例えば、ディスプレイ4002の上部に)エラーアイコン4028を表示する。電子デバイス4000は、エラー状態が存在することを検出したことに更に応じて、エラーアイコン4028とほぼ同じ場所にエラーインジケーション4026を表示することを決定する。電子デバイス4000は、エラーインジケーション4026をほぼ同じ場所に表示することを決定したとき、直ちにエラーインジケーション4028を表示せず、代わりに、図40Q〜40Rに関して後述するように、エラーアイコン4028からエラーインジケーション4026へロックアイコン4038へと遷移するアニメーションの一部としてエラーインジケーション4026を表示する。
図40Qにおいて、エラーアイコン4028を表示した後、電子デバイス4000は、エラーインジケーション4026を表示し(例えば、エラーアイコン4028の表示をこれに置き換え)、前述のように、エラー状態の原因のインジケーションを提供する。
エラーインジケーション4026を表示している間、ユーザは、その手が生体センサ4003をもう覆うことがなくなるように、生体センサ4003から手を離す。エラー状態がもはや存在しなくなったことを検出したことに応じて、電子デバイス4000は、自動的に生体認証をリトライする。
図40R〜40Sでは、生体認証のリトライの結果として認証に成功したと判定したとき、電子デバイス4000は、ロック状態からロック解除状態に遷移する。具体的には、電子デバイス4000は、ロックアイコン4038がロック解除アイコン4040に遷移するアニメーションを表示し(例えば、エラーインジケーション4026の表示をこれに置き換え)、電子デバイス4000がロック解除状態に遷移したとのインジケーションをユーザに提供する。いくつかの実施例では、電子デバイス4000は、生体認証の成功ではなく、生体認証のリトライの結果として認証に失敗したと判定する。いくつかの実施例では、認証に失敗したと判定したとき、電子デバイス4000は、アクティブ化されると生体認証のリトライをトリガするアフォーダンスと共にパスコードエントリUIを表示する。いくつかの実施例では、電子デバイス4000は、生体認証をリトライする間、生体認証のリトライに関連するユーザインタフェースを除いてディスプレイ4002のすべての部分を暗くする。
図40Tは、表示中の通知(例えば、4044A〜D)のうちの1つとほぼ同じ場所にエラーアイコン4028が表示されることになる場合にエラーアイコン4028を表示する技法を示す。いくつかの実施例では、ユーザは、電子デバイス4000がロック状態にある間に表示される通知(例えば、4044A〜D)のうちの1つ以上の制限付きコンテンツの視聴を望む。図40Tに示すように、生体センサ4003はデバイスの底部近くに位置しており、電子デバイスが縦向きのときにユーザはその手で生体センサ4003を覆っている。いくつかの実施例では、電子デバイス4000は、通知の制限付きコンテンツにアクセスするためのユーザの生体認証を試みている間に、ユーザがその手で生体センサ4003を覆っている結果としてエラー状態が存在することを検出する。エラー状態が存在することの検出に応じて、電子デバイス4000は、通知(例えば、4044A〜D)のうちの1つとほぼ同じ場所にエラーアイコン4028を表示することを決定する。この決定を行い、エラー状態が存在することを検出したことに応じて、電子デバイス4000は、エラーアイコン4028の表示をその上に重ね合わせる背景を提供するために、エラーアイコン4028と同時にUI要素4042(例えば、背景)を表示する。図40Tに示すように、UI要素4042は、エラーアイコン4028が重ね合わされた通知(例えば4042D)がユーザに視認されないように、不透明である。いくつかの実施例では、UI要素4042は、エラーアイコン4028が重ね合わされた通知がユーザに可視であるように、透明である。
図40Tはまた、エラーアイコン4028がロック解除インジケーション4044とほぼ同じ場所に表示されようとする場合に、図40Uのロック解除インジケーション4044を隠す技法を示す。いくつかの実施例では、電子デバイス4000は、ロック解除インジケーション4044を表示し、生体認証を開始するための上向きのスワイプをユーザが開始することができるディスプレイ4002上の近似位置のインジケーションを提供する。いくつかの実施例では、電子デバイス4000は、ロック解除インジケーション4044を表示している間に、ユーザがその手で生体センサ4003を覆っている結果としてエラー状態が存在することを検出する。いくつかの実施例では、電子デバイス4000は、エラー状態が存在することを検出したことに応じて、エラーアイコン4028がロック解除インジケーション4044とほぼ同じ場所に表示されるべきであると決定する。いくつかの実施例では、この決定を行い、エラー状態が存在することを検出したことに応じて、電子デバイス4000は、ロック解除インジケーション4044を表示することを中止し、ロック解除インジケーション4044が表示されたのとほぼ同じ場所にエラーアイコン4028を表示する。
電子デバイス4000は、エラーアイコン4028を表示しながら、エラー状態がもはや存在しなくなったこと(例えば、ユーザが生体センサ4003から手を離したことによる)を検出する。図40Uに示すように、ユーザは、その手を生体センサ4003から離した。図40Uでは、エラー状態がもはや存在しなくなったことを検出すると、電子デバイス4000は、エラーアイコン4028の表示を中止し、ロック解除インジケーション4044をそれが前に表示されていた場所に再表示する。
図41A〜41Cは、いくつかの実施例による、生体認証中に生体センサに関するインジケーションを提供する方法を示すフロー図である。方法4100は、ディスプレイ(例えば、4002)及び生体センサ(例えば、4003)(例えば、複数の生体センサを有するデバイスの第1の生体センサ)(例えば、電子デバイスの第1の部分(例えば、ディスプレイの一部ではない部分)にある指紋センサ、非接触生体センサ(例えば、熱式又は光学式顔認識センサなど、物理的接触を必要としない生体センサ)、虹彩スキャナ)を有する電子デバイス(例えば、100、300、500、4000)において実行される。いくつかの実施例では、生体センサは、1つ以上のカメラを含む。方法4100における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
後述のように、方法4100は、生体認証中に生体センサに関するインジケーションを提供する直観的な方法を提供する。この方法は、生体認証を実行するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスでは、生体認証をユーザがより迅速かつ効率的に実行できるようにすることで、電力を節約し、バッテリ充電の間隔は延びる。
電子デバイス(例えば、100、300、500、4000)は、デバイスのユーザに関する生体情報を生体センサが得ることを妨げるエラー状態(例えば、熱式又は光学式顔認識センサなど非接触生体センサが遮蔽されている(例えば、部分的に遮蔽されている、完全に遮蔽されている、センサの動作を阻害するのに十分な程度に遮蔽されている)(例えば、電子デバイスと対話している間に、ユーザの一部分(例えば、手)によって遮蔽されている)の存在を検出する(4102)(例えば、認証を必要とする動作を実行する要求に応じて検出する)。
エラー状態の存在の検出に応じて(4104)、電子デバイス(例えば、100、300、500、4000)は、ディスプレイ(例えば、4002)上に、エラーインジケーション(例えば、4028)(例えば、グラフィカルアイコン)を表示する。いくつかの実施例では、エラーインジケーションは、(例えば、センサが遮蔽されていることを示す)テキストを含む。いくつかの実施例では、エラーインジケーションは、テキストを含まない。エラーインジケーションは、電子デバイスの第1の部分に近接する場所に表示される(4106)。いくつかの実施例では、この場所は、生体センサ(例えば、4003)の場所に最も近いディスプレイの一部分に又はその近くにある。エラーインジケーションを表示することにより、デバイスの現在の状態に関する(例えば、エラー状態が生体認証の成功を妨げているという)フィードバックをユーザに提供し、エラー状態を補正するための更なるアクションをとるようにユーザに促す。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。生体センサの近くにエラーインジケーションを表示することにより、デバイスにおいて生じているプロセス(例えば、認証の試み)との生体センサの関連付けに関するフィードバックをユーザに提供する。具体的には、生体認証中にユーザが生体センサを意識するようになるので、ユーザが生体センサと干渉するアクションを実行する可能性は低くなる、又は別法として、補正アクションをとるようにユーザに促す。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、エラーインジケーション(例えば、4028)は、生体センサ遮蔽アイコン及びレチクルを含み(4108)、このエラーインジケーションは、生体センサが遮蔽されてとのインジケーションを提供する。(ISE、このエラーインジケーションは、生体認証を実行する(例えば、生体センサを使用して生体特徴(例えば、顔、指紋)に関する生体情報を得る)電子デバイスに関連付けられている。)生体センサが遮蔽されているというインジケーションを提供することにより、デバイスの現在の状態に関する(例えば、生体センサが遮蔽されているという)フィードバックをユーザに提供し、エラー状態を補正するための更なるアクションをとるようにユーザに促す。したがって、生体特徴の適切な動きの命令を有する改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
電子デバイスのユーザインタフェースが生体センサに対して第1の向きにあるという判定に従って(4110)、電子デバイス(例えば、100、300、500、4000)は、電子デバイスの第1の部分に近接する(例えば、第1の部分に隣接する、第1の部分に近い、第1の部分から所定の距離内の)ユーザインタフェース内の第1の場所にエラーインジケーションを表示する。
電子デバイスのユーザインタフェースが生体センサに対して第2の向きにあるという判定に従って(4112)、電子デバイス(例えば、100、300、500、4000)は、電子デバイスの第1の部分に近接する(例えば、第1の部分に隣接する、第1の部分に近い、第1の部分から所定の距離内の)ユーザインタフェース内の第2の場所にエラーインジケーション(例えば、4028)を表示し、第1の向きは第2の向きとは異なる。
いくつかの実施例では、生体センサ(例えば、4003)を使用して生体情報を得ることを試みながら(4114)、電子デバイス(例えば、100、300、500、4000)は、ディスプレイ(例えば、4002)上に、第1の進度インジケータ(例えば、4024、4026、4038、4040)を表示する(4116)。いくつかの実施例では、第1の進度インジケータは、電子デバイスの現在の状態(例えば、ロック状態、ロック解除状態、生体認証を実行している、エラーステート、エラー状態)のインジケーションを提供する。いくつかの実施例では、第3の向きにあるユーザインタフェースは第1の上辺を有し、電子デバイスのユーザインタフェース(例えば、4006、4008)が生体センサに対して第3の向きにあるという判定に従って(4118)、電子デバイスは、第3の向きにあるユーザインタフェースの第1の上辺に近接して(例えば、上辺に隣接して、上辺の近くに、上辺から所定の距離内に)第1の進度インジケータを表示する。いくつかの実施例では、第4の向きにあるユーザインタフェースは第2の上辺を有し、電子デバイスのユーザインタフェースが生体センサに対して第4の向きにあるという判定に従って(4120)、電子デバイスは、第4の向きにあるユーザインタフェースの第2の上辺に近接して(例えば、第2の上辺に隣接して、第2の上辺の近くに、第2の上辺から所定の距離内に)第1の進度インジケータを表示し、第3の向きは第4の向きとは異なる。いくつかの実施例では、第1の進度インジケータは、生体センサに最も近い又は近接する(例えば、生体センサに隣接する、生体センサに近い、生体センサから所定の距離内の)場所においてディスプレイ上に表示される。向きにかかわらずディスプレイの最上部の近くに第1の進度インジケータを表示することにより、ユーザに提供されたフィードバック(例えば、進度インジケータ)をユーザがより認識しやすくなることを確実にする。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。いくつかの実施例では、生体認証中にインジケータは表示されない。
いくつかの実施例では、電子デバイス(例えば、100、300、500、4000)は、ディスプレイ(例えば、4002)上に、電子デバイスの第2の進度インジケータ(例えば、4024、4026、4038、4040)を表示する。いくつかの実施例では、第2の進度インジケータは、電子デバイスの現在の状態(例えば、ロック状態、ロック解除状態、生体認証を実行している、エラーステート)のインジケーションを提供する。いくつかの実施例では、第1の進度インジケータは、第2の進度インジケータである。いくつかの実施例では、第2の進度インジケータは、第1の部分(例えば、電子デバイスは生体センサ(例えば、4024)を使用して生体認証を実行しているというインジケーション(例えば、回転するリング))と、第1の部分とは異なる第2の部分(例えば、エラー状態又はエラーステートのインジケーション(例えば、4026)、電子デバイスの現在のロック又はロック解除状態のインジケーション(例えば、ロックアイコン(例えば、4038)、ロック解除アイコン(例えば、4040)))とを有する、アニメーションである。いくつかの実施例では、第2の進度インジケータが電子デバイスの第1の部分に近接する場所に表示されているという判定に従って、電子デバイスは、第1の部分に続いて、第2の部分より前に、アニメーションの一部として、エラーインジケーション(例えば、4028)を表示する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、4000)は、ディスプレイ(例えば、4002)上に、ホームアフォーダンス(例えば、4044)(例えば、ディスプレイの縁部からの上向きのスワイプのジェスチャ又はアフォーダンス上のタップジェスチャなど、実行されるとホーム画面の表示をもたらすジェスチャの場所のインジケーション)をユーザインタフェース内の第3の場所(例えば、ユーザインタフェースの縁(例えば、底部)に近接する場所)に表示する。いくつかの実施例では、エラーインジケーション(例えば、4028)が第3の場所に表示されたという判定に従って、電子デバイスは、第3の場所にエラーインジケーションを表示しつつ、ホームアフォーダンス(例えば、4044)の表示を中止する。エラーインジケーションを表示しつつホームアフォーダンスの表示を中止することにより、エラーが存在するためホームアフォーダンスはアクセス可能でないということにユーザが迅速に気が付くことを可能にし、エラー状態を補正するための更なるアクションをとるようにユーザに促す。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。いくつかの実施例では、生体認証中にインジケータは表示されない。
いくつかの実施例では、ホームアフォーダンス(例えば、4044)を表示することを中止した後、電子デバイス(例えば、100、300、500、4000)は、デバイスのユーザに関する生体情報を生体センサ(例えば、4003)が得ることを妨げるエラー状態の補正を検出する。いくつかの実施例では、電子デバイスは、第3の場所にエラーインジケーション(例えば、4028)を表示した後にエラー状態がないことを検出する。いくつかの実施例では、エラー状態の補正の検出に応じて、電子デバイスは、ディスプレイ(例えば、4002)上で、ユーザインタフェース内の第3の場所にホームアフォーダンスを表示する(例えば、そして、エラーインジケーション(例えば、4028)の表示を中止する)。
いくつかの実施例では、電子デバイス(例えば、100、300、500、4000)は、電子デバイスの第1の部分に近接する(例えば、第1の部分に隣接する、第1の部分に近い、第1の部分から所定の距離内の)場所において入力(例えば、掌、指)を検出する。いくつかの実施例では、電子デバイスの第1の部分に近接する場所における入力の検出に応じて、電子デバイスは、ディスプレイ上で、異なる場所にエラーインジケーション(例えば、4028)を表示する。いくつかの実施例では、この異なる場所は、入力が検出されていない場所である。いくつかの実施例では、電子デバイスは、新しい場所でエラーインジケーションを表示する前に、ディスプレイに対する入力の場所に基づいて、この異なる場所を決定する。いくつかの実施例では、この異なる場所は、電子デバイスの第1の部分に近接する場所に近接する。いくつかの実施例では、エラーインジケーションは、電子デバイスの第1の部分に近接する第1の場所に最初に表示された後に、異なる場所に移動される。いくつかの実施例では、エラーインジケーションは、遮蔽されている(例えば、検出されたタッチ入力によって遮蔽されている)ことが知られているディスプレイのいずれの領域からも離れるように選択された場所において最初に表示される。エラーインジケーションを入力の場所(例えば、ユーザの手)に応じて異なる場所に表示することにより、デバイスの現在の状態に関する(例えば、エラー状態が生体認証の成功を妨げているという)フィードバックをユーザに提供し、エラー状態を補正するための更なるアクションをとるようにユーザに促す。更に、場所を調整することによって、デバイスは、エラーインジケーションがユーザに対して可視であることを確実にし、それにより、ユーザがデバイスにおいて補正アクションを更にとりやすくする。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、4000)は、ディスプレイ(例えば、4002)上に、第1の取引インタフェース(例えば、4014)(例えば、ユーザインタフェースとは別個であり(又はその上に重ね合わされており)、クレジットカード番号、請求先住所などの取引情報を含む、取引(又は支払い)インタフェース)を電子デバイスの第1の部分に近接する(例えば、第1の部分に隣接する、第1の部分に近い、第1の部分から所定の距離内の)位置に表示する。いくつかの実施例では、第1の取引インタフェースは、ユーザインタフェース(例えば、4008)のアフォーダンス(例えば、4012)(例えば、支払いを行う又は取引を完了するアフォーダンス)に対応する入力(例えば、4010)の受信に応じて表示される。
いくつかの実施例では、第1の取引インタフェース(例えば、4014)を表示することは、ディスプレイに対してほぼ中心にある初期位置から電子デバイスの第1の部分に近接する位置へ遷移(例えば、並進移動)する第1の取引インタフェースのアニメーションを表示することを含む。いくつかの実施例では、このアニメーションは、初期位置から電子デバイスの第1の部分に近接する位置に第1の取引インタフェースが遷移(例えば、並列移動)する間に第1の取引インタフェースを表示すること(例えば、その表示を維持すること)を含む。いくつかの実施例では、このアニメーションは、第1の取引インタフェースが遷移している間に浮かんでいるように見える、視覚的効果を含む。
いくつかの実施例では、電子デバイス(例えば、100、300、500、4000)は、ディスプレイ(例えば、4002)上に、電子デバイスのハードウェアボタン(例えば、4004)の1つ以上のアクティブ化を行うためのプロンプト(例えば、4016)を表示する。いくつかの実施例では、電子デバイスは、「ダブルクリックしてApple Pay」を表示することによってユーザに促す。いくつかの実施例では、プロンプトは、ボタンに隣接して表示される。いくつかの実施例では、デバイスが取引ユーザインタフェース領域(例えば4014)を表示しているが、取引端末が近隣にあって取引クレデンシャルを要求しているというインジケーションは受信しない場合に、プロンプトが表示される(例えば、ボタンの1つ以上のアクティブ化を行うためのプロンプトが、支払い情報を要求しているNFCリーダのNFCフィールドにデバイスが配置される前に表示される)。いくつかの実施例では、ハードウェアボタンは、機械的ボタン又は固体状態のボタンである。いくつかの実施例では、ボタンは、スイッチ又は任意の他の型のトグルである。いくつかの実施例では、電子デバイスがボタンの位置に基づいてプロンプトを表示し得るように、ボタンは、電子デバイスに対して、特に電子デバイスのディスプレイに対して、固定された位置を有する。いくつかの実施例では、ボタンは、容量性及び/若しくは抵抗性のタッチに応じて動作する、並びに/又は、押されるとボタンをアクティブ化する機械的スイッチを有さずに入力の強度の変化に応じ、固体状態ボタンのアクティブ化に対応する強度閾値を入力の強度が超えているかどうかを監視する、固体状態ボタンである。いくつかの実施例では、電子デバイス(例えば、100、300、500、4000)は、電子デバイスのハードウェアボタンの1つ以上のアクティブ化(例えば、4020)を受信し、ハードウェアボタンの1つ以上のアクティブ化を受信したことに応じて、電子デバイスは、認証進度インジケータ(例えば、4022、4024、4030、4032、4034)をディスプレイ(例えば、4002)に表示する。いくつかの実施例では、認証進度インジケータを表示することは、プロンプト(例えば、4016)の場所から認証進度インジケータの最終位置まで遷移する認証進度インジケータのアニメーションを表示することを含む。いくつかの実施例では、認証インジケータは、認証の状況(例えば、進行中、成功、失敗)を提供する。いくつかの実施例では、アニメーションは、認証進度インジケータがプロンプトの場所から最終位置まで遷移(並列移動)する間に認証進度インジケータを表示すること(例えば、その表示を維持すること)を含む。いくつかの実施例では、アニメーションは、認証進度インジケータがプロンプトからスライドして出るように見える視覚的効果を含む。いくつかの実施例では、認証進度インジケータは、ユーザインタフェース(例えば、4014)(又は、取引ユーザインタフェース領域)と(又は、その上に重ねて)表示される。ユーザにハードウェアボタンをアクティブ化するように促すことにより、取引を完了するためにデバイスにおいてアクションを実行するようにユーザを導く。この方式でユーザに促すことにより、デバイスの操作性を向上させ、(例えば、デバイスで操作/対話するときに、適切な入力を行うようにユーザを支援し、ユーザの誤りを減らすことによって)ユーザデバイスインタフェースをより効率的なものとし、更に、ユーザが、より素早くかつ効率的にデバイスを使用することを可能にすることによって、電力使用量を減らし、デバイスのバッテリ寿命を改善する。認証進度インジケータを表示することにより、認証の状況に関するフィードバックをユーザに提供する。改善されたフィードバックにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、4000)は、第1の領域(例えば4007、4009)内の(例えば、4006、4008に対応する)第1のアプリケーションと、第2の領域(例えば4007、4009)内の(例えば、4006、4008に対応する)第2のアプリケーションとをディスプレイ(例えば、4002)に同時に表示し(4122)、第2のアプリケーションは第1のアプリケーションに隣接する(例えば、第1のアプリケーションの隣にある、第1のアプリケーションに近接する、第1のアプリケーションから所定の距離内にある)。いくつかの実施例では、電子デバイスは、第2の取引インタフェース(例えば、4014)をディスプレイに表示する(4124)。いくつかの実施例では、第2の取引インタフェースは、第1の取引インタフェースである。いくつかの実施例では、第2の取引インタフェースは、第1のアプリケーション及び/又は第2のアプリケーションの上に重ねて表示される。いくつかの実施例では、第2の取引インタフェースが第1のアプリケーションに対応しているという判定に従って(4126)、電子デバイスは、第1のアプリケーションの第1の視覚特性を修正する(例えば、不明瞭化する、暗くする、ぼやかす)。いくつかの実施例では、第1のアプリケーションが、第2の取引インタフェースを使用して(又は介して)購入(又は、完了)している商品又はサービス(若しくは取引)に関する情報を含む場合、第2の取引インタフェースは第1のアプリケーションに対応している。いくつかの実施例では、この判定は、第2の取引インタフェースを表示している間に行われる。いくつかの実施例では、第2の取引インタフェースは第2のアプリケーションに対応しているという判定に従って(4130)、電子デバイス(例えば、100、300、500、4000)は、第2のアプリケーションの第1の視覚特性を修正する(例えば、不明瞭化する、暗くする、ぼやかす)。いくつかの実施例では、第1のアプリケーションが第2の取引インタフェースを使用して(又は介して)購入(又は完了)している商品又はサービス(若しくは取引)に関する情報を含む場合、第2の取引インタフェースは第1のアプリケーションに対応している。いくつかの実施例では、この判定は、第2取引インタフェースを表示している間に行われる。
いくつかの実施例では、第1のアプリケーションの第1の視覚特性を修正することは、第2のアプリケーションの第2の視覚特性を修正することを含む。いくつかの実施例では、第2のアプリケーションの第2の視覚的特性を修正することは、第1のアプリケーションに関してよりも大きな度合(又は量)で第2のアプリケーションに適用される暗化を増やすこと及び/又はぼかし効果のぼかし半径を増やすことを含む。いくつかの実施例では、第2のアプリケーションの第1の視覚特性を修正することは、第1のアプリケーションの第2の視覚特性を修正することを含む。いくつかの実施例では、第1のアプリケーションの第2の視覚特性を修正することは、第2のアプリケーションに関してよりも大きな度合(又は量)で第1のアプリケーションに適用される暗化を増やすこと及び/又はぼかし効果のぼかし半径を増やすことを含む。一方のアプリケーションの視覚特性をもう1つのアプリケーションに関してよりも大きな度合で修正することにより、その時点でどのアプリケーションがより関連しているかに関してユーザにフィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。いくつかの実施例では、生体認証中にインジケータは表示されない。
いくつかの実施例では、第1のアプリケーションの第1の視覚特性を修正することは、第2の領域は第1の領域よりも電子デバイスの第1の部分(例えば、生体センサ)に近い(例えば、接近している)という判定に従って第2の領域において第1のアプリケーションを表示すること(4128)を含む。いくつかの実施例では、第2の領域において第1のアプリケーションを表示することは、第1の領域において第1のアプリケーションの表示を中止することを含む。いくつかの実施例では、第2のアプリケーションの第1の視覚特性を修正することは、第1の領域が第2の領域よりも電子デバイスの第1の部分(例えば、生体センサ)に近い(例えば、接近している)という判定に従って第1の領域に第2のアプリケーションを表示すること(4132)を含む。いくつかの実施例では、第1の領域において第2のアプリケーションを表示することは、第2の領域において第2のアプリケーションの表示を中止することを含む。いくつかの実施例では、電子デバイスは、第1のアプリケーションが第2のアプリケーションと場所を交換するアニメーションを表示する。
いくつかの実施例では、第2の取引インタフェース(例えば、4014)は第1のアプリケーションに対応しているという判定に従って、第2の取引インタフェースは、第1のアプリケーションのインジケーション(例えば、第1のアプリケーションの名称)を含む。いくつかの実施例では、第2の取引インタフェースは第2のアプリケーションに対応しているという判定に従って、第2の取引インタフェースは、第2のアプリケーションのインジケーション(例えば、第2のアプリケーションの名称)を含む。
方法4100に関して前述したプロセスの詳細(例えば、図41A〜図41C)はまた、後述/前述の方法にも類似の形で適用可能であることに留意されたい。例えば、方法3700、方法3900、及び/又は方法4300は、方法4100に関して前述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法4100に記載されているような、エラーアイコン4028は、方法3700及び方法3900に関して記載したプロセスにおいて生体認証が実行されるときに生体センサが遮蔽されていることを示すために使用することができる。簡潔にするために、これらの詳細は、以下では繰り返されない。
図42A〜42Pは、いくつかの実施例による、生体特徴(例えば、生体認証において後で使用する顔)を登録するためにデバイスを向き付けるための例示的なユーザインタフェースを示している。これらの図におけるユーザインタフェースは、図43A〜図43Cにおけるプロセスを含む、後述するプロセスを説明するために使用される。
図42Aは、電子デバイス4200(例えば、ポータブル多機能デバイス100、デバイス300、デバイス500)を示す。図42A〜図42Pに示される典型的な実施例において、電子デバイス4200は、タブレットである。他の実施例では、電子デバイス4200は、ウェアラブルデバイス(例えば、スマートウォッチ)などの異なるタイプの電子デバイスとすることができる。電子デバイス4200は、ディスプレイ4202、1つ以上の入力デバイス(例えば、ディスプレイ4202のタッチスクリーン、ボタン、及びマイクロフォン)と、無線通信無線機とを含む。一部の実施例では、この電子デバイスは、複数のカメラを含む。一部の実施例では、この電子デバイスは、1つのみのカメラを含む。図42Aにおいて、電子デバイスは、生体センサ4203を含む。一部の実施例では、生体センサは、赤外線カメラ、サーモグラフィカメラ、又はそれらの組み合わせなどのカメラを含み得る1つ以上の生体センサである。いくつかの実施例では、生体センサ4203は、生体センサ703である。いくつかの実施例では、1つ以上の生体センサは、1つ以上の指紋センサ(例えば、ボタンに組み込まれた指紋センサ)を含む。いくつかの実施例では、デバイスは、IRフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス(例えば、光プロジェクタ)を更に含む。発光デバイスは、任意選択的に、1つ以上の生体センサによる生体特徴の生体データのキャプチャ中に生体特徴(例えば、顔)を照らすために使用される。
図42Aにおいて、ユーザは、電子デバイス4200上で生体(例えば顔)認証を設定したい。デバイス上での生体認証を良好に設定することにより、ユーザは、生体認証のためにユーザの顔を提示することによって、認証を必要とするデバイス上の動作(例えば、デバイスのロック解除)を実行することができる。電子デバイス上で生体認証を設定するために、ユーザはユーザの顔を先ず登録しなければならない。顔を登録するプロセスは、図11A〜11Oの特徴(又はプロセス)の一部又はすべてを含むことができる。
図42Aに示すように、電子デバイス4200は、開始アフォーダンス4208を有する導入ユーザインタフェース(UI)4206を表示する。電子デバイス4200は、開始アフォーダンス4208において入力4210を受信して、生体認証用にユーザの顔を登録するプロセスを開始する。
図42Bでは、開始アフォーダンス4208における入力4210の受信に応じて、電子デバイス4200は、デバイスの向きがユーザの顔の登録に好適でないと判定する。いくつかの実施例では、ユーザの顔を登録するための好適な向きは、直立(例えば、垂直)である縦向きであり、縦向きは、生体センサ4203がデバイスの最上部(例えば、地面から最も離れたデバイスの縁)にあるような向きである。電子デバイス4200は、デバイスの向きがユーザの顔を登録するのに好適でないと判定したことに応じて、電子デバイス4200を好適な向きに向けるようにユーザに促す1つ以上のプロンプトを表示する(例えば、導入UI4206の表示をこれに置き換える)。更に具体的には、電子デバイス4200は、電子デバイス4200がほぼ水平向きにある(例えば、地面とほぼ平行である)と判定する。その結果、図42Bに示すように、電子デバイス4200は、電子デバイス4200を直立位置に持ち上げるようにユーザに促すために、プロンプト4212Aを表示する。
いくつかの実施例では、開始アフォーダンス4208における入力4210の受信に応じて、電子デバイスは、デバイスの向きはユーザの顔の登録に好適であると判定する。いくつかの実施例では、電子デバイス4200は、その向きがユーザの顔の登録に好適であると判定すると、図42Dに関して後述するように、ユーザの顔を登録するプロセスを自動的に開始する。
図42Cにおいて、電子デバイス4200は、電子デバイス4200は直立位置にあるが縦向きではない(例えば、ユーザが、プロンプト4212Aに応じてテーブルからデバイスを持ち上げた)と判定したことに応じて、電子デバイス4200を縦向きに(例えば、生体センサ4203が最上部にあるように)回転させるようにユーザに促すために、プロンプト4212Bを表示する(例えば、プロンプト4212Aの表示をこれに置き換える)。具体的には、プロンプト4212Bは、所望の(又は好適な)向きを達成するために最小限度の回転が必要とされるような特定の方向に回転させるようにユーザに促す。例えば、時計回りに電子デバイス4200を回転させることは、デバイスを反時計回りに回転させるよりも、所望の向きに達するために少ない回転を要する。
図42Dでは、電子デバイス4200が好適な向きにあると判定したことに応じて、電子デバイス4200は、ユーザの顔を登録するプロセスを自動的に開始する。図42D〜42Fに示すように、ユーザの顔を登録するプロセスを開始した後に、電子デバイス4200は、顔登録UI4214を表示する。顔登録UI4214は、顔登録UI1104の特徴の一部又はすべてを含む。
図42Gにおいて、電子デバイス4200は、ユーザの顔の登録を無事に完了した後に、継続アフォーダンス4218を含む、スキャン完了インタフェース4216を表示する(顔登録UI4214の表示をこれに置き換える)。スキャン完了インタフェース4216は、スキャン完了インタフェース1130の特徴の一部又はすべてを含む。
ユーザの顔の登録が完了した後、登録プロセスの第2の反復が、ユーザがデバイスを再配向する必要なしに、実行される。図42Gに示すように、スキャン完了インタフェース4216を表示しつつ、電子デバイス4200は、継続アフォーダンス4218において入力4220を受信して登録プロセスの第2の反復を開始する。
図42Hでは、継続アフォーダンス4218において入力4220を受信したことに応じて、電子デバイス4200は、図42D〜42Fに関して前述したプロセスに類似した、登録プロセスの第2の反復を開始する。電子デバイス4200は、その現在の向きとは異なる向きにデバイスを再配向するようにユーザに促すことなく、第2の反復を開始する。登録プロセスの第2の反復を開始することは、第2の顔登録UI4222を表示することを含む。第2の顔登録UI4222は、第2の顔登録UI1138の特徴の一部又はすべてを含む。
図42Iでは、登録プロセスの第2の反復を無事完了した後に、電子デバイス4200は、継続アフォーダンス4226を含む、第2のスキャン完了インタフェース4224を表示する(例えば、第2の顔登録UI4222の表示をこれに置き換える)。第2のスキャン完了インタフェース4224は、第2のスキャン完了インタフェース1156の特徴の一部又はすべてを含む。図42Iに示すように、電子デバイス4200は、継続アフォーダンス4226において入力4228を受信する。
図42Jにおいて、電子デバイス4200は、継続アフォーダンス4226において入力4228を受信したことに応じて、生体認証が電子デバイス4200上で無事に設定されたというインジケーションをユーザに提供する、登録完了インタフェース4230を表示する(例えば、第2のスキャン完了インタフェース4224の表示をこれに置き換える)。登録完了インタフェース4230は、登録完了インタフェース1166の特徴の一部又はすべてを含む。
図42Kにおいて、ユーザは、生体認証を電子デバイス4200で設定した後、生体センサ4203にユーザの顔を提示することにより、生体認証を使用して電子デバイス4200をロック解除(例えば、ロック状態からロック解除状態に遷移)することができる。いくつかの実施例では、ユーザは、電子デバイス4200を(例えば、ほぼ水平向きから)持ち上げる(又は起こす)ことによって、デバイスをロック解除するための生体認証を開始する。電子デバイス4200が持ち上げられる間に、電子デバイス4200はデバイスの向きの変化を検出し、それに応じて、デバイスをロック解除するための生体認証を開始する。電子デバイス4200がロック状態にある間、電子デバイス4200は、生体センサ4203の場所のインジケーションをユーザに提供する生体センサインジケータ4234と、電子デバイス4200がロック状態にあるとのインジケーションを提供するロックアイコン4236とを含む、ロック状態インタフェース4232を表示することに留意されたい。いくつかの実施例では、電子デバイス4200は、電子デバイス4200がロック状態にある間、生体センサインジケータ4234を表示しない。
図42Lに示すように、電子デバイス4200が生体認証を開始するとき、ユーザは、ユーザの顔が生体センサ4203の視野4238外にあるように電子デバイス4200を持っている。いくつかの実施例では、ユーザの顔は、顔の閾値部分より多くが視野の外にある場合に、視野4238外にある。いくつかの実施例では、ユーザの顔は、視野内で顔が検出されない場合に、視野4238外にある。ユーザの顔の生体認証を試みながら、電子デバイス4200は、生体センサ4203を使用してユーザの顔に関する十分な情報を得ることができない。この結果、電子デバイス4200は、図42D〜42Jに関して前述したような登録プロセスから生成された、記憶された許可されたクレデンシャルと比較する十分な情報を有していない。
図42Mでは、ユーザの顔が視野4238外にあると判定すると、電子デバイス4200は、視野4238外にユーザの顔があるとのインジケーションをユーザに提供する、エラーインジケーション4240を表示する。(エラーインジケーション4240は、エラーインジケーション3814Gの特徴の一部又はすべてを含む。)また、電子デバイス4200は、ユーザの顔が視野4238外にあると判定したとき、自動的に認証をリトライしない。いくつかの実施例では、電子デバイス4200はまた、生体センサインジケータ4234も表示する。いくつかの実施例では、十分な情報が得られていたにもかかわらず認証に失敗した(例えば、得られた情報が、記憶された許可されたクレデンシャルと一致しない)場合、電子デバイス4200は、自動的に生体認証をリトライする。
図42Nに示すように、ユーザの顔が生体センサ4203の視野4238外にあるというエラーインジケーション4240から学習した後、ユーザは、ユーザの顔が視野4238内にあるように、ユーザの顔を視野4238内に動かす。エラーインジケーション4240の原因が補正されたことを検出した(例えば、ユーザの顔の閾値量より多くを検出した)ことに応じて、電子デバイス4200は、自動的に生体認証をリトライする。生体認証のリトライの結果として認証に成功した(例えば、生体センサ4203を使用して得られた情報が、記憶された許可されたクレデンシャルと一致した)と判定したとき、電子デバイス4200は、ロック状態からロック解除状態に遷移する。ロック解除状態に遷移した後、電子デバイスは、ロック解除状態インタフェース4242を表示する。
いくつかの実施例では、ロック解除状態インタフェース4242を表示しながら、電子デバイス4200は、デバイス上の制限付きコンテンツ(例えば、図42Oのホーム画面4244、直近に使用され得たアプリケーション)にアクセスする要求(例えば、ディスプレイ4202の底縁部に隣接する領域内から開始する上向きのスワイプ)を受信する。制限付きコンテンツへのアクセス要求の受信に応じて、電子デバイス4200は、アクティブ化されるとアクティブ化されたアイコンに対応するアプリケーションの起動をもたらす複数のアイコンを含む、ホーム画面4244を表示する。いくつかの実施例では、電子デバイス4200は、ホーム画面4244を表示する代わりに、直近に使用されたアプリケーション(例えば、アプリケーションのユーザインタフェース)を表示する。図42K〜42Oに関して前述した上記のプロセスは、電子デバイス4200が横向きのときに実行されることに留意されたい。しかしながら、いくつかの実施例では、図42K〜42Nに関して前述したプロセスのいくつか又はすべては、電子デバイス4200が縦向きのときに実行され得る。
いくつかの実施例では、図42Nに関して前述したようにロック解除状態に遷移する代わりに、電子デバイス4200は、取得された情報が記憶された許可されたクレデンシャルと一致しない場合、ロック状態を維持する。いくつかの実施例では、図42P示すように、電子デバイス4200は、記憶された許可されたクレデンシャルと取得した情報が一致しないと判定したとき、ロックアイコン4236の位置をそれが「シェイク」効果を模擬するように交互に入れ替えながらロック状態インタフェース4232を表示し、それにより、電子デバイス4200がロック状態のままであるとのインジケーションをユーザに提供する。
図43A〜43Cは、いくつかの実施例による、生体特徴(例えば、生体認証において後で使用する顔)を登録するためにデバイスの向きを合わせる方法を説明するフロー図である。方法4300は、ディスプレイ(例えば、4202)及び1つ以上の生体センサ(例えば、4203)(例えば、複数の生体センサを有するデバイスの第1の生体センサ)(例えば、指紋センサ、非接触生体センサ(例えば、熱式又は光学式顔認識センサなど、物理的接触を必要としない生体センサ)、虹彩スキャナ)を有する電子デバイス(例えば、100、300、500、4200)において実行される。いくつかの実施形態では、1つ以上の生体センサは、1つ以上のカメラを含む。方法4300における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
後述するように、方法4300は、生体特徴を登録するためにデバイスの向きを合わせるようにユーザに促す直感的方法を提供する。この方法は、生体特徴(例えば、生体認証において後で使用する顔)を登録するユーザの認識的負担を減らし、それにより、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、ユーザが生体特徴をより迅速にかつより効率的に登録することを可能にすることで、電力が節約され、バッテリ充電の間隔が長くなる。
電子デバイス(例えば、100、300、500、4200)は、ディスプレイ(例えば、4202)上に、1つ以上の生体センサを用いて生体登録を開始する生体登録ユーザインタフェース(例えば、4206)を表示する(4302)。
生体登録ユーザインタフェースを表示しながら(4304)、電子デバイスは、生体登録を開始する要求に対応する入力(例えば、4210)(例えば、タッチジェスチャ(例えば、タップ)、ユーザ発話入力)を受信する。
入力(例えば、4210)を受信したことに応じて(4306)、電子デバイスの向き(例えば、現在の向き、入力時の(又はその近くの)電子デバイスの向き)が1組の登録基準を満たしているという判定に従って(4308)、電子デバイスは、1つ以上の生体センサ(例えば、4203)を用いて生体特徴を登録するプロセスを開始する。いくつかの実施例では、この1組の登録基準は、電子デバイスが、基準枠(例えば、地表、地面)に対して縦向きに向けられているかどうか、1つ以上の生体センサが縦向きの電子デバイスの特定の側(例えば、地表からより離れた側)に向けられている(又は置かれている)かどうか、あるいは、電子デバイスが、それが地面に対してほぼ平行にならないように向けられているかどうかを含む。いくつかの実施例では、この1組の登録基準は、電子デバイスが生体特徴(例えば、顔)に対してある特定の(例えば、適切な)向きにある(例えば、デバイスの基本面(例えば、デバイスのディスプレイによって規定される面)が生体特徴に対向している)かどうかを含む。いくつかの実施例では、生体特徴を登録するプロセスを開始することは、1つ以上の生体センサを使用してユーザの顔に対応するデータをキャプチャすることを含む。
入力(例えば、4210)の受信に応じて(4306)、電子デバイスの向きが1組の登録基準を満たしていないという判定に従って(4322)、電子デバイスの向きを1組の登録基準を満たす異なる向きに変更するための1つ以上のプロンプト(例えば、4212A〜B)(例えば、視覚、音声及び/又は触覚プロンプト)を出力する。1組の登録基準が満たされていない場合に1つ以上のプロンプトを出力することにより、生体特徴の登録を継続するためにどのような補正アクションをとるべきかに関するフィードバックをユーザに提供する。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。いくつかの実施例では、生体認証中にインジケータは表示されない。
いくつかの実施例では、1つ以上のプロンプトを出力することは、電子デバイスを初期の向きに向けるための第1のプロンプト(例えば、4212A)を出力すること(4324)を含む。いくつかの実施例では、初期の向きは、電子デバイスが地面に対してほぼ平行にはないような向きである。いくつかの実施例では、初期の向きは、電子デバイスが重力とほぼ平行であるような向きである。いくつかの実施例では、1組の登録基準は、デバイスのディスプレイがほぼ垂直になるように、デバイスの基本面が所定の面(例えば、地面に対してほぼ垂直な面)とほぼ一直線上にあるという要件を含む。いくつかの実施例では、1組の登録基準は、生体特徴の登録を試みる間にデバイスが水平面上に静止していないように、デバイスの基本面が(第2の)所定の面(例えば、地面に対してほぼ平行な面)とほぼ一直線上にないという要件を含む。いくつかの実施例では、1つ以上のプロンプトを出力することは、第1のプロンプト(例えば、4212A)を出力した後、1組の登録基準を満たす異なる向きに電子デバイスの向きを合わせるための第2のプロンプト(例えば、4212B)を出力すること(4326)を含み、第1のプロンプトは第2のプロンプトとは異なる。いくつかの実施例では、電子デバイスは、第2のプロンプトを出力することなく第1のプロンプトを出力する。いくつかの実施例では、電子デバイスは、電子デバイスの向きが初期の向きに変化したときに、第1のプロンプトの出力を中止する。いくつかの実施例では、電子デバイスは、電子デバイスの向きが初期の向きに変化したときに、第2のプロンプトを出力する。いくつかの実施例では、電子デバイスは、(例えば、電子デバイスが既に初期の向きにあるときに)第1のプロンプトを出力することなく第2のプロンプトを出力する。いくつかの実施例では、1組の登録基準は、電子デバイスが、基準枠(例えば、地表、地面)に対して縦向きに向けられているかどうか、1つ以上の生体センサが縦向きの電子デバイスの特定の側(例えば、地表からより離れた側)に向けられている(又は置かれている)かどうか、あるいは、電子デバイスが、それが地面に対してほぼ平行にならないように向けられているかどうかを含む。第2のプロンプトを出力することなく第1のプロンプトを出力することにより、ユーザが生体特徴の登録をトリガするために補正アクションをとっているときに混乱する機会を低減して、ユーザに改善されたフィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。いくつかの実施例では、生体認証中にインジケータは表示されない。
いくつかの実施例では、1つ以上のプロンプトを出力することは、1組の登録基準を満たす異なる向きに電子デバイスを(例えば、電子デバイスに垂直な軸を中心に)回転させるための第3のプロンプト(例えば、4212B)を出力することを含み、第3のプロンプトは入力を受信している間の電子デバイスの向きに基づく。いくつかの実施例では、第3のプロンプトは、第2のプロンプトである。いくつかの実施例では、電子デバイスは、電子デバイスの向きが第1の向きにあるという判定に従って、1組の登録基準を満たす異なる向きに電子デバイスを回転させるための第1の回転プロンプトを出力する。いくつかの実施例では、電子デバイスの向きが第1の向きとは異なる第2の向きであるという判定に従って、電子デバイスは、1組の登録基準を満たす異なる向きに電子デバイスを回転させるための第2の回転プロンプトを出力し、第2の回転プロンプトは第1の回転プロンプトとは異なる。いくつかの実施例では、第1の回転プロンプト又は第2の回転プロンプトは、第2のプロンプトである。いくつかの実施例では、1組の登録基準は、電子デバイスが、基準枠(例えば、地表、地面)に対して縦向きに向けられているかどうか、1つ以上の生体センサが縦向きの電子デバイスの特定の側(例えば、地表からより離れた側)に向けられている(又は置かれている)かどうか、あるいは、電子デバイスが、それが地面に対してほぼ平行にならないように向けられているかどうかを含む。デバイスの向きに基づいてプロンプトを出力することにより、生体特徴を登録するデバイスの好適な向きを実現する効率的なプロセスに関してユーザにフィードバックを提供する。改良されたフィードバックをユーザに提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、1つ以上のプロンプトを出力することは、1組の登録基準を満たす異なる向きに電子デバイス(例えば、電子デバイスに垂直な軸に関する)を(例えば、デバイスの基本面(例えば、デバイスのディスプレイによって規定される面)に平行な軸に沿って)回転させるための第4のプロンプト(例えば、4212B)を出力することを含み、第3のプロンプトは、所定の面(例えば、地面に対してほぼ垂直な面、地面に対してほぼ平行な面)に対するデバイスの基本面(例えば、デバイスのディスプレイにより定義される面)の位置調整に基づく。いくつかの実施例では、電子デバイスは、電子デバイスは地面に対してほぼ平行に向けられているという判定に従って、第4のプロンプトを出力する。いくつかの実施例では、1組の登録基準は、デバイスのディスプレイがほぼ垂直になるようにデバイスの基本面が所定の面(例えば、地面に対してほぼ垂直な面)と実質的に位置合わせされてあるという要件を含む。いくつかの実施例では、1組の登録基準は、生体特徴の登録を試みる間にデバイスが水平面上で静止していないようにデバイスの基本面が(第2の)所定の面(例えば、地面に対してほぼ平行な面)と実質的に位置合わせされていないという要件を含む。
いくつかの実施例では、生体特徴を登録するプロセスを開始した後(例えば、生体特徴の登録の成功の後)、電子デバイス(例えば、100、300、500、4200)は、認証を必要とする動作を実行する要求(例えば、デバイスをロック解除する(例えば、既定の場所でスワイプを実行する)要求)を受信する。いくつかの実施例では、電子デバイスは、生体登録の実行(又は完了)の後に認証を必要とする動作を実行する要求を受信する。いくつかの実施例では、電子デバイスは、1組の登録基準を満たす異なる向きに電子デバイスの向きを変更するための1つ以上のプロンプト(例えば、4212A〜B)(例えば、視覚、音声及び/又は触覚プロンプト)を出力した後に、認証を必要とする動作を実行する要求を受信する。いくつかの実施例では、認証を必要とする動作を実行する要求を受信したことに応じて、電子デバイスは、1つ以上の生体センサ(例えば、4203)を使用して(例えば、1つ以上の生体センサによりデータを取得することを含む)認証を試みる。いくつかの実施例では、1つ以上の生体センサを使用して認証を試みた(例えば、試みて失敗した)後、(例えば、顔が視野(例えば、4238)の外にあることが原因で)1つ以上の生体センサによって取得されたデータが生体特徴の閾値量(例えば、顔/指紋の部分、顔/指紋全体ではない)未満に相当するという判定に従って、電子デバイスは、認証のリトライを取り止める。いくつかの実施例では、電子デバイスは、自動的な認証のリトライを取り止める。いくつかの実施例では、電子デバイスは、1つ以上の生体センサを使用して認証を試みた後、最後にデバイスで認証に成功してから所定の回数(例えば、5、10、15回)を超えて生体認証が失敗したことにより認証のリトライを取り止める。いくつかの実施例では、電子デバイスは、認証を必要とする動作を実行する明示的要求(例えば、デバイスをロック解除する(例えば、既定の場所でスワイプを実行する)要求)なしに、認証のリトライを取り止める。いくつかの実施例では、認証時の最初の試行が成功しなかった後、電子デバイスは、1つ以上の生体センサによって取得されたデータが生体特徴の単に一部分に相当するという判定が行われない場合、生体認証をリトライする。閾値量未満の生体特徴が取得された場合に認証のリトライを取り止めることにより、要求の繰り返し(同タイプの要求の繰り返し)の試行の許可された回数をユーザが消費することを回避し、それにより、生体認証を必要とする他の動作の要求の少なくとも1回の試行を保存する。少なくとも1回の試行を保存することにより、(例えば、繰り返される、類似の要求の認証の試行を使い果たすことを回避することによって)デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、1つ以上の生体センサを使用して認証を試みた(例えば、試みて失敗した)後、1つ以上の生体センサによって取得されたデータが生体特徴の閾値量以上(例えば、より多く)に相当するという判定に従って、電子デバイスは、認証をリトライする。閾値量の生体特徴が取得された場合に認証を自動的にリトライすることにより、ユーザが認証のリトライを明示的に要求する必要なしに条件が適切である場合に認証を試みる能力をユーザに提供する。更なるユーザ入力を必要とせずに、1組の条件が満たされている場合に動作を実行することにより、デバイスの操作性を向上させ(例えば、認証成功の可能性が増加し)、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、電子デバイス(例えば、100、300、500、4200)は、認証のリトライの結果としての認証が成功したという判定に従って、要求に対応する動作を実行する。いくつかの実施例では、認証のリトライの結果としての認証は成功しなかったという判定に従って、電子デバイスは、要求に対応する動作の実行を取り止める。いくつかの実施例では、1つ以上の生体センサを使用してキャプチャされた生体情報が許可されたクレデンシャル(例えば、生体認証における使用を許可された生体特徴(例えば、顔、指紋)に関する記憶された情報)に対応する(又は一致する)場合、認証は成功である。いくつかの実施例では、1つ以上の生体センサを使用してキャプチャされた生体情報が許可されたクレデンシャル(例えば、生体認証における使用を許可された生体特徴(例えば、顔、指紋)に関する記憶された情報)に対応(又は一致)しない場合、認証は失敗である。認証が成功しない場合に動作の実行を取り止めることにより、デバイスへの不正な及び/又は無許可のアクセスを防ぐことによって、デバイスのセキュリティを向上させる。デバイスのセキュリティ対策を改善することにより、コンテンツへの無許可のアクセス及び動作を防ぐことによって、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより効率的に使用できるようにして電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、1つ以上のプロンプト(例えば、4212A〜B)(例えば、視覚、音声及び/又は触覚プロンプト)を出力して電子デバイスの向きを1組の登録基準を満たす異なる向きに変更した後、電子デバイス(例えば、100、300、500、4200)は、電子デバイスの向きが1組の登録基準を満たしていることを検出する(4328)。いくつかの実施例では、電子デバイスの現在の向きが1組の登録基準を満たしていると判定したことに応じて(4330)、電子デバイスは、1つ以上の生体センサを用いて生体特徴を登録するプロセスを開始する。いくつかの実施例では、1組の登録基準は、電子デバイスが、基準枠(例えば、地表、地面)に対して縦向きに向けられているかどうか、1つ以上の生体センサが縦向きの電子デバイスの特定の側(例えば、地表からより離れた側)に向けられている(又は置かれている)かどうか、あるいは、電子デバイスが、それが地面に対してほぼ平行にならないように向けられているかどうかを含む。いくつかの実施例では、1組の登録基準は、デバイスのディスプレイがほぼ垂直であるようにデバイスの基本面が所定の面(例えば、地面に対してほぼ垂直な面)と実質的に位置合わせされているという要件を含む。いくつかの実施例では、1組の登録基準は、生体特徴の登録を試みる間にデバイスが水平面上で静止していないようにデバイスの基本面が(第2の)所定の面(例えば、地面に対してほぼ平行な面)と実質的に位置合わせされていないという要件を含む。いくつかの実施例では、1組の登録基準は、電子デバイスが生体特徴(例えば、顔)に対してある特定の(例えば、適切な)向きにある(例えば、デバイスの基本面(例えば、デバイスのディスプレイによって規定される面)が生体特徴に対向している)かどうかを含む。
いくつかの実施例では、1つ以上の生体センサを用いて生体特徴を登録するプロセスを開始することは、生体特徴の登録に成功することを含む。いくつかの実施例では、生体特徴の登録に成功した後、電子デバイス(例えば、100、300、500、4200)は、1つ以上の生体センサを用いて2度目の生体特徴の登録を行うためのプロンプト(例えば、4222に対応する)を出力する(4312)。いくつかの実施例では、電子デバイスは、電子デバイスの向きを変更するように促すことなく生体特徴を登録するためのプロンプトを出力する。
いくつかの実施例では、1つ以上の生体センサを用いて生体特徴を登録するプロセスを開始することは、生体特徴の登録に成功することを含む(4310)。いくつかの実施例では、電子デバイス(例えば、100、300、500、4200)は、生体特徴の登録に成功した後、認証を必要とする動作を実行する要求(例えば、デバイスをロック解除する(例えば、既定の場所でスワイプを実行する)要求、ホーム画面(例えば、4244)へのアクセス要求)を受信する(4314)。いくつかの実施例では、認証を必要とする動作を実行する要求を受信したことに応じて(4316)、1つ以上の生体センサによって取得されたデータは登録された生体特徴に対応している(例えば、一致している)という判定に従って(4318)、電子デバイスは、この認証を必要とする動作を実行する。いくつかの実施例では、電子デバイスは、認証を必要とする動作を実行する要求を受信したことに応じて、1つ以上の生体センサ(例えば、4203)を使用して認証を実行する(又は認証を試みる)。いくつかの実施例では、認証を必要とする動作を実行する要求を受信したことに応じて(4316)、1つ以上の生体センサによって取得されたデータは登録された生体特徴と対応していない(又は、一致しない)という判定に従って(4320)、電子デバイスは、この認証を必要とする動作の実行を取り止める。
方法4300(例えば、図43A〜図43C)に関して前述したプロセスの詳細はまた、後述/前述の方法にも類似の形で適用可能であることに留意されたい。例えば、方法3700、方法3900、及び/又は方法4100は、方法4300に関して前述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、生体特徴を登録する方法4300に記載のプロセスは、方法3700に記載されているように、パスコードエントリユーザインタフェースにおいて生体認証を再試行することなど、生体認証において後で使用する顔を登録するために使用することができる。別の実施例として、登録された顔は、方法4100に記載のように、商品の許可された支払いに使用することができる。簡潔にするために、これらの詳細は、以下では繰り返されない。
上記の記載は、説明の目的で、特有の実施形態を参照して説明してきた。しかし、上記の例示的な議論は、排他的であること又は本発明を開示されている厳密な形態に限定することを意図するものではない。上記の教示を考慮すれば、多くの修正及び変形が可能である。これらの実施形態は、技法の原理及びそれらの実際的な応用例について最善に説明するために選択及び記載したものである。それによって、当業者であれば、これらの技法を最善に利用することが可能であり、様々な実施形態は、様々な修正形態とともに、企図される特定の用途に適用される。
本開示及び例について、添付の図面を参照して十分に説明したが、様々な変更及び修正が当業者には明らかになることに留意されたい。そのような変更及び修正は、特許請求の範囲によって規定される本開示及び例の範囲内に含まれると理解されたい。
上述したように、本技術の1態様は、依頼のコンテンツ又はユーザにとって興味深い可能性のある任意の他のコンテンツのユーザへの伝送を改善するために、様々なソースから利用可能なデータを収集及び使用することである。本開示は、いくつかの場合、この収集データが、特定の人物を一意に識別する、又は特定の人物に連絡し若しくは特定の人物の場所を特定するために使用することができる個人情報データを含むことができることを企図する。そのような個人情報データは、人口統計データ、場所ベースのデータ、電話番号、電子メールアドレス、自宅の住所、又は任意の他の識別情報を含むことができる。
本開示は、本技術において、そのような個人情報データをユーザの利益のために使用することができることを認識する。例えば、個人情報データは、ユーザにとってより興味深い標的コンテンツを伝送するために使用することができる。したがって、そのような個人情報データの使用は、伝送コンテンツの計算された制御を可能にする。更に、ユーザに利益を与える個人情報データに対する他の使用も本開示によって企図される。
本開示は、そのような個人情報データの収集、分析、公開、伝送、記憶、又は他の使用を担うエンティティが、十分に確立されたプライバシーポリシー及び/又はプライバシー慣行に準拠することを更に企図する。特に、そのようなエンティティは、個人情報データを秘密かつセキュアに維持するための産業又は政府の要件を満たす又はそれを上回ると一般に認識されているプライバシーポリシー及び慣行を実施し、一貫して使用するべきである。例えば、ユーザからの個人情報は、エンティティの合法かつ妥当な使用のために収集されるべきであり、そのような合法の使用の範囲外で共有又は販売されるべきでない。更に、そのような収集は、ユーザのインフォームドコンセントを受けた後にのみ行われるべきである。加えて、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び保障し、個人情報データへのアクセスを有する他者がそれらのプライバシーポリシー及び手順を堅持することを確実にするためのあらゆる必要なステップをとるはずである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行の堅持を証明するため、第3者による評価を受ける可能性がある。
上記にかかわらず、本開示はまた、ユーザが個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施形態を企図する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア及び/又はソフトウェア要素を提供することができることを企図する。例えば、広告伝送サービスの場合、本技術は、ユーザがサービスの登録中に個人情報データの収集への関与の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成することができる。別の例では、ユーザは、標的コンテンツ伝送サービスに位置情報を提供しないことを選択することができる。更に別の例では、ユーザは、厳密な位置情報は提供しないが、位置区間情報の伝送は許容することを選択することができる。
したがって、本開示は、1つ以上の様々な開示の実施形態を実施するために、個人情報データの使用を広く包含するが、本開示はまた、そのような個人情報データにアクセスする必要なく、様々な実施形態も実施することができることを企図する。すなわち、本技術の様々な実施形態は、そのような個人情報データのすべて又は一部分を欠くために動作できない状態になることはない。例えば、ユーザに関連付けられたデバイスによって要求されるコンテンツ、コンテンツ伝送サービスにとって利用可能な他の非個人情報、又は公的に利用可能な情報など、非個人情報データ又はほんのわずかの最小量の個人情報に基づいて嗜好を推論することによって、コンテンツを選択し、ユーザに伝送することができる。