JP2018041477A - 注視決定とデバイス入力との使用 - Google Patents

Abstract

【課題】ユーザの注視が実質的にデバイスの方向であると決定したとき、タップまたは音声コマンド等のユーザからの所定の入力により、以前に利用できなかった少なくともいくつかのデバイスの機能性へのアクセスを提供する。【解決手段】状況３００において、コンピューティングデバイス３０２が、所定の入力と思われるものを検出したが、ユーザ３１０の注視３０８がデバイスの方向ではない場合、コンピューティングデバイスは、ロックされた動作状態を維持する。注視決定は、ユーザがコンピューティングデバイスの少なくともいくつかのさらなる機能性をロック解除することを意図する指示として利用される。【選択図】図３

Description

人々は、種々のタイプのコンテンツにアクセスするために、ますますコンピューティングデバイスに依存しているが、コンテンツの大部分は、ユーザに対して秘密であるか、またはそうでなければ慎重を期する可能性がある。例えば、ユーザは、コンピューティングデバイス上に個人の連絡先情報のリストを記憶させるかもしれないし、またはそのユーザの銀行口座へのアクセスを提供するアプリケーションをインストールするかもしれない。故に、デバイスに対する無許可のアクセスから保護することが望ましい可能性がある。多くの場合、そのような保護は、ユーザがデバイスへのアクセスを望む度に、パスワードまたは他の識別情報を入力することをユーザに要求する。多くのユーザにとって、そのような繰り返しの妥当性確認は、気を散らせるか、さらには面倒である可能性がある。したがって、従来のセキュリティ機構は、常に識別情報を入力することによるユーザの不満と、所与のデバイスの保護レベルとの間でバランスを取らなければならない。

以下、本開示に従う種々の実施態様を、図面を参照して説明する。
種々の実施形態に従ってユーザがコンピューティングデバイスをロック解除することができる、例示的な状況を示す図である。 種々の実施形態に従ってユーザがコンピューティングデバイスをロック解除することができる、別の実施例を示す図である。 種々の実施形態に従ってユーザがコンピューティングデバイスをロック解除することができる、別の実施例を示す図である。 種々の実施形態に従って注視決定を使用してコンピューティングデバイスをロック解除するための例示的な過程を示す図である。 種々の実施形態に従ってユーザを認識するための例示的な技法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、ユーザの注視方向を決定するための例示的な手法を示す図である。 種々の実施形態に従って使用することができる、虹彩認識を行うための例示的な技法の第１の部分を示す図である。 種々の実施形態に従って使用することができる、虹彩認識を行うための例示的な技法の可能な第２の部分を示す図である。 種々の実施形態に従って使用することができる、虹彩認識を行うための例示的な技法の可能な第２の部分を示す図である。 種々の実施形態に従ってユーザの識別情報を確認することに応じてユーザに提示することができる、例示的なパーソナライズされたインタフェースを示す図である。 種々の実施形態に従って注視決定を使用してデバイスをロック解除するための別の例示的な過程を示す図である。 種々の実施形態に従って使用することができる注視情報を取り込むように動作可能な要素を含む、例示的なコンピューティングデバイスを示す図である。 図１２で示されるようなコンピューティングデバイスの例示的な構成要素を示す図である。 種々の実施形態を実装することができる環境を示す図である。

本開示の種々の実施形態に従うシステムおよび方法は、ユーザがコンピューティングデバイスと相互作用することを可能にするために、従来の手法で経験される上述のおよび他の欠陥の１つ以上を克服し得る。具体的には、種々の実施形態は、例えば、ユーザの所定の注視方向、およびタップまたは音声コマンド等の所定の入力に少なくとも部分的に基づいて、ユーザが、コンピューティングデバイスをロック解除すること、またはそうでなければそのデバイスの機能性へのアクセスを取得することを可能にする。さらに、デバイスは、少なくともいくつかの実施形態において、ユーザには見えない方法で、ロック解除過程中に、ユーザ認証を行うことができる。そのような手法は、ユーザが手動で識別情報を入力することを必要とすることなく、デバイスへの安全なアクセスを提供することができる。

従来のコンピューティングデバイスは、しばしば、その偶然の開始を防止するために、ならびにデータへの無許可のアクセスを回避するために、少なくともいくつかの機能性をロックする動作状態を含む。多くの場合、この状態は、しばしば、パスワードまたは他の識別情報を入力することをユーザに要求する、ロック画面およびあるレベルの保護を含む。ロック画面は、しばしば、ロック画面の背景画像、動的なバッテリの状態、ネットワークアイコン、メッセージアイコン、種々の警告もしくは更新、パスワードまたはパスコードを入力してそこへのアクセスを得るためのログイン画面等の、情報または構成要素を含む。種々の実施形態において、コンピューティングデバイスは、ロックされた動作状態において、ロック画面を表示しながら、ユーザの画像情報（例えば、静止画像またはビデオ）を取り込む。画像情報は、ユーザの注視方向を決定するために解析される。ユーザの注視が実質的にコンピューティングデバイスの方向であるとき、タップまたは音声コマンド等のユーザからの所定の入力または動作が、コンピューティングデバイスをロック解除させることができ、よって、ロックされた動作状態において以前に利用できなかった少なくともいくつかの機能性へのアクセスをユーザに提供することができる。しかしながら、コンピューティングデバイスが、所定の入力と思われるものを検出したが、ユーザの注視がロック画面の方向ではない場合、コンピューティングデバイスは、ロックされた動作状態を維持する。したがって、種々の実施形態に従って、入力−注視または注視−入力のロック解除手順は、注視決定を、ユーザがコンピューティングデバイスの少なくともいくつかのさらなる機能性をロック解除することを意図する、所定の入力を伴う指示として利用する。

種々の実施形態において、画像は、ユーザの眼底から反射される赤外線放射を検出する、赤外線（ＩＲ）センサから取り込むことができる。少なくともいくつかの実施形態において、コンピューティングデバイスは、例えばジャイロスコープ、加速度計、または他の行動もしくは近接センサによって突然の行動の変化が検出されたときに、ユーザの注視方向を決定するために、画像取り込みモードを開始する。

さらに、ある手法は、パーソナライズされた特徴を提供するだけでなく、生体識別を加えることによってセキュリティを高めようとしている。例えば、コンピューティングデバイスは、１つ以上の顔またはユーザ認識技法を使用して、ユーザを認識しようとするために、ユーザの画像を取り込み、画像を解析することができる。例えば、コンピューティングデバイスは、許可されたユーザを認証するために、虹彩認識、網膜走査を行うか、または種々の顔認識アルゴリズムを実行することができ、したがって、種々のユーザの記憶されたプロファイルを検索するため等の、数ある中でも、パスワードの必要性を排除する。そのような手法は、生体情報を解析して、適切なアカウントまたは、または同じデバイス上で異なるユーザがセットアップするための設定を検索するために、注視決定によって取得された画像情報を巧みに利用することができ、各ユーザが、異なる入力、オプション等を選択することを可能にする。

種々の他の応用、過程、および用途は、種々の実施形態に関して下で提示される。

ある従来のデバイスにおいて、ユーザは、表示画面を横断して指をスワイプさせデバイスをロック解除することができ、次いで、パスワードまたは他の識別情報を入力する。しかしながら、デバイスがユーザの注視を追跡することができれば、そのような動作を完全に置換、補足、または排除することができる。例えば、図１は、コンピューティングデバイス１０２の表示要素１０４を視聴しているユーザ１１０の例示的な状況１００を示す。本実施例において、コンピューティングデバイス１０２は、ロックされた動作状態である。表示要素１０４を視聴している間、注視線１０８によって描写される視角または注視方向は、所与の範囲に入っており、ユーザまたはデバイス等の動き等の種々の因子に依存して相対的である傾向がある。本明細書で後でさらに詳細に論じるように、コンピューティングデバイス１０２は、ユーザの注視１０８が表示要素１０４上にあるときに検出するように構成することができ、また、その時点で、コンピューティングデバイス１０２をロック解除するか、またはそうでなければその少なくともいくつかのさらなる機能性へのアクセスを取得するために、１つ以上のタップ、スワイプ、音声コマンド、空中ジェスチャー等の所定の入力を受け取ることができる。

本明細書で後でさらに詳細に論じるように、ユーザの注視方向を決定するために、画像取り込み要素１０６がコンピューティングデバイス１０２上に位置付けられ、よって、画像取り込み要素１０６は、ユーザ１１０に関する情報を取り込むことができる可能性がある。本実施例において、表示要素１０４は、ユーザの注視が実質的に表示要素１０４に向いている（例えば、注視線１０８が所定の範囲内で表示要素１０４に向いている）と決定することに応じて、コンピューティングデバイス１００をロック解除するために、ユーザに「タップ」するよう求めるメッセージをユーザに提示する。ユーザ１１０がメッセージを読んでいるときに、例えば、ユーザの注視１０８は、実質的に、テキストが表示される表示要素１０４の中央に向いていることになる。ユーザ１１０がコンピューティングデバイス１００に対して相対的であること、および、ユーザの眼球の特徴の相対位置（例えば、網膜反射または瞳孔／虹彩の位置）を決定することによって、１つ以上の画像の解析は、眼球がその相対配向であるときに、ユーザが表示要素１０４のその部分に注目している可能性があるという指示を提供することができる。ユーザの注視１０８の決定は、本実施例において、所定の入力を受け取った時点で、コンピューティングデバイス１０２をロックされた動作状態からロック解除する特定の動作を行おうとするユーザの意図を確定するものと解釈することができる。

故に、本実施例において、示されるユーザ１１０は、表示要素１０４をタップし、それによって、所定の入力を提供し、そして、コンピューティングデバイス１００をロック解除するか、またはそうでなければロックされた動作状態において以前に利用できなかった少なくともいくつかのさらなる機能性へのアクセスを提供する。したがって、本実施例において、注視決定は、入力の受け取ると、ユーザがコンピューティングデバイスの少なくともいくつかのさらなる機能性をロック解除することを意図しているという指示をデバイスに提供する。

図２は、一実施形態に従って、ユーザ２１０が以前にロックされた動作状態であったコンピューティングデバイス２０２上のコンテンツを視聴している、例示的な状況２００を示す。上で論じたように、タッチコントロールを使用して画面を横断してグラフィカル要素をスワイプさせることは、従来のコンピューティングデバイスをロック解除するために多くのユーザによって使用される手法である。しかしながら、本実施例において、ユーザ２１０は、ユーザの注視線２０８で表されるように実質的にタッチ画面２０４の方向を見ながら、「タップ」ジェスチャーをタッチ画面２０４に提供することによって、コンピューティングデバイス２００をロック解除することができる。しかしながら、コンピューティングデバイス２００が、「タップ」ジェスチャーと思われるものを検出したが、ユーザの注視が画面２０４以外の場所である場合、図３に関して論じられるように、ユーザが従来のスワイプまたはＰＩＮ入力等の別のロック解除機構を提供していない限り、コンピューティングデバイス２００は、ロックされた状態を維持する。したがって、本実施例において、注視決定は、ユーザがコンピューティングデバイスの少なくともいくつかのさらなる機能性をロック解除することを意図しているという指示をコンピューティングデバイスに提供する。

図３は、一実施形態に従って、ユーザ３１０が所定のタッチジェスチャーをロックされた動作状態であるコンピューティングデバイス３０２に提供する、例示的な状況３００を示す。本実施例において、ユーザ３１０は、所定のタッチジェスチャーをタッチ画面３０４に提供しているが、ユーザがコンピューティングデバイス３０２の方向を見ていないので、スクリーンはブランクであり、デバイスは応答していない。本実施例において、ユーザの注視３０８は、他の場所を向いており、コンピューティングデバイス３０２の方向ではなく、したがって、コンピューティングデバイス３０２は、所定のタッチジェスチャーと思われるものが存在していても、ユーザ３１０がデバイスをロック解除することを意図しているという指示を受け取っていない。したがって、本実施例において、ユーザの注視３０８が、タッチ画面３０４上にないか、または実質的にコンピューティングデバイス３０２の方向でなければ、ユーザが、入力−注視または注視−入力のロック解除手順を使用して、コンピューティングデバイス３０２の少なくともいくつかのさらなる機能性をロック解除することを意図しているといういずれの指示もデバイスに提供しない。

一実施形態において、コンピューティングデバイスは、所定のタッチジェスチャーまたは入力を要求することなく、ユーザがコンピューティングデバイスに注目しているときに、ロックされた動作状態から簡単にロック解除することができる。したがって、コンピューティングデバイスは、ユーザが目をそらしているときにはロックされ、そしてユーザがデバイスに注目すればロック解除される。同じ目的で、コンピューティングデバイスは、必ずしもロックされた動作状態であるという必要でない。言い換えれば、コンピューティングデバイスは、ユーザがコンピューティングデバイスに注目しているときに、またはコンピューティングデバイスが、ユーザの注視方向がコンピューティングデバイスのディスプレイと交差していると決定したときに、ユーザからの入力を受け付けるように構成することができ、また、ユーザが目をそらしているときには入力を受け付けることができないように構成することができる。

注視決定を開始するために、種々のトリガーまたはキューを使用することができる。一実施形態において、コンピューティングデバイスが、ジャイロスコープまたは加速度計等の１つ以上の行動センサによって動きの変化を検出したときに、ユーザの注視方向を決定するために、画像取り込みモードをトリガーすることができる。本実施例では、画像取り込みモードが開始されたときに、またはユーザの注視が実質的に表示要素に向いていると決定した時点で、メッセージをユーザに表示することができる。あるいは、光センサが、ユーザがポケットまたは財布からデバイスを取り出したとき等の、照明の変化を検出したときに、画像取り込みモードを開始することができる。例えば、照明されていないデバイスまたは節電モードのデバイスは、ユーザがデバイスを持ち上げ、視聴するための位置に傾ける等によってデバイスに関わろうとしていることを示唆する特定の動作が検出されたときに、「起こす」ことができる。別の実施形態では、バッテリ寿命等のある因子、およびユーザがおそらく起きている昼間等の時間帯に応じて、画像取り込みモードを継続する、または実質的に継続することができる。別の実施形態では、コンピュータデバイスがロックされているとき、および／またはデバイスがユーザによって保持されていると判定されたとき等の特定の状況であることが検出されたときには常に、画像取り込みモードが開始される。他のモードまたは状況の表示も可能である。

図４は、種々の実施形態に従って利用することができる、入力−注視または注視−入力のロック解除手順のための過程４００の実施例を示す。別途指示がない限り、本明細書で論じられる任意の過程について、種々の実施形態の範囲内で、類似する、もしくは代替の順序で、または並列に行われる、さらなる、より少ない、または代替のステップがあり得ることを理解されたい。本実施例において、４０２で、ロック画面がコンピューティングデバイスの表示要素上に表示される。種々の実施形態のロック画面は、種々の機能性を使用不可にするか、またはその機能性が不注意にトリガーされる、開かれる、立ち上げられる、アクセスされる、もしくはそうでなければ開始されることからロックする。一般的に、ロック画面は、ロック画面の背景画像、バッテリの状態、ネットワークアイコン、メッセージ、および警告バナー等の要素を含む。本実施例において、４０４で、コンピューティングデバイスの少なくとも１つの画像取り込み要素を使用して画像情報が取り込まれる。４０６で、表示要素に対するユーザの注視方向を決定するために、画像情報が解析される。種々の実施形態において、ロック画面は、ユーザの注視方向が実質的に表示要素に向いていると決定した時点で、ユーザに所定の入力を促すことができる。他の実施形態において、デバイスは、ロック画面を表示し、ユーザに促すことなく、所定の入力に対して準備することができる。本実施例において、４０８で、ユーザの注視方向がコンピューティングデバイスに向いていないと決定された場合は、４１０で、画面は、ロックされた状態を維持する。しかしながら、本実施例において、４０８で、ユーザの注視方向が実質的にコンピューティングデバイスの方向であると決定された場合は、４１２で、コンピューティングデバイスは、ユーザが所定の入力を提供したかどうかを確認または判定する。ユーザが所定の入力を提供しなかった場合は、４１４で、コンピューティングデバイスは、ロックされた状態を継続する。しかしながら、本実施例において、ユーザが所定の入力を提供した場合は、４１６で、コンピューティングデバイスの少なくともいくつかのさらなる機能性へのアクセスをユーザに提供する。過程ステップ４０８および４１２の順序は、種々の実施形態において入れ替えることができること、またはこれらの過程ステップは、並列して行うことができることを理解されたい。

少なくともいくつかの実施形態において、コンピューティングデバイスは、ユーザの視聴が特定の場所に留まる時間量に少なくとも部分的に基づいて、「注視」と「一見」とを区別することができる。例えば、ユーザが、実質的にデバイスの方向において、本明細書で「一見」と称される眼球ジェスチャーに関わっていると判定されたときに、デバイスは、それ自体をロック解除できないようにし得、この場合、ユーザの注視方向は、比較的短い期間（例えば、最小閾値時間量未満）にわたって、実質的にある場所に向かっていると判定される。ユーザが実質的にデバイスの表示要素の方向を見て、次いで、半秒未満で目をそらした場合、例えば、ユーザは、その領域を一見したと判定され得、デバイスは、ロックされた状態を維持し、入力に利用できない。ユーザが、本明細書で「注視する」と称されるより長い期間にわたって、注視方向を実質的に表示要素に向け続けた場合、デバイスは、入力およびその後のロック解除のために利用可能にできる。

種々の実施形態は、デバイスが以前にも増してカメラまたは赤外線センサ等の撮像要素を装備し、したがって、デバイスのユーザの画像情報を取り込むことができる、という事実を利用することができる。上で説明したように、この画像情報は、ユーザの相対的な視聴場所または注視方向を決定するために解析することができる。加えて、画像情報は、生体情報を決定して、種々のパーソナライズされた特徴をユーザに提供するために解析することができ、ならびに個人ユーザを認証することによってセキュリティを高めるために利用することができる。例えば、デバイスは、顔認識、虹彩認識、網膜走査等を使用してユーザを認識しようとする際に、ユーザの画像情報を取り込むことができる。ユーザの識別情報が、顔認識、虹彩認識、網膜走査、シグネチャの読み出し、ログイン、または他のそのような情報を通して識別されたときに、インタフェースをカスタマイズする、および／または特定のユーザの制御スキームを調整するために、適切なモデルを使用することができる。故に、ユーザの注視方向および識別情報を決定するための種々の例示的な技法が説明される。

ユーザの注視方向を決定するために、デバイスは、少なくともいくつかの実施形態において、デバイスに対するユーザの相対位置、ならびにその位置でのユーザの大きさまたは他の態様を決定しなければならない。例えば、図５は、画像および／またはビデオ取り込み等の機能性を行うように動作可能な、１つ以上のカメラまたは他のそのような取り込み要素５０６を含む、コンピューティングデバイス５０４を示す。画像取り込み要素５０６は、例えば、カメラ、電荷結合素子（ＣＣＤ）、行動検出センサ、または赤外線センサ等であり得る。図５において、ユーザの頭部５０２は、画像取り込み要素５０６のうちの１つの視野５１２内に位置する。本実施例において、コンピューティングデバイス５０４は、ユーザの顔および／またはユーザを識別する際に有用であり得る種々の目印もしくは特徴の場所を特定するように動作可能な、顔認識過程または他のそのようなアプリケーションを使用して解析するために、ユーザの顔の１つ以上の画像を取り込む。少なくともいくつかの実施形態において、これらの特徴の相対的な場所は、特徴の相対的な場所をユーザ５０２の記憶された特徴の場所とマッチさせようとするために、１人以上のユーザに関する１組の顔の特徴の場所またはそのライブラリと比較することができる。種々のパターンまたは点マッチングアルゴリズムを、当技術分野で知られているそのような過程に使用することができる。相対的な点分布または他のそのようなデータセットが、少なくとも最小の信頼レベルでユーザの情報とマッチする場合に、ユーザをデバイスに対して認証することができる（例えば、識別されたユーザは、ユーザによって手動で提供される任意の情報にマッチすると仮定する）。少なくともいくつかの実施形態において、処理等に必要とされるリソースの量を低減させるために、頭部追跡を使用して、種々の実施形態に従って解析しなければならない画像情報の量を低減させることができる。

図６（ａ）は、ユーザの頭部およびユーザの眼球の相対位置を決定するために、画像を取り込み、解析する実施例６００を示す。アルゴリズムがユーザの瞳孔を区別することができるシステムでは、システムはまた、眼球の位置に対する瞳孔の相対位置を利用することもできる。例えば、図６（ｂ）は、ユーザが「左」を見ている（またはユーザの「右」に目を向けている）場合を示し、よって、各ユーザの瞳孔の中心点は、（画像の中で）それぞれの眼球の中心点の左にある。同様に、図６（ｃ）は、ユーザが「上」を見ている場合を示す。見て分かるように、瞳孔の位置は、眼球の中心点の上側に移動している。瞳孔の位置は、ユーザが自分の頭部を移動させることなく変化する可能性がある。したがって、システムは、いくつかの実施形態において、頭部の位置の変化を伴わない一見または注視を検出することができ得る。システムはまた、自分の目を長期間にわたって閉じるユーザ等の、動きを検出することもでき、この場合、デバイスは、電子ブックリーダーを、例えば「スリープ」モードもしくは電力制限モードにする、画像取り込みを停止させる、またはデバイスの電源をオフにする等の動作を行うことができる。システムは、いくつかの実施形態において、眼球の振戦、滑らかな追跡、および弾道運動等の、様々なタイプの動きを区別することができる。

ユーザの注視方向を決定する際に使用することができる、別の例示的な技法は、図７（ａ）〜７（ｆ）に関して説明される。本実施例において、種々の手法は、ユーザの相対配向を決定するための種々の有用な態様を決定するために、ユーザの顔の１つ以上の所望の特徴の場所を特定しようとする。例えば、ユーザの頭部または顔のおよその場所およびサイズを決定するために、画像を解析することができる。図７（ａ）は、ユーザの頭部または顔７００のおよその位置および領域が決定され、そのような決定を行うための複数の画像解析アルゴリズムのうちの１つを使用して、位置の表示として仮想「ボックス」７０２が顔の周囲に配置される実施例を示す。１つのアルゴリズムを使用することで、仮想「ボックス」がユーザの顔の周囲に配置され、このボックスの位置および／またはサイズは、相対的なユーザの位置を監視するために継続的に更新され、監視される。また、ユーザの眼球のそれぞれ（または一部の場合では、縦に並ぶ眼球）のおよその場所および領域７０４を決定するために、類似のアルゴリズムを使用することもできる。ユーザの眼球の場所も決定することによって、ユーザの頭部と決定される画像が実際にユーザの頭部を含む可能性をより高くでき、およびユーザがコンピューティングデバイスを注視しているかどうかを判定することができるといった、利点を得ることができる。さらに、うなずくまたは首を前後に振る等の行動を行うときには、ユーザの眼球の相対的な動きを、ユーザの頭部の全体的な動きよりも容易に検出することができる。

ユーザの顔上の特徴の場所を決定するために、種々の他のアルゴリズムを使用することができる。例えば、図７（ｂ）は、ユーザの顔の種々の特徴が識別され、画像の中に地点の場所７０６が割り当てられる例示的な方法を示す。したがって、システムは、ユーザの特徴の種々の態様を検出することができる。そのような手法は、ユーザの口元の端点および少なくとも１つの中心点等の、特徴に沿った種々の地点を決定することができるので、特定の状況において、図７（ａ）の一般的な手法に勝る利点を提供する。

ユーザの顔の特徴の位置が識別されると、ユーザとデバイスとの間の相対動作を検出することができる。例えば、図７（ｃ）は、ユーザの頭部６００が、撮像要素の視聴可能な領域に対して上下に移動している実施例を示す。論じられるように、これは、ユーザが自分の頭部を振る、またはユーザがデバイスを上下に移動させる等の結果であり得る。図７（ｄ）は、ユーザ、デバイス、またはそれらの双方の動きを通して、ユーザがデバイスに対して右から左に移動している、類似の実施例を示す。見て分かるように、各動きは、それぞれ、垂直または水平の動きとして追跡することができ、それぞれ、異なって処理することができる。理解されるように、そのような過程はまた、対角線または他のそのような動きも検出することができる。図７（ｅ）はさらに、ユーザがデバイスおよび／またはユーザの頭部を傾斜させ、眼球の位置の相対変化が回転として検出される実施例を示す。いくつかのシステムでは、眼球の相対位置に対応する「線」が監視され、この線の角度の変化は、この回転を解釈すべきときを判定するために、角度閾値と比較することができる。

図７（ｆ）は、ユーザの顔上の種々の特徴の位置を決定するために、図７（ｂ）に関して説明したような手法を使用する、別の利点を示す。この誇張された実施例では、第２のユーザの頭部７０８の特徴が、異なる相対位置および間隔を有することが分かる。したがって、デバイスはまた、１人のユーザの特徴の位置を決定することができるだけでなく、異なるユーザを区別することもできる。後で本明細書で論じられるように、これは、デバイスが、異なるユーザに対して異なって行うことができるようにする。また、デバイスは、例えば、デバイスに向かうおよびそこから離れる動きをデバイスが検出することができるように、種々の特徴の間隔の量および比率に基づいて、ユーザがどのくらいデバイスに近いのかを検出するように構成することができる。これは、注視検出の精度を向上させるのを補助することができる。

上で述べたように、デバイスをロック解除するために注視追跡を使用することはまた、取り込まれた画像情報に基づいてユーザを識別する能力を種々のデバイスに提供することもできる。例えば、取り込まれた画像情報は、ユーザを識別するために使用することができるそのユーザの虹彩または網膜上の固有の地点等の、ユーザの眼球の特徴を識別するために使用することができる。そのような情報は、パスワードまたはパスコード等の識別情報の物理的または手動入力を必要としない、安全なロック解除機構を提供するために、注視−入力または入力−注視のロック解除手順とともに使用することができる。

一実施例において、図８は、ヒトの眼球８００について取り込まれた情報の一例を示し、眼球のおよその外側境界８０２および内側境界８０４の場所を特定するために、眼球の基本形状が利用される。いくつかの実施形態において、これは、処理要件を低減させ、かつ認識速度を高めるために、ユーザの眼球の片方にだけしか行われないが、他の実施形態では、より安全なアプリケーションのために必要とされ得るので、精度を高めるために両方の眼球も解析され得る。いくつかの実施形態において、第２の眼球について取り込まれる情報は、第１の眼球の結果が確定的でない場合、または第１の眼球の解析に問題がある場合等にだけ解析される。照明、相対角度等に基づき得る場合等に、どちらの眼球を解析するのかを決定するために、種々のアルゴリズムまたは設定を使用することができる。

虹彩に対応する画像の一部分が識別されると、マッチングまたは特徴場所特定過程を使用して、ユーザを識別しようとすることができる。図９（ａ）において、例えば、虹彩の固有または独特の特徴９０２は、当該の目的について知られているまたは使用される任意の適切な生体特徴決定過程を使用して決定することができる。他の過程では、代わりにユーザを識別しようとするために画像マッチング過程が使用され得るが、そのような画像マッチングは、比較的にプロセッサおよび／またはメモリ集約的である可能性があり、よって、代わりに固有の特徴を識別しようとし、次いで、代わりに比較的小さい組のデータ点に基づいてデバイスをマッチさせることを可能にするために、携帯型デバイス等のあるデバイスに望ましい可能性がある。図９（ｂ）は、虹彩情報が実質的に直線状の１組の特徴点に対して調整される、虹彩情報９２０の別の実施例を示し、少なくともいくつかの実施形態において、マッチングを簡略化することができる一方で、依然として許容可能な信頼性のある結果を提供する。

上で述べたように、ユーザを認識する能力は、デバイスが、ユーザ認証に応じて、種々のデバイスについて知られているまたは使用される任意のパーソナライズされたコンテンツまたは機能性をユーザに提供することを可能にする。例えば、図１０は、種々の実施形態のうちの１つに従って、注視監視過程の一部としてユーザが認識および／または認証されることに応じて、コンピューティングデバイス１０００の表示要素１００２上に表示される可能性がある、例示的な初期画面を示す。本実施例において、初期画面は、パーソナライズされたメッセージ、ならびにスケジュール情報１００６およびそのユーザが受け取ったメッセージ１００８を示す情報等のパーソナライズされた情報を認識されたユーザ１００４に表示する。デバイスはまた、そのユーザによって選択される、またはそうでなければ該ユーザと関連付けられる特定のアプリケーション１０１０もしくは他の要素、または機能性も表示することができる。当技術分野で知られているように、種々の他のタイプの個人化も利用することができる。

故に、図１１は、種々の実施形態に従ってユーザ識別情報を利用する注視決定を使用してデバイスをロック解除するための、例示的な過程１１００を示す。図４に関して上で述べたように、別途指示がない限り、本明細書で論じられる任意の過程について、種々の実施形態の範囲内で、類似する、もしくは代替の順序で、または並列に行われる、さらなる、より少ない、または代替のステップがあり得ることを理解されたい。本実施例において、ユーザの注視は、コンピューティングデバイス１１０２によって注視追跡モードで追跡または監視される。いくつかの実施形態において、ユーザは、このモードを手動で起動させなければならないが、他のモードにおいて、デバイスは、コンピューティングデバイスがロックされているとき、および／またはデバイスがユーザによって保持されていると判定されたとき、デバイスが移動したとき、もしくは行動検出器が近隣の動きを検出したとき等の特定の状況であると検出されたときには常に、モードを起動させることができる。他の起動モードも可能である。注視追跡が作動中であるときに、デバイスは、近隣の人の場所を特定しようとするために、デバイスの周囲の画像情報を取り込むことができる。人が検出された場合、デバイス（またはデバイスと通信しているシステムもしくはサービス）は、そのユーザの眼球の場所を特定し、その人の視聴場所および／または注視方向を決定しようとすることができる。本実施例において、ロック画面は、コンピューティングデバイス１１０４のディスプレイ上に表示される。いくつかの実施形態において、ロック画面は、注視追跡を起動させたときに表示される。一実施形態において、ジャイロスコープおよび／または加速度計は、ユーザが単に、デバイスを「起こす」ために、ポケットまたは財布からデバイスを取り出し、自動的に照明するか、またはロック画面上に情報を表示することを示す動作を検出することができる。例えば、照明されていないデバイスまたは節電モードのデバイスは、ユーザがデバイスを持ち上げ、視聴するための位置に傾ける等によってデバイスに関わろうとしていることを示唆する特定の動作が検出されたときに、「起こす」ことができる。ある場合では、ユーザがデバイスに関わろうとしていることを判定するために、ジャイロスコープおよび／または加速度計の代わりに、またはそれに加えて光センサを使用することができる。例えば、デバイスは、暗所では「眠った」状態を維持することができ、また、ユーザが財布またはポケットからデバイスを取り出したとき等の、光センサが光を検出したときに「起こす」ことができる。他のモードまたは状況の表示も可能である。

本実施例では、１１０６で、コンピューティングデバイスがユーザの注視方向を決定しようとする。ユーザがコンピューティングデバイスをロック解除すること、またはそうでなければそれへのアクセスを獲得することを望むときに、デバイスは、ユーザの注視方向が実質的にディスプレイに向いている可能性があることを検出する。故に、本実施例では、１１０８で、ユーザの注視が実質的にコンピューティングデバイスのディスプレイに向いていることを検出する。いくつかの実施形態において、注視がデバイスに向いていることを検出することは、表示要素を起動させること、近隣のネットワークに接続すること、またはそうでなければ、リソースの節約もしくは他のそのような目的で、少なくとも一時的にオフにされていた、もしくは低電力モードにされていた機能性もしくは要素を起動させる等の、他の動作も行わせることができる。

ユーザが実質的にディスプレイを注視していると判定されたとき、本実施例では、１１１０で、コンピューティングデバイスが、ユーザが所定の入力を提供したかどうかを確認または判定することができる。所定の入力は、コンピューティングデバイスの画像取り込み要素の視野内で、デバイス自体によって行われるか、またはユーザの手によって行われる、タップ、スワイプ、音声コマンド、または空中ジェスチャーのうちの少なくとも１つとすることができる。コンピューティングデバイスは、ユーザが最初に所定の入力を提供したかどうかを判定し、ユーザの注視方向を決定することができることを理解されたい。本実施例において、ユーザが所定の入力を提供しなかった場合、１１１２で、コンピューティングデバイスは、ロックされた状態を維持する。少なくともいくつかの実施形態において、ユーザは、パスコードを入力する、または他の手法を使用する等による、代わりにデバイスをロック解除するための他の機構を有する。

注視方向が、許容可能な逸脱範囲内で、実質的にコンピューティングデバイスのディスプレイに向いており、かつユーザが所定の入力を提供した場合、１１１４で、デバイスは、取り込まれた画像情報を使用して、ユーザの注視方向が決定されたときに、またはその前後に、取り込まれた情報から虹彩認識、網膜走査、顔認識等のうちの１つ以上を行うことによってユーザの識別情報を決定することができる。識別情報を決定するための他の方法、アルゴリズム、または技法も可能である。１１１６で、マッチング過程を使用して、ユーザの虹彩認識、網膜走査、または顔認識のうちの１つ以上からの識別特徴または結果を、コンピューティングデバイスまたはそれと通信しているリモートサーバに記憶された既知のおよび／または許可されたユーザとマッチさせようとすることができる。いかなるマッチも見つからなかった場合、１１２０で、人がデバイスをロック解除することができない、または少なくともデバイスのある機能性を取得することができない等の、非ユーザ事例を取り扱うことができる。ユーザのマッチが決定され、そのユーザがデバイス上の少なくともある機能性にアクセスすることを許可された場合、１１２２で、デバイスへの（パーソナライズまたは限定され得る）アクセスをそのユーザに提供することができる。いくつかの時点でデバイスが再度ロックされた場合、過程の少なくとも一部分を必要に応じて繰り返すことができる。

図１２は、種々の実施形態に従って使用することができる、コンピューティングデバイス１２００の実施例を示す。携帯型コンピューティングデバイス（例えば、スマートフォン、電子ブックリーダー、またはタブレットコンピュータ）が示されているが、本明細書で論じられる種々の実施形態に従って、入力を受け取り、処理することができる任意のデバイスを使用することができることを理解されたい。デバイスとしては、例えば、数ある中でも、デスクトップコンピュータ、ノートブックコンピュータ、電子ブックリーダー、携帯情報端末、携帯電話、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、および携帯型メディアプレーヤーが挙げられる。

この実施例において、コンピューティングデバイス１２００は、表示画面１２０２を有し、該表示画面は、通常の操作下で、表示画面に対面するユーザに（例えば、表示画面の側と同じコンピューティングデバイスの側に）情報を表示する。この実施例において、コンピューティングデバイスは、１つ以上の画像取り込み要素を含むことができ、この実施例では、デバイスの前側に２つの画像取り込み要素１２０４を含むが、画像取り込み要素はまた、または代替として、デバイスの側部または隅部に配置することができること、および任意の適切な数の類似のまたは異なるタイプの取り込み要素があり得ることを理解されたい。各画像取り込み要素１２０４は、例えば、カメラ、電荷結合素子（ＣＣＤ）、行動検出センサ、もしくは赤外線センサであり得、または任意の他の適切な画像取り込み技術を利用することができる。コンピューティングデバイスはまた、少なくとも１つのマイクロホン１２０８、または他のタイプの入力データを取り込むことができる他の音声取り込み要素（複数可）を含むこともできる。デバイスの位置および／または方向の変化を検出するために、少なくとも１つの方向決定要素１２１０を使用することができる。当技術分野で知られているように、種々の他のタイプの入力も、当該デバイスとともに使用するために利用することができる。

図１３は、図１２に関して説明されるデバイス５００等の、コンピューティングデバイス１３００の１組の基本構成要素を例示する。この実施例において、デバイスは、メモリデバイスまたは要素１３０４に記憶することができる命令を実行するための、少なくとも１つのプロセッサ１１０２を含む。当業者には明らかなように、デバイスは、プロセッサ１３０２によって実行するためのプログラム命令のための第１のデータ記憶装置等の、数多くのタイプのメモリ、データ記憶装置、またはコンピュータが読み出し可能な媒体を含むことができ、同じまたは別個の記憶装置を画像またはデータに使用することができ、他のデバイスと情報を共有するためにリムーバブルメモリを利用することができ、また、他のデバイスと共有するために任意の数の通信手法を利用することができる。デバイスは、一般的に、タッチ画面、電子インク（ｅインク）、有機または無機発光ダイオード（ＯＬＥＤおよびＬＥＤ）、または液晶ディスプレイ（ＬＣＤ）等の、いくつかのタイプの表示要素１３０６を含むが、携帯型メディアプレーヤー等のデバイスは、音声スピーカーを通す等の、他の手段を介して情報を伝達し得る。論じられるように、数多くの実施形態におけるデバイスは、デバイスの近傍のユーザ、人々、または物体を撮像することができる、少なくとも２つのカメラまたは検出器等の、少なくとも２つの画像取り込み要素１１０８を含む。画像取り込みは、単一の画像、多数の画像、定期的な撮像、連続画像取り込み、画像ストリーミング等を使用して行うことができることを理解されたい。デバイスはまた、上で論じられるような加速度計、ジャイロスコープ、電子コンパス、またはＧＰＳデバイス等の、１つ以上の配向および／または場所決定要素１３１０も含むことができる。これらの要素は、位置、動き、および／または配向データをプロセッサに提供するために、プロセッサと通信することができる。

デバイスは、ユーザから従来の入力を受け取ることができる、少なくとも１つのさらなる入力デバイス１３１２を含むことができる。この従来の入力としては、例えば、押しボタン、タッチパッド、タッチ画面、ホイール、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、またはそれによってユーザがコマンドをデバイスに入力することができる任意の他のそのようなデバイスまたは要素が挙げられる。いくつかの実施形態において、これらのＩ／Ｏデバイスは、無線赤外線もしくはＢｌｕｅｔｏｏｔｈ（登録商標）、または他のリンクによっても接続することができる。しかしながら、いくつかの実施形態において、そのようなデバイスは、いかなるボタンも含まない場合があり、また、視覚および音声命令の組み合わせを通してだけ制御され得、よって、ユーザは、デバイスと接触することを必要とせずに、デバイスを制御することができる。

いくつかの実施形態において、コンピューティングデバイスは、そのデバイスの各ユーザについてマッチング情報を記憶することができ、よって、マッチングおよび／または認証過程をデバイス上で行うことができる。他の実施形態において、画像および／または特徴情報は、処理のために、リモートシステムまたはサービス等のリモートな場所に送ることができる。いくつかの実施形態において、デバイスは、例えば、注視追跡を起動するか、ロック画面を表示するか、または種々の他の動作モードを表示するために使用することができる、赤外線検出器または行動センサを含むことができる。

論じられるように、説明される実施形態に従って、異なる手法を種々の環境で実装することができる。例えば、図１４は、種々の実施形態に従って態様を実装するための、環境１４００の実施例を示す。認識されるように、説明の目的でウェブに基づく環境が使用されるが、種々の実施形態を実装するために、必要に応じて、異なる環境が使用され得る。システムは、電子クライアントデバイス１４０２を含み、該デバイスとしては、適切なネットワーク１４０４を通じて要求、メッセージ、または情報を送信および受信し、情報をデバイスのユーザに搬送するように操作可能な、任意の適切なデバイスが挙げられる。そのようなクライアントデバイスの例としては、パーソナルコンピュータ、携帯電話、ハンドヘルドメッセージングデバイス、ラップトップコンピュータ、セットトップボックス、携帯情報端末、電子ブックリーダー等が挙げられる。ネットワークとしては、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、もしくは任意の他のそのようなネットワーク、またはそれらの組み合わせを含む、任意の適切なネットワークが挙げられる。そのようなシステムに使用される構成要素は、選択されたネットワークおよび／または選択環境のタイプに少なくとも部分的に依存し得る。そのようなネットワークを介して通信するためのプロトコルおよび構成要素はよく知られており、本明細書では詳細に論じない。ネットワークを通じた通信は、有線接続または無線接続、およびそれらの組み合わせを介して可能にすることができる。本実施例では、当業者には明らかなように、要求を受け取り、それに応じてコンテンツを提供するためのウェブサーバ１４０６を環境が含むので、このネットワークは、インターネットを含むが、他のネットワークの場合、類似の目的を提供する代替のデバイスを使用することができる。

実例となる環境は、少なくとも１つのアプリケーションサーバ１４０８と、データストア１４１０とを含む。連鎖され得るまたはそうでなければ構成され得る、適切なデータストアからデータを取得する等の作業を行うように相互作用することができる、いくつかのアプリケーションサーバ、層もしくは他の要素、過程、または構成要素があり得ることを理解されたい。本明細書で使用される「データストア」という用語は、データを記憶し、それにアクセスし、それを取り出すことができる任意のデバイスまたはデバイスの組み合わせを指し、任意の数のデータサーバ、データベース、データ記憶デバイス、データ記憶媒体、およびそれらの任意の組み合わせを、任意の標準型、分散型、またはクラスタ型の環境において含み得る。アプリケーションサーバ１４０８は、クライアントデバイスのための１つ以上のアプリケーションの態様を実行するために、必要に応じて、データストア１４１０と統合するための、およびアプリケーションのためのデータアクセスおよびビジネスロジックの大部分を取り扱うための、任意の適切なハードウェアおよびソフトウェアを含むことができる。アプリケーションサーバは、データストアと連携してアクセス制御サービスを提供し、また、この実施例においてＨＴＭＬ、ＸＭＬ、または別の適切な構造化言語の形態でウェブサーバ１４０６によってユーザに提供され得る、ユーザに転送されるテキスト、グラフィックス、オーディオ、および／またはビデオ等のコンテンツを生成することができる。全ての要求および応答、ならびにクライアントデバイス１４０２とアプリケーションサーバ１４０８との間のコンテンツの送達は、ウェブサーバ１４０６によって取り扱うことができる。本明細書で論じられる構造化コードは、本明細書で他の場所で論じられるように、任意の適切なデバイスまたはホストマシン上で実行することができるので、ウェブサーバおよびアプリケーションサーバは必要とされず、これらは単に例示的な構成要素に過ぎないことを理解されたい。

データストア１４１０は、いくつかの別個のデータテーブル、データベース、または他のデータ記憶機構と、特定の態様に関連するデータを記憶するための媒体を含むことができる。例えば、例示されるデータストアは、製品側のコンテンツを提供するために使用することができる、コンテンツ（例えば、製品データ）１４１２およびユーザ情報１４１６を記憶するための機構を含む。データストアはまた、ログデータまたはセッションデータ１４１４を記憶するための機構も含むように示される。ページ画像情報およびアクセス権利情報等の、データストアに記憶する必要があり得る、数多くの他の態様があり得、必要に応じて上で列記した機構のいずれかに、またはデータストア１４１０の付加的な機構に記憶することができることを理解されたい。データストア１４１０は、アプリケーションサーバ１４０８から命令を受け取って、それに応じてデータを取得する、更新する、またはそうでなければ処理するために、それと関連する論理を通して操作可能である。一例において、ユーザは、特定のタイプのアイテムの検索要求を提出し得る。この場合、データストアは、ユーザの識別情報を照合するためにユーザ情報にアクセスし得、また、そのタイプのアイテムに関する情報を取得するために、カタログの詳細情報にアクセスすることができる。情報は、次いで、ユーザがユーザデバイス１４０２上のブラウザを介して視聴することができる、ウェブページ上の結果リスト等で、ユーザに返すことができる。関心の特定のアイテムの情報は、ブラウザの専用ページまたはウィンドウで視聴することができる。

各サーバは、一般的に、そのサーバの一般管理および操作のための実行可能プログラム命令を提供するオペレーティングシステムを含み、また一般的に、サーバのプロセッサによって実行されたときに、サーバがその意図する機能性を行うことを可能にする命令を記憶する、コンピュータ読み出し可能な媒体を含む。オペレーティングシステムおよびサーバの一般機能性の好適な実装例は、既知であるか、または商業的に入手可能であり、また、特に本明細書の開示に照らして、当業者によって容易に実装される。

一実施形態における環境は、１つ以上のコンピュータネットワークまたは直接接続を使用して、通信リンクを介して相互接続される複数のコンピュータシステムおよび構成要素を利用する、分散コンピューティング環境である。しかしながら、そのようなシステムは、図１４で例示されるよりも少ない数または多い数の構成要素を有するシステムで十分同等に動作できることが、当業者に認識されるであろう。したがって、図１４のシステム１４００の描写は、事実上、実例となるものであり、本開示の範囲を限定するものとみなすべきではない。

種々の実施形態はさらに、多種多様な操作環境で実装することができ、一部の場合において、いくつかのアプリケーションのいずれかを操作するために使用することができる、１つ以上のユーザコンピュータまたはコンピューティングデバイスを含むことができる。ユーザまたはクライアントデバイスとしては、標準的なオペレーティングシステムを実行するデスクトップまたはラップトップコンピュータ等の、数多くの汎用パーソナルコンピュータ、ならびに、モバイルソフトウェアを実行し、かついくつかのネットワークおよびメッセージングプロトコルをサポートすることができる、セルラーデバイス、無線デバイス、およびハンドヘルドデバイスのいずれかが挙げられる。そのようなシステムとしてはまた、開発およびデータベース管理等の目的で、種々の市販のオペレーティングシステムおよび他の既知のアプリケーションのいずれかを実行する、数多くのワークステーションも挙げられる。これらのデバイスとしてはまた、ネットワークを介して通信することができる、ダミー端末、シンクライアント、ゲームシステム、および他のデバイス等の、他のコンピューティングデバイスも挙げられる。

大部分の実施形態は、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳ、およびＡｐｐｌｅＴａｌｋ等の、種々の市販のプロトコルのいずれかを使用して通信をサポートするための、当業者が精通している少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせとすることができる。

ウェブサーバを利用する実施形態において、ウェブサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａ（登録商標）サーバ、およびビジネスアプリケーションサーバを含む、種々のサーバまたは中間層アプリケーションのいずれかを動作させることができる。サーバ（複数可）はまた、ユーザデバイスからの要求に応じて、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、もしくはＣ＋＋等の任意のプログラミング言語、またはＰｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬ等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれた１つ以上のスクリプトまたはプログラムとして実装され得る１つ以上のウェブアプリケーションを実行すること等によって、プログラムまたはスクリプトを実行することも可能であり得る。サーバ（複数可）としてはまた、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、およびＩＢＭ（登録商標）から市販されているものが挙げられるがそれらに限定されない、データベースサーバも挙げられる。

環境は、上で論じたように、種々のデータストア、ならびに他のメモリおよび記憶媒体を含むことができる。これらは、１つ以上のコンピュータに対してローカルな（および／またはその中に存在する）、またはネットワーク全体にわたるコンピュータのいずれかまたは全てからリモートな記憶媒体上等の、種々の場所に存在することができる。特定の１組の実施形態において、情報は、当業者が精通しているストレージエリアネットワーク（ＳＡＮ）の中に存在し得る。同様に、必要に応じて、コンピュータ、サーバ、または他のネットワークデバイスに起因する機能性を行うための任意の必要なファイルが、ローカルおよび／またはリモートで記憶され得る。システムがコンピュータ制御のデバイスを含む場合、そのような各デバイスは、バスを介して電気的に連結され得るハードウェア要素を含むことができ、該要素は、例えば、少なくとも１つの中央処理ユニット（ＣＰＵ）と、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチセンサ式表示要素、またはキーパッド）と、少なくとも１つの出力デバイス（例えば、表示デバイス、プリンタ、またはスピーカー）とを含む。そのようなシステムはまた、ディスクドライブ、光記憶デバイス、およびランダムアクセスメモリ（ＲＡＭ）またはリードオンリーメモリ（ＲＯＭ）等の固体記憶デバイス、ならびにリムーバブル媒体デバイス、メモリカード、フラッシュカード等の、１つ以上の記憶デバイスも含み得る。

そのようなデバイスとしてはまた、上で説明したように、コンピュータ読み出し可能な記憶媒体リーダー、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス等）、および作業メモリも挙げることができる。コンピュータ読み出し可能な記憶媒体リーダーは、リモート、ローカル、固定の、および／またはリムーバブルな記憶デバイスを表すコンピュータ読み出し可能な記憶媒体、ならびにコンピュータ読み出し可能な情報を一時的におよび／またはより恒久的に含む、記憶する、伝送する、および取り出すための記憶媒体と接続することができる、またはそれを受け取るように構成することができる。システムおよび種々のデバイスはまた、一般的に、オペレーティングシステム、およびクライアントアプリケーションまたはウェブブラウザ等のアプリケーションプログラムを含む、少なくとも１つのワーキングメモリデバイス内に位置する、数多くのソフトウェアアプリケーション、モジュール、サービス、または他の要素も含む。代替の実施形態は、上で説明した数多くの変形例を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、および／または特定の要素が、ハードウェア、ソフトウェア（アプレット等のポータブルソフトウェアを含む）、または双方で実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続が利用され得る。

コードまたはコードの部分を収容するための記憶媒体およびコンピュータ読み出し可能な媒体としては、コンピュータ読み出し可能な命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶および／または伝送するための任意の方法または技術で実装される揮発性および不揮発性で、取り外し可能および取り外し不可能な媒体等が挙げられるが、それらに限定されない、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または所望の情報を記憶するために使用することができ、システムデバイスによってアクセスすることができる、任意の他の媒体を含む、記憶媒体および通信媒体を含む、当技術分野において知られているまたは使用される、任意の適切な媒体が挙げられる。本明細書で提供される開示および教示に基づいて、当業者は、種々の実施形態を実装するための他の様式および／または方法を認識するであろう。

したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味であるとみなされるべきである。しかしながら、特許請求の範囲に記載された本発明のより広い趣旨および範囲から逸脱することなく、種々の修正および変更が行われ得ることが明らかであろう。

付記
付記１．
方法であって、
実行可能命令とともに構成される１つ以上のコンピュータシステムの制御下で、
コンピューティングデバイスのカメラを使用してユーザの少なくとも一部分の画像を取り込むことと、
ユーザの注視方向を決定するために、コンピューティングデバイスのプロセッサを使用して画像を解析することと、
コンピューティングデバイスのタッチ画面上でのユーザからのタッチジェスチャーを検出することと、
タッチジェスチャーの検出中に、ユーザの注視方向が表示画面と交差したときに、コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させることと、を含む、方法。
付記２．
タッチジェスチャーは、コンピューティングデバイスのタッチ画面上のタップまたはスワイプのうちの少なくとも１つである、請求項１に記載の方法。
付記３．
カメラは、コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項１に記載の方法。
付記４．
ユーザの眼球の少なくとも１つを表す情報が、許可されたユーザについて記憶された情報にマッチするかどうかを判定するために、虹彩認識、網膜走査、または顔認識のうちの少なくとも１つを行うことをさらに含む、請求項１に記載の方法。
付記５．
方法であって、
実行可能命令とともに構成される１つ以上のコンピュータシステムの制御下で、
コンピューティングデバイスの少なくとも１つのカメラを使用して取り込まれた１つ以上の画像を解析することによって、ユーザの注視方向を決定することと、
コンピューティングデバイスへの入力を受け取ることと、
コンピュータデバイスへの入力を受け取った時点で、ユーザの注視方向がコンピューティングデバイスに向いているときに、コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させることと、を含む、方法。
付記６．
コンピュータデバイスは、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、電子ブックリーダー、スマートフォン、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、またはポータブルメディアプレーヤーのうちの少なくとも１つである、請求項５に記載の方法。
付記７．
少なくとも１つのカメラは、コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項５に記載の方法。
付記８．
ジャイロスコープまたは加速度計のうちの少なくとも１つが行動の変化を検出したときに、ユーザの注視方向を決定するために、画像取り込みモードを起動させることをさらに含む、請求項５に記載の方法。
付記９．
入力は、音声コマンド、空中ジェスチャー、コンピューティングデバイスのタッチ画面上のタップ、またはコンピューティングデバイスのタッチ画面上のスワイプのうちの少なくとも１つである、請求項５に記載の方法。
付記１０．
注視方向を決定することは、コンピューティングデバイスの画像取り込みシーケンスを開始することを含み、開始することは、加速度計から入力を受け取ることに応じて、または照明の変化に応じて、定期的に起こるように構成される、請求項５に記載の方法。
付記１１．
ユーザの眼球の少なくとも１つを表す情報が、許可されたユーザについて記憶された情報にマッチするかどうかを判定するために、虹彩認識、網膜走査、または顔認識のうちの少なくとも１つを行うことをさらに含む、請求項５に記載の方法。
付記１２．
コンピューティングデバイスであって、
デバイスプロセッサと、
表示画面と、
メモリデバイスであって、プロセッサによって実行されて、１組の動作を行い、コンピューティングデバイスが、
コンピューティングデバイスの少なくとも１つのカメラを使用して取り込まれた１つ以上の画像を解析することによって、ユーザの注視方向を決定すること、および
ユーザの注視方向がコンピューティングデバイスに向いているときに、コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させること、を可能にするように動作可能な命令を含む、メモリデバイスと、を備える、コンピューティングデバイス。
付記１３．
少なくとも１つのカメラは、コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項１２に記載のコンピューティングデバイス。
付記１４．
コンピューティングデバイスは、ユーザの注視方向がコンピューティングデバイスに向いていないときに、ユーザからの入力を無視する、請求項１２に記載のコンピューティングデバイス。
付記１５．
コンピュータデバイスは、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、電子ブックリーダー、スマートフォン、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、またはポータブルメディアプレーヤーのうちの少なくとも１つである、請求項１２に記載のコンピューティングデバイス。

付記
付記１．
方法であって、
実行可能命令とともに構成される１つ以上のコンピュータシステムの制御下で、
コンピューティングデバイスのカメラを使用してユーザの少なくとも一部分の画像を取り込むことと、
ユーザの注視方向を決定するために、コンピューティングデバイスのプロセッサを使用して画像を解析することと、
コンピューティングデバイスのタッチ画面上でのユーザからのタッチジェスチャーを検出することと、
タッチジェスチャーの検出中に、ユーザの注視方向が表示画面と交差したときに、コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させることと、を含む、方法。
付記２．
タッチジェスチャーは、コンピューティングデバイスのタッチ画面上のタップまたはスワイプのうちの少なくとも１つである、請求項１に記載の方法。
付記３．
カメラは、コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項１に記載の方法。
付記４．
ユーザの眼球の少なくとも１つを表す情報が、許可されたユーザについて記憶された情報にマッチするかどうかを判定するために、虹彩認識、網膜走査、または顔認識のうちの少なくとも１つを行うことをさらに含む、請求項１に記載の方法。
付記５．
方法であって、
実行可能命令とともに構成される１つ以上のコンピュータシステムの制御下で、
コンピューティングデバイスの少なくとも１つのカメラを使用して取り込まれた１つ以上の画像を解析することによって、ユーザの注視方向を決定することと、
コンピューティングデバイスへの入力を受け取ることと、
コンピュータデバイスへの入力を受け取った時点で、ユーザの注視方向がコンピューティングデバイスに向いているときに、コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させることと、を含む、方法。
付記６．
コンピュータデバイスは、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、電子ブックリーダー、スマートフォン、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、またはポータブルメディアプレーヤーのうちの少なくとも１つである、請求項５に記載の方法。
付記７．
少なくとも１つのカメラは、コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項５に記載の方法。
付記８．
ジャイロスコープまたは加速度計のうちの少なくとも１つが行動の変化を検出したときに、ユーザの注視方向を決定するために、画像取り込みモードを起動させることをさらに含む、請求項５に記載の方法。
付記９．
入力は、音声コマンド、空中ジェスチャー、コンピューティングデバイスのタッチ画面上のタップ、またはコンピューティングデバイスのタッチ画面上のスワイプのうちの少なくとも１つである、請求項５に記載の方法。
付記１０．
注視方向を決定することは、コンピューティングデバイスの画像取り込みシーケンスを開始することを含み、開始することは、加速度計から入力を受け取ることに応じて、または照明の変化に応じて、定期的に起こるように構成される、請求項５に記載の方法。
付記１１．
ユーザの眼球の少なくとも１つを表す情報が、許可されたユーザについて記憶された情報にマッチするかどうかを判定するために、虹彩認識、網膜走査、または顔認識のうちの少なくとも１つを行うことをさらに含む、請求項５に記載の方法。
付記１２．
コンピューティングデバイスであって、
デバイスプロセッサと、
表示画面と、
メモリデバイスであって、プロセッサによって実行されて、１組の動作を行い、コンピューティングデバイスが、
コンピューティングデバイスの少なくとも１つのカメラを使用して取り込まれた１つ以上の画像を解析することによって、ユーザの注視方向を決定すること、および
ユーザの注視方向がコンピューティングデバイスに向いているときに、コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させること、を可能にするように動作可能な命令を含む、メモリデバイスと、を備える、コンピューティングデバイス。
付記１３．
少なくとも１つのカメラは、コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項１２に記載のコンピューティングデバイス。
付記１４．
コンピューティングデバイスは、ユーザの注視方向がコンピューティングデバイスに向いていないときに、ユーザからの入力を無視する、請求項１２に記載のコンピューティングデバイス。
付記１５．
コンピュータデバイスは、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、電子ブックリーダー、スマートフォン、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、またはポータブルメディアプレーヤーのうちの少なくとも１つである、請求項１２に記載のコンピューティングデバイス。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］方法であって、
実行可能命令とともに構成される１つ以上のコンピュータシステムの制御下で、
コンピューティングデバイスのカメラを使用してユーザの少なくとも一部分の画像を取り込むことと、
前記ユーザの注視方向を決定するために、前記コンピューティングデバイスのプロセッサを使用して前記画像を解析することと、
前記コンピューティングデバイスのタッチ画面上での前記ユーザからのタッチジェスチャーを検出することと、
前記タッチジェスチャーの検出中に、前記ユーザの前記注視方向が前記表示画面と交差したときに、前記コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させることと、を含む、方法。
［２］前記タッチジェスチャーは、前記コンピューティングデバイスの前記タッチ画面上のタップまたはスワイプのうちの少なくとも１つである、［１］に記載の方法。
［３］前記カメラは、前記コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、前記ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、［１］に記載の方法。
［４］前記ユーザの眼球の少なくとも１つを表す情報が、許可されたユーザについて記憶された情報にマッチするかどうかを判定するために、虹彩認識、網膜走査、または顔認識のうちの少なくとも１つを行うことをさらに含む、［１］に記載の方法。
［５］方法であって、
実行可能命令とともに構成される１つ以上のコンピュータシステムの制御下で、
コンピューティングデバイスの少なくとも１つのカメラを使用して取り込まれた１つ以上の画像を解析することによって、ユーザの注視方向を決定することと、
前記コンピューティングデバイスへの入力を受け取ることと、
前記コンピューティングデバイスへの前記入力を受け取った時点で、前記ユーザの前記注視方向が前記コンピューティングデバイスに向いているときに、前記コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させることと、を含む、方法。
［６］前記コンピューティングデバイスは、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、電子ブックリーダー、スマートフォン、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、またはポータブルメディアプレーヤーのうちの少なくとも１つである、［５］に記載の方法。
［７］前記少なくとも１つのカメラは、前記コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、前記ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、［５］に記載の方法。
［８］ジャイロスコープまたは加速度計のうちの少なくとも１つが行動の変化を検出したときに、前記ユーザの前記注視方向を決定するために、画像取り込みモードを起動させることをさらに含む、［５］に記載の方法。
［９］前記入力は、音声コマンド、空中ジェスチャー、前記コンピューティングデバイスのタッチ画面上のタップ、または前記コンピューティングデバイスの前記タッチ画面上のスワイプのうちの少なくとも１つである、［５］に記載の方法。
［１０］注視方向を決定することは、前記コンピューティングデバイスの画像取り込みシーケンスを開始することを含み、前記開始することは、加速度計から入力を受け取ることに応じて、または照明の変化に応じて、定期的に起こるように構成される、［５］に記載の方法。
［１１］前記ユーザの眼球の少なくとも１つを表す情報が、許可されたユーザについて記憶された情報にマッチするかどうかを判定するために、虹彩認識、網膜走査、または顔認識のうちの少なくとも１つを行うことをさらに含む、［５］に記載の方法。
［１２］コンピューティングデバイスであって、
デバイスプロセッサと、
表示画面と、
メモリデバイスであって、前記プロセッサによって実行されて、１組の動作を行い、前記コンピューティングデバイスが、
前記コンピューティングデバイスの少なくとも１つのカメラを使用して取り込まれた１つ以上の画像を解析することによって、ユーザの注視方向を決定すること、および
前記ユーザの前記注視方向が前記コンピューティングデバイスに向いているときに、前記コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させること、を可能にするように動作可能な命令を含む、メモリデバイスと、を備える、コンピューティングデバイス。
［１３］前記少なくとも１つのカメラは、前記コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、前記ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、［１２］に記載のコンピューティングデバイス。
［１４］前記コンピューティングデバイスは、前記ユーザの前記注視方向が前記コンピューティングデバイスに向いていないときに、前記ユーザからの入力を無視する、［１２］に記載のコンピューティングデバイス。
［１５］前記コンピューティングデバイスは、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、電子ブックリーダー、スマートフォン、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、またはポータブルメディアプレーヤーのうちの少なくとも１つである、［１２］に記載のコンピューティングデバイス。

Claims (15)

1. 方法であって、
   実行可能命令とともに構成される１つ以上のコンピュータシステムの制御下で、
   コンピューティングデバイスのカメラを使用してユーザの少なくとも一部分の画像を取り込むことと、
   前記ユーザの注視方向を決定するために、前記コンピューティングデバイスのプロセッサを使用して前記画像を解析することと、
   前記コンピューティングデバイスのタッチ画面上での前記ユーザからのタッチジェスチャーを検出することと、
   前記タッチジェスチャーの検出中に、前記ユーザの前記注視方向が前記表示画面と交差したときに、前記コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させることと、を含む、方法。
2. 前記タッチジェスチャーは、前記コンピューティングデバイスの前記タッチ画面上のタップまたはスワイプのうちの少なくとも１つである、請求項１に記載の方法。
3. 前記カメラは、前記コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、前記ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項１に記載の方法。
4. 前記ユーザの眼球の少なくとも１つを表す情報が、許可されたユーザについて記憶された情報にマッチするかどうかを判定するために、虹彩認識、網膜走査、または顔認識のうちの少なくとも１つを行うことをさらに含む、請求項１に記載の方法。
5. 方法であって、
   実行可能命令とともに構成される１つ以上のコンピュータシステムの制御下で、
   コンピューティングデバイスの少なくとも１つのカメラを使用して取り込まれた１つ以上の画像を解析することによって、ユーザの注視方向を決定することと、
   前記コンピューティングデバイスへの入力を受け取ることと、
   前記コンピューティングデバイスへの前記入力を受け取った時点で、前記ユーザの前記注視方向が前記コンピューティングデバイスに向いているときに、前記コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させることと、を含む、方法。
6. 前記コンピューティングデバイスは、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、電子ブックリーダー、スマートフォン、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、またはポータブルメディアプレーヤーのうちの少なくとも１つである、請求項５に記載の方法。
7. 前記少なくとも１つのカメラは、前記コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、前記ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項５に記載の方法。
8. ジャイロスコープまたは加速度計のうちの少なくとも１つが行動の変化を検出したときに、前記ユーザの前記注視方向を決定するために、画像取り込みモードを起動させることをさらに含む、請求項５に記載の方法。
9. 前記入力は、音声コマンド、空中ジェスチャー、前記コンピューティングデバイスのタッチ画面上のタップ、または前記コンピューティングデバイスの前記タッチ画面上のスワイプのうちの少なくとも１つである、請求項５に記載の方法。
10. 注視方向を決定することは、前記コンピューティングデバイスの画像取り込みシーケンスを開始することを含み、前記開始することは、加速度計から入力を受け取ることに応じて、または照明の変化に応じて、定期的に起こるように構成される、請求項５に記載の方法。
11. 前記ユーザの眼球の少なくとも１つを表す情報が、許可されたユーザについて記憶された情報にマッチするかどうかを判定するために、虹彩認識、網膜走査、または顔認識のうちの少なくとも１つを行うことをさらに含む、請求項５に記載の方法。
12. コンピューティングデバイスであって、
    デバイスプロセッサと、
    表示画面と、
    メモリデバイスであって、前記プロセッサによって実行されて、１組の動作を行い、前記コンピューティングデバイスが、
    前記コンピューティングデバイスの少なくとも１つのカメラを使用して取り込まれた１つ以上の画像を解析することによって、ユーザの注視方向を決定すること、および
    前記ユーザの前記注視方向が前記コンピューティングデバイスに向いているときに、前記コンピューティングデバイスをロックされた動作状態からロック解除された動作状態に変更させること、を可能にするように動作可能な命令を含む、メモリデバイスと、を備える、コンピューティングデバイス。
13. 前記少なくとも１つのカメラは、前記コンピューティングデバイスの少なくとも１つの赤外線（ＩＲ）エミッタからの、前記ユーザによって反射された光を検出するように動作可能な、少なくとも１つのＩＲセンサを含む、請求項１２に記載のコンピューティングデバイス。
14. 前記コンピューティングデバイスは、前記ユーザの前記注視方向が前記コンピューティングデバイスに向いていないときに、前記ユーザからの入力を無視する、請求項１２に記載のコンピューティングデバイス。
15. 前記コンピューティングデバイスは、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、電子ブックリーダー、スマートフォン、ビデオゲーミングコンソールもしくはコントローラ、テレビ、テレビ用リモコン、テレビ用セットトップボックス、またはポータブルメディアプレーヤーのうちの少なくとも１つである、請求項１２に記載のコンピューティングデバイス。