JP2012509544A - 入力機構としての動き認識 - Google Patents

Abstract

ユーザとコンピュータ装置との間の相対的な動作または配向の検出は、装置の態様を制御するために用いることができる。例えば、ユーザに対する装置の配向を判定することができるように、コンピュータ装置は、装置に対するユーザの顔の特徴の配置位置、形状、離隔距離および／または他の態様に対する画像取得エレメントおよびソフトウェアを含むことができる。そして、ユーザは、装置を傾ける、ユーザの頭を移動させる、表情をつくる、または他の方法で装置に対するユーザの少なくとも１つの態様の配向を変更するなどの行動の実行により、装置に入力を供給することができる。当該アプローチは、キーパッドおよびタッチスクリーンなどの従来の入力装置に加えて、または代替手段として使用することができる。

Description

［相互参照］
本特許出願は、ベゾスによって２００８年１２月１０日に出願された米国特許出願番号第１２／３３２，０４９号と２００８年１１月２０日に出願された米国特許仮出願番号第６１／１１６，４３０号の双方（双方とも「入力機構としての動き認識（MOVEMENT RECOGNITION AS INPUT MECHANISM）」と題する）に対する優先権を主張する。これらの出願の内容全体は、参考することにより本明細書に援用される。

入手可能なコンピュータ装置の種類が増えるにつれて、そしてこれらの装置の多くのサイズが減少するにつれて、ユーザがこれらのコンピュータ装置とインタフェースする方法を適合させる必要が生じている。例えば、デスクトップコンピュータのキーボード上でのタイピングは、情報を入力する多くのユーザにとって容易で容認できる方法である一方、携帯電話のキーボード上で情報を入力しようとすることは、装置の小さなフォームファクタのせいで難しいかもしれない。例えば、ユーザの指の大きさによって、ユーザが一度に１つのキーを押すことをできなくしてしまうことが容易に生じ得る。さらに、これらの装置の多くがタッチスクリーンまたは他の同様の入力装置に移行するにつれて、ユーザの指の大きさによって、ユーザがスクリーン上などの対象とするオブジェクトまたはエレメントをうまく選択することもできなくなり得る。そのようなタッチスクリーンの利用することのもう１つの欠点は、指紋、汚れ、しみおよび他の跡が、表示画面上に残されるということであり、それは、ぎらつきや、他の鮮明度および／または見やすさに関する問題を引き起こし得る。さらに、一部のユーザはスクリーンの損傷を防ぐために保護材のさらなる層を追加するが、これらの装置では、タッチ感度が低減したり、スクリーンに残された残留物の負の効果が増大し得る。

さらに、多くのユーザは、携帯電話、携帯情報端末（ＰＤＡ）および電子ブックリーダー機器などの携帯機器を片手で利用することを好むが、そのような操作では、タッチスクリーンまたは複数ボタンの入力アプローチを利用することは難しくなる。定置型の装置（例えば、デスクトップコンピュータ）においてでさえ、標準キーボードおよびマウスに基づいたアプローチは、絶えずマウスを動かして次の部分へスクロールしたり、次ページにナビゲートするために要素を選択せずに情報を見ることを好むユーザにとって、望ましくないかもしれない。

本明細書の開示による様々な実施形態が、図面に関連して記載される。

１つの実施形態による、ユーザの顔領域を画像取得するように動作可能な要素を含む携帯型装置の例を示す図である。 １つの実施形態に従って使用することができる制御可能装置の構成部分を示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従って使用することができる携帯型装置上でテキスト情報を入力することへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元空間の表示を変更することへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元空間の表示を変更することへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元空間の表示を変更することへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元オブジェクトの表示を変更することへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元オブジェクトの表示を変更することへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元オブジェクトの表示を変更することへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元インタフェースをナビゲートすることへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元インタフェースをナビゲートすることへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元インタフェースをナビゲートすることへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元インタフェースをナビゲートすることへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元インタフェースをナビゲートすることへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元インタフェースをナビゲートすることへのアプローチを示す図である。 １つの実施形態に従ってコンピュータ装置上の３次元インタフェースをナビゲートすることへのアプローチを示す図である。 １つの実施形態に従って入力として認識することができる動きの例を示す図である。 １つの実施形態に従って入力として認識することができる動きの例を示す図である。 １つの実施形態に従って入力として認識することができる動きの例を示す図である。 １つの実施形態に従って入力として認識することができる動きの例を示す図である。 １つの実施形態に従って入力として認識することができるコンピュータ装置のユーザの相対的な表示の例を示す図である。 １つの実施形態に従って入力として認識することができるコンピュータ装置のユーザの相対的な表示の例を示す図である。 １つの実施形態に従って入力として認識することができるコンピュータ装置のユーザの相対的な表示の例を示す図である。 １つの実施形態に従って使用することができる相対的な動きを検出する方法の例を示す図である。 様々な実施形態に従う、ユーザの顔の特徴の解析を示す図である。 様々な実施形態に従う、ユーザの顔の特徴の解析を示す図である。 様々な実施形態に従う、ユーザの顔の特徴の解析を示す図である。 様々な実施形態に従う、ユーザの顔の特徴の解析を示す図である。 様々な実施形態に従う、ユーザの顔の特徴の解析を示す図である。 様々な実施形態に従う、ユーザの顔の特徴の解析を示す図である。 １つの実施形態に従う、相対的な動きに対応する行動を確認するようにユーザを促すために生成することができる表示の例を示す図である。 １つの実施形態に従う、入力として相対的な動きを処理するためのアプローチを示す図である。 １つの実施形態に従う、入力として相対的な動きを処理するためのアプローチを示す図である。 １つの実施形態に従う、ユーザの顔領域を画像取得するカメラの例を示す図である。 １つの実施形態に従って使用することができる顔の動きを検出する方法の例を示す図である。 １つの実施形態に従って使用することができる顔の動きを検出する方法の例を示す図である。 １つの実施形態に従う、入力としてユーザの目の動きを取り込む例を示す図である。 １つの実施形態に従う、入力としてユーザの目の動きを取り込む例を示す図である。 １つの実施形態に従う、入力としてユーザの目の動きを取り込む例を示す図である。 図１５（ａ）〜図１５（ｃ）の目の動きアプローチと共に使用することができるディスプレイの例を示す図である。 １つの実施形態による、入力制御アプローチをカスタマイズするためにユーザに提示することができる表示の例を示す図である。 様々な実施形態を実現することができる環境を示す図である。

本明細書の開示の様々な実施形態による、システムおよび方法は、システム、装置、インタフェースまたは他の同様の電子環境内のオブジェクトまたは要素を制御するために、従来のアプローチで経験する前述の不備および他の不備の１つ以上を克服し得る。様々な実施形態によるシステムおよび方法は、ユーザの認識しうる部分を画像取得するように動作可能な画像取得エレメントを使用して判定できるような、相対的な動きを通じての入力を提供する。ユーザ、装置またはそれらの組み合わせの動きを通じての、ユーザの認識しうる部分に対する装置の配向の変更を、装置の態様を制御するために入力として判定し使用することができる。さらに、装置は、ユーザの表情、ジェスチャーまたは他の動きなどのユーザの調整可能な態様を画像取得し、入力としてその調整可能な態様の状態を利用することができる。

一例では、ユーザは、検索照会を入力する、テキストメッセージをタイプする、または同種の動作を行うなどのために、携帯型装置へテキストを入力したいと考える場合がある。様々な実施形態による装置のユーザは、「顔認識」モード、動き認識モードまたは本明細書に説明される同様のモードのような制御モードを有効にすることができ、この制御モードは、カメラまたは装置の他の画像取得エレメントにより検出することができる、ユーザに対する相対的な配向における動き、表情または他の変化を用いて、ユーザがコンピュータ装置を制御することを可能にする。

１つの同様の装置において、ユーザは、バーチャルキーボード、選択ボックス、ラジオボタンまたは装置に表示された他の選択可能なインタフェースオブジェクトなどのユーザインタフェースを表現したものを変化（例えば、変更）させる動作を行うことができる。例えば、バーチャルキーボードは、従来の「ＱＷＥＲＴＹ」スタイルのキーボード、または選択可能な英数字またはその他同様の文字の他の適切なディスプレイであってもよい。文字、数字または表示された他の文字のいずれかに移動することができるカーソル、移動可能なアイコンまたは他の同様のエレメントを表示することができる。したがって、ユーザ（または環境）に対する装置の配向の変化に基づいて変更されるグラフィカルユーザインタフェース内に表示される情報は、グラフィカルユーザインタフェースのディスプレイの任意の変化に対応することができる。例えば、多くの他の可能性の中で、グラフィカルユーザインタフェースに対してカーソルを動かし、コンピュータ装置上の３次元画像の２次元表示を生成するために用いられる視点を調整し、電子カタログに関連した項目間をナビゲートファイルシステムをナビゲートし、回転式選択機構から項目を選択し、ユーザインタフェースに反映される判定される変化に少なくとも部分的に基づいて機能を実行し、電子マップシステムをナビゲートすることにより、ユーザインタフェースを変更することができる。

カメラなどの装置の画像取得エレメントは、ユーザが装置を操作している間、画像取得エレメントが少なくともユーザの一部の画像を取得することができるように位置づけることができる。１つの実施形態において、カメラは、高速、高解像度の、短時間で多くの画像を取り込むことができるカメラ（例えば、高速度カメラまたは高速ビデオカメラ）である。装置は、画像取得エレメントから得られた画像情報を解析することができ、装置に対するユーザの少なくとも１つの相対的な位置または配向を判定することができる、画像処理アルゴリズムを含むことができる。したがって、画像処理アルゴリズムは、装置に対するユーザの少なくとも１つの相対的な位置または配向の変化を判定する。次いで、グラフィカルユーザインタフェース内に表示される情報を、判定される変化に少なくとも部分的に基づいて、変更することができる。いくつかの実施形態において、グラフィカルユーザインタフェース内に表示される情報は、取得された第１および第２の画像のいずれか一方またはその両方を表現したものを除外する。すなわち、そのような実施形態において、画像取得エレメントは、ユーザインタフェース内でのディスプレイのために装置のユーザの画像取得をするためには用いられない。むしろ、ユーザ画像情報は、グラフィカルユーザインタフェースの態様を制御するための入力を提供するために用いられる。

例えば、アルゴリズムは、ユーザの目および／または頭が実質的に装置に対面しているか否かを判定することにより、装置が直接ユーザに対面しているか否かを判定することができる。装置またはユーザの頭が一方向に傾いていれば、アルゴリズムは、相対的な動きまたは配向の方向を判定することができ、それに従って、表示されたキーボード上のカーソルの位置を制御することができる。例えば、ユーザは、文字の行を横切ってカーソルを移動するために左または右に装置を傾けてもよいし、文字の列上にカーソルを移動するために装置を前方または後方に傾けてもよいし、および／またはそれらの任意の組み合わせを行ってもよい。そのようにして、ユーザは、単に装置を動かすか、他の方法でその配向を変化させることにより、ユーザの判定される態様の相対的な配向を変化させることにより、またはその両方により、カーソルまたは他の入力装置を制御することができる。

以上に記載された実施形態は、概して２次元インタフェースに対する入力の制御に関するが、同様の動きを用いて３次元インタフェースの態様または表示を制御するために実施形態を用いることもできる。例えば、３次元画像の２次元表示を見ているユーザは、所望の調整の方向に対応する方向に装置（またはユーザの頭など）を回転することにより、または動かすことにより、表示された画像を調整することができる。そのような動きは、開いた側から箱の中を見ることに類似しており、ユーザは、異なる角度に箱を回転させることにより、または所望の側面が見えるようにユーザの頭を位置づけることにより、箱の内部の上面、底面および側面を見ることができる。いくつかの実施形態において、画像情報を解析するアルゴリズムが、ユーザの特徴が装置に近づいていること（例えば、それらの離隔距離および／またはサイズが増加していること）を検出することができるように、ユーザは、ユーザに向かって装置を動かたりしてズーム動作をすることにより、画像またはインタフェースの様々な領域へズームすることもできる。いくつかの実施形態において、加速度計などのエレメントが、そのような判定を支援することもできる。情報の階層的分類が３次元の方式で示される場合に、そのようなアプローチは、ユーザが階層内の情報の所望のレベルに、例えば、そのレベルにズームすることによって迅速かつ容易にアクセスすることを可能にする。次に、ユーザは、上で説明したように、装置を傾けるか、またはその位置／配向を変更して、カーソルまたは表示を移動することにより、そのレベルで様々な項目にアクセスすることができる。

別の例では、ユーザは、電子ブックリーダーまたはポータブルメディア装置などの装置を利用して、本、新聞または他の同様の電子コンテンツを読み得る。そのような素材を見る場合、ユーザは、電子ブック（ｅブック）の次ページにナビゲートすることまたは「めくる」ことを所望し得、ユーザが次ページにナビゲートする準備ができていることを示すために、装置を傾けるまたはユーザの頭を右に回転するなどの行動をし得る。ユーザが以前に中断した場所を見つけるためにユーザが本を通してナビゲートしている場合、ユーザは、ナビゲーションをスタートするために、装置を回転することにより、またはユーザの頭を円を描いて動かすことにより、コマンドを入力し得、ユーザが中断したページまたはポイントに装置が到着した際、ユーザは、ユーザがこの位置に満足していることを装置に指示するために微笑むか、または「はい」の動作で、頭をうなずかせるなどの別の行動をとることができる。装置上に、入力のための相対的な動きと組み合わせて用いることができる１つ以上の物理的なボタン、選択ホイール、タッチインタフェースなどがある場合もある。例えば、ユーザは、電子ブックリーダーに本のページをめくらせるために装置を右に傾け得、ユーザは、所望のページが表示されていることを示すためにボタンを押して、ｅブックを内のページをめくることをやめるように装置に示すことができる。

ウェブベースの小売り業者のウェブサイトを介してなど電子市場を介して提供された項目をユーザが見ている例において、ユーザは、項目の検索要求への応答またはに対応する多くの項目を見得る。例えば、項目がカテゴリによる３次元の分類で表示される場合、ユーザは、所望のカテゴリのレベルにズームするまたは他の方法で移動するために、装置を傾けるまたは動かすことができる。いったん所望のレベルに達すると、例えば、そのレベルで表示された様々な項目に移動するために、ユーザは、装置を傾けるか、頭を回転させることができる。動作がカーソルを移動させる例において、カーソル位置での項目に関する情報は、ポップアップまたはモードウィンドウに表示することができる。別の実施形態において、表示は、ユーザがどこにナビゲートしたのかに依存して、いつでも、そのレベルの項目のサブセットのみが一度に表示されるように、ユーザが装置を傾ける時に表示された様々な項目に移動し得る。ユーザが他の項目を見る準備ができている場合、ユーザは、新規の項目または項目リストを提示するように装置を指示する動作を行うことができる。ユーザは、表示された項目（複数可）が気に入れば、表示されている少なくとも１つの項目にユーザが満足していることを示すために動作を行うことができる。例えば、ユーザが１つの品目を購入したい場合、ユーザは、その品目を購入したいということを示すために、頭を上下にうなずかせるなどの動作を行うことができる。いくつかの実施形態において、この単一の動きは、ユーザのため取引を開始するのに十分である。しかしながら、いくつかの実施形態においては、ユーザは、再びうなずくなどの動作を行うことにより、または物理的なスイッチ（例えば、ボタンまたはキー）を用いることにより購入を確認することを要求され得る。ユーザが１つ以上の品目を購入したい場合、ユーザは、所望の数を表わすために幾つかの指を挙げることなどにより、購入するまたは消費される数を示すことができる。他の多くの同様のユーザの行動を、装置に入力を提供するために用いることができる。

別の例において、スマートフォン（または他の装置）を通じて、ウェブページ上の情報を閲覧しているユーザは、ページをスクロールアップするために装置を上に傾け得、ページをスクロールダウンするために装置を下へ傾け得る。ユーザは、ズームインするために装置をユーザに向かって移動すること、または次ページに移行するために装置を右に傾けること、あるいは他の同様の動きなどの動作を行なうこともできる。

なおまた、装置のこれらの動作および動きの多数は、以上に説明されたような画像取得アプローチを用いて検出することができる。入力を行なうために画像取得エレメントのみを用いることは、いくつかの実施形態では有利であり得る。例えば、加速度計の利用に関わるコストと複雑性とを除去することができる。さらに、装置（またはその画像取得エレメント）が定置型に保たれているとしても、画像取得アプローチを用いることができる。しかしながら、いくつかの実施形態において、画像取得エレメントに加えて、加速度計などの動作検出エレメントを用いることにより、特に、少なくとも部分的に入力を制御するために関連する装置を移動させる実施形態において、動きの検出を改善できる。さらに、加速度計を用いることにより、装置が、画像に関しては類似する動作、例えば、それぞれユーザが画像の中で上下に移動する、装置を前方および後方に傾けることおよび装置を上下に動かすことなどを、よりよく識別することができるようになり、さらなる種類の入力を可能にする。

図１は、１つの実施形態による構成１００を図示しており、携帯コンピュータ装置１０２を操作するユーザ１０６の一部が、携帯型装置１０２の画像取得エレメント１０４により画像取得されている。図示されるユーザおよび装置の相対的な配向が、説明の目的のためにずらされており、ユーザが、概論的には表示エレメントおよび画像取得エレメント１０４を含む装置の正面（または他の面または側面）に対面することは、理解されるべきである。画像取得エレメント１０４は、他の多くの可能性中で、例えば、カメラ、電荷結合素子（ＣＣＤ）、動作検出センサまたは赤外線センサであってもよい。スマートフォン１０２がこの例で表現されているが、携帯コンピュータ装置が、数ある中でも、パーソナルコンピュータ、ラップトップコンピュータ、テレビジョンセットのトップボックス、携帯電話、ＰＤＡ、電子ブックリーダー装置、ビデオゲームシステムまたは携帯メディアプレイヤーなどの、入力コマンドを受け、処理することができる任意の適切な装置であってもよいことは、さらに理解されるべきである。

この構成において、ユーザが表示エレメント内のインタフェースを見ている場合に、この例によれば、画像取得エレメント１０４は、ユーザ１０６の顔を含む可視領域１０８を有するように、概して携帯型装置１０２の、表示エレメントと同じ側にある。いくつかの実施形態においては画像取得エレメントが装置に対して固定されるが、他の実施形態においては、画像取得エレメントは、画像取得エレメントまたは画像取得エレメントに光を導く光学素子（例えば、レンズ、ミラーなど）を回転することなどにより、ユーザの位置を追跡するように動作可能になりうる。本明細書ではユーザの顔を含む可視領域の使用例を実施形態として記載するが、可視領域は、他の可能性の中で、腕、脚および腰などの身体の他の部分を含んでもよい。いずれの場合も、画像取得エレメントの可視領域１０８は、装置を操作するユーザの少なくとも一部に対応する画像情報を取得するように構成することができる。また、画像取得エレメントが継続的に（または少なくとも実質的に継続的に）で取り込んでいるあるいは別の方法で画像情報を取得している場合、装置１０２に対するユーザ１０６の任意の動き（ユーザ、装置、またはそれらの組み合わせの動きを通じて）も、可視領域１０８内のそのユーザの少なくとも１つの態様の位置または配向に変化をもたらすことができる。装置が、連続して判定することができるユーザの少なくとも１つの特徴（目、鼻または口など）を位置確認できるソフトウェアおよび／またはハードウェアを含んでいる場合、装置は、一定期間にわたる相対的な動きを判定するために画像情報を解析し、入力としてその相対的な動作を利用することができる。

例えば、ユーザは、装置を傾けることができるし、または「はい（肯定）」の動作で上下にうなずくために自分の頭の向きを変えることができる。可視領域１０８のユーザの目の位置が、画像内で移動すると、このような動きは、画像取得エレメント（例えば、カメラ）により検出し解析することができる。さらに、画像取得されたユーザの目の形状、大きさおよび離隔距離などの態様も変化し得る。ユーザは動かずに、装置を上下に動かすことにより、ならびに他の同様の動きを通じて、可視領域における目の動きを得ることができ得る。いくつかの実施形態において、装置は、背景の動きまたは画像の他の態様を検出することにより、または様々な特徴の離隔距離、形状または大きさを解析することなどにより、ユーザの動きと装置の動きを区別することができる。したがって、本説明のいかなる所に記載されたユーザに対する装置の配向または位置を判定するために画像取得エレメントを用いる実施形態においても、ユーザは、装置を動かすまたはユーザの態様を変える、またはそれらの両方により、特定コマンドに対応した、所与の種類の動きを入力する選択肢を有することができる。

上述のように、装置および／またはユーザの動きを検出するためにコンピュータ装置の画像取得エレメントを用いる時、コンピュータ装置は、動きを判定するために画像の背景を用いることができる。例えば、ユーザがユーザに対して固定された配向（例えば、距離、角度など）での装置を保持し、ユーザが周囲環境に対して配向を変えると、ユーザだけの画像の解析では、装置の配向の変化の検出をもたらさない。むしろ、いくつかの実施形態において、コンピュータ装置は、それでも、ユーザの後ろの背景像の変化を認識することにより、装置の動きを検出することができる。従って、例えば、物体（例えば、窓、絵画、立ち木、茂み、建物、自動車など）が画像内で左または右に移動する場合、装置は、ユーザに対する装置の配向が変化していないが、装置が配向を変えたと判定することができる。

ある場合には、相対的な動きは、複数な解釈を許し得る。例えば、１つの応用において、装置が上および／または下に移動するのであれば、装置は、第１の動作を行うようにプログラムされ得、その代りに装置を前方または後方傾けるのであれば、第２の動作を行なうようにプログラムされ得る。明らかなように、各動作は、可視領域において上および／または下に移動するユーザの目の位置に対応することができる。いくつかの実施形態において、以下で説明されるように、様々な特徴の形状および離隔距離または他の同様の態様などの、取り込み画像のユーザの顔がどのように変化させるかに関して２つの動作間を識別するのに、カメラと検出は十分に高感度であり得る。他の実施形態において、処理が相当に単純な画像取得エレメントおよび解析アプローチを利用することが望ましい場合には、装置１０２の現在の配向を判定することができる装置内に少なくとも１つの配向検出エレメント１１０を含むことが望ましくあり得る。一例において、少なくとも１つの配向検出エレメント１１０には、振動、衝撃等のみならず、装置の３次元位置、装置の振幅方向および移動方向などの要因を検出することができる、少なくとも１つの単軸または多軸加速度計が用いられる。配向検出エレメント１１０として様々な実施形態の範囲内で用いるために、配向および／または動きを検出するための他のエレメントを、同様に用いることができる。加速度計からの入力がカメラからの入力と共に用いられる場合、より広範囲の入力コマンドおよび／またはより単純な画像解析アルゴリズムを可能にして、相対的な動きを、より厳正に判断することができる。例えば、加速度計の使用は、ユーザに対しての横運動および回転運動を区別することを可能にすることができるだけではなく、画像取得エレメントを伴った入力または画像取得エレメントを伴わない入力を提供することを、ユーザが選択することを可能にすることができる。例えば、装置が携帯音楽プレーヤーである場合、ユーザは、装置がユーザを対面しているように装置を方向を変える必要なしに、曲を切り替える、早送りする、または他の同様の動作を行なう装置の方向を変えるまたは動かすなどを選択することができる。その代わりに、ユーザは、装置を動かさず、次の曲に飛ばすためにユーザの頭を右に移動したりすることによる等、ユーザの態様を移動または調整することができる。いくつかの装置は、画像取得エレメント、配向検出エレメントまたはそれらの組み合わせから入力が受け入れられるか否かを、ユーザが指定することを可能にする。

図２は、図１に関して記載された装置１０２などのコンピュータ装置２００の一組の基本要素を図示している。この例で、装置は、メモリ装置またはエレメント２０４に格納することができる命令を実行するためのプロセッサ２０２を含む。当該技術分野において知られているように、装置は、プロセッサ２０２による実行用プログラム命令のための第１のデータストレージ、画像またはデータのための個別のストレージ、他の装置と情報を共有するためのリムーバブルメモリなどの、多くの種類のメモリ、データストレージまたはコンピュータ読み取り可能な媒体を含むことができる。装置は、典型的にはタッチスクリーンまたは液晶ディスプレイ（ＬＣＤ）などのいくつかの種類の表示エレメント２０６を含むが、ポータブルメディアプレイヤーなどの装置は、音声スピーカを通してなど他の手段を介して情報を伝えることができる。説明したように、多くの実施形態における装置は、ユーザの顔領域を画像取得することができるカメラなどの少なくとも１つの画像取得エレメント２０８を含む。画像取得エレメントは、ユーザが装置を操作している際にユーザの画像を取り込むために十分な解像度、集束範囲および可視領域を有しているＣＣＤ画像取得エレメントなどの任意の適切な技術を含むことができる。コンピュータ装置でカメラエレメントを用いる画像取り込み方法は、当該技術分野でよく知られており、本明細書では詳細には説明しない。単一画像、多重画像、周期的な画像取得、連続像の取り込みおよび画像ストリーミングなどを用いて、画像取り込みを行なうことができることは理解されるべきである。さらに、装置は、ユーザ、アプリケーションまたは他の装置からコマンドを受ける場合などに、画像取り込みを開始および／または停止する能力を含むことができる。

説明したように、装置は、装置の配向および／または動きを検出および／または検出することができる配向検出エレメント２１０も含むことができる。装置の配向または動きを判定するために加速度計などのエレメントを用いる方法も、当該技術分野において知られており、本明細書では詳細には説明しない。いくつかの実施形態において、本装置は、ユーザから従来の入力を受けることがでる、少なくとも１つの追加入力装置２１２を含むことができる。この従来の入力は、例えば、押しボタン、タッチパッド、タッチスクリーン、ホイール、ジョイスティック、キーボード、マウス、キーパッドまたは他の同様の装置またはエレメントを含むことができ、それによって、ユーザが装置へコマンドを入力することができる。いくつかの装置は、音声または他のオーディオコマンドを受け入れるマイクロホンまたは他の音声取り込みエレメントも含むことができる。例えば、装置は、ボタンを全く含まず、視覚コマンドと音声コマンドとの組み合わせを通してのみ制御されてもよく、装置に接する必要なしにユーザが装置を制御することができるようになる。

図３（ａ）〜図３（ｃ）は、携帯型装置上でテキストを入力するために用いることができるアプローチの実施形態を図示している。いくつかの実施形態において、これは、キーボード、キーパッドまたは他の同様の入力装置上の現実または仮想キーなどの従来の入力装置を用いずに成し遂げることができる。この例では、ユーザは、携帯型装置３００へテキストを入力することを試みている。見て分かるように、装置は、バーチャルキーボード３０８を可能にする表示エレメント３０２、またはユーザに表示される他の文字セットまたは文字配列を含む。ディスプレイは、バーチャルキーボード３０８の文字にわたって移動することができるカーソルエレメント３０４を含む。ユーザは、１つ以上の文字を選択するためにカーソル３０４を移動することができ、その結果、１つ以上の文字を、装置に入力を供給するためのテキスト入力ウィンドウ３０６または他の同様のエレメントに表示することができる。

図３（ｂ）に図示したように、装置に入力を提供する方法は、装置を右または左に傾けることであり、これは、カーソル３０４をそれぞれ右または左に（または、ユーザの好みに依存して、それぞれ左または右に）キーボードを横切って移動することに対応する。同様に、図３（ｃ）は、カーソル３０４を上または下へ（または、下または上へ）移動するために、ユーザが装置を前方または後方にそれぞれ傾けることができる図を示している。いくつかの実施形態において、ユーザは、装置を傾けることにより、任意の方向にスクリーンを横切ってカーソルを自由に移動することができる。他の実施形態において、ユーザは、第１の動作により、横切ってまたは上下にカーソルを移動することができ、装置上のボタン３１０を押す、またはその動作を中止するために装置をユーザに対面する位置に戻すなどの動作を行うことができる。次いで、ユーザは、適切な方向に装置を傾けることにより直交する方向にカーソルを移動することができる。例えば、文字が配列に表示されるのであれば、ユーザは、列を選択するために左または右に装置を傾け、適切な列で止めるための行動をして、次に、その列の適切な行を選択するために装置を上方および／または後方に傾けることができる。明らかなように、様々な他の組み合わせおよびナビゲーションまたは動きも、同様のアプローチを用いて行なうことができる。さらに、装置を傾けることに関して記載したが、装置を平行移動するまたはユーザの頭を回転するような本明細書において説明した他の動作を、様々な実施形態において同様に用いることができるといことは理解されるべきである。さらに、文字は、任意の適切な配列で表示することができ、行または他の同様の構成に限定されない。

したがって、カーソルは、選択するために、文字などの項目を特定するように位置づけされる。この特定は、他の多くの可能性の中で、英数字上にカーソルを浮遊させること、英数字の文字色を変更すること、英数字の形状を変更すること、英数字のまわりの背景色を変更すること、または英数字のまわりに形状（例えば、円、正方形、長方形など）を表示することを含んでいてもよい。

いくつかの実施形態によれば、予測的なテキストアルゴリズムを、ユーザがテキスト入力ウィンドウ３０８へ迅速にテキストを入力することを支援するために用いてもよい。例えば、いくつかの実施形態において、１つの文字が入力された後、装置３００は、アルゴリズムが判定した、ユーザがタイプしている語の次の文字である可能性が高い文字へ、カーソル３０４を自動的に移動してもよい。そして、ユーザは、予測された文字を選択してもよいし、またはさらに装置３００を傾けるまたは移動することにより、次の所望の文字へカーソルを動かしてもよい。

図３（ｄ）〜図３（ｆ）は、図３（ａ）〜図３（ｃ）の例を続けて、テキスト入力が、以上に説明した２次元に加えて第３次元を用いて、選択されている実施形態を示す。図３（ｄ）は、ユーザの体に相対的に近いことが検出される第１の位置における装置３００を示す。そのような検出は、画像取得エレメント２０８および／または配向検出エレメント２１０の使用により構成することができる。この位置において、英数字（Ａ〜Ｚ）は、表示エレメント３０２内にそれらの大文字の形式で示される。そして、ユーザは、所望の文字のいずれかを選択するために左右上下にカーソル３０４を移動するために、図３（ｄ）〜図３（ｆ）に関連する記述で説明される技術を用いてもよい。図３（ｅ）において、装置は、装置とユーザとの少なくとも１つの移動より、画像取得エレメント１０４が現在ユーザの体からさらに離れた第２の位置となる位置にある。装置３００は、装置がこの第２の位置にあり、英数字の小文字のバージョンを示すために表示エレメント１０４を更新することをここで検出する。そして、再び、ユーザは、カーソル３０４を移動させ、かつ所望の文字のいずれかを選択するために図３（ｄ）〜図３（ｆ）３に関連する記述で説明される技術を用いてもよい。図３（ｆ）において、ユーザと装置との間の相対距離は、画像取得エレメント１０４が現在第１の位置と第２の位置よりもユーザの体からさらに離れた第３の位置にいるように再び変更される。装置３００は、装置がこの第３の位置にあり、特殊文字（例えば、！、＠、＃、＄など）を示すために表示エレメント１０４を更新することをここで検出する。そして、再び、ユーザは、所望の文字のいずれかを選択するためにカーソル３０４を移動するために、図３（ｄ）〜図３（ｆ）に関連する記述で説明される技術を用いてもよい。

いくつかの実施形態において、ユーザが所望の英数字の中で入力するべき装置を操作している間、装置は、第１の位置、第２の位置または第３の位置へ一時的にユーザインタフェースを「ロック」するように構成されてもよい。例えば、ユーザは、それぞれの位置においてユーザインタフェースを「ロック」するために装置上でボタンを押し、かつユーザが別の位置へ移動したい時にはボタンを解放してもよい。

３次元でそのような実施形態を用いることは、英数字入力の様々なモードの間を切り替えるために、シフトボタン、キャップロックボタンまたはオルトボタンを選択する必要性に取って代わるまたは補うことができる。大文字、小文字および特殊文字の間を切り替えるために３次元を用いることは、３次元がそのために用いられ得ることの単なる一例であることはを理解されるべきである。例えば、他の実施形態において、英数字文字セットが、様々なレベル（例えば、第１の位置におけるＡ〜Ｊ、第２の位置におけるＨ〜Ｔ、および第３の位置におけるＵ〜Ｚ）の中で分離していてもよい。さらに、３つの位置のみが記載されているが、３次元の任意の位置の数が可能である。

図３（ｇ）〜図３（ｉ）は、別の実施形態を示しており、選択可能な項目または要素（例えば文字、部分またはスクリーン、等）をユーザインタフェースのより大きな領域に区分化し、ユーザが順次に様々なセグメントを選択することで特定の選択肢を掘り下げることを可能にすることにより、各種入力情報を選択するために、記載された技術をどのように用いることができるかを示している。例えば、カメラの感度が低い場合、または携帯型装置が自動車またはバスなどの不安定な環境の中で用いられている場合、同様の技術は特に有用であり得る。図３（ｇ）〜図３（ｉ）は、装置にテキストを入力するための文字入力を特に示しているが、本技術は、任意の種類の選択可能な要素を選択するためにも用いることができる。図３（ｇ）は、ユーザインタフェース（ここではバーチャルキーボード３０８）の一部を表現しており、文字サブセットに対応する２つの部分３１２および３１４に区分化される。この例によれば、ユーザはバーチャルキーボード３０８から文字「ｐ」を選択することを所望する。しかしながら、ユーザが文字「ｐ」上にカーソル３０４を移動するように、装置を動かす代わりに、ユーザは、文字「ｐ」を含む特定の部分（ここでは部分３１４）にカーソル３０４を動かす。これは、例えば、装置３００を傾け、先に記載されたようなカメラに基づいた検出機構または配向検出機構を用いて動きを検出することより、実行することができる。そして、ユーザは、進行させるために部分３１４内の任意の領域を選択してもよいし、または次の選択肢に「掘り下げ」てもよい。

ユーザが部分３１４を選択すると、部分３１２は廃棄され、部分３１４は、図３（ｈ）に示されるように、拡大され、さらに区分化されて、３つのサブセット（例えば、部分）を提供する。この場合は、文字「ｐ」は部分３１６にあり、従って、ユーザはカーソル３０４が部分３１６の任意の領域に位置づけられるように装置３００を傾ける。この時、ユーザは、部分３１６を選択して、部分３１８および３２０を廃棄し、かつ、残りの選択可能な項目の１つを選択しやすくするために部分３１６を拡大させる。具体的には、図３（ｉ）は、ユーザによる選択のためのそれぞれの部分に分割された残りの５つの文字を示す。そして、ユーザは、文字「ｐ」が配向されている部分３２０のどこかにカーソルが位置づけられるように装置を傾け、テキスト入力ウィンドウ３０６への入力のために文字を選択する。そして、装置３００は、再びテキスト入力処理を開始するために、図３（ｇ）に示されるようなディスプレイに戻るように構成されてもよい。代替の実施例において、装置の物理位置または配向を変更するのではなく、装置は、選択するために画像取得エレメント１１０を用い、装置に対するユーザの変化している位置または配向（ユーザと装置との両方の動きを介して）を検出することができる。

文字入力のための別の実施形態によれば、文字セットに対してカーソルを動かすのではなく、コンピュータ装置は、一度に１文字を表示するように構成することができ、その結果、装置とユーザとの相対的な配向が変更されると、装置のユーザインタフェースは、文字セット内の異なる文字を表示するように構成される。例えば、１つの実施形態において、単一のキャラクターのみが一度にグラフィカルユーザインタフェース内に表示され、配向が変更されると、選択するために異なる文字が表示される。

図４（ａ）〜図４（ｃ）は、以上に記載されたものと同様の入力アプローチを用いた、ユーザナビゲーションの例を図示している。この例で、３次元環境は、コンピュータ装置４００の２次元表示エレメント４０２を用いて表わされる。上で説明されるように、コンピュータ装置は、装置のユーザの少なくとも一部の画像情報を取得するために少なくとも１つの画像取得エレメントを含むことができ、画像情報とは独立して、または、画像情報とともに、デバイスインデペンデントの配向を判定することができるエレメントをさらに含んでもよい。図４（ａ）に図示するように、ユーザと表示エレメントとが互いに実質的に対面している時、３次元環境の比較的単純な表示がディスプレイ上で表現される。図４（ａ）のディスプレイを見るユーザは、スクリーンの右に向かって表示されるエレメントまたは右の方へ「スクリーン外」であるエレメントのより良い表示を得たいと考え得る。図４（ｂ）に図示されるように、ユーザは、右（または左）へ装置を傾けるか、またはディスプレイに対して表現された視野を回転させるために入力としての装置により検出される同様の動作を行なうことができる。その結果、表示される画像は、以前は画像の中心の右側に存在していた画像のエレメントまたは部分の改善された表示を示すことができる。同様に、ユーザは、表示エレメントにより現在表示されるものの上または下の要素または部分を見たいと考え得る。図４（ｃ）で図示されるように、ユーザは、以前は前画像の中央点の上または下に存在していた部分をよりよく図示する視点を提供するように、表示された画像を変化させるために、装置を前方または後方に傾けることができる。したがって、ユーザは、相対的な動作を通じて入力を生成することにより、画像を表示するために用いられる視点を変えることができる。さらに、いくつかの実施形態において、一度、表示されている画像が、画像の中心から離れたところで以前表示されていた画像の要素
または部分を表示するために変更されると、装置は、表示された関心領域が表示された画像の中心へ再配向するように（例えば、表示されたＸ部分は、ディスプレイの中心に移動する）、表示された画像を「正規化」または調整するために入力を受け取るように構成することができる。これは、ユーザと装置との間の相対的な配向が、通常の垂直視聴方向に戻ることを可能にする。例えば、図４（ｂ）を参照すると、Ｘが、要素が関心領域になるように装置とユーザとの配向を変更した後、装置は、（＋エレメントよりむしろ）Ｘエレメントが表示された画像を中心におき、ユーザが装置に対して通常の垂直視聴位置へ戻ることができるように、ディスプレイを更新する入力をユーザから受け取る。他の可能性の中でも、再配向は、カーソルまたはタッチスクリーン、ボタン選択またはジェスチャーを用いて選択することができる。

この例は、装置を傾ける例を記載しているが、ユーザの頭を移動するまたは顔のジェスチャーをするなどの他の動作も、本明細書に記載されたように用いることができる。例えば、ユーザが装置４００の左側の方へ体を曲げることより、図４（ｂ）のような表示エレメント４０２の同じ結果画像を達成することができる。同様に、ユーザが装置４００の下部の方へ体を曲げることにより、図４（ｃ）の表示エレメント４０２の同じ結果画像を達成することができる。さらに、いくつかの実施形態において、表示エレメント４０２に表現されたエレメントにズームインおよび（から）ズームアウトする能力は、図３（ｄ）〜図３（ｆ）に説明される技術を用いて達成することができる。例えば、ズームインまたはズームアウトするために、装置またはユーザを、互いにより接近しまたは互いからより離れるように移動することができる。

図５（ａ）〜図５（ｃ）は、相対的な動作入力の結果として表示された視野を変化させる別の例を図示している。この例で、３次元項目５０４の２次元表現は、コンピュータ装置５００の２次元表示エレメント５０２を用いて表示される。この例で、装置とユーザとが互いに実質的に対面するように配向される場合、ブロックは、ユーザがブロック５０４の正面を最初に見ることができるように表現される。図５（ｂ）に図示されるように、ユーザがブロックの側部を見たければ、ユーザは、装置またはユーザの頭を傾けるまたは回転すること、または本明細書に説明された別の動作を行うことができ、ディスプレイにブロックのレンダリングビューを回転して表示することができる。同様に、図５（ｃ）に図示されるように、ユーザは、装置を前方または後方に傾けるなどの動作を通じて、上面または底面を見ることができる。いくつかの実施形態において、例えば、ユーザが装置の後方から概論的には表示エレメントを見ることができないので、ユーザがブロックの側面および正面の一部をせいぜい見ることができるように、表示を相対位置に結び付けることができる。他の実施形態において、ユーザは、例えば、所定方向の装置を単純に傾けることができ、ユーザが装置を傾けることをやめる、または画像の回転を中止し別の動作を行うまでの方向で、スクロールするまたは回転する表示を継続する。様々な他のアプローチも、本明細書に記載された態様によって同様に用いることができる。

いくつかの実施形態によれば、上に記載されたように、ユーザはズームインおよびズームアウトすることができる。一例において、ユーザは、ユーザと装置との間の相対距離を変更することにより、３次元の項目５０４の内部へズームすることもできるし、または表示エレメント５０２内の付加的な３次元の項目を見せるためにズームアウトすることができる。上に記載されたものと同様のアプローチを、表示エレメント５０２内の項目を選択するために用いることができる。

３次元でナビゲートする能力は、画像および他の同様の情報を見るために有利であるだけでなく、３次元のインタフェースを用いて情報を見つけることにも有用である。例えば、図６（ａ）は、コンピュータ装置６００の表示エレメント６０２上のインタフェース６０４の例を図示しており、インタフェースが複数の異なるレベル（レベルの各々が情報のカテゴリまたは分類に対応することができる）を含むことを図示している。例えば、電子市場の項目を探してブラウズするユーザは、表示された様々なカテゴリまたはサブカテゴリを見ることになり得る。示された例では各カテゴリにつき１つのサブカテゴリだけがあるが、コンピュータ（しかし必ずしもパーソナルコンピュータではない）を探すユーザは、「コンピュータ」カテゴリレベルで項目を含むページに直接ナビゲートしたいと考え得る。図６（ａ）において、ディスプレイは現在「エレクトロニクス」カテゴリレベルにあり、従って、ユーザは、ズームイン、または別の方法でコンピュータレベルに移動したいかもしれない。この例で、ユーザは、所望のレベルにズームするために図６（ｂ）に示されるような第１の方向に装置を傾けるなどの動作を行うことができる。他の実施形態において、ユーザは、図３（ｄ）〜図３（ｆ）に記載されるように装置（また画像取得エレメント）をユーザに近いところへ移動することによりズームインしてもよい。このレベルの表示は、コンピュータに関連するいくつかの項目を含むこことでき、ユーザは、それらの項目にナビゲートし、本明細書に記載された様々な動作アプローチを用いて情報を見ることができる。しかしながら、ユーザがむしろ他の種類の消費者製品を見たいと考えるのであれば、ユーザは、図６（ｃ）に図示されるように、そのカテゴリ階層から抜けだして、再び表示されたカテゴリ階層より高いレベルノードを得ることができる。いくつかの実施形態において、ユーザが所望の方向にナビゲートするまたはブラウズすることを支援するために、少なくとも次に最も高いレベルおよび／または最も低いレベルが、いつでもディスプレイに示される。ある場合では、ユーザが、所望のカテゴリレベルに移動し、次にそのレベルでディスプレイを「ロックする」ためにボタンを押すなどの動作を行うために装置を傾けてもよい。そして、ユーザは、図３（ａ）〜図３（ｃ）に関して説明したように、アプローチを用いて、そのレベルで表示された項目間でナビゲートするための装置を傾けることができる。

図６（ａ）〜図６（ｃ）の実施形態はエレクトロニクス市場の用法を表現しているが、他の多くの潜在的な用途が想定される。例えば、インタフェースは、他の多くの潜在的な用途のうち、本のレイアウト（例えば、章または節）、ユーザの人間関係図、検索結果、ファイルシステム階層を表現することができる。したがって、本明細書に記載されたユーザインタフェース技術は、実質上いかなる種類のコンテンツをもナビゲートするおよびアクセスするために用いることができる。例えば、図６（ｄ）〜図６（ｅ）は、関心の文書を見つけるためにコンピュータファイル構造がナビゲートされる別の実施形態を表現している。従来のファイルシステムは、他のサブディレクトリおよび／またはファイルを含む複数のサブディレクトリに拡張することができるルートレベルディレクトリにより始まる階層構造を時に用いる。このような従来のアプローチは、ファイル構造を通してナビゲートするために拡張フォルダツリーを用いるグラフィカルインターフェースを用いるインタフェースを含み得る。本明細書に記載された実施形態は、これら従来の拡張フォルダツリーを（例えば、装置を傾けることにより、左、右、前方または後方へ）ナビゲートするために用いることができるが、本明細書に記載された様々な実施形態の３次元性は、他の方法で階層ファイルシステムをナビゲートするために用いることができる。例えば、図６（ｄ）に表現されるように、ユーザインタフェース６０２の一例は、パス識別子を含む第１の部分６０６、および特定のパスに位置するファイルとフォルダの図的表現を提供する第２の部分６０８を示している。例えば、図６（ｄ）において、第２の部分６０８内のこれらのファイルおよびフォルダは、「WINDOWS」、「PROGRAM FILES」、「SHARK IMAGES」および「BROOMBALL DOCUMENTS」として表現されている。いくつかの実施形態において、第２の部分では、その相対的なサイズによる各ファイルおよび／またはフォルダを表わしてもよい。

図６（ｄ）および６（ｅ）に示されるように、ユーザは「WINDOWS」ディレクトリ上にカーソル６１０を置き、「WINDOWS」ディレクトリを選択するために装置６００をユーザから離れたところで引き寄せており、「WINDOWS」ディレクトリは図６（ｄ）の第１の部分６０６に反映される。第２の部分６０８には、ここでは「WINDOWS」ディレクトリに現れるフォルダを反映する。ユーザは、「SYSTEM」ディレクトリ上にカーソルを位置づけ、図６（ｅ）および図６（ｆ）に示されるように「SYSTEM」ディレクトリを選択している。図６（ｆ）は、第１の部分６０６内の結果として得られるパスおよび第２の部分６０８内の関連ファイルを示している。ここで、ユーザは、図６（ｆ）に表現されるような「SOUND.DRV」ファイルを含むこのパスに関連するファイルのいずれをも選択することができる。

記載された実施形態では、多くの種類のコマンドおよび動作（例えば、移動する、コピーする、またはファイルを保存する）も有効にするまたはアクティブにするために用いることができる。例えば、ユーザは、ファイルシステム内の所望の位置へナビゲートし、ファイルが保存されることを示す動作（またはボタンを押すなど）を行なうことができる。その時点で、ユーザインタフェースが、例えば、図３（ａ）〜図３（ｇ）に関して記載された方法の１つまたはそれ以上を用いて、ユーザが所望のファイル名に対応するテキストを入力するための能力を提供するように構成されてもよい。いくつかの実施形態において、ユーザは、ファイル名を入力するためにキーボード、マウスまたはタッチインタフェースなどの従来の入力装置を用いてもよい。

この例はファイルシステムに特有のものであるが、同様のアプローチを、電子カタログ、ソーシャルプロファイル、検索結果、ウェブサイトなどの任意の種類の階層構造をナビゲートするために用いることができる。図６（ｇ）は、例えば、３次元の電子カタログをナビゲートするための技術を表現している。ここで、装置６００は、電子カタログ内のいくつかのカテゴリ６１２〜６１６の項目を行き来するために用いられる。この例によれば、いかなる時でもカテゴリ６１２〜６１６の１つが、１時点でユーザインタフェース６０２内に示される。ここでも、装置６００の動きを、３次元のカタログのカテゴリを行き来するために用いることができる。例えば、図６（ｇ）における矢印により定義された軸に沿って装置６００を移動すると、購入または他の消費（例えば、レンタル、リース、ダウンロードなど）のためのそれぞれのカテゴリ６１２、６１４および６１６の項目を順次ユーザインタフェース６０２に表示する。

さらに別の例によれば、記載された実施形態は、２００７年３月２３日に出願された「項目比較および項目の表示を提供する方法およびシステム」（Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｉｔｅｍ Ｃｏｍｐａｒｉｓｏｎ ａｎｄ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｉｔｅｍｓ）と題する係属中の米国特許出願第１１／６９０，４２２号明細書に記載されたように、回転式選択機構（例えば、カルーセルディスプレイ、カルーセル表示など）からの選択項目（例えば、製品、ファイル、ディレクトリ、ソーシャルプロファイルなど）を含むことができる。そのような実施形態において、ユーザは、選択機構にユーザにより選択可能な位置へ項目を回転するために、例えば、左または右に装置を傾けることができる。

さらに別の例によれば、記載された実施形態を、コンピュータベースの地図システムを通してナビゲートするために用いることができる。従来の地図システムは、地図における１つの場所から別の場所へパンし、詳細を見るため、または全体を見るためにズームインまたはズームアウトするために、ユーザから入力されるタッチスクリーン、キーボードまたはマウスを用いる。しかしながら、本明細書に記載されたアプローチを用いると、ユーザは、様々な方向に装置（またカメラ）を傾けることにより地図を横断してパンすることができる。さらに、ユーザは、装置をユーザに近づけるまたはユーザから遠ざけるように移動することにより、地図のさらなる詳細を明らかにするためにズームインまたはズームアウトすることができる。いくつかの実施形態において、ユーザから遠ざかるように装置を移動することによりズームインし、ユーザに向かって装置を移動することによりズームアウトする。他の実施形態において、ユーザに向かって装置を移動することによりズームインし、ユーザから遠ざかるように装置を移動することによりズームアウトする。いくつかの実施形態によれば、同様の画像情報がコンピュータベースの地図システムで利用可能であるとすると、ユーザは選択されたポイントのさらなる詳細な図へズームすることができる。ある事例では、建物の前面の画像を実際に見ることができ得、さらに、ユーザは、店などのような商業施設の窓を覗き込んで、店の内をナビゲートし、購入可能な在庫を見ることができ得る。同様に、ユーザは、ズームアウトして特定領域の鳥かん図を見るために、反対方向に装置を移動してもよい。

説明したように、装置の様々な動作は、入力を提供するために用いることができる。これらの動作は、画像取得エレメントにより取得された画像情報の解析により検出することができ、少なくともいくつかの実施形態において、配向検出エレメント２１０を利用することもできる。配向検出エレメントは、１つ以上の動体センサ、加速度計、レベルセンサ、全地球測位システム（ＧＰＳ）受信器、コンパス、方位検出機構、コンピュータ装置の位置、配向および動きの少なくとも１つに関連するいくつかの種類を判定することができる他の適切な種類の装置、構成部分またはエレメントを含んでもよい。例えば、図７（ａ）は、３つの自由度に沿って（例えば、Ｘ軸、Ｙ軸およびＺ軸に沿って）動作を検出することができる装置７００を図示している。この装置において、画像取得エレメントまたは配向検出エレメント２１０などのようなエレメントは、主として前方または後方、上または下、および／または横方向にある（およびそれらの組み合わせで）装置の動きを検出するために用いることができる。説明したように、装置を上下に移動することは、ユーザの頭をうなずかせるのと同じ機能を行なうことができるが、他の実施形態において、これらの行動は、異なる動作を行なう異なる入力として動作することができる。図７（ｂ）は、回転運動を検出することができ、入力のために別の自由度をさらに提供する装置７０２を図示している。例えば、回転運動は、Ｚ軸のまわりに左または右に装置７０２を傾けることを含むことができる。そのような動作は、装置を保持しながらユーザの手首を右または左に単純にひょいと動かすことにより、ユーザが入力を供給することを可能にしている。同様の入力は、電子ブックを読むなどの応用のために有用であり、ユーザは、次ページに移動するために装置を右に単純に傾けるまたはひょいと動かすことができ、または直前のページに戻るために装置を左に傾けることができる。しかしながら、同じ動作のために彼または彼女の頭を傾けるユーザがいくつかの実施形態における同様の入力を生成することができることは（そのアルゴリズムは、次ページに進むために彼または彼女の頭を右に傾けるユーザが、ユーザの頭を左に傾けるように実際には画像に表示される「ミラーリング」の影響を考慮に入れなければならないが）、理解されるべきである。

同様に、図７（ｃ）は、前方または後方の回転を検出することができ、入力のための別の自由度をさらに提供する装置７０４の例を図示している。例えば、前方または後方への回転運動は、Ｘ軸にまわりにユーザに向かうまたは（から）遠ざかるように装置を傾けることを含むことができる。以上に説明したように、単なるカメラまたは画像取得エレメントを用いて前方および後方に傾けることと上下に移動することの間を区別するあることが、それぞれの画像における全般的な効果が取り込み画像においてユーザの顔が上下に移動することであるために、ある装置にとって困難であるので、同様の動作を検出するためのセンサは、いくつかの実施形態で有利になりえる。例えば、配向検出エレメントにより検出されるような装置の動きを組み合わせることにより、装置は、より容易にそのような動作を区別することができる。これは、別の自由度を可能にし、したがって装置のためにさらなる種類の入力を可能にする。同様の動きは、例えば、ページを上下に移動すること（または閲覧ツリーまたは閲覧階層のレベルで上下に移動すること）に役立つことができる。そのような動きは、項目を購入したいユーザが購入する項目の数を増加するために「上方」または「後方」に装置を傾けることができるように項目の量を増減するために役に立ち、項目の数または量を減少するために「下方」または「前方」に装置を傾けることができる。図７（ｄ）は、Ｙ軸のまわりの左または右回転を検出することができ、入力のために別の自由度をさらに提供する装置７０６の別の例をさらに図示している。上で説明したように、前方または後方に傾けることと上下に移動することとを画像取得エレメントだけを用いて区別することが、ある装置にとって困難であるので、同様の動作を検出するためのセンサは、いくつかの実施形態で有利になりえる。したがって、図７（ａ）〜図７（ｄ）に関して記載された可能性のある動作の（および組み合わせの）各々を用いて、装置は、少なくとも６つの自由度における配向の変化を検出するように構成される。

説明したように、図７（ａ）〜図７（ｄ）の動作は、インタフェースまたは装置のいくつかの態様を少なくとも制御するために単独でまたは他の動作、表現または入力と組み合わせて用いることができる。さらに、これらまたは他の動作の任意数および組み合わせは、入力のために所望のとおり用いることができる。複雑な動作も利用することができることは、理解されるべきである。例えば、電子メールにアクセスしたいと考えるユーザは、右へ装置を移動して、次に、装置を後方に傾けるなどの複雑な動作を行ない得る。または、装置上で閲覧されているエレクトロニクス市場のためのバーチャルショッピングカートにアクセスしたいと考えるユーザは、右へ装置を傾け、そして左に、そして右へ戻すように傾け得る。見て分かるように、可能性のある入力の数は無限で、主としてユーザが忘れないで行なうことが期待される実用的な動作の数により限定されている。

いくつかの装置は、加速度計または動作または配向を検出することができる他の同様のエレメントを含まなくてもよい。他の装置において、適切に任意の動作を判断するために可能な限り情報を解析することは望ましい場合がある。したがって、様々な実施形態によるシステムおよび方法は、相対的な動作、配向および／または位置を判定するために画像情報を解析することができるだけでなく、行なわれている動作をさらに厳正に判定するために、画像の様々な特徴の大きさ、形状および／または相対的な離隔距離などのような情報を解析することもまたできる。

例えば、図８（ａ）は、装置の画像取得エレメントにより取り込むことができる（例えば、取得された、画像取得されたなどの）ような、装置のユーザの顔８００の画像を図示する。したがって、顔８００は、装置の画像取得エレメントにより知覚されるものとして、示されている。見て分かるように、装置に対面する場合、知覚されるユーザの目の幅および高さ、知覚されるユーザの目の相対的な離隔距離、および知覚されるユーザの顔のエッジへのユーザの目の相対位置のような、配向され判定することができるユーザの顔の様々な態様がある。明らかなように、いくつかの他の同様の判定または態様のいずれをも、用いることができる。ユーザが装置を傾けるまたは平行移動する、または任意の方向に頭を動かす場合、取得される一連の画像のこれらの測定された態様の少なくとも１つにおける対応する変化がある。例えば、図８（ｂ）のユーザの誇張された表示（それは装置を移動する、またはユーザが頭を傾けることからの結果として生じることができる）を考慮する。見て分かるように、ユーザの顔の端に対するユーザの目の水平位置（例えば、ｆに対してｆ’）が変化している。さらに、ユーザの目の形状または水平長（例えば、ａに対してａ’およびｂに対してｂ’）、ならびに離隔距離（例えば、ｃに対してｃ’）変化している。そのような情報を用いると、装置は、一種の水平運動が生じたと判定することができる。その代りに、動作が図８（ｃ）で図示されたような主として上下動である場合、ユーザの顔の端に対するユーザの目の垂直位置（例えば、ｇに対してｇ’）が変化している。さらに、ユーザの目の形状または垂直長の測定値（例えばｅに対してｅ’）が変更されている。

したがって、装置により取り込まれた画像情報の解析により、（可能性としてユーザの顔を含む）ユーザに対する装置の相対的な動作または配向を、装置内に加速度計も他の同様の配向を検知するエレメントも存在しないとしても、検出され解釈することができる。しかし、そのような配向検出エレメントを含めることもでき、その上方が組み合わされ、装置および／またはユーザの動作をより厳正に判定。

図９は、１つの実施形態で用いることができる相対的な動作を通じた入力を判定する処理９００の例を図示している。この処理において、本明細書に説明するものなどのようなアプローチを用いて、装置の顔認識モード（または同様のモード）を有効にする（９０２）。いくつかの事例においては、これは、スタートアップで自動的に始まり得る。また、他の事例においては、これは、最初にユーザによる起動要求を受け取ることを要求し得る。装置の画像取得エレメントは、エレメントの可視領域に対応する画像情報を取得し始める（９０４）。また、画像は、ユーザの少なくとも１つの所望の顔の特徴を見つけるために解析される（９０６）。ある場合には、この処理は、ユーザの目などのような特徴を見つけるために、１つ以上の画像または画像のストリームを解析することを必要とし得る。一旦ユーザの適切な顔の特徴が、容認できる程度の確実性の範囲内で見つけられると、それらの顔の特徴の様々な態様が判定される（９０８）。例えば、特徴がユーザの目を含んでいるならば、配向の変化を検出することができるように、アルゴリズムは、各々の目の寸法、離隔距離、顔に対する相対位置、鼻からの距離または他の同様の態様を判定することができる。他の実施形態において、これは、表情の変化を検出することができるように、ユーザの口の寸法などのような情報を含むことができる。判定された態様に基づいて、ユーザに対する装置の初期配向が判定される（９１０）。いくつかの実施形態において、装置は、初期較正中に装置に対面することをユーザに求める場合がある。ユーザ情報が格納されるような他の装置において、装置は、単一画像を取り込み、画像から判定された態様をユーザのために格納された態様情報と比較することにより、相対的な配向を判定するために情報を解析することができる。

一旦配向が判定されれば、画像情報は、顔の特徴を判定する態様における変化をモニタリングするために、継続的に（または少なくとも定期的に）解析することができる（９１２）。態様のいずれかにおける変化が検出されれば、判定された態様が解析され（９１４）、ユーザに対する装置の現在の配向が判定される（９１６）。例えば、変化したユーザの目の位置が検出されたならば、ユーザが装置を左または右に傾けたか否か、または頭を回転したか否かなどのような、相対的な配向を判定するために寸法と離隔距離などの様々な態様を解析するアルゴリズムを用いることができる。そして、新たな配向に対応する機能を行なうことができる（９１８）。例えば、ユーザが装置を右に傾けていれば、装置はディスプレイを右にスクロールしてもよい。ユーザが装置を上に傾けていれば、ディスプレイのカーソルをディスプレイ上で移動してもよい。他の適切な機能も、本明細書に説明されるように検出された動作または配向の変化に応じて行なうことができる。さらに加速度計などの配向検出エレメントからの方位情報を、配向または他の態様に関して判定を行うために用いることができる。

いくつかの実施形態において、任意の動作の検出量も入力として利用することができる。例えば、装置をわずかに傾けているユーザは、カーソルを、ゆっくりディスプレイを横断しながら移動してもよいし、一方で、装置を急角度で傾けているユーザは、カーソルを、迅速にディスプレイを横断しながら移動してもよい。しかしながら、特に片手で装置を持つ場合、ユーザが装置を完全静止して持つことができないかもしれないので、少なくとも機能を実行するために要求される動きの閾値（例えば、入力閾値）が存在してもよい。例えば、ユーザは、カーソルを移動する、またはディスプレイをスクロールまたは回転するために、装置を少なくとも５度傾けなければならない場合がある。その配向は、たとえば、装置のディスプレイの面が装置とユーザの目との間の閲覧方向と実質的に直交である場合が「基準」の配向となる等、相対的であり得る。装置の回転が検出される場合でさえ、（ユーザが腰掛けるまた横たわるような）対応するユーザの動きがあれば、「相対」配向が変化していないので、いかなる入力も認識されない可能性がある。いくつかの実施形態において、この「基準」の配向に対する動きのみが認識される。

様々なアプローチを、相対的な配向を判定するのに有用な様々な態様を判定するために、ユーザの顔の１つ以上の所望の特徴を見つけるために利用することができる。例えば、ユーザの頭が入力として用いられる場合、誤った解釈を与え得る人間の頭と類似する形態を有する多くの物体がある。さらに、「いいえ（否定）」とうなずくユーザは、動きを認識させるるだけ十分に頭の位置を実際に移動しない場合がある。したがって、様々なアプローチは、位置および動きの判定を支援するために、ユーザの目などのような特徴を利用する。例えば、ユーザの頭または顔の近似の位置およびサイズを判定するために、画像を解析することができる。図１０（ａ）は、ユーザの頭または顔１０００の近似の位置および領域が、判定され、当該判定をするために複数の画像解析アルゴリズムの１つを用いて位置の表示として仮想の「ボックス」１００２が顔のまわりに配置された例を図示している。１つのアルゴリズムを用いて、仮想の「ボックス」がユーザの顔のまわりに配置され、相対的なユーザ位置をモニタリングするために、このボックスの位置および／またはサイズは、継続的に更新されモニタリングされる。同様のアルゴリズムを、ユーザの目（または、いくつかのケースでは、縦並びの目）の個々の近似の位置および領域１００４を判定するために用いることもできる。ユーザの目の位置も判定することにより、ユーザの頭であると判定された画像が実際にユーザの頭を含む可能性が高くなり、ユーザが装置に対面していることを判定できるので、有利な条件を得ることができる。さらに、うなずくまたは頭を前後に揺さぶるなどの動作を実行する場合に、ユーザの頭の全体的な動きよりも、ユーザの目の相対的な動きの方がより容易に検出できる。

様々な他のアルゴリズムも、ユーザの顔の上の特徴の位置を判定するために用いることができる。例えば、図１０（ｂ）は、ユーザの顔の上の様々な特徴が識別され、画像内の点位置１００６を割り当てられる例を図示している。したがって、システムは、ユーザの特徴の様々な態様を検出することができ、動きのような変化、または形状または表情変化を判定することができる。ユーザの口の端点および少なくとも１つの中央点のような、特徴に沿って様々なポイントを判定することができるので、当該アプローチは、ある状況における図１０（ａ）の一般的アプローチに対して有利な点を与える。したがって、仮にユーザの口または顔の総合位置が移動しないが、微笑または渋面などのような表情を取り込むことはできる。

一旦ユーザの顔の特徴の位置が特定されると、ユーザと装置との間の相対的な動作を入力として検出し利用することができる。例えば、図１０（ｃ）は、画像取得エレメントの可視領域に対してユーザの頭１０００が上下に移動している例を図示している。説明したように、これは、ユーザが首を振る、またはユーザが装置を上下に移動させることの結果である。図１０（ｄ）は、ユーザ、装置、または両方の動きを通じて、ユーザが装置に対して右または左に移動している類例を示している。見て分かるように、各々の動きは、垂直または水平運動としてそれぞれ追跡することができ、その各々は入力として別ように扱われ、指定された機能を実行することができる。一例において、モニタリングされた動きは、下、上、および横断して動作を追跡することにより、インタフェースディスプレイ上のカーソルの位置を制御するために用いられる。理解されるべきであるが、そのような処理は、さらに対角線にまたは他の同様の動きを検出することができる。図１０（ｅ）は、ユーザが、装置および／またはユーザの頭を傾け、目の位置の相対変化が回転として検出される例をさらに図示している。いくつかのシステムにおいて、目の相対位置に対応する「線」をモニタリングすることができ、この線の角度の変化を角度閾値と比較して、いつ回転が入力として解釈されるべきかを判定することができる。

図１０（ｆ）は、ユーザの顔の上の様々な特徴の位置を判定するために、図１０（ｂ）に関して記載されたようなアプローチを用いることの別の有利な点を図示している。この誇張された例において、第２のユーザの頭１００８の特徴は、異なる相対位置および離隔距離を有することを見ることができる。したがって、装置は、ユーザの特徴の位置を判定することができるだけでなく、異なるユーザを区別することもできる。後に本明細書で論じられるように、これは装置が異なるユーザからの入力のために異なって実行することを可能にできる。さらに、装置は、例えば様々な特徴の離隔距離の量および比率に基づいて、装置にどれだけユーザが近づいているのかを検出するように構成することができ、装置に向かうおよび装置から離れる動きを検出することができる。これを、入力として受け入れることもでき、３次元（３Ｄ）ナビゲーションなどのような動作を行うために用いることもできる。

さらに、多くの実施形態が顔の特徴および／または頭の動きに関して記載されているが、装置が入力を提供するために有用な他の種類の動きを取り込み解析することができることを、理解されるべきである。例えば、ユーザは、手の位置を変化させる、または空中で「描く」ことにより、ディスプレイ上のカーソルを操作することができる。ユーザは、数「３２４」を入力するために、３本の指、次に２本の指、次に４本の指（恐らく、ある終了コマンドが続く）を挙げることなど、数を表わす入力を提供するためにいくつかの指を挙げることもできる。１つの実施形態において、ユーザは、入力を提供するために任意の識別可能な配向で任意の数の指を挙げることができ、いくつかの実施形態において、入力を提供するために表現したもの（例えば、文字、語または語句）を用いることができる。例えば、ユーザが品目を購入するために用紙に記入していて、送付先に記入する必要があれば、ユーザは、特定の指を掲げる、「自宅」を示すための動作をする、あるいは他の適切な動作をする、などの動作を実行することができる。それによって、装置は、ユーザのために格納された「自宅」の住所情報を用いて用紙に書き入れることを認識する。

入力のために用いられた複雑な動作が、顔の動きおよび装置動きの組み合わせになりえることは、さらに理解されるべきである。例えば、装置をシャットダウンしたいと考えるユーザは、右へ装置を傾け、次に、上下にうなずくなどの行動をしてもよい。入力として作用する行動のいくつかの組み合わせのいずれも、本明細書に含まれる教示および提案を考察する当業者にとって明らかであるに違いない。

図１１は、ユーザに対して同様の装置上に表示することができるインタフェーススクリーン１１００の例を図示している。この例で、エレクトロニクス市場を介して売られている品目に対する表示ページは、ユーザ装置上のウェブブラウザに表示されたウェブページを介してユーザに対して提供される。これは単なる例であり、いくつかのアプリケーションページ、ウェブページ、書類、ゲームスクリーンまたは他の同様の表示またはインタフェースのいずれかを、本明細書に記載した入力方法により用いることができることは、理解されるべきである。この例で、表示は、顔認識制御が動作中であること示すアイコン１１０２を含む。グラフィカルなアイコンがこの例で用いられるが、いくつかのアプローチのいずれも、顔制御モードおよび／または動作制御モードが動作中であることをユーザに対して示すために、様々な実施形態において用いることができる。ここで、顔認識制御モードが動作中である場合、アイコン１１０２はユーザに対して表示され、顔認識制御モードが動作中でない場合は隠されまたは（線を引くなどして）「削除」される。いくつかの実施形態において、アイコンは異なる状態を有する。例えば、モードが動作中である場合はアイコンが灰色で表示され、ユーザの顔が検出される場合は「緑色」に転じ、または微笑む、または他のいくつかの動作を行う。装置上のアカウントまたは情報をもつ複数ユーザがいる場合、顔認識アイコンは、現在のユーザに対応する色に変わってもよいし、または現在のユーザに対応する画像を表示することができ、装置を見ているユーザを装置が区別することができることを示す。このように、装置上のディスプレイを見るユーザは、顔認識モードが動作中であることだけでなく、入力動作が適切に認識されるように、装置が現在ユーザの顔および／または身元を検出していることを知ることができる。説明したように、入力検出システムは、ユーザが、入力スイッチの選択を行う、音声コマンドを用いる、ユーザが選択可能なディスプレイまたはインタフェースのエレメントを選択する、または装置の画像取得エレメントにより検出することができる視覚キューを提供することなどにより、任意の適切な入力装置を用いて使用可能および／または動作中にすることができる。

この表示において、表示されている品目を購入するためのオプションをユーザが選択することができることがわかる。いくつかの装置において、ユーザは、表示上で品目に触れる、またはキーパッドまたは他の同様のエントリ機構を介して選択を入力することなどによる、従来のアプローチを用いて、品目を購入する要求を示すオプションを有し得る。顔認識モードなどのようなモードが動作中で、ユーザの顔が検出される場合、ユーザは、ユーザの頭を上下にうなずくなどの動作を行うことにより、品目を購入する要求を示すオプションを有することができる。アプリケーション、ユーザの好みまたは他の同様の情報によって、ユーザが、支払いまたは出荷情報などを入力するような他の動作を行う必要がないように、市場は単純にうなずきを介して購入を受け入れてもよい。いくつかの実施形態において、確認パネル１１０４または他の同様の表示エレメントには、ユーザは品目を購入するつもりだったか否かを確認するためにユーザに求めることを表示することもできる。任意のそのような顔のまたは動作の入力を確認するために、同様の表示エレメントを用いることができることは、理解されるべきである。確認エレメントは、顔のまたは装置の動作を介してユーザが確認することができることを示す顔のアイコンのような別のアイコン１１０６も含むことができる。いくつかの実施形態において、このアイコンは、第１に、購入を確認するためにユーザが上下にうなずくべきことを表示するために微笑みながら上下にうなずくことをアニメーション化してもよいし、ユーザが購入を取り消すための動作「いいえ（否定）」として頭をふるべきことを表示するためにしかめ面をしながら頭を左右にふることをアニメーション化してもよい。他の適切な行動も表示することができるし、または確認などをするために用いることもできる。ユーザが確認するために「はい」とうなずけば、インタフェースは、購入を受け入れることができ、取引の確認を、そのような機能の実行で当該技術分野における知られているいくつかのアプローチのいずれかを用いて行うことができる。説明したように、そのような入力アプローチを、そのような目的に対するユーザー入力を受け入れる任意の適切なアプリケーションや処理などのために用いることができる。

いくつかの実施形態において、確認処理は、顔認識、網膜の走査またはユーザの身元を確認することができる他の同様の処理などのバイオメトリック情報を解析するために、取得された画像情報を利用する。他の実施形態において、ユーザは、購入などの行動を確認するために、ユーザにより実行さるべき一連の動作などの、動作に基づいた「パスワード」を生成することができる。例えば、ユーザは、３回上下にうなずき、それに続いて、微笑しおよび２つの眉を上げること、またはそのユーザに関連づけられる動作および／または行動の他の適切な組み合わせにより、パスワードをセットすることができる。

ユーザは、確認、または同様のパネルまたはエレメントが表示されるか否かに関係なく他の種類のフィードバックも行なうことができる。例えば、検索照会を発行するユーザは、いくつかの検索結果を受け取ることができる。ユーザには、現在表示された検索結果に所望の結果が含まれていないことを示すための「いいえ」動作として、ユーザの頭を左右にふることなど、フィードバック（例えば、入力）を行なうことができる。同様に、ユーザがエレクトロニクス市場を用いて買い物をしている例において、ユーザは、表示された項目がユーザに対して関心がある場合に微笑を作り、同様の項目を表示するなどの行動を生じることができ、その一方、渋面が好ましくない結果を示すことができることなどにより入力を提供することができ。そのような入力は、ユーザのために格納および／または追跡され、ユーザが関心を有する可能性のある品目の示唆または推奨などの目的のために用いられることができる。

少なくともこれらの機構のいくつかを利用して、図１２（ａ）は、ユーザからの顔認識に基づいた入力を受け入れるための１つの実施形態による処理１２００の例を図示する。この処理において、顔認識モードは、本明細書に説明されたものなどのアプローチを用いて、動作中となる（１２０２）。装置の画像取得エレメントは、エレメントの可視領域の画像を取り込み始め（１２０４）、ユーザの所望の顔の特徴を見つけるために画像が解析される（１２０６）。ある場合には、この処理は、ユーザの目などの特徴を見つけるために画像のストリームを解析すること、および判定位置が一定の期間中に比較的一貫していること要求し得る。この初期位置づけ処理は、一定の期間中に比較的に静かに動かないでいることをユーザに要求し得る。一旦ユーザの顔の特徴が一組の連続画像上の画像または２秒間の画像の間で１０％以上位置が変化することがないなどの容認できる程度の確実性の範囲内にあれば、顔の特徴が判定されており、ユーザが所望の顔の動作を用いて装置を制御することができることを、ユーザに伝えるための表示を生成することができる（１２０８）。説明したように、特徴が動作中で入力の準備ができている旨をアイコンまたは他の可視表示で表示することを含むことができるが、他の実施形態において、特徴が動作中で準備ができていることを確認する「ビープ音」または他の信号音などの可聴信号の形式をとることができる。明らかなように、当該の可視または可聴アプローチは、もはやユーザの顔を検出することができない、または特徴が何らかの理由で利用不可能な場合に、ユーザに通知するために用いることができる。一旦、特徴が動作中になれば、取り込み画像内のユーザの顔の特徴の位置を、継続的に（または少なくとも定期的に）モニタリングすることができる（１２１０）。装置は、動きが入力として認識されるのに必要な動作の量を指定する少なくとも１つの種類の閾値のセットを有することができる。例えば、モニタを見るユーザは、恐らく、見られているスクリーンの領域に依存して頭を移動するであろう。例えば、幅１．５フィートであるモニタから２．５フィート離れたところに座るユーザは、（単にディスプレイの端を見ているのではなく）入力として認識する前にいずれかの方向に２０度超で頭をふらなければならない可能性がある。そのような大きな動作に対する必要性を避けるために、装置は、その代りに（または追加的に）動きの速度を判定することができる。例えば、ユーザは、読むまたは閲覧する場合、１秒でスクリーンのエッジの方へ首をふり得るが、所望の入力を示すために１秒で首を右左双方に揺さぶることができ得る。したがって、アルゴリズムは、動作の範囲のみではなく、その動作が生じる速度を考慮に入れることができる。後に本明細書で論じられるように、特定の装置、ユーザの好みなどのために、そのような設定をユーザが調整することができる。

画像が取り込まれると、動作の閾値のいずれかを満たすまたは超えるか否かを判定するために、各画像（または他の画像ごと、など）を解析することができる（１２１２）。例えば、顔の位置データは、各々の画像ごとに判定することができ、動きが所与の閾値を満たすまたは超えるかどうかを判定するために、いくつかの前画像と比較することができる。当該データの所定量は、ローカルメモリに保持するか、または容易なアクセスおよび迅速な解析のためにキャッシュに入れることができる。アルゴリズムを、上下方向の第１の動き閾値、左右方向の第２の閾値および回転方向の第３の閾値などを解析することに用いることができる。位置データのどれも閾値を満たさず超えることもないならば、モニタリングする処理は単に継続される。動きの少なくとも１つがそれぞれの閾値を満たすまたは超える場合、対応する動作がその入力のために決定され（１２１４）、その行動が実行される（１２１６）。その動作がさらに、確認行動などの別のユーザからの入力を要求できることは、理解されるべきである。動作が処理を終了するものであるか、装置の電源を切るか、またはそれ以外にモニタリングを終了するものであるならば（１２１８）、処理は終了する（１２２０）。そうでなければ、ユーザ装置のためのモニタリングが継続される。

いくつかの実施形態において、コンピュータ装置は、コンピュータ装置が移動したか否かを判定するために配向検出エレメント２１０を用いる。コンピュータ装置が移動したことを判定した場合、コンピュータ装置は、判定を用いて、画像取得エレメント２０８を用いて、ユーザの別の画像の取り込みを引き起こすことができる。そして、この後続の画像は、装置に対するユーザの相対的位置の変化を判定するために用いることができる。いくつかの実施形態において、画像化情報は、配向検出エレメントにより収集された情報と組み合わされる。

いくつかの実施形態において、アルゴリズムおよび／または処理は、受け取った入力に対する、少なくとも１つの学習態様を利用することができる。例えば、ユーザが入力に対して動作または表情を割り当てる場合、装置は、装置が入力を適切に検出するおよび／または解釈することができることを保証するために、ユーザにその動作を行うおよび／または繰り返すように求めることができる。別の例で、装置が適切に解釈することができない動作が検出された場合、動作を解釈しようと試みて、ユーザは、動作を再び（より明確に）実行するように求められ得る。装置がそれでもなお動作を解釈することができない場合、装置は、ユーザが提供しようとしている入力を選択してくれるようにユーザに求め、かつユーザがどのようにしてその動作を実行するかを装置が記録または「学習」できるように対応する動作を実行するようにユーザに求めることができる。別の例で、装置は、ユーザがどのようにして動作を実行するのかを経時的に「学習」することができる。例えば、ユーザがコンピュータにより適切に検出される動作をするが、実行された動作が検出閾値の端に近い場合、装置は、装置がより良くその特定のユーザの入力を解釈できるように、その動作に対する閾値を調整するか、その動作に対応する情報を更新することができる。

図１２（ｂ）は、顔の特徴認識に加えて、少なくとも１つの動作検出エレメントまたは配向検出エレメントをさらに利用する処理１２５０の例を図示している。この例は、モードを有効にするなどの様々な上述のステップを含まないが、そのようなステップが、この処理および他の処理にさらに適用することができることは理解されるべきである。さらに、ステップの順序および選択は、異なる実施形態で変更することができる。この処理において、ユーザの特徴の画像が取り込まれ解析される（１２５２）。装置の配向、動きおよび加速のうちの少なくとも１つについての情報が、本明細書で説明された少なくとも１つの適切なエレメントを用いて検出される（１２５４）。画像閾値のうちいずれかが満たされる、あるいは超えるか否かを判定するために、各画像をモニタリング（例えば、解析して前画像位置情報と比較）する（１２５６）。動作または配向の閾値のうちいずれかが満たされるか超えるか否かを判定するために、装置の位置、加速および／または動きについてもモニタリングする（１２５８）。ある場合では、複雑な動作または複数の種類のデータが入力の判断のために必要とされる場合、情報を合わせて解析してもよい。閾値のどれもが満たされず超えていない場合（１２６０）、モニタリングを継続する。少なくとも１つの閾値が満たされるか超える場合、対応するデータが必要か否かを判定することができる（１２６２）。例えば、顔の特徴が閾値で上下に移動したことが検出された、装置を上下に移動し、装置を回転することにより閾値が満たされたのか、または装置が比較的静止している間に生じたのかを判定するために、配向情報を解析することも必要となり得る。そうであるならば、対応するデータを、解析して、閾値を満たしたまたは超えたデータと組み合わせる（１２６４）。そのデータを用いて、適切な行動または機能をそれぞれの入力に関して決定し（１２６６）、その動作または機能を行なうまたは実行する（１２６８）。上で説明したように、モニタリング処理を終了する入力または動作などを受け取るまで、処理を継続することができる。

図１２（ｂ）に関して記載されたような処理は、小さな携帯型装置などの装置にとって特に有利になりうるが、携帯型でないデスクトップコンピュータなどの装置も、場合によっては利益を得ることができる。いくつかの実施形態において、以上に記載されたものとわずかに異なるアプローチが、より有利となり得る。例えば、ユーザが装置を手で持っている場合、ハンドヘルド装置の性質による不注意な動きのために、ある補正が必要となり得る。例えば、ユーザは、入力に関して何らの意図もなく装置を規則的に少し移動させ得る。当該技術分野におけて知られているように、そのような動きは動作調整アルゴリズムにより対処することができるが、それでもなお考慮に入れ得る、あるレベルの不確実性を招く。したがって、入力のために小さな動きを厳正に認識し追跡することは困難であり得る。さらに、携帯型装置には、一般にデスクトップコンピュータまたは他の同様の装置のような解像度や処理能力がない。したがって、様々な実施形態によるアプローチは、ユーザのために制御オプションをさらに供給するこの付加的な能力および性能を利用することができる。

図１３に示されるように、ユーザは、一般に位置が固定されているデスクトップコンピュータ１３０２およびカメラ１３０４を利用し得る。したがって、主に固定されているシステム１３００に加速度計または他の同様の配向検出エレメントを含むことはあまり有用ではない可能性がある。このような固定システムを操作する場合ユーザが典型的に座っているので、一般に、携帯型装置の場合よりも、意図しないまたは意味のない位置の変化が少ない。さらに、このような装置のカメラ１３０４は、より高い解像度であり得、携帯型装置内の画像取得エレメントより高い取り込み周波数で動作することができる。したがって、そのようなシステムでは、ユーザの微妙な動きを検出することが可能であり、それによって、ユーザの動作または表情を介してさらなる種類の入力を可能にすることができる。例えば、図１３に見られるように、カメラは、ユーザ１３０６の目および頭の位置を検出することができるだけでなく、多数のユーザの口に沿った位置を確認こともできる。ユーザの様々な他の特徴も識別することができる。特徴に対応する複数点を判定することができるので、単純な位置の単一の推定の代わりに、ユーザは、位置的な手段だけでなく表情または他の同様の動きを通じても入力を提供することができる。

例えば、図１４（ａ）の誇張された例証に見られるように、ユーザ１４００が微笑む時、ユーザの口に沿った検出ポイント１４０２は、（取り込み画像において）ユーザの口の中心部よりも顕著に高い端点を含むであろう。図１４（ｂ）に示されるように、同じユーザ１４００が渋面をする時、中心部はユーザの口の端点より高くなる。人の口が一般にこのような単純運動では移動しないが、特徴の位置が変化し得ることは理解され、これらの位置は、捕捉することができ、入力として用いることができる。例えば、ユーザは、眉を上げる、または２度まばたきすることができ得、それらを入力として取り込むことができる。ユーザは、口である種の形状を形作ることもでき、それらは入力として取り込むことができる。明らかなように、意図された入力として取り込む、判定するおよび／または認識することができる、いかなる動作または表情も、当該アプローチで用いることができる。

さらに、１つの実施形態によるアプローチは、ユーザの目追跡することもできる。例えば、図１５（ａ）は、ユーザの目１５００の位置を判定するために画像が取り込まれ解析される例を図示している。アルゴリズムがユーザの瞳を区別することができるシステムにおいて、システムは、目の位置に対する瞳の相対位置を利用することもできる。例えば、図１５（ｂ）は、ユーザが「下方」を見ている場合を図示している。見て分かるように、瞳の位置は、目の中央点の下に移動している。同様に、図１５（ｃ）は、各々のユーザの瞳の中央点がそれぞれの目の中央点の（画像内における）左側の方にあるように、ユーザが「左」（または、ユーザに対して「右」）を見ている場合を図示している。１つの実施形態によるシステムは、検出されたユーザの目に対するユーザの瞳の位置、したがってユーザが見ていると判定されたディスプレイ上の領域にしたがって、コンピュータ装置のディスプレイを調整することにより、当該情報を利用することができる。システムは、ユーザが長時間にわたって目を閉ざすなどの動きを検出することもでき、装置は電子ブックリーダーを「スリープ」または電源制限モードにする、画像取り込みを作動しないようにする、または装置の電源を切るなどの動作を行うことができる。

１つの実施形態において、ユーザは、各々の角などのスクリーン上のいくつかの標的の各々を見ることにより装置を較正し、それによって、装置は、ディスプレイ上の異なる位置に対して、ユーザの目の瞳の相対位置を検出することができる。したがって、ユーザがディスプレイのある部分の方へ目を向けときに、装置は、それにしたがって動作することができる。例えば、ユーザが電子ブックを読んでいる場合、ユーザが現在のページの最下段に達した時、装置は、自動的にページをスクロールアップすることができる、または次ページを開くことができる。別の例で、ユーザは、ディスプレイ上のいくつかの要素から、単純にその要素を見ることにより、選択することができる。例えば、ユーザは、検索照会を発行し、検索結果のリストを受け取り得る。ユーザは、その結果を見ることができ、結果の１つがそのユーザにとって興味のあるものである場合、ユーザは、その項目を見ながら入力を発行することができる。例えば、ユーザは、リスト上の４番目の項目を見て、２度まばたきする、または「開く」という言葉を話すなどの動作を行うことができ、装置は、ユーザが見ている要素に対応する文書を開くことを決定することができる。特定の関心分野を見ているユーザは、その分野および周りの分野に（何回でも）、特定の関心分野が特定されるまで、ディスプレイをズームインさせることもできる。ある場合には、ユーザは、ディスプレイ上の１つの位置を見て、「ズーム」と言うこと、または前方にうなずくことなどの検知できる動作を実行してもよい。別の例で、表示できる複数のレベルがある場合、または複数の「ズーム」レベルがある場合、ユーザが十分な時間見ていれさえすれば、表示は、ユーザがどこを見ているかによって、自動的にズームインまたはズームアウトすることができる。例えば、ユーザが地図を見ており、特定の州を見ている場合、数秒後、表示は、特にその州（ことによると周囲の州）を示すためにズームインし得る。ズームインしている間にユーザが別の州に対して目を向ける場合、表示は、その州に移るか、またはズームアウトすることができ、それによってユーザが別の州を選択することができる。表示には、ズームコマンドに対応するアイコンまたは要素もあってもよく、ズームインしたいユーザは、「ズームイン」要素を見ることができ、またユーザがズームしたい特定領域を見てもよい。ディスプレイは、これらの入力を得て、所望の位置でズームすることができる。

図１６は、図１５（ａ）〜図１５（ｃ）に関して上で記載されたアプローチとともに用いることができるディスプレイ１６００の例を図示する。説明したように、アプローチは、ユーザが見ているスクリーン上の位置を判定することができる。この表示において、ユーザが見ている検出位置に対応する動く目などのアイコン１６０２を表示することができる。ユーザは典型的に何がその位置にあるのかを見たいので、アイコンは、いくつかのアプローチのいずれかにも用いて表示することができる。第１のアプローチにおいて、アイコンは、アイコンの位置を知りながらアイコンの背後に何があるのかをユーザが見ることを可能にする非常にかすかなアイコンである。別の実施形態において、アイコンは、ユーザがディスプレイの一番上を見上げるなどの迅速な瞳の動きを実行するときにのみ目に見え、ユーザがテキストを読んでいるときなどの遅い動きの間は表示されない。別の例で、ユーザが選択可能な要素を見ているときのみ、アイコンは表示される。例えば、ユーザがテキスト１６０４の領域を見ていることを判定した場合アイコンは表示されないかもしれないが、ユーザが選択可能なエレメント１６０６を見ているときのみ表示され得る。したがって、表示ページ上の品目を閲覧するユーザは、品目のための情報を見ている時、アイコンを見ないかもしれないが、ユーザが「いますぐ買う」または同様のボタンをユーザが見ている場合、ある行動をすれば何が起こるのかをユーザが知るように、アイコンが見え得る。このようなアイコンは、ページ上に複数の選択可能な要素があり、ユーザが、視覚的な入力を提供した時、どの要素が選択され、どのような動作がなされるのかをはっきりさせたい場合に有用であり得る。例えば、ユーザは「選択」コマンドとして２度まばたきし得るが、まばたきが適切なエレメントを選択することをユーザが知るように、ユーザが見ている場所に対応するようにアイコンが出現することが望ましい。

入力のために用いられる異なる表情または動きが任意の数存在し、用いられる好ましい表情に関してユーザが異なる好みをもつので、１つの実施形態によるアプリケーションは、どの動作がある種の入力に対応するのかをユーザが選択するまたは指定することを可能にすることができる。例えば、図１７は、ユーザが各種入力のために用いられる動作を指定することを可能にするために、ユーザに提示することができるディスプレイ１７００の例を図示している。この例で、「同意する」「同意しない」「スクロール」などのいくつかの入力例１７０２を示している。これらの各々のために、各々の行動のために用いる表情または相対的な動きをユーザが選択することを可能にするために、ドロップダウンリストが提供される。これらの選択および機構は、単なる例であり、多くの行動のいずれも、多くのユーザーが選択可能なエレメントのいずれを用いて指定することができることは、理解されるべきである。動作が対応する動きを有することをユーザが望まない場合、ユーザは、動作を空白のままにしておくこと、「なし」などのオプション、または他の適切な動作を選択することができる。図示したように、ユーザは、ここでスライダーバーを調整することにより、動作の感度を調整するオプション１７０４を有し得る。このようなアプローチは、ユーザが入力を判定するための閾値を効果的に調整することを可能にする。総合感度または同様の制御が可能であり、または、特定の動作のための特定の設定が可能である。いくつかの実施形態において、ユーザは、システムが、より適切な検出を保証することができるように、各々の動作を（例えば、システムの要求で動作を行うことにより）較正する。感度または類似の調整は、ユーザがカメラからどれくらい遠くに座るか、ユーザがどの程度の表情をしているか、ユーザの大きさなどの様々な要因について支援することができる。さらに、ユーザは、異なる装置を用いる可能性があり、設定は、各々の装置に対して異なる必要があり得る（例えば、ＰＤＡのための有効距離は、典型的には、デスクトップコンピュータの有効距離とは異なる）。このようなスクリーンは、ユーザが、装置の移動、表情、頭の動きなどの動作の組み合わせを指定することを可能にする。ユーザは、様々な実施形態において、新たな動作、動きおよび／または組み合わせを指定する（例えば、定義する）こともできる。これらはインタフェースにとって知られている「マクロ」と類似したものであり得、ユーザは、一連の動きまたは表情を定義して、１つ以上の入力または動作に対応させることができる。見て分かるように、このインタフェースは、ユーザが動作入力を起動するまたは無効にすることも可能にするが、装置上のボタンを押すまたは音声認識を用いることなどの他の入力アプローチを同様に用いることもできる。

さらに、異なるユーザを同じ装置上で設定することができ、各ユーザは異なる入力およびオプションを選択することができる。上に記載されたような１つの実施形態において、装置は、装置が相対的なユーザを区別することができるように、顔の特徴の関係を示す位置を判定することができる。したがって、第１のユーザが装置に対して動作を実行する場合、装置は第１の入力としてその動作を解釈することができる。また、第２のユーザが同じ動作を実行する場合、装置は第２のユーザを認識し、自動的に第２の入力として動作を解釈することができる。このようなアプローチは、複数ユーザを同じ装置上で設定することを可能にし、システムは、様々なユーザ間を認識し区別することができる。したがって、例えば、ユーザは、ページを見て単に顔の動きを実行することにより品目を購入することができる。また、システムは、ユーザによる単一の行動がそのユーザのためのその品目の購入に帰着するように、ユーザと行動とを認識するために設定することができる。

説明したように、様々なアプローチを、様々なアプリケーションのための様々な環境で実行することができる。例えば、図１８は、様々な実施形態による態様を実行するための環境１８００の例を図示している。理解されるように、ウェブベースの環境が説明の目的のために用いられるが、異なる環境が、様々な実施形態を実行するために必要に応じて用いられてもよい。図示された環境１８００は、試験または開発部分（またはサイド）および生産部分の双方を含む。生産部分は、電子クライアント装置１８０２を含み、それは適切なネットワーク１８０４上で要求、メッセージまたは情報を送受信し、装置のユーザに情報を伝え戻すことができるように動作可能な任意の適切な装置を含む。そのようなクライアント装置の例は、パーソナルコンピュータ、携帯電話、携帯型の通報装置、ラップトップコンピュータ、セットトップボックス、携帯情報端末、電子ブックリーダーなどが含まれる。ネットワークは、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワークまたは他の同様のネットワーク、またはそれらの組み合わせを含む任意の適切なネットワークを含むことができる。そのようなシステムのために用いられる構成部分は、選択されたネットワークおよび／または環境の種類に少なくとも部分的に依存し得る。そのようなネットワークを介して通信するためのプロトコルおよび構成部分は、よく知られており、本明細書では詳細に説明しない。ネットワーク上の通信は、有線または無線接続、またはそれらの組み合わせにより、使用可能にできる。この例では、環境が、要求を受け取り、それに応答してコンテンツを提供するためにウェブサーバ１８０６を含むのでネットワークはインターネットを含むが、当業者に明らかであるように、他のネットワークのために、同様の目的を果たす代替デバイスを用いることができ得る。

例示した環境は、少なくとも１つのアプリケーションサーバ１８０８およびデータ記憶装置１８１０を含む。つながれてもよいしそうでなければ設定されてもよい、適切なデータ記憶装置からデータを取得するなどのタスクを実行するために相互にやりとりすることができる、いくつかのアプリケーションサーバ、アプリケーション層または他の要素、処理、または構成部分が存在できることは、理解されるべきである。本明細書で用いられる、「データストア」という用語は、データを格納し、アクセスし、読み出すことができる任意の装置または装置の組み合わせを表し、任意の標準規格で、分散され、またはクラスター化された環境において、任意の組み合わせおよびいくつかのデータサーバ、データベース、データストレージ装置およびデータストレージ媒体を含み得る。アプリケーションサーバは、アプリケーションのための大半のデータアクセスおよびビジネスロジックを処理する、クライアント装置のための１つ以上のアプリケーションの態様を実行するために必要とされるようなデータストアを組み込むための任意の適切なハードウェアおよびソフトウェアを含むことができる。アプリケーションサーバは、データストアと協動してアクセスコントロールサービスを提供し、ユーザに転送されるテキスト、グラフィックス、音声および／または映像などのコンテンツ（この例ではＨＴＭＬ、ＸＭＬまたは別の適切な構造化言語の形式でウェブサーバによりユーザに供給され得る）を生成することができる。すべての要求および応答の処理、ならびにクライアント装置１８０２とアプリケーションサーバ１８０８との間のコンテンツの配信をウェブサーバにより処理することができる。本明細書で説明した構造化されたコードが任意の適切な装置または本明細書の他のところで説明されたようなホストマシン上で実行することができるので、ウェブサーバおよびアプリケーションサーバは必須でなく、構成部分の単なる例であることは、理解されるべきである。さらに、環境は、ユーザまたはアプリケーションが申し込むサービスとして試験自動化フレームワークを提供することができるような方法で設計することができる。試験自動化フレームワークは、本明細書で説明したような様々な試験パターンの任意の実装形態として提供することができるが、本明細書で説明または示唆したように、様々な他の実装形態も用いることができる。

環境は、試験および／または開発サイドを含み、それは、開発者、データ管理者または試験者などのユーザが、システムにアクセスすることを可能にするユーザ装置１８１８を含む。ユーザ装置１８１８は、クライアント装置１８０２に関して上に記載されたような、任意の適切な装置または機器であり得る。環境は、開発サーバ１８２０も含み、それは、例えば、アプリケーションサーバ１８０８と同様に機能するが、典型的には、例えば、コードが生産サイドで展開されて実行され、外部利用者にアクセス可能になる前に、開発および試験の間のコードを実行する。いくつかの実施形態において、アプリケーションサーバは開発サーバとして機能することができ、個別の生産ストレージおよび試験ストレージを用いなくてもよい。

データストア１８１０は、特定の態様に関連するデータを格納するための、いくつかの個別のデータテーブル、データベースまたは他のデータストレージ機構および媒体を含むことができる。例えば、図示されたデータストアは、生産サイドのためのコンテンツを提供するために用いることができる、生産データ１８１２およびユーザ情報１８１６を格納するための機構を含む。データストアは、試験サイドのためにユーザ情報と共に用いることができる試験データ１８１４を格納するための機構も含むように図示されている。ページイメージ情報およびアクセス権情報などのためにデータストアに格納する必要があり得る他の多くの態様が存在し得、それは、必要に応じて、上で列挙された機構またはデータストア１８１０内の付加機構のいずれかで格納することができることは、理解されるべきである。データストア１８１０は、それに関連した論理を通して、アプリケーションサーバ１８０８または開発サーバ１８２０からの命令を受け取り、それに応答してデータを取得、更新またはそうでなければ処理するように動作可能である。一例において、ユーザは、ある種類の品目のための検索要求を発行し得る。この場合には、データストアは、ユーザの身元を確認するためにユーザ情報をアクセスし得、その種類の品目に関して情報を取得するためにカタログ詳細情報にアクセスすることができる。そして、ユーザがユーザ装置１８０２上のブラウザを介して見ることができるウェブページ上の結果リストにおいてなどで、情報をユーザに戻すことができる。関心の特定の品目のための情報は、ブラウザの専用ページまたはウィンドウ内で見ることができる。

各サーバは、典型的にはそのサーバの全般的な管理および動作のために実行可能プログラム命令を提供するオペレーティングシステムを含み、典型的にはサーバが、サーバのプロセッサにより実行された時、その意図する機能を実行することを可能にする命令を格納するコンピュータ読み取り可能な媒体を含む。オペレーティングシステムのための適切な実装形態およびサーバの全般的な機能は、知られているか、または市販で入手可能であり、特に本明細書の開示の観点から、当該技術分野における通常の当業者により容易に実施される。

１つの実施形態における環境は、１つ以上のコンピュータネットワークまたは直接接続を用いて、通信リンクを介して相互に連結するいくつかのコンピュータシステムおよび構成部分を利用する分散コンピューティング環境である。しかしながら、図１８で示されるよりも少数または多数の構成部分を有するシステムと同様のシステムが同じように十分に操作することができることは、当業者には十分に理解されるであろう。したがって、図１８のシステム１８００の描写は、性質上例示であり、明細書の開示の範囲内に限定されないこととしてとられるべきである。

様々な実施形態は、さらに、様々なオペレーティング環境において実行することができる、あるケースで、いくつかのアプリケーションのいずれかを作動させるために用いることができる１つ以上のユーザコンピュータ、コンピュータ装置または制御演算装置を含むことができる。ユーザ装置またはクライアント装置は、標準オペレーティングシステムを実行するデスクトップコンピュータまたはラップトップコンピュータなどのいくつかの汎用パーソナルコンピュータ、ならびにモバイルソフトウェアを実行し、いくつかのネットワーキングおよびメッセージングプロトコルに対応することができる携帯電話装置、無線装置、およびハンドヘルド装置のいずれをも含めることができる。このようなシステムは、様々な市販で入手可能なオペレーティングシステム、および開発とデータベース管理などの目的のための他の既知のアプリケーションのいずれかを実行するいくつかのワークステーションを含むこともできる。これらの装置は、ダミー端子部、シンクライアント、ゲームシステム、およびネットワークを介して通信することができる他の装置などの他の電子装置を含むこともできる。

ほとんどの実施形態は、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳおよびＡｐｐｌｅＴａｌｋなどの様々な市販で入手可能なプロトコルのいずれかを用いて、通信をサポートするための当業者によく知られている少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、ワイヤレスネットワークおよびそれらの任意の組み合わせからなりえる。

ウェブサーバを利用する実施形態において、ウェブサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａサーバおよびビジネスアプリケーションサーバを含む、様々なサーバまたは中間層アプリケーションのいずれかを実行することができる。サーバは、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃またはＣ＋＋などの任意のプログラミング言語またはパール、パイソンまたはＴＣＬなどの任意のスクリプト言語と、それらの組み合わせで書かれた１つ以上のスクリプトまたはプログラムとして実行できる１つ以上のＷｅｂアプリケーションを実行することなどによりユーザ装置からの要求に応答してプログラムまたはスクリプトを実行することができ得る。サーバは、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）およびＩＢＭ（登録商標）から市販で入手可能なものを限定なしで含むデータベースサーバを含んでもよい。

環境は、以上に説明されたような、様々なデータストアや他のメモリ、および記憶媒体を含むことができる。これらは、コンピュータの１つ以上に対してローカル（および／または常駐）の、またはネットワークを介したコンピュータのいずれかまたはすべてから遠隔の記憶媒体上などの様々な場所に存在することができる。特定の組の実施形態において、情報は、当業者によく知られている記憶域ネットワーク（「ＳＡＮ」）に存在してもよい。同様に、コンピュータ、サーバまたは他のネットワーク装置に備わっている機能を実行するための任意の必要なファイルも、必要に応じてローカルにおよび／またはリモートで格納されてもよい。システムがコンピュータ化された装置を含んでいる場合には、当該各装置は、バスを介して電気的に結合され得るハードウェア構成要素を含むことができる。ハードウェア構成要素は、例えば、少なくとも１つの中央処理装置（ＣＰＵ）、少なくとも１つの入力装置（例えば、マウス、キーボード、コントローラ、タッチスクリーンまたはキーパッド）および少なくとも１つの出力装置（例えば、表示装置、プリンタまたはスピーカ）を含む。このようなシステムは、ディスクドライブ、光記憶装置、およびランダムアクセスメモリ（「ＲＡＭ」）または読み取り専用メモリ（「ＲＯＭ」）などの固体記憶装置、ならびに取り外し可能メディア装置、メモリーカード、フラッシュカードなどの１つ以上の記憶装置をも含んでもよい。

このような装置は、コンピュータ読み取り可能な記憶媒体リーダー、通信装置｛（例えば、モデム、（無線または有線の）ネットワークカード、赤外線通信装置、など）および上に記載されたようなワーキングメモリを含むこともできる。コンピュータ読み取り可能な記憶媒体リーダーは、リモートの、ローカルの、固定のおよび／または取り外し可能ストレージ装置を示すコンピュータ読み取り可能な記憶媒体、ならびに一時的におよび／または永続的にコンピュータ読み取り可能の情報を含み、格納し、伝送し、読み出ための記憶媒体に接続されるまたは受信するように構成することができる。システムおよび各種機器は、典型的には、少なくとも１つのワーキングメモリ装置内に位置するいくつかのソフトウェアアプリケーション、モジュール、サービス、または（クライアントアプリケーションまたは他の構成要素を含み、それらは、オペレーティングシステムおよびウェブブラウザなどのアプリケーションプログラムを含む。代替の実施形態は、上に記載されたものからの多数の変形を有してもよいことは、十分に理解されるべきである。例えば、特別仕様のハードウェアもまた用いられてもよく、および／または、特定の構成要素はハードウェア、（アプレットなどの高移植性ソフトウェアを含む）ソフトウェアまたはその双方で実装されてもよい。さらに、ネットワーク入出力装置などの他のコンピュータ装置に対する接続が使用されてもよい。

コードまたはコードの一部を含めるための記憶媒体およびコンピュータ読み取り可能な媒体は、当該技術分野において知られている、または用いられる任意の適切な媒体を含むことができ、それには、限定されないが、コンピュータ読み取り可能な命令、データ構造、プログラムモジュールまたは他のデータなどの記憶および／または情報伝送のための任意の方法または技術で実装される揮発性、不揮発性、可動および非可動媒体などの記憶媒体と通信媒体とを含みまた、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望の情報を格納するために用いることができ、システム装置によりアクセスすることができる他の媒体をなどを含む。本明細書で提供される開示と教示に基づいて、当該技術分野における通常の技術を有する者は、様々な実施形態を実行する他の手段および／または方法を十分に理解するであろう。

［第１節］
携帯コンピュータ装置上のグラフィカルユーザインタフェースと相互にやりとりする方法であって、
前記携帯コンピュータ装置の画像取得エレメントを用いて第１の画像を取得することであって、前記第１の画像は前記携帯コンピュータ装置のユーザの顔の特徴を含むことと、
前記画像取得エレメントを用いて第２の画像を取得することであって、前記第２の画像は前記携帯コンピュータ装置の前記ユーザの前記顔の特徴を含むことと、
前記携帯コンピュータ装置により、前記携帯コンピュータ装置に対する前記ユーザの前記顔の特徴の位置の変化を判定するために、取得された前記第１の画像および前記第２の画像を解析することと、
前記判定された変化に少なくとも部分的に基づいて前記グラフィカルユーザインタフェース内に表示された情報を変更することであって、前記グラフィカルユーザインタフェース内に表示された情報は、取得された前記第１の画像と前記第２の画像のいずれかまたは両方を表現したものを除外することと
を含む方法。

［第２節］
前記第２の画像の取得は、前記携帯コンピュータ装置の動きに応答する、第１節に記載の方法。

［第３節］
前記グラフィカルユーザインタフェース内に表示された前記情報を変更することは、前記判定された変化に少なくとも部分的に基づいて機能を実行することを含み、前記機能は、前記コンピュータ装置の前記グラフィカルユーザインタフェースの少なくとも１つの態様を制御する、第１節に記載の方法。

［第４節］
前記コンピュータ装置の前記ユーザの前記顔の特徴に対応する一組の測定可能な態様の変化を判定するために、前記取得された第１の画像および第２画像を解析することをさらに含み、
前記グラフィカルユーザインタフェース内に表示された前記情報の変更は、前記一組の測定可能な態様の前記判定された変化に少なくとも部分的に基づく、第１節に記載の方法。

［第５節］
前記一組の測定可能な態様は、前記ユーザの目の少なくとも１つの寸法、前記ユーザの顔の上の特徴の離隔距離、前記ユーザの顔の特徴の相対的な位置、および前記ユーザの顔の特徴間の相対的な配向のうちの少なくとも１つを含む、第４節に記載の方法。

［第６節］
前記携帯コンピュータ装置に対する前記ユーザ前記の顔の特徴の前記位置の変化を判定するために取得された前記第１の画像および前記第２の画像を解析することは、前記ユーザと前記携帯コンピュータ装置との間の相対的な配向の変化を判定することを含む、第１節に記載の方法。

［第７節］
前記グラフィカルユーザインタフェース内に表示された前記情報を変更することは、
前記判定された変化に対応する方向に前記グラフィカルユーザインタフェースに対してカーソルを移動させることと、
前記コンピュータ装置上の３次元画像の２次元表現を生成するのに用いる視点を調整することと
のうちの少なくとも１つを含む、第１節に記載の方法。

［第８節］
前記画像取得エレメントを用いて第３の画像を取得することであって、前記第３の画像は前記携帯コンピュータ装置の前記ユーザの前記顔の特徴を含むことと、
前記携帯コンピュータ装置により、前記携帯コンピュータ装置に対する前記ユーザの前記顔の特徴の前記位置における第２の変化を判定するために、前記取得された前記第２の画像および前記第３の画像を解析することであって、前記第２の変化は、前記ユーザの表情の少なくとも部分的に基づいて前記ユーザの前記顔の特徴の形状、位置、および寸法の少なくとも１つを調整することと、
前記第２の変化に少なくとも部分的に基づいて前記グラフィカルユーザインタフェース内に表示された前記情報を変更することと
をさらに含む、第１節に記載の方法。

［第９節］
前記グラフィカルユーザインタフェース内に表示された前記情報を変更することは、
電子カタログに関連した項目の中をナビゲートすることと、
ファイルシステムをナビゲートすることと、
回転式選択機構から項目を選択することと
のうちの少なくとも１つを含む、第１節に記載の方法。

［第１０節］
コンピュータ装置内の英数字を選択する方法であって、
前記コンピュータ装置の前記ユーザに対する前記コンピュータ装置の配向の変化を検出するためにユーザの画像情報を解析することであって、前記画像情報は前記コンピュータ装置の画像取得エレメントを用いて取得されることと、
前記コンピュータ装置の前記配向の前記変化の検出に応じて、選択のために利用可能な前記英数字を識別することと、
前記英数字の選択を受け取ることと
を含む方法。

［第１１節］
前記コンピュータ装置の表示エレメントを用いて、文字セットを表示することと、
前記文字セットにおける少なくとも１文字を選択するための位置にカーソルがある場合において、前記少なくとも１文字の前記選択を受け取ることを実行するステップと
をさらに含む、第１０節に記載の方法。

［第１２節］
複数の文字サブセットへ前記文字セットを区分化することであって、前記文字セットの少なくとも１文字の前記選択は、前記文字サブセットの少なくとも１つの選択を受け取ることを含むことと、
前記少なくとも１つの文字サブセットの前記選択を第２の複数の文字サブセットへ区分化することと
をさらに含む、第１１節に記載の方法。

［第１３節］
前記配向の変化を判定するために前記画像情報を解析することと併用して、前記コンピュータ装置の配向検出エレメントを用いること
をさらに含み、
カーソルは前記コンピュータ装置の前記配向の前記第１の変化に従って、選択されるべき前記少なくとも１文字に向かって導かれるように構成される、第１０節に記載の方法。

［第１４節］
前記配向検出エレメントは、加速度計、動作検出器、電子コンパス、全地球測位システム受信器および電子準位の少なくとも１つである、第１３節に記載の方法。

［第１５節］
ユーザが選択可能な要素の選択を受け取ったことに応答して、前記カーソルの移動能力を１つの自由度だけ低下させること
をさらに含み、
前記第２の選択を受け取る前に前記表示エレメントに対して少なくとも２つの自由度で移動するように前記カーソルは構成される、第１０節に記載の方法。

［第１６節］
前記コンピュータ装置の前記配向の前記変化は、ユーザが前記コンピュータ装置を傾けることに対応する、第１０節に記載の方法。

［第１７節］
選択のために利用可能な前記英数字を識別することは、
前記英数字上にカーソルを浮遊して停止させることと、
前記英数字の色を変化させることと、
前記英数字の形状を変化させることと、
前記英数字のまわりの背景色を変化させることと、
前記英数字のまわりに形状を表示することと
のうちの少なくとも１つを含む。

［第１８節］
コンピュータ装置と相互にやりとりする方法であって、
前記コンピュータ装置に対するユーザの少なくとも１つの特徴の第１の相対的な配向を判定するために、前記コンピュータ装置の画像取得エレメントを用いて取得された画像情報を解析することと、
周囲環境に対する前記コンピュータ装置の第２の相対的な配向を判定するために、前記コンピュータ装置の配向検出エレメントを用いて取得された装置の配向情報を解析することと、
第１の相対的な配向と第２相対的な配向との少なくとも１つの変化を検出することと、
前記変化の検出に応じて、所望の機能を実行することと
を含む方法。

［第１９節］
画像情報を解析することは、前記コンピュータ装置に対する前記ユーザの前記少なくとも１つの特徴の前記位置を判定するために前記携帯コンピュータ装置から少なくとも１つの画像を取り込むことを含み、
前記ユーザの前記少なくとも１つの特徴の少なくとも１つの位置と前記コンピュータ装置の配向との変化を検出することは、前記携帯コンピュータ装置から少なくとも１つのさらなる画像を取り込み、少なくとも１つの特徴の位置の差を判定することを含む、第１８節に記載の方法。

［第２０節］
前記検出された変化のための所望の機能を実行する前記ステップは、前記検出された変化に少なくとも部分的に基づいてグラフィカルユーザインタフェース内に表示された前記情報を変更することを含み、前記装置の前記グラフィカルユーザインタフェースは、前記画像情報を表現したものを除外する、第１８節に記載の方法。

［第２１節］
前記検出された変化が、前記所望の機能を判定する前に前記変化に対応する入力閾値を少なくとも満たすか否かを判定すること
を含む、第１８節に記載の方法。

［第２２節］
前記配向検出エレメントは、加速度計、動作検出器、電子コンパスおよび電子準位のうちの１つである、第１８節に記載の方法。

［第２３節］
前記ユーザに対応する前記少なくとも１つの特徴は、前記ユーザの少なくとも１つの顔の特徴を含む、第１８節に記載の方法。

［第２４節］
前記ユーザの前記相対的な位置を判定するために前記画像情報を解析することは、前記画像情報における前記ユーザの各々の目のおおよその位置を判定することを含む、第１８節に記載の方法。

［第２５節］
前記所望の機能を実行することは、項目を見ることと選択することとの少なくとも１つを含む、第１８節に記載の方法。

［第２６節］
前記ユーザの身元を判定するために前記画像情報を解析すること
をさらに含む、第１８節に記載の方法。

［第２７節］
前記ユーザの前記判定された身元の複数の変化に対応する複数の入力を判定すること
をさらに含む、第２６節に記載の方法。

［第２８節］
前記画像情報を解析する前に各々の判定された身元の較正情報を取り込むこと
をさらに含む、第２６節に記載の方法。

［第２９節］
前記機能を実行する前に前記所望の機能を確認することを前記ユーザに促すこと
を含む、第１８節に記載の方法。

［第３０節］
第１の相対的な配向と第２の相対的な配向とのうちの少なくとも１つを変化させることにより、前記ユーザが前記入力を確認することを可能にすること
をさらに含む、第２９節に記載の方法。

［第３１節］
コンピュータ装置であって、
プロセッサと、
グラフィカルユーザインタフェースを表示するための表示エレメントと、
一組の動作を行うための、プロセッサにより実行されるように動作可能な命令を含むメモリ装置と、
前記コンピュータ装置の相対的な表示領域に対応する画像情報を取得するように動作可能な画像取得エレメントと
を備え、
前記プロセッサは、
前記画像取得エレメントを用いて第１画像と第２の画像とを取得し、前記第１画像と第２の画像は、前記コンピュータ装置のユーザの特徴を含み、
前記コンピュータ装置に対する前記ユーザの前記特徴の前記位置の変化を判定するために取得された前記第１画像と第２の画像を解析し、
前記判定された変化に少なくとも部分的に基づいて前記グラフィカルユーザインタフェース内に表示された情報を変更し、前記グラフィカルユーザインタフェース内に表示された前記情報は、前記取得された第１の画像、前記取得された第２の画像、または前記取得された第１画像と第２の画像の双方の表現したものを除外するように動作可能であるコンピュータ装置。

［第３２節］
コンピュータ装置に対する入力を受け取るための方法であって、
前記コンピュータ装置に対するユーザの少なくとも１つの特徴の少なくとも１つの相対的な位置を判定するために画像情報を解析することであって、前記画像情報は、前記コンピュータ装置の画像取得エレメントを用いて取得されることと、
少なくとも前記変化に対応する入力閾値を満たす前記ユーザの前記少なくとも１つの特徴の前記少なくとも１つの相対的な位置の変化を検出することに応じて、検出された変化に対応する入力機能を選択することと、前記選択された入力機能を実行することとを含み、
ユーザは前記検出された変化に対応する前記入力機能を定義することができる方法。

［第３３節］
前記ユーザの少なくとも１つの特徴の前記少なくとも１つの相対的な位置の変化を検出することは、前記ユーザの少なくとも１つの顔の特徴の変化を検出することを含む、第３２節に記載の方法。

［第３４節］
前記ユーザの少なくとも１つの特徴の前記少なくとも１つの位置の変化を検出することは、前記ユーザの前記少なくとも１つの顔の特徴に対する複数の相対的な位置の少なくとも１つの変化を検出することを含み、前記ユーザの少なくとも１つの顔の特徴は、その顔の特徴に対する表情の変化が前記顔の特徴の少なくとも１つの相対位置の変化を結果的にもたらすように関連する複数の相対的な位置を有する、第３３節に記載の方法。

［第３５節］
前記検出された変化に対応する入力機能を判定するステップおよび前記選択された入力機能を実行するステップは、前記検出された変化に少なくとも部分的に基づいて前記コンピュータ装置に関連したグラフィカルユーザインタフェース内に表示された情報を変更することを含み、前記コンピュータ装置の前記グラフィカルユーザインタフェースは、前記画像情報を表現したものを除外する、第３２節に記載の方法。

［第３６節］
コンピュータ装置であって、
プロセッサと、
表示エレメントと、
画像情報を取り込むように動作可能な画像取得エレメントであって、前記表示エレメントを見るユーザが前記画像情報に少なくとも部分的に取り込まれるように配置されている画像取得エレメントと、
前記プロセッサにより実行された時、
前記コンピュータ装置の前記ユーザの顔の特徴に対応する一組の測定可能な態様を判定するために前記画像情報を解析し、
前記一組の測定可能な態様のための値に少なくとも部分的に基づいて前記コンピュータ装置に対する前記ユーザの相対的な配向を判定し、
前記コンピュータ装置に対する前記ユーザの相対的な配向の変化を判定し、前記配向の変化は、前記コンピュータ装置の位置の変化に少なくとも部分的に基づいており、
前記相対的な配向の前記判定された変化に対応する機能を実行し、前記コンピュータ装置のユーザは、前記相対的な配向の個々の複数の判定可能な変化に応じて、実行される機能を定義することができることをプロセッサに実行させる命令を含むメモリ装置と
を備えるコンピュータ装置。

［第３７節］
前記メモリ装置は、前記プロセッサにより実行された時、
動作を行なう前に、前記変化が前記変化に対応する入力閾値を少なくとも満たすか否かを判定することを前記プロセッサに実行させる命令をさらに含む、第３６節に記載のコンピュータ装置。

［第３８節］
前記機能を実行するステップは、前記判定された変化に少なくとも部分的に基づいて前記コンピュータ装置の表示エレメント上のグラフィカルユーザインタフェース内に表示された前記情報を変更することを含み、前記装置の前記グラフィカルユーザインタフェース内に表示された前記情報は、前記画像情報を表現したものを除外する、第３６節に記載のコンピュータ装置。

［第３９節］
コンピュータ装置を制御するためにコンピュータ読み取り可能な媒体に組み込まれるコンピュータプログラム製品であって、
前記コンピュータ装置に対するユーザの少なくとも１つの特徴の少なくとも１つの相対的な位置を判定するために画像情報を分析するためのプログラムコードであって、前記画像情報は、前記コンピュータ装置の前記ユーザの表現が少なくとも前記画像情報に部分的に含まれるように配置された前記コンピュータ装置の少なくとも１つの画像取得エレメントを用いて取得されるプログラムコードと、
前記ユーザの少なくとも１つの特徴の前記少なくとも１つの相対的な位置の変化を検出するのに応じて、前記変化が前記変化に対応する入力閾値を少なくとも満たしているか否かを判定するためのプログラムコードと、
少なくとも前記入力閾値を満たしている検出された変化に対応する入力を判定し、前記判定された入力に応じて前記コンピュータ装置上で動作を実行するためのプログラムコードであって、前記コンピュータ装置上の動作を実行するためのプログラムコードは、前記検出された変化に少なくとも部分的に基づいて前記コンピュータ装置のグラフィカルユーザインタフェース内に表示エレメント上の表示された情報を変更することを含み、前記コンピュータ装置の前記グラフィカルユーザインタフェース上に表示された前記情報は、前記ユーザを表現したものを除いているプログラムコードと
を備えるコンピュータプログラム製品。

［第４０節］
前記携帯コンピュータ装置の配向を判定するためのプログラムコードであって、前記携帯コンピュータ装置は前記配向を判定するように動作可能な少なくとも１つのエレメントを含むプログラムコードと、
前記コンピュータ装置の前記配向の変化を判定するためのプログラムコードであって、前記変化が前記変化に対応する入力閾値を少なくとも満たすか否かを判定するためのプログラムコードは、前記ユーザの少なくとも１つの特徴の配向の変化と相対的な位置の変化との双方を解析するための命令を含むプログラムコードと
を備える、第３９節に記載のコンピュータプログラム製品。

［第４１節］
前記コンピュータ装置のユーザは、複数の検出可能な変化の各々に応じて実行される行動を定義することができる、第４０節に記載のコンピュータプログラム製品。

［第４２節］
コンピュータ装置のディスプレイ内のエレメントの表示を変更する方法であって、
前記コンピュータ装置の前記ユーザに対する前記コンピュータ装置の配向の変化を検出するためにユーザの画像情報を解析することであって、前記画像情報は前記コンピュータ装置の画像取得エレメントを用いて取得されることと、
前記コンピュータ装置の前記配向の前記変化を検出することに応じて、前記エレメントの前記表示を変更することと
を含む方法。

［第４３節］
画像取得エレメントは高速ビデオカメラである、第４２節に記載の方法。

このように、明細書および図面は、限定的な意味というよりよりむしろ１つの例示として考慮されるべきである。しかしながら、様々な変形および変更が、特許請求の範囲で述べられるような本発明の幅広い精神および範囲から逸脱せずになされてもよいことは明白であろう。

Claims (15)

1. 携帯コンピュータ装置上のグラフィカルユーザインタフェースと相互にやりとりする方法であって、
   前記携帯コンピュータ装置の画像取得エレメントを用いて、第１の画像を取得することであって、前記第１の画像は前記携帯コンピュータ装置のユーザの顔の特徴を含むことと、
   前記画像取得エレメントを用いて、第２の画像を取得することであって、前記第２の画像は前記携帯コンピュータ装置の前記ユーザの前記顔の特徴を含むことと、
   前記携帯コンピュータ装置により、前記携帯コンピュータ装置に対する前記ユーザの前記顔の特徴の位置の変化を判定するために、取得された前記第１の画像および前記第２の画像を解析することと、
   前記判定された変化に少なくとも部分的に基づいて前記グラフィカルユーザインタフェース内に表示された情報を変更することとを含み、前記グラフィカルユーザインタフェース内に表示された前記情報は、前記第１の画像と前記第２の画像とのいずれかまたは双方を表現したものを除外すること
   を含む方法。
2. 前記グラフィカルユーザインタフェース内に表示された前記情報を変更することは、前記判定された変化に少なくとも部分的に基づいて機能を実行することを含み、前記機能は、前記コンピュータ装置の前記グラフィカルユーザインタフェースの少なくとも１つの態様を制御する、請求項１に記載の方法。
3. 前記携帯コンピュータ装置に対する前記ユーザ前記の顔の特徴の前記位置の変化を判定するために取得された前記第１の画像および前記第２の画像を解析することは、前記ユーザと前記携帯コンピュータ装置との間の相対的な配向の変化を判定することを含む、請求項１に記載の方法。
4. 前記グラフィカルユーザインタフェース内に表示された前記情報を変更することは、
   前記判定された変化に対応する方向に前記グラフィカルユーザインタフェースに対してカーソルを移動させることと、
   前記コンピュータ装置上の３次元画像の２次元表現を生成するために用いる視点を調整することと
   のうちの少なくとも１つを含む、請求項１に記載の方法。
5. 前記グラフィカルユーザインタフェース内に表示された前記情報を変更することは、
   電子カタログに関連した項目の中をナビゲートすることと、
   ファイルシステムをナビゲートすることと、
   回転式選択機構から項目を選択することと
   のうちの少なくとも１つを含む、請求項１に記載の方法。
6. コンピュータ装置内の英数字を選択する方法であって、
   前記コンピュータ装置の前記ユーザに対する前記コンピュータ装置の配向の変化を検出するためにユーザの画像情報を解析することであって、前記画像情報が前記コンピュータ装置の画像取得エレメントを用いて取得されることと、
   前記コンピュータ装置の前記配向の前記変化の検出に応じて、選択のために利用可能な前記英数字を識別することと、
   前記英数字の選択を受け取ることと
   を含む方法。
7. 前記コンピュータ装置の表示エレメントを用いて、文字セットを表示することと、
   前記文字セットにおける少なくとも１文字を選択するための位置にカーソルがある場合において、前記少なくとも１文字の前記選択を受け取ることを実行するステップと
   をさらに含む、請求項６に記載の方法。
8. 前記配向の変化を判定するために前記画像情報を解析することと併用して、前記コンピュータ装置の配向検出エレメントを用いることをさらに含み、
   カーソルは、前記コンピュータ装置の前記配向の前記第１の変化に従って、選択されるべき前記少なくとも１文字に向かって導かれるように構成される、請求項６に記載の方法。
9. ユーザが選択可能な要素の選択を受け取ったことに応答して、前記カーソルの移動能力を１つの自由度だけ低下させることをさらに含み、
   前記第２の選択を受け取る前に前記表示エレメントに対して少なくとも２つの自由度で移動するように前記カーソルは構成される、請求項６に記載の方法。
10. コンピュータ装置と相互にやりとりする方法であって、
    前記コンピュータ装置に対するユーザの少なくとも１つの特徴の第１の相対的な配向を判定するために、前記コンピュータ装置の画像取得エレメントを用いて取得された画像情報を解析することと、
    周囲環境に対する前記コンピュータ装置の第２の相対的な配向を判定するために、前記コンピュータ装置の配向検出エレメントを用いて取得された装置の配向情報を解析することと、
    第１の相対的な配向と第２相対的な配向との少なくとも１つの変化を検出することと、
    前記変化の検出に応じて、所望の機能を実行することと
    を含む方法。
11. 前記画像情報を解析することは、前記コンピュータ装置に対する前記ユーザの前記少なくとも１つの特徴の前記位置を判定するために前記携帯コンピュータ装置から少なくとも１つの画像を取り込むことを含み、前記ユーザの前記少なくとも１つの特徴の少なくとも１つの位置と前記コンピュータ装置の配向との変化を検出することは、前記携帯コンピュータ装置から少なくとも１つのさらなる画像を取り込み、少なくとも１つの特徴の位置の差を判定することを含む、請求項１０に記載の方法。
12. 前記検出された変化のための所望の機能を実行する前記ステップは、前記検出された変化に少なくとも部分的に基づいてグラフィカルユーザインタフェース内に表示された前記情報を変更することを含み、
    前記装置の前記グラフィカルユーザインタフェースは、前記画像情報を表現したものを除外する、請求項１０に記載の方法。
13. 所望の機能を実行することは、項目を見ることと選択することとの少なくとも１つを含むこと
    を特徴とする請求項１０に記載の方法。
14. プロセッサと、
    表示エレメントと、
    画像情報を取り込むように動作可能な画像取得エレメントであって、前記表示エレメントを見るユーザが前記画像情報に少なくとも部分的に取り込ように配置されている画像取得エレメントと、
    前記プロセッサにより実行された時、
    前記コンピュータ装置の前記ユーザの顔の特徴に対応する一組の測定可能な態様を判定するために前記画像情報を解析し、
    前記一組の測定可能な態様のための値に少なくとも部分的にに基づいて前記コンピュータ装置に対する前記ユーザの相対的な配向を判定し、
    前記コンピュータ装置に対する前記ユーザの相対的な配向の変化を判定し、前記配向の変化は、前記コンピュータ装置の位置の変化に少なくとも部分的に基づいており、
    前記相対的な配向の前記判定された変化に対応する機能を実行し、前記コンピュータ装置のユーザは、前記相対的な配向の個々の複数の判定可能な変化に応じて、実行される機能を定義することができることをプロセッサに実行させる命令を含むメモリ装置と
    を備えるコンピュータ装置。
15. 前記機能を実行するステップは、前記判定された変化に少なくとも部分的に基づいて前記コンピュータ装置の表示エレメント上のグラフィカルユーザインタフェース内に表示された前記情報を変更することを含み、前記装置の前記グラフィカルユーザインタフェース内に表示された前記情報は、前記画像情報を表現したものを除外する、請求項１４に記載のコンピュータ装置。

Images