JP2013533541A - 文字の選択 - Google Patents

Abstract

文字選択技術について記載する。実施例において、文字リストがコンピューティングデバイスによってユーザーインターフェースに表示するために出力される。カメラを使って検出された入力が、コンピューティングデバイスによって、文字の少なくとも１つを選択するためのジェスチャーとして認識される。

Description

本発明は、文字の選択に関する。

[0001]ユーザーがコンピューティングデバイスと対話するために使用可能にされるデバイスの量は、常に増え続けている。たとえば、ユーザーは、一般的な居間の中で、テレビ、ゲームコンソール、ディスクプレーヤー、受信機などを制御するための多数のリモコンデバイスに直面する場合がある。

したがって、こうしたデバイスとの対話（インタラクション）は、異なるデバイスが異なるボタン構成を含み、異なるユーザーインターフェースと対話し得るので、かなり厄介になる場合がある。

[0002]文字選択技術について記載する。実施例において、文字リストが、コンピューティングデバイスによってユーザーインターフェースに表示するために出力される。カメラを使って検出された入力が、コンピューティングデバイスによって、文字の少なくとも１つを選択するためのジェスチャーとして認識される。

[0003]実施例において、カメラを使って検出された入力が、コンピューティングデバイスによって表示された複数の文字の少なくとも１つを選択するためのジェスチャーとして、コンピューティングデバイスによって認識される。複数の文字のうち選択された少なくとも１つを使って、検索が実施される。

[0004]実施例において、１つまたは複数のコンピューター読み取り可能な媒体は、コンピューティングデバイス上での実行に応答して、コンピューティングデバイスに動作を実施させる命令を含み、動作は、手の第１の動きを伴う、カメラを使って検出された第１の入力を、コンピューティングデバイスのディスプレイデバイスによって表示される文字一覧中をナビゲートするためのナビゲーションジェスチャーとして認識すること、手の第２の動きを伴う、カメラを使って検出された第２の入力を、文字の表示をズームするためのズームジェスチャーとして認識すること、および手の第３の動きを伴う、カメラを使って検出された第３の入力を、文字の少なくとも１つを選択するための選択ジェスチャーとして認識することを含む。

[0005]本概要は、「発明を実施するための形態」において後でさらに説明する概念一式を、簡略化した形で紹介するためのものである。本概要は、特許請求される主題の主要な特徴または本質的な特徴を特定することは意図しておらず、特許請求される主題の範囲を決定する一助として使われることも意図していない。

[0006]詳細な説明を、添付の図面を参照して記述する。図面において、参照番号の左端の数字（１つまたは複数）は、参照番号が最初に現れる図を識別する。説明および図面中の異なる事例における同じ参照番号の使用は、類似または同一の項目を示し得る。

[0007]本明細書に記載する文字選択技術を利用するように動作可能な例示的実施例における環境を示す図である。 [0008]図１の文字選択モジュールを、複数のデバイスが中央コンピューティングデバイスを通して相互接続される環境で実装されるものとして示す例示的システムを示す図である。 [0009]検索を実施するための入力として文字を受け取るように構成された初期検索画面がディスプレイデバイスに出力される例示的実施例におけるシステムを示す図である。 [0010]図３の文字リスト中のナビゲーションを伴うジェスチャーが示される例示的実施例におけるシステムを示す図である。 [0011]図４の文字リストのズームを伴うジェスチャーが示される例示的実施例におけるシステムを示す図である。 [0012]検索を実施するための、図５のリストからの文字の選択を伴うジェスチャーが示される例示的実施例におけるシステムを示す図である。 [0013]グループプライムとして構成された文字をもつリストが示される例示的実施例におけるシステムを示す図である。 [0014]非線形文字リストの例が示される例示的実施例におけるシステムを示す図である。 [0015]文字をナビゲートし、ズームし、選択するためのジェスチャーが使用される例示的実施例における手順を示す流れ図である。 [0016]本明細書に記載する文字選択技術の実施形態を実装するように、図１〜８を参照して記載するどのタイプのポータブルおよび／またはコンピューターデバイスとしても実装することができる例示的デバイスの様々なコンポーネントを示す図である。

概論
[0017]文字を入れるのに、たとえば、検索を実施するのに使われていた従来の技術は、面倒である場合が多かった。したがって、従来の技術は、ユーザーのデバイスエクスペリエンスを妨げる可能性がある。

[0018]文字選択技術について記載する。実施例において、字および／または他の文字のリストが、コンピューティングデバイスによってユーザーに対して表示される。ユーザーは、ジェスチャー（たとえば、ハンドモーション）、コントローラー、または他のデバイス（たとえば、物理キーボード）を使って、リスト中をナビゲートし、第１の文字を選択することができる。第１の文字を選択した後、コンピューティングデバイスは、第１の文字を含む項目を含めるように検索結果を、たとえば、リアルタイムに出力することができる。

[0019]ユーザーは次いで、ジェスチャー、コントローラー、または他のデバイスを使って、第２の文字を選択することができる。第２の文字を選択した後、検索は再度、第１および第２の文字を含む項目を含めるように絞り込まれ得る。このようにして、検索は、文字が選択されると、リアルタイムに実施され得るので、ユーザーは、ユーザーが検索している項目を素早く突き止めることができる。さらに、文字の選択は、コンピューティングデバイスのデバイスに触れずに、たとえば、カメラを使ってのハンドモーションの検出により、ジェスチャーを使って文字をナビゲートし選択することができるという点で、直観的であり得る。文字の選択は、特定の文字（たとえば、「ｗ」や「．ｃｏｍ」）の入力、ならびにそれら特定の文字で表される操作、たとえば、「すべて削除」、「クリア」などの開始など、様々な目的で使われ得る。文字選択および関連技術（たとえば、ズーム）のさらなる考察については、以下のセクションに関連して見ることができる。

[0020]以下の説明では、本明細書に記載する文字選択技術を利用するように動作可能な例示的環境について最初に記載する。次いで、例示的環境ならびに他の環境において利用することができる技術および手順の例示的解説を記載する。したがって、例示的環境は、例示的技術および手順の実施に限定されない。同様に、例示的技術および手順は、例示的環境における実装に限定されない。
例示的環境
[0021]図１は、文字選択技術を利用するように動作可能な例示的実施例における環境１００の図解である。図に示す環境１００は、様々に構成され得るコンピューティングデバイス１０２の例を含む。たとえば、コンピューティングデバイス１０２は、図２に関連してさらに説明するように、図に示すディスプレイデバイス１０４（たとえば、テレビ）、ワイヤレス電話、ネットブックなどに通信可能に結合された、従来のコンピューター（たとえば、デスクトップパーソナルコンピューター、ラップトップコンピューターなど）、移動局、娯楽機器、ゲームコンソールとして構成され得る。したがって、コンピューティングデバイス１０２は、豊富なメモリーおよびプロセッサーリソースをもつフルリソースデバイス（たとえば、パーソナルコンピューター、ゲームコンソール）から、限られたメモリーおよび／または処理リソースをもつ低リソースデバイス（たとえば、従来のセットトップボックス、ハンドヘルドゲームコンソール）にまで及び得る。コンピューティングデバイス１０２は、１つまたは複数の動作をコンピューティングデバイス１０２に実施させるソフトウェアとも関連し得る。

[0022]コンピューティングデバイス１０２は、入力／出力モジュール１０６を含むものとして示されている。入力／出力モジュール１０６は、コンピューティングデバイス１０２による、入力の認識および／または出力のプロビジョニングに関する機能性を表す。たとえば、入力／出力モジュール１０６は、ジェスチャーを識別するための、キーボード、マウスからの入力を受け取り、ジェスチャーに対応する動作を実施させる、などのように構成され得る。入力は、入力／出力モジュール１０６によって異なる様々なやり方で検出され得る。

[0023]入力／出力モジュール１０６は、図に示すコントローラー１０８などのハードウェアデバイスとのタッチ対話を介して１つまたは複数の入力を受け取るように構成され得る。タッチ対話は、ボタンの押下、ジョイスティックの動き、トラックパッドでの動き、ディスプレイデバイス１０４のタッチスクリーンの使用（たとえば、ユーザーの手の指またはスタイラスの検出）などを伴い得る。タッチ入力の認識は、入力／出力モジュール１０６によって、コンピューティングデバイス１０２によって出力されるユーザーインターフェースと対話するのに、たとえば、ゲーム、アプリケーションと対話し、インターネットをブラウズし、コンピューティングデバイス１０２の１つまたは複数の設定を変更するのなどに活用され得る。デバイスとのタッチ対話を伴う他の様々なハードウェアデバイスも企図される。このようなハードウェアデバイスの例は、カーソル制御デバイス（たとえば、マウス）、リモコン（たとえば、テレビリモコン）、モバイル通信デバイス（たとえば、コンピューティングデバイス１０２の１つまたは複数の動作を制御するように構成されたワイヤレス電話）、およびユーザーまたはオブジェクトの部位のタッチを伴う他のデバイスを含む。

[0024]入力／出力モジュール１０６は、タッチを伴わない対話を認識することができるナチュラルユーザーインターフェース（ＮＵＩ）を提供するようにも構成され得る。たとえば、コンピューティングデバイス１０２は、ＮＵＩ入力デバイス１１０を含み得る。ＮＵＩ入力デバイス１１０は、ユーザーを特定のデバイスにタッチさせずに入力を検出するように、たとえば、マイクロホンを使用してオーディオ入力を認識するように、様々に構成され得る。たとえば、入力／出力モジュール１０６は、音声認識を実施して、特定の発声（たとえば、発話されたコマンド）を認識し、かつ発声を行った特定のユーザーを認識するように構成され得る。

[0025]別の例では、ＮＵＩ入力デバイス１１０は、カメラを使用して、ジェスチャー、提示オブジェクト、画像などを認識するように構成され得る。カメラは、たとえば、様々な視点が取り込まれ得るように、複数のレンズを含むように構成され得る。様々な視点は次いで、ＮＵＩ入力デバイス１１０からの相対距離を、したがってＮＵＩ入力デバイス１１０からの相対距離の変化を判定するのに使われ得る。様々な視点は、コンピューティングデバイス１０２によって、奥行き認知として活用され得る。画像は、入力／出力モジュール１０６によって、特定のユーザー（たとえば、顔の認識により）、オブジェクトなどを識別する技術など、他の様々な機能性を提供するのにも活用され得る。

[0026]入力出力モジュール１０６は、ＮＵＩ入力デバイス１１０を活用して、人体の特定のポイント（たとえば、４８個の骨格ポイント）の特徴抽出とともに骨格マッピングを実施して、１人または複数のユーザー（たとえば、同時に４人のユーザー）を追跡してモーション分析を実施することができる。たとえば、ＮＵＩ入力デバイス１１０は、入力／出力モジュール１０６によって分析された画像を取り込んで、モーションを行うのに体のどの部分が使われるか、ならびにどのユーザーがモーションを行ったかを含む、ユーザーによって行われた１つまたは複数のモーションを認識することができる。一例は、ユーザーの手１１２の１本または複数の指の位置特定および動きの認識および／または全体としてのユーザーの手１１２の動きにより示される。モーションは、入力／出力モジュール１０６によって、対応する動作を開始するためのジェスチャーとして識別され得る。

[0027]１つのタイプの入力から認識されるジェスチャー（たとえば、ハンドジェスチャー）ならびに複数のタイプの入力を伴うジェスチャー、たとえば、ハンドモーションおよびユーザーの体の部位の位置特定に基づくジェスチャーなど、異なる様々なタイプのジェスチャーが認識され得る。したがって、入力／出力モジュール１０６は、複数の入力の間の区分を認識し活用することによって、異なる様々なジェスチャー技術をサポートすることができる。ナチュラルユーザーインターフェース（ＮＵＩ）における複数の入力の間を見分けることによって、こうした入力それぞれのみによって可能にされるジェスチャーの数も増えることに留意されたい。たとえば、動きが同じである場合であっても、異なるジェスチャー（または類似したコマンド用の異なるパラメーター）が、異なるタイプの入力を使って指示される場合がある。したがって、入力／出力モジュール１０６は、タッチを伴わない様々なユーザー対話をサポートするナチュラルユーザーインターフェースＮＵＩを提供することができる。

[0028]したがって、以下の説明では、入力の具体例を記述する場合があるが、いくつかの事例では、その精神および範囲から逸脱することなく、異なるタイプの入力も使われ得る。さらに、以下の説明におけるいくつかの事例では、ジェスチャーは、ＮＵＩを使って入力されるものとして示され、ジェスチャーは、たとえばタブレットコンピューターのタッチスクリーン機能性を利用するための、異なる様々なデバイスによる異なる様々な技術を使って入力され得る。

[0029]コンピューティングデバイス１０２は、入力用の文字の選択に関する機能性を表す文字選択モジュール１１４を含むものとしてさらに示される。たとえば、文字選択モジュール１１４は、ディスプレイデバイス１０４によって表示されるユーザーインターフェースに文字のリスト１１６を出力するように構成され得る。ユーザーは、たとえば、コントローラー１０８、ユーザーの手１１２によって行われるジェスチャーなどを使って、リスト１１６から文字を選択すればよい。選択された文字１１８は、ユーザーインターフェース中に表示され、この事例では、検索の土台としても使われる。検索の結果１２０も、ディスプレイデバイス１０４上のユーザーインターフェース中に出力される。

[0030]異なる様々な検索が、文字選択モジュール１１４によって、コンピューティングデバイス１０２上でローカルにも、ネットワークを介してリモートにも開始され得る。たとえば、メディアに対する（たとえば、テレビ番組および映画、ならびに図に示す音楽、ゲームなどに対する）検索を実施して、ウェブを検索する（たとえば、図示するように、検索結果「モハメド・アリ対ジョー・フレージャー」が、ウェブ検索により見つかる）ことなどができる。さらに、検索について記載したが、文字は、ユーザー名およびパスワードを入れ、テキストを書き込み、メッセージを組み立て、支払い情報を入れ、投票するためなど、他の様々な理由で入力され得る。このおよび他の文字選択技術のさらなる考察は、以下のセクションに関連して見ることができる。

[0031]図２は、図１を参照して説明したコンピューティングデバイス１０２を含む例示的システム２００を示す。例示的システム２００は、パーソナルコンピューター（ＰＣ）、テレビ装置、および／またはモバイルデバイス上でアプリケーションを稼動するとき、シームレスなユーザーエクスペリエンスのためのユビキタス環境を可能にする。サービスおよびアプリケーションは、アプリケーションを使用し、ビデオゲームをプレイし、ビデオを見ているときなどの間に、あるデバイスから次のデバイスに移るとき、共通のユーザーエクスペリエンスのために、３つすべての環境においてほぼ同様に稼働する。

[0032]例示的システム２００では、複数のデバイスが、中央コンピューティングデバイスを通して相互接続される。中央コンピューティングデバイスは、複数のデバイスにとってローカルでもよく、複数のデバイスからリモートに置かれてもよい。一実施形態では、中央コンピューティングデバイスは、ネットワーク、インターネット、または他のデータ通信リンクを通して複数のデバイスに接続される１つまたは複数のサーバーコンピューターからなるクラウドでよい。一実施形態では、この相互接続アーキテクチャーは、共通のシームレスなエクスペリエンスを複数のデバイスのユーザーに提供するように、複数のデバイスに機能性が分配されることを可能にする。複数のデバイスはそれぞれ、異なる物理要件および能力を有してよく、中央コンピューティングデバイスは、プラットフォームを使って、デバイスに合わせられるとともにすべてのデバイスに共通でもあるエクスペリエンスをデバイスに分配できるようにする。一実施形態では、ターゲットデバイスのクラスが作成され、エクスペリエンスが、デバイスの汎用クラスに合わせられる。デバイスのクラスは、物理的特徴、使用タイプ、またはデバイスの他の共通特性によって定義され得る。

[0033]様々な実施例において、クライアントデバイス１０２は、コンピューター２０２、モバイル２０４、およびテレビ２０６使用向けなど、異なる様々な構成を想定することができる。こうした構成はそれぞれ、概して異なる構造および能力を有し得るデバイスを含み、したがってコンピューティングデバイス１０２は、異なるデバイスクラスの１つまたは複数に従って構成され得る。たとえば、コンピューティングデバイス１０２は、パーソナルコンピューター、デスクトップコンピューター、マルチスクリーンコンピューター、ラップトップコンピューター、ネットブックなどを含むコンピューター２０２デバイスクラスとして実装され得る。

[0034]コンピューティングデバイス１０２は、携帯電話、ポータブル音楽プレーヤー、ポータブルゲーム機、タブレットコンピューター、マルチスクリーンコンピューターなどのような、モバイルデバイスを含むモバイル２０２デバイスクラスとしても実装され得る。コンピューティングデバイス１０２は、気軽な視聴環境における概して比較的大型のスクリーンを有し、またはそれらに接続されたデバイスを含むテレビ２０６デバイスクラスとしても実装され得る。こうしたデバイスは、テレビ、セットトップボックス、ゲームコンソールなどを含む。本明細書に記載する文字選択技術は、クライアントデバイス１０２のこうした様々な構成によってサポートされることが可能であり、本明細書に記載する文字選択技術の具体例には限定されない。

[0035]クラウド２０８は、コンテンツサービス２１２用のプラットフォーム２１０を含み、かつ／またはプラットフォーム２１０を表す。プラットフォーム２１０は、ハードウェア（たとえば、サーバー）の基底機能性およびクラウド２０８のソフトウェアリソースを抽象化する。コンテンツサービス２１２は、クライアントデバイス１０２から離れたサーバー上でコンピューター処理が実行されている間に使用され得るアプリケーションおよび／またはデータを含み得る。コンテンツサービス２１２は、インターネットを介して、および／またはセルラーやＷｉ−Ｆｉネットワークなどの加入者ネットワークを通してサービスとして提供され得る。

[0036]プラットフォーム２１０は、コンピューティングデバイス１０２を他のコンピューティングデバイスと接続するためのリソースおよび機能を抽象化することができる。プラットフォーム２１０は、リソースのスケーリングを抽象化して、プラットフォーム２１０を介して実施されるコンテンツサービス２１２を求める要求に遭遇すると、その要求に対して対応するレベルのスケールを提供する働きもし得る。したがって、相互接続型デバイス実施形態では、文字選択モジュール１１４の機能性の実装は、システム２００全体に渡って分散され得る。たとえば、文字選択モジュール１１４は、部分的にはコンピューティングデバイス１０２上で、ならびにクラウド２０８の機能性を抽象化するプラットフォーム２１０により実装され得る。

[0037]概して、本明細書に記載する機能のいずれも、ソフトウェア、ファームウェア、ハードウェア（たとえば、固定論理回路要素）、またはこうした実施例の組合せを使って実装され得る。本明細書で使われる「モジュール」、「機能性」、および「論理」という用語は概して、ソフトウェア、ファームウェア、ハードウェア、またはその組合せを表す。ソフトウェア実装のケースでは、モジュール、機能性、または論理は、プロセッサー（たとえば、１つまたは複数のＣＰＵ）上で実行されると、指定のタスクを実施するプログラムコードを表す。プログラムコードは、１つまたは複数のコンピューター読み取り可能なメモリーデバイスに記憶され得る。後で説明する文字選択技術の特徴はプラットフォーム非依存であり、このことは、様々なプロセッサーを有する様々な商用コンピューティングプラットフォーム上で技術が実装され得ることを意味する。
文字選択実装例
[0038]図３は、検索を実施するための入力として文字を受け取るように構成された、初期検索画面がディスプレイデバイスに出力される例示的実施例におけるシステム３００を示す。図に示す例では、図１の文字リスト１１６が表示される。リスト１１６において、文字「Ａ」および「Ｚ」は、リスト１１６中の複数の字の先頭および末尾であることをユーザーに示すように、リスト１１６の他の文字より大きく表示される。リスト１１６は、リスト１１６のメンバーとして扱われる「スペース」および「削除」を示す文字も含む。

[0039]リスト１１６中のある文字が関与（engage）させられると、リスト１１６全体が関与させられることになり得る。ある実施例では、関与ゾーンは、グループ中の文字それぞれを通る中心線と、その上の定義エリアとの間など、リスト中の文字の近くのエリアとして定義され得る。このようにして、ユーザーは、複数のリストの間をナビゲートすることができる。

[0040]文字選択モジュール１１４によって出力されるユーザーインターフェースは、他のアルファベット以外の文字を選択するための機能性も含む。たとえば、図に示すユーザーインターフェースは、「＆」、「＄」、および「？」などの記号を選択するためのボタン３０６を含む。ユーザーは、たとえば、このボタン３０６を選択して、後で説明する技術を使ってユーザーがナビゲートし得る記号リストを出力させることができる。同様に、ユーザーは、ボタン３０８を選択して、数字のリストを出力することができる。ユーザーは、様々なやり方で文字と対話することができ、その一例は、以下の図に関連して見ることができる。

[0041]図４は、図３の文字リスト中のナビゲーションを伴うジェスチャーが示される例示的実施例におけるシステム４００を示す。図４のユーザーインターフェースでは、コンピューティングデバイス１０２によってユーザーの手１１２に対して登録された現在の位置に対応する指示４０２が、文字選択モジュール１１４によって出力される。

[0042]たとえば、コンピューティングデバイス１０２の、図１のＮＵＩ入力デバイス１１０は、カメラを使って、ユーザーの手の位置を検出し、ユーザーインターフェース内の「どこに」ユーザーの手１１２の位置が関連するかを示す、ユーザーインターフェースに表示するための出力を提供することができる。このようにして、指示４０２は、ユーザーインターフェース中をナビゲートするためのフィードバックをユーザーに与えることができる。ユーザーの手１１２の位置に対応するユーザーインターフェース内のエリアに「フォーカス」を当てるなど、他の様々な例も企図される。

[0043]この例では、ユーザーの手１１２の位置に対応する文字のセクション４０４が、隆起して表示され、そうすることによって、ユーザーが現在対話しているリスト１１６のエリアのプレビューをユーザーに与える。このようにして、ユーザーは、ユーザーの手１１２のモーションを使って、リスト１１６中を水平方向にナビゲートして、リスト中の所望の文字を突き止めることができる。さらに、セクション４０４は、所望の文字を選ぶためにリスト１１６中の「どこにユーザーがいるか」に関するフィードバックをさらに与えることができる。

[0044]たとえば、各表示文字は、外部接近範囲（outer approaching range）および内部スナップ範囲（inner snapping range）など、文字に関連づけられた２つの範囲を有することができ、ユーザーがそれらの範囲内の文字と対話するとき、文字選択モジュール１１４に適宜反応させ得る。たとえば、ユーザーの手１１２の指が外部接近範囲内にあるとき、対応する文字にはフォーカスが当てられ、たとえば、図示するようにサイズが拡大され、色が変更され、強調表示などが行われ得る。ユーザーの手の指が文字のスナップ範囲（文字の表示より大きい、ディスプレイデバイス１０４上のエリアを伴うものとして定義され得る）内にあるとき、ディスプレイデバイス１０４上での指示４０２の表示は、対応する文字の表示内にスナップし得る。ユーザーにリスト１１６をより詳細に見せるための他の技術も企図され、その例については以下の図に関連して記載する。

[0045]図５は、図４の文字リスト１１６のズームを伴うジェスチャーが示される例示的実施例におけるシステム５００を示す。この例では、コンピューティングデバイス１０２の文字選択モジュール１１４は、コンピューティングデバイス１０２の方への、たとえば、図１のＮＵＩ入力デバイス１１０のカメラに近づく、ユーザーの手１１２の動きを検出する。これは、図５において、ユーザーの手１１２に関連づけられた仮想線および矢印を使用して示される。

[0046]この入力から、文字選択モジュール１１４は、ズームジェスチャーを認識し、それに従って、リスト１１６の一部分を、図３、４に示す非拡大ビューとの比較で容易にわかるように、図５において拡大されているように表示する。このようにして、使用は、リスト１１６のセクションをより詳細に閲覧し、あまり正確でないジェスチャーをより効率的に使ってリスト１１６からの選択を行うことができる。たとえば、ユーザーは次いで、図３、４のリスト１１６の非拡大ビューと対話する際に示されるであろう細かな制御を示すことなく、水平ジェスチャーを使って、拡大リスト１１６中をナビゲートすることができる。

[0047]図に示す例において、指示４０２およびリスト１１６のセクション４０４の「隆起」字がそろっている。したがって、文字選択モジュール１１４は、「Ｅ」を囲む円および許容可能ナビゲーション方向を示す対応する矢印によって５０２に示されるように、ユーザーがリスト１１６に関与していることを認識し、その関与から許容可能である対応ナビゲーションを表示することができる。このようにして、ユーザーの手１１２は、字を選択するために、拡大リスト１１６中で動かされ得る。

[0048]少なくともいくつかの実施形態では、ユーザーの手１１２が初期関与面の上方にあるとき、リスト１１６の表示は、ズームされた状態のままである。さらに、リスト１１６の表示に適用されるズーム量は、ユーザーの手１１２がコンピューティングデバイス１０２、たとえば、図１のＮＵＩ入力デバイス１１０に近づいた距離量に基づいて変えられ得る。このようにして、ユーザーの手は、コンピューティングデバイス１０２によって出力されるユーザーインターフェースに適用されるズーム量を制御するため、たとえば、ズームインまたはズームアウトするために、コンピューティングデバイス１０２のより近くに、およびコンピューティングデバイス１０２からさらに離れて動かされ得る。ユーザーは次いで、コンピューティングデバイス１０２によって入力として使われるべき文字の１つまたは複数を選択することができ、それについてのさらなる考察は、以下の図に関連して見ることができる。

[0049]図６は、検索を実施するための、図５のリストからの文字の選択を伴うジェスチャーが示される例示的システム６００を示す。リスト１１６は、図５に関連して上に記載したように、この例ではズームされたビューで表示されるが、選択は、図３、４に示すビューなど、他のビューでも実施され得る。

[0050]この例では、ユーザーの手１１２の垂直移動（たとえば、矢印で示すように、この例では「上」）が、ユーザーの手１１２の現在の位置に対応する文字（たとえば、字「Ｅ」）を選択するものとして認識される。字「Ｅ」は、図５に関連して上で記載した許容可能ナビゲーションを示す円および矢印を使って、フォーカスをもつものとして、５０２にも示される。文字を選択するためには、たとえば、ディスプレイデバイスの方への「押し」、予め定義された時間量の、オブジェクト上方でのカーソルの保持など、他の様々な技術も利用され得る。

[0051]文字の選択により、文字選択モジュール１１４は、選択された文字６０２を表示して、選択に関するフィードバックを与える。さらに、この事例における文字選択モジュール１１４は、文字を使って検索を開始するのに使用され、その結果６０４は、ユーザーインターフェース内にリアルタイムに出力される。ユーザーは、たとえば結果６０４をブラウズするために、リスト１１６から関与解除（disengage）するためには、手１１２を下ろせばよい。

[0052]上に記載したように、この例に示す画像および連絡先、メディア、インターネット検索などを含む、異なる様々な検索が実施され得る。さらに、検索について記載したが、本明細書に記載する技術は、メッセージを組み立て、フォームにデータを入れ、課金情報を提供し、文書を編集するなど、様々な目的で文字を入れるのに利用され得る。さらに、概ね線形のリストが図３〜６に示されたが、リスト１１６は、様々に構成されることが可能であり、その例は以下の図に関連して見ることができる。

[0053]文字は、ユーザー選択のための様々な方式でディスプレイデバイス１０４上に表示され得る。図５の例では、文字は、その周りの文字と同じように表示される。あるいは、図７の例示的システム７００に示すように、１つまたは複数の文字が、引き伸ばされ、またはグループプライムと呼ばれる他の特殊視覚処置を与えられ得る。グループプライムは、比較的大きい文字リスト中をユーザーが素早くナビゲートするのを助けるのに使われ得る。例示的リスト７０２に示すように、字「Ａ」〜「Ｚ」は、文字の拡大リストのメンバーである。字「Ａ」、「Ｇ」、「Ｏ」、「Ｕ」、および「Ｚ」には、ユーザーがリスト７０２の所望の部分を素早く突き止めることができるように、特殊視覚処置が与えられる。対等物よりも大きい、対応する文字の後ろに表示されるマーキー表現など、他の例も企図される。

[0054]さらに、文字の線形表示が示されたが、リスト中の文字の他の様々な構成も企図される。図８の例示的システム８００に示すように、リスト８０２は、段違いグループに配置された文字を含むように構成され得る。各グループは、水平の行に表示されるグループプライムに関連づけられ得る。円形配置など、他の非線形構成も企図される。

[0055]さらに、ラテン語由来の言語での使用のために、アルファベット文字について記載してきたが、文字選択モジュール１１４は、他の様々な言語をサポートすることができる。たとえば、文字選択モジュール１１４は、１つまたは複数の文字を使って音節が書かれ、検索結果が、音節に対応する可能な単語を含む音節書法（たとえば、カナ）をサポートすることができる。

[0056]さらに、前述の図は、ジェスチャーを使っての、リスト１１６のナビゲーションを記載したが、他の様々な技術も、文字を選択するのに使用され得る。たとえば、ユーザーは、（たとえば、コントローラーを手で操作して）コントローラー１０８、リモコンなどと対話して、ジェスチャーに関連して上に記載したように、文字をナビゲートし、ズームし、選択することができる。

[0057]たとえば、ユーザーは、ジョイスティック、親指パッド、または他のナビゲーション機能を使って左または右にナビゲートすることができる。ディスプレイデバイス１０４上の字は、フォーカスが当たっているとき、図４に関連して上に記載した「隆起」技術を使って引き伸ばされ得る。コントローラー１０８は、削除またはスペース用ボタンなど、ナビゲートするための追加能力を提供することもできる。

[0058]ある実施例では、ユーザーは、個々の文字の中をナビゲートして、文字グループの間を移動する。たとえば、ユーザーは、コントローラー１０８の右押しボタンを使って、文字グループの間のフォーカスシフトを可能にすることができる。別の例では、右押しボタンは、一度のボタン押下で一度に５つの文字など、リスト１１６内の複数の文字中の移動を可能にし得る。さらに、グループ中に５個未満の文字がある場合、ボタン押下は、次のグループにフォーカスを動かし得る。同様に、左押しボタンは、フォーカスを左に動かし得る。他の様々な例も企図される。
例示的手順
[0059]以下の説明は、上に記載したシステムおよびデバイスを使用して実装され得る文字選択技術について記載する。手順それぞれの側面は、ハードウェア、ファームウェア、ソフトウェア、またはその組合せで実装され得る。手順は、１つまたは複数のデバイスによって実施される動作を指定する１組のブロックとして示され、それぞれのブロックによって動作を実施するために示される順序に必ずしも限定されない。以下の説明のいくつかの部分では、図１の環境１００および図２〜８のシステム２００〜８００に対して参照が行われる。

[0060]図９は、文字をナビゲートし、ズームし、選択するのにジェスチャーが使用される例示的実施例における手順９００を示す。文字リストが、コンピューティングデバイスによってユーザーインターフェースに表示するために出力される（ブロック９０２）。リストは、線形および非線形など、様々に構成され、異なる様々な文字（たとえば、数字、記号、アルファベット文字、非アルファベット言語の文字）などを含み得る。

[0061]カメラを使って検出された入力が、コンピューティングデバイスによって、文字リストの表示中をナビゲートするためのジェスチャーとして認識される（ブロック９０４）。たとえば、コンピューティングデバイス１０２のＮＵＩ入力デバイス１１０のカメラは、ユーザーの手１１２の水平移動の画像を取り込むことができる。こうした画像は次いで、文字選択モジュール１１４によって、リスト１１６中をナビゲートするためのジェスチャーを認識するための土台として使われ得る。ジェスチャーは、たとえば、リストの長手軸に平行に、たとえば、リスト１１６、リスト７０２、およびリスト８０２に対して「水平」に行われる、ユーザーの手１１２の動きを伴い得る。

[0062]カメラを使って検出された別の入力が、コンピューティングデバイスによって、文字リストの表示をズームするためのジェスチャーとして認識される（ブロック９０６）。上記のように、文字選択モジュール１１４は、ＮＵＩ入力デバイス１１０のカメラによって取り込まれた画像を、カメラの方への移動を認識するための土台として使うことができる。したがって、文字選択モジュール１１４は、リスト中の文字の表示を、ディスプレイデバイス１０４上でサイズ増大させることができる。さらに、増大量は、文字選択モジュール１１４によって検出された、カメラの方への移動量に少なくとも部分的に基づき得る。

[0063]カメラを使って検出されたさらなる入力が、コンピューティングデバイスによって、文字の少なくとも１つを選択するためのジェスチャーとして認識される（ブロック９０８）。前述の例を続けると、この例におけるジェスチャーは、たとえば、リスト１１６、リスト７０２、およびリスト８０２に対して「上」など、リストの長手軸に対して垂直であり得る。したがって、ユーザーは、文字リスト中をナビゲートするためには手で水平方向に合図すればよく、文字リストの表示をズームするためにはカメラの方向に合図し、文字を選択するためには上に動かせばよい。ある実施例では、ユーザーは、リストとの対話から関与解除するためには手を下に動かせばよい。

[0064]選択された文字を使って検索が実施される（ブロック９１０）。たとえば、ユーザーは、たとえば、コンピューティングデバイス１０２上にローカルに格納され、および／またはネットワークを介して利用可能なメディアに対する、実施されるべき特定の検索を指定して、連絡先リストを検索し、ウェブ検索を実施するなどのことができる。上に記載したように、文字選択モジュール１１４は、メッセージを組み立て、課金情報を提供し、文書を編集するなどのような、他の様々な目的での文字選択技術も提供し得る。したがって、文字選択モジュール１１４は、ユーザーインターフェースにおいて文字と対話するための異なる様々な技術をサポートすることができる。
例示的デバイス
[0065]図１０は、本明細書に記載するジェスチャー技術の実施形態を実装するように、図１〜８を参照して記載したどのタイプのポータブルおよび／またはコンピューターデバイスとしても実装され得る例示的デバイス１０００の様々なコンポーネントを示す。デバイス１０００は、デバイスデータ１００４（たとえば、受信済みデータ、受信中のデータ、ブロードキャスト用にスケジュールされるデータ、データのデータパケットなど）のワイヤードおよび／またはワイヤレス通信を可能にする通信デバイス１００２を含む。デバイスデータ１００４または他のデバイスコンテンツは、デバイスの構成設定、デバイスに記憶されたメディアコンテンツ、および／またはデバイスのユーザーに関連づけられた情報を含み得る。デバイス１０００に記憶されたメディアコンテンツは、どのタイプのオーディオ、ビデオ、および／または画像データも含み得る。デバイス１０００は、ユーザー選択可能入力、メッセージ、音楽、テレビメディアコンテンツ、録画ビデオコンテンツ、ならびに任意のコンテンツおよび／またはデータソースから受信される他の任意のタイプのオーディオ、ビデオ、および／または画像データなど、どのタイプのデータ、メディアコンテンツ、および／または入力もそれを介して受信することができる１つまたは複数のデータ入力１００６を含む。

[0066]デバイス１０００は、シリアルおよび／またはパラレルインターフェース、ワイヤレスインターフェース、任意のタイプのネットワークインターフェース、モデムのどの１つまたは複数としても、および他のどのタイプの通信インターフェースとしても実装され得る通信インターフェース１００８も含む。通信インターフェース１００８は、他の電子、コンピューティング、および通信デバイスがデバイス１０００とデータ通信をするための、デバイス１０００と通信ネットワークとの間の接続および／または通信リンクを提供する。

[0067]デバイス１０００は、デバイス１０００の動作を制御し、本明細書に記載した実施形態を実装するための様々なコンピューター実行可能命令を処理する１つまたは複数のプロセッサー１０１０（たとえば、マイクロプロセッサー、コントローラーなどのどれでも）を含む。代替的または追加的に、デバイス１０００は、全体として１０１２で識別される処理および制御回路に関連して実装されるハードウェア、ファームウェア、または固定論理回路要素のどの１つまたは組合せとしても実装され得る。図示していないが、デバイス１０００は、デバイス内の様々なコンポーネントを結合するシステムバスまたはデータ転送システムを含み得る。システムバスは、メモリーバスもしくはメモリーコントローラー、ペリフェラルバス、ユニバーサルシリアルバス、および／または様々なバスアーキテクチャーのどれでも使用するプロセッサーもしくはローカルバスなど、異なるバス構造のどの１つまたは組合せも含み得る。

[0068]デバイス１０００は、１つまたは複数のメモリーコンポーネントなどのコンピューター読み取り可能な媒体１０１４も含み、その例は、ランダムアクセスメモリー（ＲＡＭ）、不揮発性メモリー（たとえば、読出し専用メモリー（ＲＯＭ）、フラッシュメモリー、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの任意の１つまたは複数）、およびディスク記憶デバイスを含む。ディスク記憶デバイスは、ハードディスクドライブ、書込み可能および／または書換え可能コンパクトディスク（ＣＤ）、任意のタイプのデジタル多用途ディスク（ＤＶＤ）などのような、どのタイプの磁気または光学記憶デバイスとしても実装され得る。デバイス１０００は、大容量記憶メディアデバイス１０１６も含み得る。

[0069]コンピューター読み取り可能な媒体１０１４は、デバイスデータ１００４、ならびに様々なデバイスアプリケーション１０１８と、デバイス１０００の動作態様に関連した他の任意のタイプの情報および／またはデータとを記憶するためのデータ記憶機構を提供する。たとえば、オペレーティングシステム１０２０は、コンピューター読み取り可能な媒体１０１４を有するコンピューターアプリケーションとして維持され、プロセッサー１０１０上で実行され得る。デバイスアプリケーション１０１８は、デバイスマネージャー（たとえば、制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスにネイティブなコード、特定のデバイス用のハードウェア抽象化レイヤーなど）を含み得る。デバイスアプリケーション１０１８はまた、本明細書に記載するジェスチャー技術の実施形態を実装するためのどのシステムコンポーネントまたはモジュールも含む。この例では、デバイスアプリケーション１０１８は、ソフトウェアモジュールおよび／またはコンピューターアプリケーションとして示されるインターフェースアプリケーション１０２２および入力／出力モジュール１０２４（入力／出力モジュール１１４と同じでも、異なってもよい）を含む。入力／出力モジュール１０２４は、タッチスクリーン、トラックパッド、カメラ、マイクロホンなどのような、入力を取り込むように構成されたデバイスとのインターフェースを提供するのに使われるソフトウェアを表す。代替的または追加的に、インターフェースアプリケーション１０２２および入力／出力モジュール１０２４は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのどの組合せとしても実装され得る。さらに、入力／出力モジュール１０２４は、それぞれ、視覚およびオーディオ入力を取り込むための個別デバイスなど、複数の入力デバイスをサポートするように構成され得る。

[0070]デバイス１０００は、オーディオシステム１０２８にオーディオデータを提供し、かつ／またはディスプレイシステム１０３０にビデオデータを提供するオーディオおよび／またはビデオ入力出力システム１０２６も含む。オーディオシステム１０２８および／またはディスプレイシステム１０３０は、オーディオ、ビデオ、および画像データを処理し、表示し、かつ／または他のやり方でレンダリングする、どのデバイスも含み得る。ビデオ信号およびオーディオ信号は、ＲＦ（無線周波数）リンク、Ｓビデオリンク、コンポジットビデオリンク、コンポーネントビデオリンク、ＤＶＩ（デジタルビデオインターフェース）、アナログオーディオ接続、または他の同様の通信リンクを介して、デバイス１０００からオーディオデバイスおよび／またはディスプレイデバイスに伝達され得る。ある実施形態では、オーディオシステム１０２８および／またはディスプレイシステム１０３０は、デバイス１０００に対する外部コンポーネントとして実装される。あるいは、オーディオシステム１０２８および／またはディスプレイシステム１０３０は、例示的デバイス１０００の統合コンポーネントとして実装される。
結論
[0071]本発明を、構造的特徴および／または方法論的作用に特有の言葉で記載してきたが、添付の請求項において定義される本発明は、記載した特定の特徴または作用に必ずしも限定されないことを理解されたい。むしろ、それらの特定の特徴および作用は、特許請求されている本発明を実装する例示的形態として開示されている。

Claims (15)

1. 文字リストを、コンピューティングデバイスによって、ユーザーインターフェースに表示するために出力するステップと、
   前記コンピューティングデバイスが、カメラを使って検出された入力を、前記文字の少なくとも１つを選択するためのジェスチャーとして認識するステップと
   を含む方法。
2. 前記文字の前記選択された少なくとも１つを使って検索を実施するステップをさらに含む請求項１に記載の方法。
3. 前記検索を実施する前記ステップが、前記文字の選択された少なくとも１つが認識されるとリアルタイムに実施され、前記実施された検索の結果を出力するステップをさらに含む請求項２に記載の方法。
4. 前記ジェスチャーの現在の入力点に対応するものとして前記ユーザーインターフェース上に位置決めされる文字の１つまたは複数が、前記ジェスチャーの現在の入力点に対応しない、前記リストの少なくとも１つの他の前記文字と比較して増大したサイズを有するものとして表示されるように、前記文字リストを、前記ユーザーインターフェースに表示するために出力するステップをさらに含む請求項１に記載の方法。
5. 前記コンピューティングデバイスが、前記カメラを使って検出された入力を、前記文字リストの表示中をナビゲートするためのジェスチャーとして認識するステップをさらに含む請求項１に記載の方法。
6. 前記文字リストの前記表示中をナビゲートするための前記ジェスチャーがユーザーの水平移動を伴い、前記文字の前記少なくとも１つを選択するための前記ジェスチャーが垂直移動を伴う請求項５に記載の方法。
7. 前記コンピューティングデバイスが、前記カメラを使って検出された入力を、前記文字リストの前記表示をズームするためのジェスチャーとして認識するステップをさらに含む請求項１に記載の方法。
8. 前記表示に適用されるズームの量が前記カメラの方への前記移動の量に少なくとも部分的に基づく請求項７に記載の方法。
9. 前記文字がリストに含まれ、前記文字が選択されると実施されるべき動作を記述する請求項１に記載の方法。
10. 前記ジェスチャーを認識する前記ステップがユーザーの１つまたは複数の体の部分の位置決めを認識するステップを伴う請求項１に記載の方法。
11. 前記ジェスチャーが前記コンピューティングデバイスに物理的に触れずに検出される請求項１に記載の方法。
12. コンピューティングデバイスが、カメラを使って検出された入力を、前記コンピューティングデバイスによって表示される複数の文字の少なくとも１つを選択するためのジェスチャーとして認識するステップと、
    前記複数の文字の前記選択された少なくとも１つを使って検索を実施するステップと
    を含む方法。
13. 前記検索を実施する前記ステップが、前記文字の選択された少なくとも１つが認識されるとリアルタイムに実施され、前記実施された検索の結果を出力するステップをさらに含む請求項１２に記載の方法。
14. 前記コンピューティングデバイスが、前記カメラを使って検出された入力を、前記文字リストの表示中をナビゲートするためのジェスチャーとして認識するステップをさらに含み、前記文字リストの表示中をナビゲートするための前記ジェスチャーがユーザーの水平移動を伴い、前記文字の前記少なくとも１つを選択するための前記ジェスチャーが垂直移動を伴う請求項１２に記載の方法。
15. 前記コンピューティングデバイスが、前記カメラの方への移動としての入力を、前記文字リストの表示をズームするためのジェスチャーとして認識するステップをさらに含み、前記表示に適用されるズームの量が前記カメラの方への前記移動の量に少なくとも部分的に基づく請求項１２に記載の方法。