JP2012512453A - 光学マーカを有するユーザ入力デバイスを検出する電子デバイス、システム、方法およびコンピュータプログラム - Google Patents

Abstract

電子デバイスは、入力ディスプレイ上に複数の入力キーを有するユーザ入力ディスプレイを含む。複数の入力キーのそれぞれは、入力ディスプレイのための入力機能に対応する。光学検出器は、ユーザ入力デバイスを含む光学データを検出するように構成される。ユーザ入力デバイスは、その上に光学マーカを有する。ユーザ入力管理システムは、ユーザ入力ディスプレイおよび光学検出器と連結される。ユーザ入力管理システムは、光学検出器から光学データを受信し、光学データに基づいて、ユーザ入力ディスプレイに対してユーザ入力デバイスの光学マーカの位置を特定し、および、光学マーカの位置に応じてディスプレイ上の複数の入力キーの選択された１つを特定するように構成される。

Description

本発明は、電子デバイスに関し、特に電子デバイスに対するユーザインタフェース、および電子デバイスにユーザインタフェースを提供する方法およびコンピュータプログラムに関する。

無線通信端末（例えば、携帯電話）、携帯情報端末（ＰＤＡ）、パームトップ・コンピュータ等の多くの電子デバイスは、特にウェブページ、画像およびビデオを表示するために使用されてもよいモノクロおよび／またはカラーのディスプレイ・スクリーンを含む。ポータブル電子デバイスは、インターネット・コンテンツにアクセスして表示するように構成されるインターネット・ブラウザ・ソフトウェアを含んでもよい。従って、これらのデバイスは、局所的に格納された情報コンテンツおよび／またはインターネット等のネットワークを通じてアクセス可能な情報コンテンツを含んだ、広範囲な情報コンテンツにアクセスする能力を有し得る。

従来のデスクトップ・コンピュータおよびラップトップ・コンピュータと同様に、ポータブル電子デバイスは、スクリーンアイコン等の、グラフィカル・オブジェクトを使用してユーザがプログラムおよびファイルを操作するのを可能にするグラフィカル・ユーザ・インタフェースを備えている。しかしながら、ポータブル電子デバイスのディスプレイ・スクリーン上でのグラフィカル・オブジェクトの選択は、煩わしく困難であり得る。グラフィカル・ユーザ・インタフェースを有する初期のデバイスは、通常、ユーザが所望のオブジェクトをハイライトおよび選択することを可能にする方向キーおよび選択キーを使用していた。そのようなインタフェースは、所望のオブジェクトをハイライトおよび選択するためにいくつかのボタンの押下を必要とするかもしれないので、使用するのに時間を要し、煩わしい可能性がある。

最近のデバイスは、オブジェクトが表示されているスクリーン上の位置を押下することによって、所望のオブジェクトをユーザが選択するのを可能にするタッチセンサ式スクリーンを採用している。しかしながら、そのようなデバイスは、実際にはある欠点を有する。例えば、タッチスクリーンのデジタイザは時間と共に”ドリフト”し得、その結果スクリーンがタッチされた位置をタッチスクリーンが不適切に解釈し得る。従って、タッチスクリーンは、デジタイザが適切にタッチ位置を解釈していることを保証するために定期的に再調整されなければならないかもしれない。

さらにその上、タッチスクリーンの空間分解能が比較的高い可能性がある間は、ユーザは、通常、指先でタッチスクリーンにタッチすることによって、タッチスクリーンと情報をやり取りすることを望む。従って、ユーザの指先サイズが、実際の利用可能なタッチスクリーンの分解能を制限し、それは特に、大きな手を有するユーザにとって、スクリーン上の小さなオブジェクトまたはアイコンを操作することが困難であり得ることを意味する。システム設計者は、多数の人々によって使用され得るインタフェースを設計するという課題に直面しており、従って大抵の人々にとって必要なアイコンよりも大きいアイコンを有するインタフェースを設計するかもしれない。タッチスクリーンの代わりにスタイラスペンを使用することによって、より良好なタッチ分解能が取得され得る。しかしながら、ユーザはデバイスと情報をやり取りするために、スタイラスペン等の別個の機器を使用しなければならないことは望まないかもしれない。

本発明のいくつかの実施形態に従った電子デバイスは、入力ディスプレイ上に複数の入力キーを有するユーザ入力ディスプレイを含む。複数の入力キーのそれぞれは、入力ディスプレイのための入力機能に対応する。光学検出器は、ユーザ入力デバイスを含む光学データを検出するように構成される。ユーザ入力デバイスは、その上に光学マーカを有する。ユーザ入力管理システムは、ユーザ入力ディスプレイおよび光学検出器と連結される。ユーザ入力管理システムは、光学検出器から光学データを受信し、光学データに基づいて、ユーザ入力ディスプレイに対してユーザ入力デバイスの光学マーカの位置を特定し、および、光学マーカの位置に応じてディスプレイ上の複数の入力キーの選択された１つを特定するように構成される。

いくつかの実施形態において、ユーザ入力ディスプレイは、ユーザ入力デバイスがユーザ入力ディスプレイと接触する際にタッチセンサデータを検出するように構成されたタッチセンサ式ディスプレイをさらに含む。ユーザ入力管理システムは、タッチセンサ式ディスプレイユニットからタッチセンサデータを受信し、光学データおよびタッチセンサデータを関連付け、および、タッチセンサデータおよび光学マーカの位置に応じてディスプレイ上の複数の入力キーの選択された１つを特定するようにさらに構成される。

いくつかの実施形態において、ユーザ入力デバイスは指であり、ユーザ入力マーカはマーカをユーザ入力デバイスと光学的に区別する対照色および／または対照明度を有する。ユーザ入力マーカは、ユーザ入力デバイスの中心領域に位置し得る。いくつかの実施形態において、ユーザ入力マーカは、ユーザ入力マーカをユーザの指へ取り付けるように構成されたスリーブ（sleeve）および／またはグローブ（glove）へ接続される。

いくつかの実施形態において、ユーザ入力管理システムは、ユーザ入力マーカの位置に基づいて複数の入力キーの選択された１つを視覚的に拡大するように構成される。ユーザ入力管理システムは、ユーザ入力マーカとユーザ入力デバイスとの間での対称的な色および／または明度に基づいて、ユーザ入力マーカを特定するように構成され得る。

いくつかの実施形態において、ユーザ入力ディスプレイにおける入力を検出することによってハンドヘルド電子デバイスを動作する方法が提供される。入力ディスプレイ上に複数の入力キーを有するユーザ入力ディスプレイが提供される。複数の入力キーのそれぞれは、入力ディスプレイのための入力機能に対応する。ユーザ入力デバイスは、ユーザ入力デバイスを含む光学データを検出するように構成された光学検出器を使用して光学的に検出される。ユーザ入力デバイスは、その上に光学マーカを有する。ユーザ入力デバイスの光学マーカの位置は、光学データに基づいてユーザ入力ディスプレイに対して特定される。ディスプレイ上の複数の入力キーの選択された１つは、光学マーカの位置に応じて特定される。

いくつかの実施形態において、ユーザ入力デバイスがユーザ入力ディスプレイと接触する際に、タッチセンサデータが検出される。光学データおよびタッチセンサデータは、タッチセンサデータおよび光学マーカの位置に応じて、ディスプレイ上で複数の入力キーの選択された１つを特定するために、関連付けられる。

いくつかの実施形態において、ユーザ入力デバイスは指であり、ユーザ入力マーカは、マーカとユーザ入力デバイスとを光学的に区別する対照色および／または対照明度を有する。ユーザ入力マーカは、ユーザ入力デバイスの中心領域に位置し得る。

いくつかの実施形態において、ユーザ入力マーカは、ユーザ入力マーカをユーザの指へ取り付けるように構成されたスリーブおよび／またはグローブと接続されている。

いくつかの実施形態において、複数の入力キーの選択された１つは、ユーザ入力マーカの位置に基づいて視覚的に拡大される。

いくつかの実施形態において、ユーザ入力マーカは、ユーザ入力マーカとユーザ入力デバイスとの間の対照色および／または対照明度に基づいて特定される。

いくつかの実施形態に従って、ユーザ入力ディスプレイ上でユーザ入力を検出することによってハンドヘルド電子デバイスを動作するコンピュータプログラムが提供される。ユーザ入力ディスプレイは、入力ディスプレイ上に複数の入力キーを有する。複数の入力キーのそれぞれは、入力ディスプレイのための入力機能に対応する。コンピュータプログラム製品は、媒体に具体化されたコンピュータ読み取り可能なプログラムコードを有するコンピュータ読み取り可能な記憶媒体を含む。コンピュータ読み取り可能なプログラムコードは、光学検出器を使用してユーザ入力デバイスを光学的に検出するように構成されたコンピュータ読み取り可能なプログラムコードを含む。ユーザ入力デバイスは、その上に光学マーカを有する。コンピュータ読み取り可能なプログラムコードは、光学データに基づいてユーザ入力ディスプレイに対してユーザ入力デバイスの光学マーカの位置を特定するように構成される。コンピュータ読み取り可能なプログラムコードは、光学マーカの位置に応じてディスプレイ上の複数の入力キーの選択された１つを特定するように構成される。

いくつかの実施形態において、コンピュータ読み取り可能なプログラムコードは、ユーザ入力デバイスがユーザ入力ディスプレイと接触する際にタッチセンサデータを検出するように構成され、コンピュータ読み取り可能なプログラムコードは、タッチセンサデータおよび光学マーカの位置に応じてディスプレイにおける複数の入力キーの選択された１つを特定するために、光学データとタッチセンサデータとを関連付けるように構成される。

いくつかの実施形態において、コンピュータ読み取り可能なプログラムコードは、ユーザ入力マーカがユーザ入力デバイスの中心領域に位置している際にユーザ入力マーカを検出するように構成される。

いくつかの実施形態において、コンピュータ読み取り可能なプログラムコードは、ユーザ入力マーカの位置に基づいて複数の入力キーの選択された１つを視覚的に拡大するように構成される。

いくつかの実施形態において、コンピュータ読み取り可能なプログラムコードは、ユーザ入力マーカとユーザ入力デバイスとの間の対照色および／または対照明度に基づいて、ユーザ入力マーカを特定するように構成される。

本発明の実施形態に従った他のシステム、方法、および／またはコンピュータプログラムは、以下の図面および詳細な説明のレビューにより当業者にとって明らかまたは明らかになるであろう。全てのそのような追加のシステム、方法、および／またはコンピュータプログラムが、この説明に含まれており、本発明の範囲に含まれており、および添付の特許請求の範囲によって保護されることが意図される。

本発明のさらなる理解を提供するために含まれ、および、本願に組み込まれ、本願の一部を構成する添付の図面は、本発明のある（複数の）実施形態を説明する。
図１は、本発明のいくつかの実施形態に従った、携帯電子デバイス等の、電子デバイスの正面図である。 図２は、本発明のいくつかの実施形態に従った、図１の電子デバイスおよびユーザ入力デバイスの側面図である。 図３は、本発明のいくつかの実施形態に従って実行され得るいくつかの動作を説明する図１の電子デバイスのキーパッドディスプレイの正面図である。 図４は、ユーザ入力管理システム、オペレーティングシステム、および本発明のいくつかの実施形態に従って構成された電子デバイスにおけるアプリケーションプログラムの概略図である。 図５は、本発明のいくつかの実施形態に従った動作を説明するフローチャートである。 図６は、本発明のいくつかの実施形態に従ったポータブル電子デバイスである。

本発明のいくつかの実施形態が示される添付の図面を参照して、本発明はより十分に説明されるだろう。しかしながら、本発明は、ここで説明される実施形態を限定するものとして解釈されるべきではない。むしろ、これらの実施形態は、この開示が完璧且つ完全であり、当業者に本発明の範囲を伝達するように提供される。同様の番号は全体を通じて同様の要素を参照する。

ここで使用される、用語“備えている”または“備える”は非限定的であり、１つ以上の述べられた特徴、要素、工程、構成要素または機能を含むが、１つ以上の他の特徴、要素、工程、構成要素、機能またはそれらの集合の存在または追加を除外しない。ここで使用される、用語“および／または”は関連付けられリスト化された項目の１つ以上の何れかおよび全ての組み合わせを含む。ここで使用される専門用語は特定の実施形態のみを説明する目的のためのものであり、本発明を限定することは意図されない。ここで使用される、単数形“１つの”および“その”は、文脈が明確にそうでないことを示さない限り、複数形も含むことが意図される。

別段定義されない限り、ここで使用される（技術用語および科学用語を含む）全ての用語は、本発明が属する当業者によって通常理解される意味と同じ意味を有する。通常使用される辞書で定義される用語等の用語は、この開示および従来の技術の文脈での意味と一致する意味を有するように解釈されるべきであり、ここで明確にそのように定義されない限り、理想的または過度に正式な意味で解釈されないであろうことがさらに理解されるだろう。

１つの要素が別の要素と“連結される”または“接続される”と称される場合、それは他の要素と直接連結または接続され得、または介在要素が存在してもよいことが理解されるだろう。その一方、要素が別の要素と“直接連結される”または“直接接続される”と称される場合、介在要素は存在しない。さらにその上、ここで使用される“連結された”または“接続された”は、無線で連結または接続されることを含んでもよい。

本発明は、方法、電子デバイス、および／またはコンピュータプログラムとして具体化されてもよい。従って、本発明は、ハードウェア（例えば、制御回路または命令実行システム）および／または（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）ソフトウェアで具体化されてもよい。さらにその上、本発明は、命令実行システムによる使用のために、または命令実行システムと接続して、媒体において具体化されるコンピュータ使用可能なまたはコンピュータ読み取り可能なプログラムコードを有するコンピュータ使用可能なまたはコンピュータ読み取り可能な記憶媒体上におけるコンピュータプログラム製品の形式をとってもよい。この文書に照らして、コンピュータ使用可能なまたはコンピュータ読み取り可能な媒体は、命令実行システム、装置、コントローラまたはデバイスによる使用のために、または命令実行システム、装置、コントローラまたはデバイスと関連した使用のために、電子的に／磁気的に／光学的にプログラムを保持し得るあらゆる媒体であってもよい。

本発明に従った実施形態は、ブロック図、および／または、方法および通信端末の動作説明図を参照して説明される。この点で、各ブロックは、特定の論理機能（logical function）を実施する１つ以上の実行可能な命令を備える、モジュール、セグメント、またはコード部を表してもよい。ブロック図および／または動作説明図の各ブロック、および、ブロック図および／または動作説明図におけるブロックの組み合わせ、は無線周波数、アナログおよび／またはデジタルハードウェア、および／またはプログラム命令によって実施され得ることが理解されるべきである。これらのプログラム命令は、コントローラおよび／または他のプログラム可能なデータ処理装置を介して実行される命令が、ブロック図および／または動作ブロックで特定される機能／動作（act）を実施する手段を創出するように、１つ以上の汎用プロセッサ、専用プロセッサ、ＡＳＩＣ、および／または、他のプログラム可能なデータ処理装置を含んでもよいコントローラに提供されてもよい。いくつかの代替実施において、ブロックで述べられる機能／動作（act）は、動作説明図で述べられた順序以外で生じてもよい。例えば、連続して示される１つのブロックは実際には実質的に同時に実行されてもよく、または関連する機能性／動作（act）に依存して、場合によっては逆順に実行されてもよい。

コンピュータ使用可能なまたはコンピュータ読み取り可能なメモリに格納される命令が、フローチャートおよび／またはブロック図のブロックで特定される機能を実施する命令を含む製品を生産するように、コンピュータまたは他のプログラム可能なデータ処理装置を特定の方法で機能させてもよいこれらのコンピュータプログラム命令は、コンピュータ使用可能なまたはコンピュータ読み取り可能なメモリに格納されてもよい。

コンピュータ使用可能なまたはコンピュータ読み取り可能な媒体は、例えば電子的、磁気的、光学的、電磁気的、または半導体の、システム、装置、またはデバイスであってもよいが、これらに限定されない。コンピュータ読み取り可能な媒体のより具体的な例（限定的なリスト）は以下を含む：ハードディスク、光学記憶デバイス、磁気記憶デバイス、ポータブル・フロッピー（登録商標）・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、およびコンパクトディスク・リード・オンリー・メモリ（ＣＤ−ＲＯＭ）。

電子デバイスは、公衆交換電話網（ＰＳＴＮ）、デジタル加入者回線（ＤＳＬ）、デジタルケーブル、または別のデータ接続／データネットワーク等の有線接続を通じて、および／または例えばセルラーネットワーク、衛星ネットワーク、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）、および／または、別の通信端末との無線インタフェースを通じて、通信信号を受信／送信するように構成された通信端末として機能し得る。

無線インタフェースを通じて通信するように構成された電子デバイスは、“無線通信端末”または“無線端末”と称され得る。無線端末の例は、携帯電話、携帯情報端末（ＰＤＡ）、ポケットベル、および／または、携帯電話インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース、無線ローカル・エリア・ネットワーク・インタフェース（例えば、８０２．１１）別のＲＦ無線インタフェース、および／または光学／赤外線通信インタフェースを含み得る無線通信インタフェースを通じてデータを通信するように構成されたコンピュータ、を含むがこれらに限定されない。

ポータブル電子デバイスは、持ち運び可能であってもよく、可搬であってもよく、（航空、海洋、または陸上ベースの）車両にインストールされてもよく、局所的におよび／または地球上または宇宙の任意の他の位置で分散して動作するように配置および／または構成されてもよい。“ハンドヘルド”モバイル端末によって、モバイル端末の外形寸法が片手を使用する一般的な操作者による使用に適合し、適していることが意味される。いくつかの実施形態によれば、ハンドヘルドモバイル端末の全容積は約２００ｃｃよりも小さい。いくつかの実施形態によれば、ハンドヘルドモバイル端末の全容積は約１００ｃｃよりも小さい。いくつかの実施形態によれば、ハンドヘルドモバイル端末の全容積は５０ｃｃと１００ｃｃとの間である。いくつかの実施形態によれば、ハンドヘルドモバイル端末の寸法は約２００ｍｍを超過しない。

図１−６を参照して以下に本発明のいくつかの実施形態が説明されるだろう。本発明のいくつかの実施形態は、従来のデスクトップ・コンピュータ／ラップトップ・コンピュータよりも制限されたユーザ入力機能有するかもしれないポータブル電子デバイスまたはハンドヘルド電子デバイスとの関連で特に役立つかもしれない。

図１−２は、いくつかの実施形態に従ったポータブルまたはハンドヘルド電子デバイス１０を説明する。ポータブル電子デバイス１０は、ユーザ入力ディスプレイすなわちスクリーン２０、および別のユーザ入力ディスプレイすなわち英数字キーパッド６０が設けられる正面部１２Ａを含む筺体１２を含む。正面部は、方向キー（上（↑）、下（↓）、左（←）、および右（→））および選択キー（ＳＥＬ）を含んだ一組の選択キー５８も有する。

図１で説明されるように、アイコン５４等の多数のオブジェクト５２がディスプレイ・スクリーン２０に表示され得る。各アイコンは、アプリケーションプログラム、ユーティリティ・プログラム、コマンド、ファイル、および／またはデバイス１０に格納されおよび／またはデバイス１０によってアクセス可能な他のタイプのオブジェクト、を表し得る。ユーザは、対応するアイコンを選択することによって、所望のプログラム、コマンド、ファイル等にアクセスし得る。例えば、アイコンは、方向キーを使用してアイコンを強調し、強調されたアイコンを、選択（ＳＥＬ）キーを使用して選択することによって選択され得る。ディスプレイ・スクリーン２０上の、アイコン等の所望のオブジェクトを選択する代替方法が以下に記述される。図１で説明されるように、英数字キーパッド６０は、入力キー６１を有する標準クワーティ・キーボードを含んでもよい。しかしながら、英数字キー６０は、キー２−９がアルファベット入力のためにも使用される標準的な１０個の数字の数字キーパッド等の、任意の適切な配列の入力キーを含み得ることが理解されるだろう。

いくつかの実施形態において、アイコン５４および入力キー６１は、複数の配列で、ディスプレイ２０またはキーパッド６０上で再構成されて表示され得るソフトキーである。特定の実施形態において、ディスプレイ２０および／またはキーパッド６０はタッチセンサ式ディスプレイを含む。

図１−２で説明されるように、デバイス１０は、キーパッド６０に隣接して取り付けられる、カメラ２７等の光学検出器のレンズ２７Ａを含む。カメラ２７は、その上に光学マーカ６２Ａを有するユーザ入力デバイス６２を含んだ視野（view）２７Ｂの領域内の光学データを検出するように構成される。いくつかの実施形態において、ユーザ入力デバイス６２はユーザの指であり、光学マーカ６２Ａはユーザ入力デバイス６２と比較して対照色または対照明度を有する。例えば、マーカ６２Ａは、ユーザの指に身に着けられ得る対照的なスリーブまたはグローブ上で着色されたボールまたは他のオブジェクトであり得る。しかしながら、指またはユーザ入力デバイス６２に直接塗布された顔料（例えば、インク）等の、任意の適切なマーカ６２Ａが使用され得る。いくつかの実施形態において、マーカ６２Ａは、例えば画像認識技術を使用して得られる、ユーザの指における特定の位置すなわち指紋であり得る。

さらにその上、カメラ２７は、キーパッド６０への光学入力を検出するために視野２７Ｂの領域内のユーザ入力デバイス６２を検出するために任意の適切な位置に取り付けられ得、いくつかの実施形態において、ユーザ入力デバイス６２および光学マーカ６２Ａを検出するために複数のカメラが使用され得る。いくつかの実施形態において、光学検出器は、ユーザ入力デバイス６２を光学的に検出するためにスクリーン２０および／またはキーパッド６０に統合され得る。カメラ２７は筐体１２に統合されるものとして示されているが、カメラ２７は筐体１２から分離し得、無線で、および／または有線インタフェースを介して、電子デバイス１０と通信し得ることがさらに理解されるだろう。

いくつかの実施形態によれば、電子デバイス１０はユーザ入力管理システム４０をさらに含む（図４）。ユーザ入力管理システム４０は、（タッチセンサデータを含む）スクリーン２０またはキーパッド６０、選択キー５８を通じて受け付けられた入力、および／または、カメラ２７によって撮像された画像を通じて受け付けられた入力、を受け付けて処理するように構成されてもよい。

図４に示されるように、ユーザ入力管理システム４０は、ポータブル電子デバイス１０のオペレーティングシステム４２で動作するソフトウェアモジュールとして実施されてもよい。オペレーティングシステム４２は、（キーパッド６０からデータを受信する）キーパッド入力モジュール４１、（選択キー５８からデータを受信する）選択キー入力モジュール４３、（スクリーン２０からデータを受信する）アイコン入力モジュール４４、および／または（カメラ２７からデータを受信する）カメラ入力モジュール４５等のアプリケーション・ソフトウェアも動作する。従って、いくつかの実施形態において、ユーザ入力管理システム４０は、ポータブル電子デバイス１０において動作している複数のアプリケーションプログラムのために、キーパッド６０、選択キー５８、スクリーン２０および／またはカメラ２７からのユーザ入力を処理してもよい。オペレーティングシステム４２は、インターネットブラウザ、通信プログラム、および他のマルチメディア・レンダリング・アプリケーションプログラム等の、様々な他のアプリケーションプログラムを動作するようにも構成され得る。ユーザ入力管理システム４０は、ユーザ入力がモジュール４１、４１、４４および４５から受信された際にどのアプリケーションプログラムがアクティブであるかを判定し、およびユーザ入力コマンドを現在アクティブなアプリケーションへ送るように構成されてもよい。

特に、ユーザ入力管理システム４０は、マーカ６２Ａ等の、ユーザ入力デバイス６２の特徴を認識し得る。いくつかの実施形態において、図３に示されるように、図２のマーカ６２の画像６２Ａ’はキーパッド６０またはディスプレイ２０の上に重ねあわされ得、マーカ６２Ａの移動（movement）は、例えばキー６１Ａの１つを選択するために、ユーザ入力管理システム４０によって選択ポインタとして解釈され得る。図３に示されるようないくつかの実施形態において、ユーザ入力管理システム４０は、例えば、選択されてもよいキー６１Ｔの視覚表示をユーザに提供するために、マーカ６２Ａの画像６２Ａ’と重複する入力キー６１Ｔを拡大するように構成される。キーパッド６０は、ユーザ入力デバイス６２がキーパッド６０に触れる際等に、タッチセンサデータを検出するように構成されたタッチセンサ式ディスプレイユニットを含み得る。ユーザ入力管理システム４０は、例えばアイコンを選択または操作するために、ディスプレイ２０上での入力に対してマーカ６２Ａを同様に認識して解釈し得ることが理解されるべきである。従って、ユーザ入力管理システム４０は、キーパッド６０またはディスプレイ２０からタッチセンサデータを受信し、選択された入力キー６１またはアイコン５４等の、所望の入力を特定するために、光学データおよびタッチセンサデータを相互に関連付け得る。

この構成において、ユーザの指はポインティング・オブジェクトとして動作（act）し得、マーカ６２Ａは、一般にタッチセンサ式スクリーンで使用されるよりも小さいキーを使用するための制御および／または精度（precision）を提供し得る。いくつかの実施形態において、キーパッド６０について説明されるようなフル・クワーティ・キーボードは、一般的にタッチセンサ式スクリーンを用いて使用され得るよりも十分に小さいスペースに設けられ得る。例えば、一般的な指先は直径約１２ｍｍ−１８ｍｍであり得る。いくつかの実施形態において、光学マーカは、訳０．５ｍｍ−３．０ｍｍの直径を有し得る。従って、入力分解能は約５倍−２５倍高い可能性がある。

ユーザの指としてのユーザ入力デバイス６２に関していくつかの実施形態が説明されているが、人工デバイスまたはスタイラスペン等の他のポインティング・オブジェクトが使用され得ることが理解されるべきである。

ユーザの手の認識を促進するために、制御モードでの動作中に、視野２７Ｂ（図２）の比較的広い領域、比較的短い焦点距離、および／または比較的浅い（short）被写界深度（depth of field；ＤＯＦ）でカメラ２７が構成されることが望ましいかもしれない。その結果、背景におけるオブジェクトは焦点がずれて見え、一方、レンズ２７Ａの近くで保持されているユーザの指等のオブジェクトは焦点が合った状態であり得る。さらにその上、デバイス１０は、制御モードに入る際に自動的にＤＯＦを所望のレベルに設定するように構成され得る。ＤＯＦは、開口サイズ、焦点距離および倍率を含む、カメラの設計および設定の多数の側面によって影響され得ることが理解されるだろう。所望の焦点距離で所望のＤＯＦを有するためのカメラ設定は、カメラ設計者の通常の技術の範囲内である。いくつかの実施形態において、デバイス１０は、カメラ視野において指先の存在を認識し得、画像認識を促進するためにカメラ設定を所望の設定に調整し得る。特定の実施形態において、カメラは比較的低解像度であり得、マーカ６２Ａとユーザ入力デバイス６２との間での色および／または明度のコントラストを特定するように構成され得るカメラであり得る。例えば、例えば１メガピクセルまたは０．５メガピクセルより低い解像度を有するカメラが使用され得る。しかしながら、いくつかの実施形態において、ユーザの指紋上の１つの点をマーカとして特定するために例えば、１２メガピクセル以上のより高解像度なカメラが使用され得る。いくつかの実施形態において、カメラは、良好なコントラスト検出、暗度管理（darkness management）および／または近接オブジェクト検出を有し得る。

いくつかの実施形態において、カメラ２７は、赤外線熱信号を撮影するように構成され得、その結果、ユーザの指からの熱信号は、背景の熱ノイズと容易に区別され得る熱画像（サーマルイメージ）を生成するために使用され得る。

オブジェクト認識技術は当業者によく知られており、カメラ２７の視野２７Ｂの領域内のユーザの指の存在を認識し、視野２７Ｂの領域内でのユーザの指６２およびマーカ６２Ａの動きを追跡するために使用され得る。

従って、ユーザ入力管理システム４０は、カメラ２７の視野２７Ｂの領域の範囲内にあるユーザの指６２または入力ユニット６２等のポインティング・オブジェクトの存在を認識するように構成され得る。いくつかの実施形態において、ユーザ入力管理システム４０は、入力ユニット６２を示すオブジェクトをディスプレイ・スクリーンに重ね合わせ得る。例えば、ユーザ入力管理システム４０は、撮影されたマーカ６２Ａを示す矢印形状のオブジェクトを表示し得る。ポインティングマーカ６２Ａの画像がディスプレイ・スクリーン２０またはキーパッド６０に重ね合わされる際に、ポインティングマーカ６２Ａの画像は、ディスプレイ・スクリーン２０および／またはキーパッド６０を見ているユーザの観点からすると、ディスプレイ・スクリーン２０またはキーパッド６０上に表示されたアイコンまたはオブジェクトの上または下に表示され得ることが理解されるだろう。

ポータブル電子デバイス１０は、図１および図２に１つのピースの、非フリップ型携帯電話（例えば、「キャンディバー（candy bar）」）として説明されるが、そのデバイスは、下部筺体に回転可能に取り付けられた上部筺体を含むクラムシェル型フリップ電話、主筺体が補助筺体にスライド可能に取り付けられるスライド型電話、または任意の他の構造設計であり得ることが理解されるだろう。

さらなる例として、いくつかの実施形態に従って構成されたモバイルデバイスは、遠隔デバイスを制御し得る無線式マウスとして動作（act）し得る。例えば、デバイス１０は、カメラ２７を用いてマーカ６２Ａの動きを追跡し、マーカ６２Ａの移動をマウスの移動および／またはマウスコマンドへ変換し得るが、マーカ６２Ａをスクリーン２０に表示する代わりに、マーカ６２Ａの位置および／または移動に対応するマウス座標だけでなく実際のコマンドが遠隔デバイスへ送信され得る。

本発明の実施形態の他の可能性のある適用例は、テレビセット上でメニューを制御すること、ディスプレイとしてテレビモニターを使用して写真をサーバにソートすること等を含む。

いくつかの実施形態に従った動作が図５Ａに説明される。入力ディスプレイ上に複数の入力キーを有するユーザ入力ディスプレイが設けられる（ブロック７０）。複数の入力キーのそれぞれは、入力ディスプレイのための入力機能に対応する。ユーザ入力デバイスは、ユーザ入力デバイスを含む光学データを検出するように構成された光学検出器を使用して検出される（ブロック７２）。ユーザ入力デバイスはその上に光学マーカを有する。ユーザ入力デバイスの光学マーカの位置は、光学データ７４に基づいて、ユーザ入力ディスプレイに対して特定される（ブロック７４）。複数の入力キーの選択された１つは、光学マーカの位置に応じてディスプレイ上で特定される。

図６を参照して、本発明のいくつかの実施形態に従った例示的な電子デバイス１０が説明される。本発明の実施形態は無線通信端末に関連して説明されるが、本発明は、有線モバイル通信端末および／または非モバイル通信端末、および他の電子デバイスおよび方法を含んでもよいことが理解されるだろう。ポータブル電子デバイス１０は、１以上の他の無線端末との間での直接無線通信インタフェースを通じて、１以上のセルラー基地局を介した別の無線通信インタフェースを通じて、および／または、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）ルータを介した別の無線通信インタフェースを通じて、１以上の他の無線端末とデータを通信するように構成され得る。ポータブル電子デバイス１０は、携帯電話である必要はないが、携帯情報端末（ＰＤＡ）、ハンドヘルドＧＰＳユニット、または他の型の電子デバイス等の、ディスプレイ・スクリーンを含む任意の他の型のポータブル電子デバイスであり得ることが理解されるだろう。

ポータブル電子デバイス１０は、図６に説明されるような無線電話通信システム２の一部を形成するモバイル無線電話であってもよい。システム２は、無線通信ネットワーク５の一部である、ポータブル電子デバイス１０および基地局３を含む。本発明のいくつかの実施形態において、基地局３は、セルラーネットワークにおいて個々の携帯電話（cell）を定義し、（インタフェース７を介して）ポータブル電子デバイス１０と、および無線リンクプロトコルを使用してセルラーネットワークにおける他のモバイル端末と、通信する無線送受信機を含む。本発明のいくつかの実施形態において、多くの基地局は、例えばモバイル・スイッチング・センターを通じて、および、無線通信ネットワークを定義する他のデバイスを通じて、接続されてもよいことが理解されるだろう。基地局送受信機５は、通信リンク９を介して、インターネット等のデータ通信ネットワーク１３へ接続されてもよい。通信リンク９は、無線通信ネットワークの要素および／または１つ以上のゲートウェイ、ルータ、または他の通信ノードを含んでもよいことが理解されるだろう。

説明される実施形態におけるポータブル電子デバイス１０は、ポータブル筺体アセンブリ１２、コントローラ回路３０（“コントローラ”）、通信モジュール３２、およびメモリ３４を含む。ポータブル電子デバイス１０は、ディスプレイ・スクリーン２０、キーパッド６０およびカメラ２７を含むユーザインタフェース２２をさらに含む。ユーザインタフェース２２は、スピーカ２４、および、１つ以上の他の入力デバイス２６をさらに含み得る。入力デバイス２６は、従来の無線電話に見られてもよいような、１つ以上のキャラクタだけでなく数字にも対応するキーを含む数字キーボードであってもよいキーボードを含んでもよい。デバイス１０は、例えば、ここで説明されるような、ディスプレイ・スクリーン２０、キーパッド６０、およびカメラ２７からのユーザ入力を管理して解釈するユーザ入力管理システム４０を含む。

カメラ２７は、ＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補型ＭＯＳ）または他の型の画像センサを有するデジタルカメラを含み得、静止画像および／または動画像を記録して、ディスプレイおよび／または操作に適切なフォーマットに画像を変換するように構成され得る。

ディスプレイ・スクリーン２０および／またはキーパッド６０は、任意の適切なディスプレイ・スクリーン・アセンブリであってもよい。例えば、ディスプレイ・スクリーン２０および／またはキーパッド６０は、補助照明（例えば、照明パネル）を有するまたは有しない液晶ディスプレイ（ＬＣＤ）であってもよい。場合によっては、ポータブル電子デバイス１０は、特定の質のビデオコンテンツを再生することが可能であってもよい。例えば、ポータブル電子デバイス１０は、例えば１６：９または４：３等の特定のアスペクト比を有するビデオストリームを表示するように構成されてもよい。クォーターＶＧＡ（ＱＶＧＡ、３２０×２４０ピクセル）、共通中間フォーマット（ＣＩＦ、３６０×２８８ピクセル）およびクォーター共通中間フォーマット（ＱＩＣＦ、１８０×１４４ピクセル）を含む、多数の標準ビデオフォーマットがモバイル端末のために提案されている。さらにその上、いくつかのモバイル端末は、種々のディスプレイ機能を有する複数のディスプレイ・スクリーンを有してもよい。従って、ポータブル電子デバイス１０は、１つ以上の異なるディスプレイフォーマットでビデオを表示することが可能であってもよい。

ディスプレイ・スクリーン２０および／またはキーパッド６０は、タッチを検出し、その検出されたタッチを、コントローラ３０によって処理され得る位置情報に変換するように構成されるタッチセンサ式ディスプレイ・スクリーンを含み得る。

ユーザインタフェース２２は、例えば、タッチ作動デバイスまたはタッチセンサ式デバイス（例えば、タッチスクリーン）、ジョイスティック、キーボード／キーパッド、ダイヤル、１つまたは複数の方向キー、および／または（マウス、トラックボール、タッチパッド等の）ポインティング・デバイスを含む任意の適切な入力デバイスを含んでもよい。スピーカ２４は、入力オーディオ信号に応じて音声を生成する。ユーザインタフェース２２は、マイクロフォン２５への音声入射に応じてオーディオ・データ・ストリームを生成するように構成されたオーディオプロセッサと連結されたマイクロフォン２５（図１）もまた含み得る。

コントローラ３０は、ポータブル電子デバイス１０の様々な機能をサポートしてもよく、商用または特注の任意のマイクロプロセッサであり得る。使用時に、ポータブル電子デバイス１０のコントローラ３０は、画像を生成して、ディスプレイ・スクリーン２０および／またはキーパッド６０に表示してもよい。いくつかの実施形態において、しかしながら、別個の信号プロセッサおよび／またはビデオチップ（不図示）がポータブル電子デバイス１０に設けられてもよく、表示画像をディスプレイ・スクリーン２０上に生成するように構成されてもよい。従って、コントローラ３０の機能性は、ポータブル電子デバイス１０における複数のチップ／デバイスに渡って分配され得る。

メモリ３４は、デジタル・マルチメディア・ファイル（例えば、デジタル・オーディオファイル、画像ファイルおよび／またはビデオファイル）等のデジタル情報信号およびデータを格納するように構成される。

通信モジュール３２は、ここで議論されるような別の遠隔無線端末と、１つ以上の無線インタフェースを通じてデータを通信するように構成される。通信モジュール３２は、セルラー通信モジュール、ダイレクト・ポイント・ツー・ポイント接続モジュール、および／またはＷＬＡＮモジュールを含み得る。

ポータブル電子デバイス１０は、例えば、先進移動電話サービス（ＡＭＰＳ）、ＡＮＳＩ−１３６、グローバル・スタンダード・フォー・モバイル（ＧＳＭ）通信、ジェネラル・パケット・ラジオ・サービス（ＧＰＲＳ）、ＧＳＭ進化型高速データレート（ＥＤＧＥ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭA，ＣＤＭＡ２０００、および、ユニバーサル移動体通信システム（ＵＭＩＴＳ）等の、１つ以上のセルラー通信プロトコルを使用して、デバイス１０がネットワーク５の基地局３を介して通信することを可能にするセルラー通信モジュールを含み得る。セルラー基地局は、ＰＳＴＮおよび／または別のネットワークへ順に接続され得るモバイル・テレフォン・スイッチング・オフィス（ＭＴＳＯ）無線ネットワークへ接続されてもよい。

ダイレクト・ポイント・ツー・ポイント接続モジュールは、ダイレクトＲＦ通信モジュールまたはダイレクトＩＲ通信モジュールを含んでもよい。ダイレクトＲＦ通信モジュールは、Ｂｌｕｅｔｏｏｔｈモジュールを含んでもよい。Ｂｌｕｅｔｏｏｔｈモジュールを用いて、ポータブル電子デバイス１０は、ダイレクト・ポイント・ツー・ポイントインタフェースを通じたアドホック・ネットワークを介して通信し得る。

ＷＬＡＮモジュールを用いて、無線端末１０は、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｅ、８０２．１１ｇ、８０２．１１ｉを含んでもよいがこれらに限定されない通信プロトコルを使用してＷＬＡＮを通じて通信し得る。

通信モジュール３２は、それぞれ、発信無線周波数信号を（例えば、ネットワークへ、ルータへ、または直接的に別の端末へ）送信し、および、アンテナを介して音声信号およびデータ信号等の着信無線周波数信号を（例えば、ネットワーク５から、ルータから、または直接的に別の端末から）受信する、送信機回路および受信機回路を一般に有する送受信機を含み得る。通信モジュール３２は、Ｂｌｕｅｔｏｏｔｈ送受信機等の、短距離送受信機を含んでもよい。アンテナは、内蔵アンテナ、引き込み可能なアンテナ、または本発明の範囲を逸脱しない当業者に既知である任意のアンテナであってもよい。別の相手または宛先（destination）との通信を確立して維持するために使用される、ポータブル電子デバイス１０と、ネットワーク５、ルータまたは他の端末と、の間で送信される無線周波数信号は、トラフィック信号および制御信号（例えば、着信に対する呼び出し信号／メッセージ）の両方を含んでもよい。無線周波数信号は、例えば、セルラー・デジタル・パケット・データ（ＣＤＰＤ）情報等のパケットデータ情報を含んでもよい。さらに、送受信機は、ＩＲポートを介して他の電子デバイスへ／から赤外線信号を送信／受信するように構成された赤外線（ＩＲ）送受信機を含んでもよい。

ポータブル電子デバイス１０はまた、ポータブル電子デバイス１０と別の端末の間でのデジタル通信信号の送信のための有線またはケーブルを介して、別の端末と電気的に通信するように構成されてもよい。

図６は、モバイル端末および／または他の電子デバイスで使用されてもよい例示的なハードウェア／ソフトウェア・アーキテクチャを説明するが、本発明はそのような構成に限定されず、ここで議論される動作を実行することが可能な任意の構成を包含することが意図されるということが理解されるだろう。例えば、メモリ３４はコントローラ３０とは分離するものとして説明されるが、メモリ３４またはその部分は、コントローラ３０の一部として考えられてもよい。より一般的に、特定の機能が、説明図によって特定のブロックで示されるが、種々のブロックの機能および／またはその一部が組み合わされ、分割され、および／または除外されてもよい。さらに、図６のハードウェア／ソフトウェア・アーキテクチャの機能は、本発明の様々な実施形態に従って単一プロセッサシステムまたはマルチプロセッサシステムとして実施されてもよい。

さらにその上、デバイス１０と一体として示されるカメラ２７等の要素は、カメラ２７等の要素とデバイス１０との間に設けられる通信パスを用いてデバイス１０から分離し得る。

前述したものは本発明の実例であり、本発明を限定するものとして解釈されるべきではない。本発明のいくつかの例示的な実施形態が説明されているが、本発明の新規な教示および有利な点から実質的に逸脱することなく、例示的な実施形態において多くの変形が可能であることを当業者は容易に理解するだろう。従って、全てのそのような変形は請求の範囲で定義されるような本発明の範囲に含まれることが意図される。それ故、前述したものは本発明の実例であり、開示された特定の実施形態を限定するものとして解釈されるべきではないこと、および、開示された実施形態だけではなく、他の実施形態への変形が、添付の請求の範囲に含まれることが意図されることが理解されるべきである。本発明は、以下の請求の範囲によって定義され、当該請求の範囲の均等物がそこに含まれる。

Claims (19)

1. 電子デバイスであって、
   入力ディスプレイ上に複数の入力キーを有するユーザ入力ディスプレイと、
   ユーザ入力デバイスを含んだ光学データを検出するように構成された光学検出器と、
   前記ユーザ入力ディスプレイおよび前記光学検出器と連結されたユーザ入力管理システムと、を備え、
   前記複数の入力キーのそれぞれは前記入力ディスプレイのための入力機能に対応し、
   前記ユーザ入力デバイスは光学マーカを有し、
   前記ユーザ入力管理システムは、前記光学検出器から光学データを受信し、前記光学データに基づいて前記ユーザ入力ディスプレイに対する前記ユーザ入力デバイスの前記光学マーカの位置を特定し、および、前記光学マーカの位置に応じてディスプレイ上の前記複数の入力キーの選択された１つを特定するように構成されることを特徴とする電子デバイス。
2. 前記ユーザ入力ディスプレイは、前記ユーザ入力デバイスが前記ユーザ入力ディスプレイと接触する際に、タッチセンサデータを検出するように構成されたタッチセンサディスプレイをさらに備え、
   前記ユーザ入力管理システムは、前記タッチセンサディスプレイユニットからタッチセンサデータを受信し、前記光学データおよび前記タッチセンサデータを関連付け、および、前記タッチセンサデータおよび前記光学マーカの位置に応じてディスプレイ上の前記複数の入力キーの前記選択された１つを特定するようにさらに構成されることを特徴とする請求項１に記載の電子デバイス。
3. 前記ユーザ入力デバイスは指を含み、前記ユーザ入力マーカは、前記マーカと前記ユーザ入力デバイスとを光学的に区別する対照色と対照明度との少なくとも１つを有することを特徴とする請求項１または２に記載の電子デバイス。
4. 前記ユーザ入力マーカは、前記ユーザ入力デバイスの中心領域に位置することを特徴とする請求項１乃至３の何れか１項に記載の電子デバイス。
5. 前記ユーザ入力マーカは、前記ユーザ入力マーカをユーザの指へ取り付けるように構成されたスリーブとグローブとの少なくとも１つと接続されていることを特徴とする請求項１乃至４の何れか１項に記載の電子デバイス。
6. 前記ユーザ入力管理システムは、前記ユーザ入力マーカの位置に基づいて前記複数の入力キーの選択された１つを視覚的に拡大するように構成されることを特徴とする請求項１乃至５の何れか１項に記載の電子デバイス。
7. 前記ユーザ入力管理システムは、前記ユーザ入力マーカと前記ユーザ入力デバイスとの間の対照色と対照明度との少なくとも１つに基づいて前記ユーザ入力マーカを特定するように構成されることを特徴とする請求項１乃至６の何れか１項に記載の電子デバイス。
8. ユーザ入力ディスプレイにおける入力を検出することによってハンドヘルド電子デバイスを動作する方法であって、前記方法は、
   ユーザ入力ディスプレイ上にそれぞれが前記ユーザ入力ディスプレイのための入力機能に対応する複数の入力キーを有する、前記ユーザ入力ディスプレイを設ける工程と、
   光学マーカを有するユーザ入力デバイスを含んだ光学データを検出するように構成された光学検出器を使用して、前記ユーザ入力デバイスを光学的に検出する工程と、
   前記光学データに基づいて前記ユーザ入力ディスプレイに対する前記ユーザ入力デバイスの前記光学マーカの位置を特定する工程と、
   前記光学マーカの位置に応じてディスプレイ上で前記複数の入力キーの選択された１つを特定する工程と、
   を有することを特徴とする方法。
9. 前記ユーザ入力デバイスが前記ユーザ入力ディスプレイと接触する際にタッチセンサデータを検出する工程と、
   前記タッチセンサデータおよび前記光学マーカの位置に応じてディスプレイ上での前記複数の入力キーの前記選択された１つを特定するために、前記光学データおよび前記タッチセンサデータを関連付ける工程と、
   をさらに有することを特徴とする請求項８に記載の方法。
10. 前記ユーザ入力デバイスは指を含み、前記ユーザ入力マーカは、前記マーカと前記ユーザ入力デバイスとを光学的に区別する対照色と対照明度との少なくとも１つを有することを特徴とする請求項８または９に記載の方法。
11. 前記ユーザ入力マーカを、前記ユーザ入力デバイスの中心領域に配置する工程をさらに有することを特徴とする請求項８乃至１０の何れか１項に記載の方法。
12. 前記ユーザ入力マーカを、前記ユーザ入力マーカをユーザの指へ取り付けるように構成されたスリーブとグローブとの少なくとも１つと接続する工程をさらに有することを特徴とする請求項８乃至１１の何れか１項に記載の方法。
13. 前記ユーザ入力マーカの位置に基づいて前記複数の入力キーの選択された１つを視覚的に拡大する工程をさらに有することを特徴とする請求項８乃至１２の何れか１項に記載の方法。
14. 前記ユーザ入力マーカと前記ユーザ入力デバイスとの間の対照色と対照明度との少なくとも１つに基づいて前記ユーザ入力マーカを特定する工程をさらに有することを特徴とする請求項８乃至１３の何れか１項に記載の方法。
15. ユーザ入力ディスプレイ上でのユーザ入力を検出することによってハンドヘルド電子デバイスを動作するコンピュータプログラムであって、
    前記ユーザ入力ディスプレイは入力ディスプレイ上に複数の入力キーを有し、前記複数の入力キーのそれぞれは、前記入力ディスプレイのための入力機能に対応し、前記コンピュータプログラムは、
    記憶媒体で具体化されるコンピュータ読み取り可能なプログラムコードとしてコンピュータ読み取り可能な記憶媒体に記憶され、
    前記コンピュータ読み取り可能なプログラムコードは、
    光学検出器を使用して、光学マーカを有するユーザ入力デバイスを光学的に検出するように構成されたコンピュータ読み取り可能なプログラムコードと、
    前記光学マーカに基づいて前記ユーザ入力ディスプレイに対する前記ユーザ入力デバイスの前記光学マーカの位置を特定するように構成されたコンピュータ読み取り可能なプログラムコードと、
    前記光学マーカの位置に応じてディスプレイ上で前記複数の入力キーの選択された１つを特定するように構成されたコンピュータ読み取り可能なプログラムコードと、
    を備えることを特徴とするコンピュータプログラム。
16. 前記ユーザ入力デバイスが前記ユーザ入力ディスプレイと接触する際にタッチセンサデータを検出するように構成されたコンピュータ読み取り可能なプログラムコードと、
    前記タッチセンサデータおよび前記光学マーカの位置に応じてディスプレイ上での前記複数の入力キーの前記選択された１つを特定するために、光学データおよびタッチセンサデータを関連付けるように構成されたコンピュータ読み取り可能なプログラムコードと、
    をさらに備えることを特徴とする請求項１５に記載のコンピュータプログラム。
17. 前記ユーザ入力マーカが前記ユーザ入力デバイスの中心領域に位置する際に、前記ユーザ入力マーカを検出するように構成されたコンピュータ読み取り可能なプログラムコードをさらに備えることを特徴とする請求項１５または１６に記載のコンピュータプログラム。
18. 前記ユーザ入力マーカの位置に基づいて前記複数の入力キーの選択された１つを視覚的に拡大するように構成されたコンピュータ読み取り可能なプログラムコードをさらに備えることを特徴とする請求項１５乃至１７の何れか１項に記載のコンピュータプログラム。
19. 前記ユーザ入力マーカと前記ユーザ入力デバイスとの間の対照色と対照明度との少なくとも１つに基づいて前記ユーザ入力マーカを特定するように構成されたコンピュータ読み取り可能なプログラムコードをさらに備えることを特徴とする請求項１５乃至１８の何れか１項に記載のコンピュータプログラム。

Images