JP2014526107A - タッチ・インテリジェント・ターゲッティング - Google Patents

Abstract

ユーザー入力は、ディスプレイ上のある位置をターゲットとするユーザーの意図を示すことができる。ユーザー入力に基づいて、ターゲットとされる点を決定するために、コンピューティング装置は、少なくとも一つの点の指示、幅の指示および高さの指示を受領できる。コンピューティング装置は、前記少なくとも一つの点の指示、前記幅の指示および前記高さの指示に基づいて前記ディスプレイの一部分を推定することができる。コンピューティング装置はまた、前記少なくとも一つの点の位置に基づいてかつ前記ディスプレイの前記推定された部分内の前記一つまたは複数のオブジェクトの一部の位置に基づいて、ターゲットとされている点を決定することができる。

Description

本願の主題は、表示されたユーザー・インターフェースとのユーザー対話に関する。

コンピュータ・システムは、キーボード、モニタおよびマウスのような、ユーザーがコンピュータ・システムと対話し、ユーザー・インターフェースの諸側面を制御することを許容する周辺装置を含むことができる。マウス、スタイラスなどのようないくつかの周辺装置は、ユーザーが、表示されるユーザー・インターフェースを制御するための精密な入力をすることを許容する。しかしながら、タッチスクリーン・ディスプレイ、タッチパッド、動き感応性カメラなどといった他の装置はある種の事例においてユーザーにとってよりアクセスしやすいが、ユーザー入力の精密さはずっと低下する。タッチスクリーン・ディスプレイ、タッチパッドおよび同様のユーザー入力装置は、モニタ、ラップトップ・コンピュータ、テーブル・コンピュータ、携帯電話、ポイントオブセール・キオスクなどといったいくつもの装置に含まれることができる。

タッチスクリーン、タッチパッドおよび動き感応性カメラ装置のさまざまな実装に関する一つの問題は、ユーザーがどのオブジェクトをターゲットとしようと意図しているかをいかにして判別するかである。ユーザー・インターフェースを制御するためにマウスを使う場合には、マウス・ポインタが画面上の特定の点を示す。マウス・ポインタによって指示される点は、タッチスクリーン上のユーザーの指よりずっと精密である。しかしながら、マウスの使用は、携帯電話、タブレット・コンピュータなどといったある種の装置に関しては望ましくないまたは現実的ではない。マウスとは対照的に、タッチスクリーン・ディスプレイの精密さはずっと低い。ユーザーがタッチスクリーン・ディスプレイにタッチするとき、ユーザーがどの点をターゲットとしようと意図しているかが明確ではないことがある。これは、ユーザーの指がタッチスクリーン・ディスプレイ上のどの一点よりもずっと大きいから、あるいは指が関心対象要素の良好なビューを隠蔽して、ユーザーの精密さ誤差を高めることがあるからである。

本稿に開示される発明は、ディスプレイ上に示されるオブジェクトに基づいてターゲットとされている点を決定することに向けられる。ある実施形態では、ディスプレイ上に示されるオブジェクトに基づいてターゲットとされている点を決定する方法は、第一の点の指示、幅の指示および高さの指示を受領する段階と、前記第一の点の指示、前記幅の指示および前記高さの指示に基づいて前記ディスプレイの一部分を推定する段階と、前記ディスプレイの推定された部分内に一つまたは複数のオブジェクトの少なくとも一部分が位置することを判別する段階と、前記第一の点の位置に基づいてかつ前記ディスプレイの前記推定された部分内の前記一つまたは複数のオブジェクトの前記部分に基づいて、前記一つまたは複数のオブジェクトのうちからターゲットとされているオブジェクトを決定する段階とを含む。ユーザー入力は、タッチスクリーン・ディスプレイのタッチ、タッチパネル・デバイスのタッチ、動き感応性カメラによって感知されるジェスチャーまたは他のユーザー入力装置であることができる。

もう一つの実施形態では、システムが、一つまたは複数のオブジェクトを表示するよう構成されたディスプレイ装置とコンピューティング装置とを含む。前記コンピューティング装置は、第一の点の指示、第二の点の指示、幅の指示および高さの指示を受領する段階と、前記第二の点の指示、前記幅の指示および前記高さの指示に基づいて前記ディスプレイの一部分を推定する段階と、前記ディスプレイの推定された部分内に一つまたは複数のオブジェクトの少なくとも一部分が位置することを判別する段階と、前記第一の点の位置に基づいてかつ前記ディスプレイの前記推定された部分内の前記一つまたは複数のオブジェクトの前記部分に基づいて、前記一つまたは複数のオブジェクトのうちからターゲットとされているオブジェクトを決定する段階とを実行するよう構成されている。

さらにもう一つの実施形態では、命令を具現するコンピュータ可読媒体の命令が、第一の点の指示、第二の点の指示、幅の指示および高さの指示を受領するための命令と、前記第二の点の指示、前記幅の指示および前記高さの指示に基づいて前記ディスプレイの一部分を推定するための命令と、前記ディスプレイの推定された部分内に一つまたは複数のオブジェクトの少なくとも一部分が位置することを判別するための命令と、前記第一の点の位置に基づいてかつ前記ディスプレイの前記推定された部分内の前記一つまたは複数のオブジェクトの前記部分に基づいて、前記一つまたは複数のオブジェクトのうちからターゲットとされているオブジェクトを決定する段階とを含む。

本発明の実施形態が実装されうる例示的な汎用コンピューティング環境を描く図である。 ＡおよびＢは、コンピューティング装置およびタッチスクリーン・ディスプレイの例示的な実施形態を描く図である。 Ａ〜Ｃは、タッチスクリーン・ディスプレイの例示的な実施形態および該タッチスクリーン・ディスプレイとの例示的なユーザー対話を描く図である。 Ａ〜Ｄは、タッチスクリーン・ディスプレイによって与えられるデータの実施形態およびユーザーの指とタッチスクリーン・ディスプレイとの間の接触領域の推定の実施形態を描く図である。 Ａ〜Ｄは、タッチスクリーン・ディスプレイとの例示的なユーザー対話およびユーザーとタッチスクリーン・ディスプレイとの間の接触領域の推定の実施形態を描く図である。 タッチスクリーン・ディスプレイによって与えられるデータの追加的な実施形態およびディスプレイの一部分の推定の実施形態を描く図である。 ターゲットとされる点を決定するさまざまな実施形態を描く図の一つである。 ターゲットとされる点を決定するさまざまな実施形態を描く図の一つである。 ターゲットとされる点を決定するさまざまな実施形態を描く図の一つである。 ターゲットとされる点を決定するさまざまな実施形態を描く図の一つである。 ターゲットとされる点を決定するさまざまな実施形態を描く図の一つである。 ターゲットとされる点を決定するさまざまな実施形態を描く図の一つである。 ターゲットとされる点を決定する追加的な実施形態を描く図の一つである。 ターゲットとされる点を決定する追加的な実施形態を描く図の一つである。 ターゲットとされる点を決定する追加的な実施形態を描く図の一つである。 ターゲットとされる点を決定する追加的な実施形態を描く図の一つである。 複数のフレームワークを描くタッチスクリーン・ディスプレイの実施形態およびユーザーとタッチスクリーン・ディスプレイとの間の接触領域、ディスプレイの推定される部分が複数のフレームワークの諸部分にまたがるときに、ターゲットとされる点を決定する実施形態を描く図の一つである。 複数のフレームワークを描くタッチスクリーン・ディスプレイの実施形態およびユーザーとタッチスクリーン・ディスプレイとの間の接触領域、ディスプレイの推定される部分が複数のフレームワークの諸部分にまたがるときに、ターゲットとされる点を決定する実施形態を描く図の一つである。 ＡおよびＢは、ユーザーがタッチスクリーン・ディスプレイにタッチし、タッチスクリーン・ディスプレイとの接触を維持しながらユーザーとタッチスクリーンとの間の接触点を動かす実施形態を描く図である。 ターゲットとされるオブジェクトの決定のある実施形態に基づく方法の表現を描く図である。 ターゲットとされる点の決定につながるイベントの例示的なシーケンスの表現を描く図である。 コンピューティング装置がディスプレイの一部分を推定するためにディスプレイによって報告される幾何構造を使うかまたはコンピューティング装置がディスプレイの一部分を推定するためにシミュレートされた幾何構造を使うかを決定する方法を描く図である。

本発明の実施形態は、一つまたは複数のコンピュータ・システム上で実行されうる。図１および以下の議論は、本発明の実施形態が実装されうる好適なコンピューティング環境の簡単な一般的記述を与えることを意図したものである。

図１は、例示的な汎用コンピューティング・システムを描いている。本汎用コンピューティング・システムは、処理ユニット２１を含む、通常のコンピュータ２０などを含んでいてもよい。処理ユニット２１は一つまたは複数のプロセッサを有していてもよく、そのそれぞれは一つまたは複数の処理コアを有していてもよい。二つ以上の処理コアをもつプロセッサがしばしば呼ばれるところのマルチコア・プロセッサは、単一チップ・パッケージ内に含まれる複数のプロセッサを有する。

コンピュータ２０はグラフィック処理ユニット（GPU）９０をも有していてもよい。GPU ９０は、コンピュータ・グラフィックを扱うよう最適化された特化されたマイクロプロセッサである。処理ユニット２１は仕事をGPU ９０に委託してもよい。GPU ９０はそれ自身のグラフィック・メモリを有していてもよいし、および／またはシステム・メモリ２２の一部へのアクセスを有していてもよい。処理ユニット２１と同様に、GPU ９０はそれぞれが一つまたは複数のコアをもつ一つまたは複数の処理ユニットを有していてもよい。

コンピュータ２０はシステム・メモリ２２と、システムが動作状態にあるときにシステム・メモリ２２を含むさまざまなシステム・コンポーネントを処理ユニット２１に通信上結合するシステム・バス２３をも有していてもよい。システム・メモリ２２は読み出し専用メモリ（ROM）２４およびランダム・アクセス・メモリ（RAM）２５を含むことができる。スタートアップ時などにコンピュータ２０内の要素間で情報を転送する助けとなる基本ルーチンを含んでいる基本入出力システム２６（BIOS）がROM ２４に記憶されている。システム・バス２３は、メモリ・バスまたはメモリ・コントローラ、周辺バスまたはローカル・バスを含むいくつかの型のバス構造のいずれであってもよく、多様なバス・アーキテクチャの任意のものを実装する。処理ユニット２１とは独立にメモリからの読み出しおよび／またはメモリへの書き込みをするよう構成されている直接メモリアクセス（DMA）コントローラ８０がシステム・バス２３に結合されていてもよい。さらに、記憶ドライブI/F ３２または磁気ディスク・ドライブI/F ３３のようなシステム・バス２３に接続された装置も、DMAコントローラ８０を使うことなく、処理ユニット２１と独立にメモリからの読み出しおよび／またはメモリへの書き込みをするよう構成されていてもよい。

コンピュータ２０はさらに、ハードディスク（図示せず）または半導体ディスク（SSD）（図示せず）からの読み出しおよびそれらへの書き込みのための記憶ドライブ２７、リムーバブル磁気ディスク２９からの読み出しまたはそれへの書き込みのための磁気ディスク・ドライブ２８およびCD-ROMまたは他の光学メディアのようなリムーバブル光ディスク３１からの読み出しまたはそれへの書き込みのための光ディスク・ドライブ３０を含んでいてもよい。ハードディスク・ドライブ２７、磁気ディスク・ドライブ２８および光ディスク・ドライブ３０は、それぞれハードディスク・ドライブ・インターフェース３２、磁気ディスク・ドライブ・インターフェース３３および光ディスク・ドライブ・インターフェース３４によってシステム・バス２３に接続されるものとして示されている。ドライブおよび関連するコンピュータ可読記憶媒体は、コンピュータ２０のためのコンピュータ可読命令、データ構造、プログラム・モジュールおよび他のデータの不揮発性記憶を提供する。

本稿に記載される例示的な実施形態は、ハードディスク、リムーバブル磁気ディスク２９およびリムーバブル光ディスク３１のような記憶媒体を描いているが、そうした記憶媒体は存在していなくてもよく、あるいはさまざまな実施形態において必要とされなくてもよいことは当業者には理解されるはずである。さらに、コンピュータによってアクセス可能なデータを記憶することができる、コンピュータ可読媒体の他の型が用いられてもよい。たとえば、フラッシュメモリカード、デジタルビデオディスクまたはデジタル多用途ディスク（DVD）、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）なども例示的な動作環境において使用されてもよい。一般に、そのようなコンピュータ可読記憶媒体は、本開示の諸側面を具現するプロセッサ実行可能な命令を記憶するためにいくつかの実施形態において使用されることができる。コンピュータ２０はまた、小型コンピュータ・システム・インターフェース（SCSI）バス５６を介して記憶装置６２に接続するホスト・アダプター５５を有していてもよい。

オペレーティング・システム３５、一つまたは複数のアプリケーション・プログラム３６、他のプログラム・モジュール３７およびプログラム・データ３８を含む、コンピュータ可読命令を含むいくつかのプログラム・モジュールが、ハードディスク、磁気ディスク２９、光ディスク３１、ROM ２４またはRAM ２５のようなコンピュータ可読媒体上に記憶されていてもよい。処理ユニットによる実行時に、コンピュータ可読命令は、下記でより詳細に記述されるアクションを実行させるまたはさまざまなプログラム・モジュールをインスタンス生成させる。ユーザーは、キーボード４０およびポインタ・デバイス４２のような入力装置を通じてコンピュータ２０にコマンドおよび情報を入力してもよい。ポインタ・デバイス４２はマウス、タッチパッド、タッチスクリーン、ユーザー動きを感知するカメラなどであることができる。他の入力装置（図示せず）はマイクロホン、ジョイスティック、ゲームパッド、衛星ディスク、スキャナなどを含んでいてもよい。これらおよび他の入力装置はしばしば、システム・バスに結合されているシリアル・ポート・インターフェース４６を通じて処理ユニット２１に接続されるが、パラレル・ポート、ゲーム・ポートまたはユニバーサル・シリアル・バス（USB）のような他のインターフェースによって接続されていてもよい。ディスプレイ４７または他の型の表示装置もビデオ・アダプター４８のようなインターフェースを介してシステム・バス２３に結合されることができる。ディスプレイ４７に加えて、コンピュータは典型的には、スピーカーおよびプリンタのような他の周辺出力装置（図示せず）を含む。

コンピュータ２０は、リモート・コンピュータ４９のような一つまたは複数のリモート・コンピュータへの論理的接続を使ってネットワーク接続された環境において動作してもよい。リモート・コンピュータ４９は別のコンピュータ、サーバー、ルータ、ネットワークPC、ピア装置または他の一般的なネットワーク・ノードであってもよく、典型的にはコンピュータ２０に関して上記した要素の多くまたは全部を含むことができる。ただし、メモリ記憶装置５０のみが図１に示されている。図１に描かれている論理的接続はローカル・エリア・ネットワーク（LAN）５１および広域ネットワーク（WAN）５２を含むことができる。そのようなネットワーキング環境は、オフィス、企業規模のコンピュータ・ネットワーク、イントラネットおよびインターネットにおいて一般的なものである。

LANネットワーキング環境において使われるとき、コンピュータ２０はネットワーク・インターフェースまたはアダプター５３を通じてLAN ５１に接続されることができる。WANネットワーキング環境において使われるとき、コンピュータ２０は典型的にはモデム５４またはインターネットなどの広域ネットワーク５２を通じて通信を確立するための他の手段を含むことができる。内蔵でも外付けでもよいモデム５４は、シリアル・ポート・インターフェース４６を介してシステム・バス２３に接続されることができる。あるネットワーク接続された環境では、コンピュータ２０またはその一部に対して描かれているプログラム・モジュールがリモート・メモリ記憶装置に記憶されてもよい。図示したネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段が使用されてもよいことは理解されるであろう。

コンピュータ２０がネットワーク接続された環境において動作するよう構成される実施形態では、OS ３５はネットワーク上でリモートに記憶され、コンピュータ２０は、ローカルに記憶されたOSからブートするのではなく、このリモートに記憶されたOSをネットブートしてもよい。ある実施形態では、コンピュータ２０は、OS ３５がフルOSよりも少なく、ネットワーク接続およびモニタ４７上などでの表示出力を扱うよう構成されたカーネルであるシンクライアントである。

ここで図２のＡを参照するに、モバイル・コンピューティング装置２００のある実施形態が描かれている。モバイル・コンピューティング装置２００は携帯電話、携帯情報端末（personal data assistant）または他の同様の装置であることができる。モバイル・コンピューティング装置２００は筐体２１０内にコンピューティング装置（図示せず）を含むことができる。モバイル装置２００内のコンピューティング装置は、図１に関して記述されるコンピュータ２０と同様であり、処理ユニット２１、システム・メモリ２２、記憶ドライブ２７などといったコンピュータ２０のコンポーネントの一部または全部を含むことができる。筐体２１０は複数のボタン２１１を含むことができる。モバイル・コンピューティング装置２００はタッチスクリーン・ディスプレイ２２０をも含むことができる。タッチスクリーン・ディスプレイ２２０は、図１に関して上述したポインタ・デバイス４２と同様のポインタ・デバイスの実施形態である。タッチスクリーン・ディスプレイ２２０は、対話可能なオブジェクト２２１および非対話可能なオブジェクト２２２の両方を表示できる。ユーザーは、オブジェクト２２１のうちの一つの選択など、実行されるべき所望されるアクションを示すために、タッチスクリーン・ディスプレイ２２０にタッチすることができる。タッチスクリーン・ディスプレイ２２０は、容量式のタッチスクリーン・ディスプレイまたは抵抗式のタッチスクリーン・ディスプレイであることができる。

ここで図２のＢを参照するに、システム２００のある実施形態が描かれている。システム２００は、コンピュータ２６０およびモニタ２７０を含む。コンピュータ２６０は図１に関して記述されているコンピュータ２０と同様であり、処理ユニット２１、システム・メモリ２２、記憶ドライブ２７などといったコンピュータ２０のコンポーネントの一部または全部を含むことができる。モニタ２７０はタッチスクリーン・ディスプレイ２７１をも含むことができる。タッチスクリーン・ディスプレイ２７１は、図１に関して上述したポインタ・デバイス４２と同様のポインタ・デバイスの実施形態である。タッチスクリーン・ディスプレイ２７１は両方のオブジェクト２７２を表示することができる。ユーザーは、オブジェクト２７２のうちの一つの選択など、実行されるべき所望されるアクションを示すために、タッチスクリーン・ディスプレイ２７２にタッチすることができる。

ここで図３のＡを参照するに、三つのオブジェクト３０１、３０２および３０３を表示しているタッチスクリーン・ディスプレイ３００の実施形態が描かれている。図３のＡに示した実施形態では、ユーザーは指３１０でタッチスクリーン・ディスプレイ３００に触れる。図３のＡの描画は、タッチスクリーン・ディスプレイを使うユーザーにとっての困難の一つを示している。ユーザーがタッチスクリーン・ディスプレイ３００にタッチしようとする際、ユーザーの指３１０がタッチされようとしているタッチスクリーン・ディスプレイ３００の部分を隠蔽してしまう。タッチスクリーン・ディスプレイ３００のユーザーのビューが隠蔽されるので、ユーザーは、タッチスクリーン・ディスプレイ３００のどの部分が実際にタッチされるかがわからない。

ここで図３のＢを参照するに、タッチスクリーン・ディスプレイ３００およびユーザーの指３１０の図が示されており、ユーザーの指３１０は透明なものとして示されている。ユーザーがタッチスクリーン・ディスプレイ３００にタッチするとき、タッチスクリーン・ディスプレイ３００はタッチ点３２０を決定する。タッチ点３２０はタッチスクリーン・ディスプレイ３００が、ユーザーがタッチスクリーン・ディスプレイ３００をタッチすることによってターゲットとしたと解釈する点である。ユーザーがタッチスクリーン・ディスプレイ３００にタッチするとき、タッチスクリーン・ディスプレイ３００はタッチ点３２０の指示をコンピューティング装置に送ることができる。タッチ点３２０の指示は、デカルト座標(x,y)、極座標(r,θ)の形または二次元平面上で点を指定する情報の他の任意の形を取ることができる。

ここで図３のＣを参照するに、オブジェクト３０１、３０２および３０３ならびにタッチ点３２０を示しているタッチスクリーン・ディスプレイ３００の図が示されている。ユーザーの指３１０がタッチスクリーン・ディスプレイ３００に実際に接触した実際の接触領域３３０の輪郭も描かれている。ユーザーとタッチスクリーン・ディスプレイとの間の接触領域は、複数のオブジェクトの諸部分をカバーできる。図３のＣに描かれる例では、実際の接触領域３３０はオブジェクト３０１、３０２および３０３のそれぞれの一部をカバーする。しかしながら、タッチスクリーン・ディスプレイ３００によって決定されるタッチ点３２０はオブジェクト３０１、３０２および３０３のどれの上にも位置しない。よって、図３のＡ〜Ｃに描かれる例では、ユーザーの指３１０が実際には三つのオブジェクト３０１、３０２および３０３のそれぞれの一部の上でタッチスクリーン・ディスプレイ３００にタッチしたとしても、タッチ点３２０は実際にはどのオブジェクトの上にも位置しない。コンピューティング装置は、タッチ点を、タッチスクリーン・ディスプレイと接触するときにユーザーがターゲットとした点として解釈することができる。そのような状況では、コンピューティング装置はユーザーによるタッチスクリーン・ディスプレイ３００のタッチを、オブジェクト３０１、３０２および３０３のいずれをターゲットとしたものとも解釈しない。タッチ点３２０が、オブジェクト３０１、３０２および３０３のいずれの上でもない位置にあるからである。

図３のＡ〜Ｃに関して述べたように、タッチスクリーン・ディスプレイはタッチスクリーン・ディスプレイに対するユーザーのタッチを検出することができ、そのユーザーのタッチに基づいてタッチ点を決定することができる。タッチスクリーン・ディスプレイは、デカルト座標(x,y)の形のタッチ点の指示をコンピューティング装置に提供できる。図４のＡは、タッチスクリーン・ディスプレイがコンピューティング装置に、タッチ点Tの指示のほかはいかなる情報も提供しないときにコンピューティング装置に利用可能な情報を描いている。描かれているように、タッチスクリーン・ディスプレイがコンピューティング装置にタッチ点Tの指示のほかはいかなる情報も送らないときは、コンピューティング装置は、デカルト平面上でのタッチ点Tの位置以外には、ユーザーによるタッチスクリーン・ディスプレイのタッチについてそれ以上のことは知らない。

図４のＢは、タッチスクリーン・ディスプレイによって提供されることのできるデータのもう一つの実施形態を描いている。タッチ点Tの情報を提供することに加えて、タッチスクリーン・ディスプレイは中心点Cの指示をも提供できる。中心点Cは、タッチスクリーン・ディスプレイとユーザーの指との間の接触領域の中心にある点の近似であることができる。対照的に、タッチ点Tは、ユーザーがターゲットとすることを意図した点の推定としてタッチスクリーン・ディスプレイによって選択される点である。中心点Cとタッチ点Tは、図４のＢに描かれるように異なる位置であることができ、あるいは同じ位置であることができる。ある実施形態では、タッチ点Tの位置は中心点Cの位置および固定オフセットに基づいて決定されることができる。たとえば、タッチ点Tの位置は、中心点Cの位置の２ミリメートル上である位置として決定されることができる。

図４のＣは、タッチスクリーン・ディスプレイによって提供されることのできるデータのもう一つの実施形態ならびにユーザーとタッチスクリーン・ディスプレイとの間の接触に基づいてディスプレイの一部を推定することのある実施形態を描いている。図４のＣに描かれた実施形態では、タッチスクリーン・ディスプレイはコンピューティング装置にタッチ点Tの指示、中心点Cの指示、高さHの指示および幅Wの指示を提供する。タッチ点Tおよび中心点Cは図４のＡおよびＢに関して記述された点と同様であることができる。幅は、ユーザーがタッチスクリーン・ディスプレイにタッチする最も左の点とユーザーがタッチスクリーン・ディスプレイにタッチする最も右の点との間の水平距離であることができる。同様に、高さは、ユーザーがタッチスクリーン・ディスプレイにタッチする最上点とユーザーがタッチスクリーン・ディスプレイにタッチする最下点との間の垂直距離であることができる。コンピューティング装置は、ユーザーの指とタッチスクリーン・ディスプレイとの間のディスプレイの一部４１０を、中心点Cの指示、高さHの指示および幅Wの指示に基づいて推定することができる。図４のＣに描かれた実施形態では、ディスプレイの推定される部分４１０は、中心点Cを中心として、幅Wおよび高さHをもつ長方形である。ディスプレイの推定される部分４１０の長方形の形状は、ユーザーの指とタッチスクリーン・ディスプレイとの間の接触領域の正確な形ではない可能性が高いが、以下でより詳しく論じるような、ターゲットとされるオブジェクトを決定するために使用できる実際の接触領域の推定ではある。ディスプレイの推定される部分４１０は図４のＣに描かれるように中心点Cを中心とすることができるが、ディスプレイの推定される部分４１０がタッチ点Tを中心とすることも可能である。後者の場合、コンピューティング装置はタッチ点Tの指示、高さHの指示および幅Wの指示に基づいてディスプレイの推定される部分を決定することが可能である。

図４のＤは、ディスプレイの一部分の推定のもう一つの実施形態を示している。タッチスクリーン・ディスプレイはコンピューティング装置にタッチ点Tの指示、中心点Cの指示、高さHの指示および幅Wの指示を提供する。この実施形態では、コンピューティング装置は、中心点Cを中心とし、幅Wおよび高さHをもつ楕円であるディスプレイの部分４２０を推定する。ディスプレイの推定される部分４２０の楕円形の形状は、図４のＣにおける長方形近似よりもユーザーの指とタッチスクリーン・ディスプレイとの間の実際の接触領域のより近い近似となりうる。しかしながら、ディスプレイの楕円形の推定部分４２０はいまだユーザーの指とタッチスクリーン・ディスプレイとの間の実際の接触領域の近似である。図４のＣに描かれる長方形や図４のＤに描かれる楕円以外の他の形が、ディスプレイの一部を推定するまたはユーザーの指とタッチスクリーン・ディスプレイとの間の接触領域を推定するために使われてもよい。

ここで図５のＡ〜Ｄを参照するに、ユーザーの指とタッチスクリーン・ディスプレイとの間の接触の二つの事例ならびにコンピューティング装置によるディスプレイの一部の対応する推定が描かれている。図５のＡでは、ユーザーの指５１０はユーザーの指５１０の先端付近でタッチスクリーン・ディスプレイ５２０に接触する。この実施形態のような状況のもとでは、ユーザーの指５１０とタッチスクリーン・ディスプレイ５２０との間の接触領域の幅がその高さより大きいことが可能である。図５のＢは、コンピューティング装置による、ユーザーの指５１０とタッチスクリーン・ディスプレイ５２０との間のディスプレイ５３０の一部の推定が描かれている。コンピューティング装置はタッチ点Tの指示、中心点Cの指示、高さHの指示および幅Wの指示をタッチスクリーン・ディスプレイ５２０から受領することができる。ユーザーの指５１０とタッチスクリーン・ディスプレイ５２０との間の接触領域の幅がその高さより大きいので、Hの値がWの値より大きい。Hの値がWの値より大きいので、コンピューティング装置が推定するディスプレイ５３０の楕円形の部分は高さより幅が大きくなる。

図５のＣでは、ユーザーの指５４０はユーザーの指５４０の腹のより近くでタッチスクリーン・ディスプレイ５５０に接触する。こうした状況のもとでは、ユーザーの指５４０とタッチスクリーン・ディスプレイ５５０との間の接触領域の高さがその幅さより大きいことが可能である。図５のＤは、コンピューティング装置による、図５のＣに描かれるユーザーの指５４０とタッチスクリーン・ディスプレイ５５０との間のディスプレイの一部の推定を描いている。コンピューティング装置はタッチ点Tの指示、中心点Cの指示、高さHの指示および幅Wの指示をタッチスクリーン・ディスプレイ５５０から受領することができる。ユーザーの指５４０とタッチスクリーン・ディスプレイ５５０との間の接触領域の高さがその幅より大きいので、Wの値がHの値より大きい。Wの値がHの値より大きいので、コンピューティング装置が推定するディスプレイ５６０の楕円形の部分は幅より高さが大きくなる。

本発明の実施形態をタッチスクリーン・ディスプレイに関して記述してきたが、本発明の他の実施形態も可能である。ある実施形態では、ユーザーは、表示されるユーザー・インターフェースを制御するための入力を提供するためにタッチパッド装置と対話することができる。タッチパッドは、ユーザーによるタッチパッドのタッチに基づいて、コンピューティング装置に、点の指示、幅の指示および高さの指示を送ることができる。コンピューティング装置は、点の指示、幅の指示および高さの指示に基づいて、表示されるユーザー・インターフェースの一部分を推定することができる。もう一つの実施形態では、ユーザーは、テレビジョンに表示されるユーザー・インターフェースを制御するために動き感応性カメラと対話することができる。動き感応性カメラは、ユーザーの位置、動きまたはジェスチャーに基づいて、コンピューティング装置に、点の指示、幅の指示および高さの指示を送ることができる。コンピューティング装置は、点の指示、幅の指示および高さの指示に基づいて、テレビジョンに表示されるユーザー・インターフェースの一部分を推定することができる。もう一つの実施形態では、ユーザーは容量性のペンを使ってタッチスクリーン・ディスプレイと対話することができる。タッチスクリーン・ディスプレイは、容量性ペンによるタッチパッドのタッチに基づいて、コンピューティング装置に、点の指示、幅の指示および高さの指示を送ることができる。

図６のＡ〜Ｄは、タッチスクリーン・ディスプレイがコンピューティング装置に提供できるデータのさらなる実施形態ならびにディスプレイの一部の推定の実施形態を描いている。これらの実施形態では、コンピューティング装置はタッチ点Tの指示、中心点Cの指示、高さHの指示、幅Wの指示および角度θの指示をタッチスクリーン・ディスプレイから受領することができる。角度θは、デカルト平面における方向の一つに対しての、ユーザーの指がタッチスクリーンに接触した角度の近似を表わす。図６のＡ〜Ｂに描かれる実施形態では、角度θは、y軸に対する、ユーザーの指がタッチスクリーンに接触した角度の近似を表わす。しかしながら、当業者は、角度θはデカルト座標における任意の軸または直線に対するユーザーの指の角度であり得るありうることを認識するであろう。

図６のＡでは、コンピューティング装置はディスプレイの一部分６１０を幅Wおよび高さHをもつ長方形として推定した。ディスプレイの長方形の推定部分６１０は中心点Cを中心とし、中心点Cのまわりに角度θだけ回転している。図６のＢでは、コンピューティング装置はディスプレイの部分６２０が幅Wおよび高さHをもつ楕円であると推定した。ディスプレイの楕円形の部分６２０は中心点Cを中心とし、中心点Cのまわりに角度θだけ回転している。図６のＡおよびＢ両方に描かれているように、タッチ点Tは中心点Cのまわりに角度θだけ回転される必要はない。

図６のＣでは、コンピューティング装置はディスプレイの部分６３０が長方形６３１内に内接していると推定した。長方形６３１は幅Wおよび高さHをもち、中心点Cを中心としている。長方形６３１の長辺はy軸に平行である。ディスプレイの楕円部分６３０は、y軸に対して角度θの位置にある長軸６３２および長軸６３２と垂直な短軸６３３をもつ。図６のＣに描かれているように、タッチ点Tは中心点Cのまわりに角度θだけ回転させられることができる。図６のＤは、図６のＣに描かれているディスプレイの楕円部分６３０を描いている。図６のＤに描かれるように、ディスプレイの楕円部分６３０は、長方形６３１の幅Wおよび高さHとは異なる幅W'および高さH'をもつ。長方形６３１の内部にディスプレイの推定される部分を内接させることは、ディスプレイの楕円形の推定部分に限定されない。コンピューティング装置が長方形６３１内に内接したディスプレイの長方形部分または他の任意の形をディスプレイの推定部分のために推定することも可能である。

他の実施形態では、コンピューティング装置が他の仕方でディスプレイの一部分を推定することが可能である。ある実施形態では、コンピューティング装置は単に、ユーザーとディスプレイとの間の接触領域の幅および高さを推定してディスプレイの一部分を推定することができる。もう一つの実施形態では、コンピューティング装置は、以前の高さおよび幅の指標の高さおよび幅を平均して、そうした平均高さおよび幅をディスプレイの一部分を推定するために使うことができる。

ここで図７Ａ〜７Ｆを参照すると、ターゲットとされる点の決定のさまざまな実施形態が描かれている。図７Ａは、オブジェクトとディスプレイの推定部分との間の交わりを見出すことによるターゲットとされる点の決定を描いている。描かれているように、オブジェクト７１１の一部分がディスプレイの推定部分７１０と交わるが、タッチ点Tはオブジェクト７１１上にはない。たとえタッチ点Tがオブジェクト７１１上に位置していなくても、オブジェクト７１１がディスプレイ７１０の推定部分に交わる唯一のオブジェクトなので、コンピューティング装置はターゲットとされる点Sがオブジェクト７１１上に位置されていることを判別することができる。スナップ点とも称されるターゲットとされる点Sは、ターゲットとされるオブジェクト７１１上で、ユーザーによるタッチスクリーン・ディスプレイのタッチによってターゲットとされる位置を表わす。

図７Ｂは、タッチ点がオブジェクト内に含まれていることを見出すことによるターゲットとされる点の決定を描いている。描かれているように、オブジェクト７２１の一部およびオブジェクト７２２の一部がディスプレイの推定部分７２０に交わる。タッチ点Tはオブジェクト７２１上に位置している。オブジェクト７２１がタッチ点Tを含む唯一のオブジェクトなので、コンピューティング装置は、ターゲットとされる点Sがタッチ点Tと同じ位置に位置していることを判別することができる。

図７Ｃは、オブジェクトに関連付けられたランクを使うことによる、ターゲットとされる点およびターゲットとされるオブジェクトの決定を描いている。描かれているように、オブジェクト７３１の一部およびオブジェクト７３２の一部がディスプレイの推定部分７３０に交わる。オブジェクト７３２とオブジェクト７３１も重なり、タッチ点Tはオブジェクト７３１および７３２の両方の上に位置している。タッチ点Tがオブジェクト７３１および７３２の両方の上に位置しているので、ターゲットとされる位置Sは、タッチ点Tの位置にあると判別されることができる。オブジェクト７３１および７３２のそれぞれにランクが関連付けられることができる。オブジェクトどうしが重なり、図７Ｃに描かれるオブジェクト７３１および７３２のようにターゲットとされる位置Sが重なり合うオブジェクト上に位置するとき、コンピューティング装置は、オブジェクト７３１および７３２のどちらがターゲットとされるオブジェクトであるかを、オブジェクト７３１および７３２のそれぞれのランクに基づいて決定することができる。オブジェクト７３１および７３２のランクは、オブジェクト７３１および７３２の幾何形状に基づく、ユーザーがオブジェクト７３１および７３２のそれぞれを選択する確からしさに基づくまたは他の任意の形のランキングであることができる。オブジェクト７３１および７３２のランクはオペレーティング・システム、アプリケーションまたはコンピューティング・システム上で動作している他のコンポーネントによって提供されることもできる。

図７Ｄは、タッチ点が曖昧であるときのターゲットとされる点の決定を描いている。タッチ点が曖昧であるというのは、タッチ点がオブジェクト上に位置しておらず、複数のオブジェクトが少なくとも部分的にディスプレイの推定された部分内に位置している場合である。図７Ｄに描かれているように、オブジェクト７４１、７４２および７４３のそれぞれの一部がディスプレイの推定された部分７４０内に位置している。しかしながら、タッチ点Tはオブジェクト７４１、７４２および７４３のいずれの上にも位置していない。どの位置がターゲットとされている点であるかの曖昧さを解決するため、コンピューティング装置は、タッチ点Tとオブジェクト７４１、７４２および７４３のそれぞれとの間の距離を決定することができる。コンピューティング装置は、単に距離に基づいて決定をしてもよいし、あるいはコンピューティング装置はそれらの距離に重みをかけてもよい。距離は、オブジェクト７４１、７４２および７４３のそれぞれに関連付けられたランク、オブジェクト７４１、７４２および７４３のそれぞれの形状、オブジェクト７４１、７４２および７４３のそれぞれの、ディスプレイの推定部分７４０内に位置される部分などのうちの一つまたは複数によって重みをかけられることができる。図７Ｄに描かれた実施形態では、コンピューティング装置は、ターゲットとされる点Sはオブジェクト７４１上に位置していると判別している。ターゲットとされる点Sの決定は、タッチ点Tとオブジェクト７４１の間の距離がタッチ点Tとオブジェクト７４２および７４３の間の距離のいずれよりも短いことに基づくことができる。

図７Ｅは、曖昧なタッチ点を解決するための散弾〔ショットガン〕アプローチを使ってのターゲットとされる点の決定を描いている。図７Ｅに描かれる実施形態では、オブジェクト７５１、７５２および７５３のそれぞれの一部がディスプレイの推定された部分７５０内に位置しているが、タッチ点Tはオブジェクト７５１、７５２および７５３のいずれの上にも位置していない。コンピューティング装置は、ディスプレイの推定された部分７５０内のいくつかの点７５４を使い、オブジェクト７５１、７５２および７５３内に位置する点７５４の数を決定することができる。図７Ｅに描いた実施形態では、オブジェクト７５１および７５３のいずれの中よりも、オブジェクト７５２内に位置する点７５４が多い。それらの点７５４の位置に基づいて、コンピューティング装置はターゲットとされる点Sを決定することができる。ターゲットとされる点Sはこの実施例では、オブジェクト７５２上に位置している。

図７Ｆは、曖昧なタッチ点を解決するためのオブジェクト重なりアプローチを使ってのターゲット点の決定を描いている。図７Ｆに描かれる実施形態では、オブジェクト７６１、７６２および７６３のそれぞれの一部がディスプレイの推定された部分７６０内に位置しているが、タッチ点はオブジェクト７６１、７６２および７６３のいずれの上にも位置していない。コンピューティング装置は、オブジェクト７６１、７６２および７６３のそれぞれの、ディスプレイの推定された部分７６０内に位置している部分のサイズを決定することができる。図７Ｆに描いた実施形態では、オブジェクト７６１および７６３の、ディスプレイの推定された部分７６０内に位置する部分よりも、オブジェクト７６２の多くがディスプレイの推定された部分７６０内に位置している。オブジェクト７６１、７６２および７６３の、ディスプレイの推定された部分７６０内に位置している部分に基づいて、コンピューティング装置はターゲットとされる点Sを決定することができる。ターゲットとされる点Sはこの実施例では、オブジェクト７６２上に位置している。

ここで図８Ａ〜８Ｄを参照すると、タッチスクリーン・ディスプレイの実施形態およびターゲットとされる点の決定の実施形態が描かれている。図８Ａに描かれるのは、三つのオブジェクト８０１、８０２および８０３を表示しているタッチスクリーン・ディスプレイ８００である。ユーザーによるタッチスクリーン・ディスプレイ８００のタッチに応答して、タッチスクリーン・ディスプレイはコンピューティング装置に、点８１０の指示、幅の指示および高さの指示を送る。点８１０はタッチ点または中心点であることができる。タッチスクリーン・ディスプレイ８００は、モニタなどコンピューティング装置の周辺装置の一部であることができ、あるいはタッチスクリーン・ディスプレイは携帯電話やタブレット・コンピュータの場合など、コンピューティング装置と一体的に形成されていることができる。コンピューティング装置が点８１０の指示、幅の指示および高さの指示を受領したのち、コンピューティング装置はユーザーとタッチスクリーン・ディスプレイ８００との間の接触があるディスプレイの一部分８１１を推定することができる。

図８Ｂはユーザーとタッチスクリーン・ディスプレイ８００との間の接触に基づくディスプレイの推定された部分８１１を、ディスプレイの推定された部分８１１内に位置するオブジェクト８０１および８０３の部分および点８１０とともに、描いている。点８１０はオブジェクト８０１上に位置している。点８１０が一つのオブジェクト８０１上に位置するので、コンピューティング装置はターゲットとされる点が点８１０と同じ位置に位置すると決定することができる。

図８Ｃは、曖昧な点に基づくターゲットとされる点の決定を描いている。図８Ｃに描かれるように、複数のオブジェクト８０１、８０２および８０３の少なくとも一部がディスプレイの推定された部分８２１に含まれるので、点８２０は曖昧である。だが、タッチ点８２０はオブジェクト８０１、８０２および８０３のいずれの上にも位置していない。コンピューティング装置は、点８２０とオブジェクト８０１、８０２および８０３の各部分との間の距離に基づいてターゲットとされる点８２２の位置を決定することができる。図８Ｃに描かれる実施形態では、タッチ点８２０は、オブジェクト８０２および８０３のどちらよりもオブジェクト８０１の近くに位置している。ここで描かれる実施形態では、コンピューティング装置は、ターゲットとされる点８２２がオブジェクト８０１上に位置していると判別する。オブジェクト８０１と点８２０との間の最短距離が点８２０とオブジェクト８０２および８０３との間の最短距離よりも短いからである。

もう一つの実施形態では、コンピューティング装置はタッチ点８１０とオブジェクト８０１、８０２および８０３のそれぞれとの間の距離のそれぞれに重みをかける。重みは、ディスプレイの推定された部分８２１内の、オブジェクト８０１、８０２および８０３の特徴に基づくことができる。たとえば、タッチ点Tはオブジェクト８０１および８０２のコーナーの最も近くに位置し、タッチ点Tはオブジェクト８０３のある辺に最も近くに位置する。コンピューティング装置は、ユーザーがオブジェクトのコーナーよりもオブジェクトの長辺を選択する可能性が高いと判断される場合には、点８２０とオブジェクト８０３との間の距離により大きな重みを与えることができる。同様に、ユーザーがオブジェクトの長辺よりもオブジェクトのコーナーを選択する可能性が高いと判断される場合には、点８２０とオブジェクト８０１および８０２との間の距離により大きな重みを与えることができる。重みは、ユーザーがある種のオブジェクトを選択する確からしさにも基づくことができる。たとえば、ユーザーは、オブジェクト８０１または８０３よりもオブジェクト８０２を選択する可能性がずっと高いことがありうる。この場合、コンピューティング装置は、点８２０とオブジェクト８０１および８０３との間の距離よりも、点８２０とオブジェクト８０２との間の距離に高い重みを与えてもよい。重みは、ディスプレイの推定された部分８１１内に位置する各オブジェクトの部分にも基づくことができる。たとえば、図８Ｃに描かれるように、オブジェクト８０３はディスプレイの推定される部分８１２の半分近くを占める一方、オブジェクト８０１および８０２はディスプレイの推定される部分８１２のずっと小さな部分を占める。この場合、コンピューティング装置は、点８２０とオブジェクト８０１および８０２との間の距離よりも、点８２０とオブジェクト８０３との間の距離に大きな重みを与えてもよい。

図８Ｄには、タッチスクリーン・ディスプレイ８００のもう一つの実施形態が描かれている。この実施形態では、タッチスクリーン・ディスプレイ８００は三つのオブジェクト８０１、８０２および８０３を表示するものとして描かれている。また、点８３０およびディスプレイの推定される部分８３１も描かれている。点８３０はオブジェクト８０１、８０２および８０３のいずれの上にも位置していないが、オブジェクト８０１の一部はディスプレイの推定される部分８３１に交わる。ある実施形態では、オブジェクト８０１がディスプレイの推定される部分８３１に交わり、オブジェクト８０１がディスプレイの推定される部分８３１内に部分的に位置される唯一のオブジェクトなので、コンピューティング装置はターゲットとされる点８３２がオブジェクト８０１上に位置すると判定する。

ここで図９Ａを参照すると、筐体９１０およびタッチスクリーン・ディスプレイ９２０を含む装置９００が描かれている。装置９００はモニタのような、コンピューティング装置に接続される表示装置であることができる。装置９００は、携帯電話またはタブレット・コンピュータなど、筐体９１０内にコンピューティング装置を含むこともできる。図９Ａに描かれるように、タッチスクリーン・ディスプレイ９２０はオペレーティング・システム９３０、ウェブ・ブラウザー９４０およびウェブ・ブラウザー９４０によって表示されるウェブ・ページ内に埋め込まれているメディア・プレーヤー９５０を表示する。オペレーティング・システム９３０、ウェブ・ブラウザー９４０およびメディア・プレーヤー９５０のそれぞれは別個のフレームワークである。各フレームワークはオブジェクトを含むことができる。たとえば、図９Ａに描かれる実施形態では、オペレーティング・システム９３０はアイコン９３１および９３２を含み、ウェブ・ブラウザー９４０はボタン９４１を含み、メディア・プレーヤー９５０はボタン９５１を含む。

上記のように、コンピューティング装置は多くのオブジェクトのうちのどれがターゲットとされるオブジェクトであるかを、オブジェクトがターゲットとされる可能性に基づいて決定することができる。ある実施形態では、各フレームワークはコンピューティング・システムに、そのフレームワーク内のオブジェクトの一部または全部についてのランクを提供することができる。たとえば、オペレーティング・システム９３０はアイコン９３１についてのランクおよびアイコン９３２についてのランクを提供することができ、ウェブ・ブラウザー９４０はボタン９４１についてのランクを提供することができ、メディア・プレーヤー９５０はボタン９５１についてのランクを提供することができる。一部のフレームワークはオブジェクトについてのランクを提供するが他のフレームワークはオブジェクトについてのランクを提供しないことも可能である。たとえば、ある実施形態では、オペレーティング・システム９３０およびウェブ・ブラウザー９４０はオブジェクトのそれぞれについてランクを提供するが、メディア・プレーヤー９５０はそのオブジェクトのいずれについてもランクを提供しない。

ここで図９Ｂを参照すると、図９Ａに描かれたタッチスクリーン・ディスプレイの一部およびディスプレイの推定された部分９６１が描かれている。上記のように、ディスプレイの推定される部分９６１は、タッチスクリーン・ディスプレイ９２０から受領される点の指示、幅の指示および高さの指示に基づいてコンピューティング装置によって決定されることができる。描かれているように、オペレーティング・システム９３０のアイコン９３１および９３２の部分、ウェブ・ブラウザー９４０のボタン９４１、縦の辺９４２、横の辺９４３およびコーナー９４４の部分およびメディア・プレーヤー９５０のボタン９５１の部分を含む、いくつかのオブジェクトの一部がディスプレイの推定される部分９６１内に位置している。

コンピューティング装置は、オブジェクトの、ディスプレイの推定された部分９６１内の部分の位置に基づいて、ディスプレイの推定される部分９６１内のターゲットとされる点９６２の位置を決定することができる。たとえば、コンピューティング装置は、ターゲットとされる点９６２がタッチ点９６０に最も近いオブジェクトの上に位置していると判定することができる。しかしながら、距離に基づく判定は状況によっては問題になりうる。図９Ｂに描かれるように、縦の辺９４２はアイコン９３１に重なり、縦の辺９４２およびアイコン９３１は実質的にタッチ点９６０から等距離である。そのような問題に対処する一つの方法は、各オブジェクトに関連付けられているランクに従ってタッチ点と各オブジェクトとの間の距離に重みをかけることである。上記で論じたように、各フレームワークがコンピューティング・システムにオブジェクトについてのランクを提供しうる。フレームワークがオブジェクトについてのランクを提供しない場合には、ランクはオブジェクトに割り当てられることができる。ランク付けされていないオブジェクトにランクを割り当てることにより、各オブジェクトが、ターゲットとされるオブジェクトのランクに基づく決定とともに使うために関連付けられたランクをもつことが保証される。図９Ｂに描かれた実施形態に示されるところでは、ターゲットとされる点９６２はアイコン９３２の上に位置している。

ここで、図１０のＡおよびＢを参照すると、装置１０００およびユーザーがタッチスクリーン・ディスプレイにタッチし、タッチスクリーン・ディスプレイとの接触を維持しながらユーザーとタッチスクリーンとの間の接触点を動かす実施形態の二つの事例が描かれている。装置１０００は筐体１０１０およびタッチスクリーン・ディスプレイ１０２０を含むことができる。タッチスクリーン・ディスプレイ１０２０はオペレーティング・システム１０３０およびウェブ・ブラウザー１０４０を表示する。ウェブ・ブラウザー１０４０のコーナー１０４１は、選択すると、ユーザーの指をある位置から別の位置にドラッグすることによりユーザーがウェブ・ブラウザー１０４０をサイズ変更することを許容するオブジェクトである。図１０のＡおよびＢにはまた、タッチ点１０５０およびディスプレイの推定された部分１０５１も描かれている。図１０のＡは、ユーザーがタッチスクリーン・ディスプレイにタッチする時点を描いており、図１０のＢはのちの時点を描いている。図１０のＡに描かれる時と図１０のＢに描かれる時との間に、ユーザーの指は、ウェブ・ブラウザー１０４０をサイズ変更するために、タッチスクリーン・ディスプレイ１０２０を横断してドラッグされている。図１０のＡに描かれる時点では、タッチ点はコーナー１０４１上に位置していないにもかかわらず、コンピューティング装置はウェブ・ブラウザーのコーナー１０４１がターゲットとされる点であり、ターゲットとされる点はコーナー１０４１上に位置することを判別できる。タッチ点とターゲットとされる点の位置の差はオフセット１０５２によって表わされている。図１０のＢに描かれるように、オフセット１０５２はユーザーの指がタッチスクリーン・ディスプレイ１０２０を横断してドラッグされる際に維持される。ある実施形態では、タッチ点１０５０とターゲットとされる点１０４１との間のオフセット１０５２が、ユーザーがタッチスクリーン・ディスプレイにタッチする図１０のＡに描かれる時点において決定される。ユーザーがタッチスクリーンを横切って指をドラッグするときなど、ユーザーがユーザーとタッチスクリーンとの間の接触点を動かすに際、ユーザーがタッチスクリーン・ディスプレイと接触したままでいる限り、上記オフセットは維持される。

上述したように、本発明のある実施形態は、テレビジョンに表示されるユーザー・インターフェースを制御するためにユーザーが動き感応性カメラと対話することを含む。そのような実施形態では、動き感応性カメラは、ユーザーの位置またはユーザーのアクションに基づいてユーザー入力を認識することができる。ユーザー入力から、動き感応性カメラはターゲットとされる点、ユーザー対話の中心点、ユーザー対話の幅およびユーザー対話の高さを決定することができる。動き感応性カメラは、ターゲットとされる点の指示、中心点の指示、幅の指示および高さの指示をコンピューティング装置に送ることができる。コンピューティング装置は、上記の諸方法に従って、受領されたターゲットとされる点の指示、中心点の指示、幅の指示および高さの指示に基づいてターゲット・オブジェクトを決定することができる。

図１１は、本発明のある実施形態に基づく方法の表現を描いている。少なくとも一つの点の指示、幅の指示および高さの指示が受領される（１１１０）。少なくとも一つの点の指示は、中心点の指示およびタッチ点の指示、別の点の指示またはそれらの任意の組み合わせを含むことができる。少なくとも一つの点の指示、幅の指示および高さの指示に基づいて、ディスプレイの一部分が推定される（１１２０）。オブジェクトの一部分がディスプレイの推定された部分内に位置していることが判別される（１１３０）。ターゲットとされるオブジェクトは、前記少なくとも一つの点の位置およびディスプレイの推定された部分内にある前記オブジェクトの部分に基づいて、決定される（１１４０）。

図１２は、ターゲットとされる点の決定につながるイベントの例示的なシーケンスの表現を描いている。ユーザーがタッチスクリーン・ディスプレイにタッチする（１２１０）。タッチスクリーン・ディスプレイがユーザーによるタッチスクリーン・ディスプレイのタッチに基づいて点、幅および高さを決定する（１２２０）。タッチスクリーン・ディスプレイは点、高さおよび幅の指示をコンピューティング装置に送る（１２３０）。コンピューティング装置はコンピューティング装置への点、高さおよび幅の指示を受領する（１２４０）。コンピューティング装置は、点、高さおよび幅の指示に基づいてディスプレイの一部分を推定する（１２５０）。コンピューティング装置は、一つまたは複数のオブジェクトの少なくとも一部がディスプレイの推定された部分内に位置していることを判別する（１２６０）。コンピューティング装置は、点の位置およびディスプレイの推定された部分内に位置する前記一つまたは複数のオブジェクトの前記一部に基づいて、ターゲットとされる点を決定する（１２７０）。

ここで図１３を参照するに、ディスプレイ装置によって提供された高さの指示および幅の指示を使うかあるいはシミュレートされた幾何構造を使うかを決定する方法が描かれている。シミュレートされた幾何構造とは、ディスプレイ装置によって提供される幾何構造を使う以外の、ディスプレイの一部分を推定するためにコンピューティング装置によって使用される幾何構造をいう。たとえば、シミュレートされた幾何構造は、ディスプレイの一部分を推定するための、ユーザーとディスプレイとの間の接触領域の幅および高さの、コンピューティング装置による推定値であることができる。もう一つの例では、シミュレートされた幾何構造は、高さおよび幅の以前の指示から導出されることができる。たとえば、高さの以前の指示の平均高さおよび幅の以前の指示の平均幅である。

図１３に描かれるように、ディスプレイ装置は、タッチ情報をコンピューティング装置に報告することができる（１３０５）。タッチ情報はタッチ点、中心点、幅の指示および高さの指示のうちの一つまたは複数を含むことができる。コンピューティング装置は、タッチ情報が高さの指示および幅の指示(H,W)を含むかどうかを判定することができる（１３１０）。タッチ情報が(H,W)を含まなければ、コンピューティング装置は、ディスプレイの一部分を決定するために、シミュレートされた幾何構造を使う（１３１５）。タッチ情報が(H,W)を含む場合には、コンピューティング装置は(H,W)がヌル値(0,0)でないかどうかを判定することができる（１３２０）。(H,W)が(0,0)に等しくない場合、コンピューティング装置は(H,W)の値が所定の範囲内にはいるかどうかを決定することができる（１３２５）。所定の範囲は、(H,W)の有効な値と見なされる範囲であることができる。(H,W)の値が所定の範囲内にはいる場合、コンピューティング装置はディスプレイの一部分を推定するために(H,W)のそれらの値を使うことができる（１３３０）。(H,W)の値が所定の範囲外である場合には、コンピューティング装置は、ディスプレイの一部分を推定するためにシミュレートされた幾何構造を使うことができる（１３３５）。(H,W)の値が(0,0)に等しい場合には、コンピューティング装置は、(H,W)の値が注入（injection）を通じて設定されるかどうかを決定することができる（１３４０）。(H,W)の値が注入を通じて設定される場合、コンピューティング装置はディスプレイの一部分を推定するために、シミュレートされた幾何構造を使うことができる（１３４５）。(H,W)の値が注入を通じて設定されない場合、コンピューティング装置はディスプレイの一部分を推定せず（１３５０）、ターゲットとされる点を決定することなく進む。

本発明について、さまざまな図面で示される好ましい諸側面との関連で述べてきたが、本開示から外れることなく本開示の同じ機能を実行するために、他の類似の側面が使用されてもよく、あるいは記述されている諸側面に修正および追加がなされてもよいことは理解される。したがって、本開示はいかなる単一の側面にも限定されるべきではなく、付属の請求項に従って広さおよび範囲において解釈されるべきである。たとえば、本稿に記載されるさまざまな手順はハードウェアまたはソフトウェアまたは両者の組み合わせで実装されてもよい。本発明は、コンピュータ可読記憶媒体および／またはコンピュータ可読通信媒体を用いて実装されてもよい。よって、本発明またはそのある種の側面もしくは部分は、フロッピー(登録商標)ディスクケット、CD-ROM、ハードドライブまたは他の任意の機械可読記憶媒体といった有体の媒体に具現されたプログラム・コード（すなわち命令）の形を取ってもよい。プログラム・コードがコンピュータのような機械にロードされて実行される場合、その機械が開示される実施形態を実施するよう構成された装置となる。本稿において明示的に記載されている特定の実装に加えて、本稿に開示される明細を考慮することから、他の側面および実装が当業者には明白であろう。明細書および図示される実装は単に例であると考えられることが意図されている。

Claims (10)

1. ユーザー入力に基づいて、ディスプレイ上に示されているターゲットとされている点を決定する方法であって：
   少なくとも一つの点の指示、幅の指示および高さの指示を受領する段階と；
   前記少なくとも一つの点の指示、前記幅の指示および前記高さの指示に基づいて前記ディスプレイの一部分を推定する段階と；
   前記ディスプレイの推定された部分内に一つまたは複数のオブジェクトの少なくとも一部分が位置することを判別する段階と；
   前記少なくとも一つの点の位置に基づいてかつ前記ディスプレイの前記推定された部分内の前記一つまたは複数のオブジェクトの前記部分に基づいて、ターゲットとされている点を決定する段階とを含む、
   方法。
2. 前記一つまたは複数のオブジェクトが第一のフレームワークにおける第一のオブジェクトおよび第二のフレームワークにおける第二のオブジェクトを含む、請求項１記載の方法。
3. 前記第一のオブジェクトに関連付けられた第一のランクが前記第一のフレームワークによって提供される、請求項２記載の方法。
4. 前記第二のオブジェクトに第二のランクを割り当てる段階をさらに含む、
   請求項３記載の方法。
5. 前記少なくとも一つの点と前記第一のオブジェクトとの間の距離に、前記第一のランクに基づいて重みをかける段階と；
   前記少なくとも一つの点と前記第二のオブジェクトとの間の距離に、前記第二のランクに基づいて重みをかける段階とをさらに含み、
   前記ターゲットとされる点を決定する段階が、前記少なくとも一つの点と前記第一のオブジェクトとの間の重みをかけられた距離に基づいてかつ前記少なくとも一つの点と前記第二のオブジェクトとの間の重みをかけられた距離に基づいて前記ターゲットとされる点を決定することを含む、
   請求項４記載の方法。
6. ユーザーの装置との対話に基づいてターゲットとされる点を決定するためのシステムであって：
   一つまたは複数のオブジェクトを表示するよう構成されたディスプレイ装置および
   コンピューティング装置とを有しており、前記コンピューティング装置は：
   少なくとも一つの点の指示、幅の指示および高さの指示を受領する段階と；
   前記少なくとも一つの点の指示、前記幅の指示および前記高さの指示に基づいて前記ディスプレイの一部分を推定する段階と；
   前記ディスプレイの推定された部分内に一つまたは複数のオブジェクトの少なくとも一部分が位置することを判別する段階と；
   前記少なくとも一つの点の位置に基づいてかつ前記ディスプレイの前記推定された部分内の前記一つまたは複数のオブジェクトの前記部分に基づいて、ターゲットとされている点を決定する段階とを実行するよう構成されている、
   システム。
7. 前記コンピューティング装置が、前記少なくとも一つの点と、前記ディスプレイの前記推定された部分内の前記一つまたは複数のオブジェクトの各部分との間の距離に基づいて、前記ターゲットとされている点を決定するようさらに構成されている、請求項６記載のシステム。
8. 前記コンピューティング装置が、前記一つまたは複数のオブジェクトのそれぞれに関連付けられたランクに基づいて、前記ターゲットとされている点を決定するようさらに構成されている、請求項７記載のシステム。
9. ユーザーによるタッチスクリーン・ディスプレイのタッチに基づいてターゲットとされている点を決定するための命令が具現されているコンピュータ可読媒体であって、前記命令は：
   少なくとも一つの点の指示、幅の指示および高さの指示を受領するための命令と；
   前記少なくとも一つの点の指示、前記幅の指示および前記高さの指示に基づいて前記ディスプレイの一部分を推定するための命令と；
   前記ディスプレイの推定された部分内に一つまたは複数のオブジェクトの少なくとも一部分が位置することを判別するための命令と；
   前記少なくとも一つの点の位置に基づいてかつ前記ディスプレイの前記推定された部分内の前記一つまたは複数のオブジェクトの前記部分に基づいて、ターゲットとされている点を決定するための命令とを含む、
   コンピュータ可読媒体。
10. 請求項９記載のコンピュータ可読媒体であって、前記ディスプレイの一部分を推定するための前記命令が、前記ディスプレイの一部分を、前記少なくとも一つの点を中心とした長方形の内部に内接する楕円として推定するための命令を含み、前記長方形は前記高さの指示に対応する高さおよび前記幅の指示に対応する幅をもつ、コンピュータ可読媒体。
    

Images