JP2015501971A - 間接的対話装置の対話モデル - Google Patents

Abstract

１つ又は複数の手法及び／又はシステムが、間接的対話装置（例えば、マウス、タッチパッドなど）から受領した入力データについて、該データを直接的対話装置（例えば、タッチスクリーン）から受領したかのように使用するために、提供される。対話モデルが、間接的対話装置から受領した入力データを扱うために説明される。例えば、対話モデルは、２つ以上の接点（例えば、指）が間接的対話装置により検出されたとき、ディスプレイに２つ以上の対象（例えば、カーソル）の提示を提供することができる。さらに、検出された接点の数、及び／又はそれぞれの接点により加えられた圧力に基づいて、提示された対象を、重ね合わせ視覚化と連動視覚化との間でそれぞれ推移させることができる。連動視覚化における対象は、例えば、ユーザインタフェース内に提示されたオブジェクトのサイズを操作し、オブジェクトをパンし、オブジェクトをドラッグし、オブジェクトを回転させ、及び／又は他の方法でオブジェクトに連動することができる。

Description

ユーザが装置と対話し、上記対話がディスプレイ上のある位置にマップされることに関する。

従来、ユーザは多様な入力装置を用いてユーザインタフェースの要素と対話している（interact）。一般に、こうした対話装置は、上記装置がユーザインタフェースと共に有する対話の種類に基づいて、直接的対話装置（direct interaction devices）及び／又は間接的対話装置（indirect interaction devices）として分類されることができる。例えば、タッチスクリーンなどの直接的対話装置は、ユーザがモニタ上に表示されているものと直接的に対話することが可能となるように構成され、これに対し、例えば、マウス又はキーボードなどの間接的対話装置は、ユーザがモニタに表示されているものと間接的に対話することが可能となるように構成される。

マウス、及び例えばタッチパッドなどのマウスをエミュレートする装置は、最も一般的な種類の間接的対話装置のうちの一部である。ユーザは装置と対話し、その対話はディスプレイ上の位置にマップされる。例えば、マウスは動きを感知することができ、上記動きは、推定された開始位置と装置を用いた感知された対話とに基づいて、ある位置にマップされる。タッチパッドが、一般に、マウスと類似する様式で使用される。タッチパッド上での接点の動き（例えば、指、スタイラスなど）が感知され、感知された動きは、マウス入力と類似する様式で扱われる。従来、マウス、及びタッチパッドなどのマウスをエミュレートする装置は、ユーザインタフェース上の単に１つの対象を制御するように構成されてきた（例えば、１つのマウスポインタ、カーソルなど）。したがって、上記はシングルポイント装置と呼ぶことができる。

特に、間接的対話装置を介してユーザインタフェースのオブジェクトと対話するための１つ又は複数のシステム及び／又は手法を提供することに関する。

本概要は、発明を実施するための形態で以下にさらに記載される概念の選択を簡易化された形で紹介するために提供される。本概要は、請求される対象事項の主要な要因又は本質的特徴を特定するものではなく、請求される対象事項の範囲を限定するために使用されるものでもない。

とりわけ、間接的対話装置を介してユーザインタフェースのオブジェクトと対話するための１つ又は複数のシステム及び／又は手法が提供される。より詳細には、上記システム及び／又は手法は、ユーザが直接的対話装置を介して（例えば、タッチスクリーンを介して）対話する場合に生じうる応答を、ユーザが（代わりに）間接的対話装置と対話したときに実質的にエミュレートするように構成された、種々の対話モデルを説明する。

対話モデルは、間接的対話装置と対話する１つ又は複数の接点（例えば、指）の視覚化を提供するように構成される。例えば、２つの接点が、間接的対話装置と実質的に同時に対話するとき、２つの対象（例えば、マウスポインタ、カーソルなどの、ディスプレイにおける接点の表現）を、コンピュータシステムのディスプレイに実質的に同時に提示することができる。このようにして、間接的対話装置との対話が、直接的対話装置（例えば、ユーザがディスプレイと直接的に対話することができ、例えばユーザ自身の指がディスプレイ上でオブジェクトを重ねるなどする）の視覚化と類似する様式で視覚化される。

ユーザが直接的対話装置を介して対話した場合に生じうる応答を、ユーザが実際は間接的対話装置と対話するときに実質的にエミュレートするために、複数の対話モデルが本明細書において考案される。コンピュータシステムにより使用される特定の対話モデルは、とりわけ、ユーザの嗜好、間接的対話装置のサイズに対するディスプレイのサイズ、開発者の嗜好などに依存しうる。例えば、一実施形態において、ユーザ及び／又はオペレーティングシステムは、とりわけディスプレイに提示されたユーザインタフェースに依存して、使用される対話モデルを動的に変更することができる。

対話モデルは概して、２つのカテゴリ、基本と改良型とに分類することができる。基本対話モデルは概して、間接的対話装置と対話する（例えば、タッチする、上に重ね合わせるなど）ことができる少なくとも２つの接点（例えば、指、スタイラスなど）を使用するように設計される。例えば、間接的対話装置による第１の接点の検出は、コンピュータシステム（例えば、又はコンピュータシステムの一部分）を重ね合わせモードに入らせるように構成することができ、ここで、対象（例えば、モニタ上のマウスポインタなどの、ディスプレイに提示された第１の接点の表現）は、ディスプレイ上で（例えば、間接的対話装置上の第１の接点による動きを介して）、対象がユーザインタフェースの所望のオブジェクト（例えば、特定のファイル、メニューなど）の上に重なり合うまで、動かすことができる。間接的対話装置による第２の接点の検出は、コンピュータシステム（例えば、又はコンピュータシステムの一部分）を連動モードに入らせるように構成することができ、上記連動モードは、ディスプレイ上の、対象が上に重ね合わせされているオブジェクトに連動するように構成される。

改良型対話モデルは概して、いつ重ね合わせモード及び／又は連動モードに入るべきかを決定するために１つの接点だけを使用するように設計される。例えば、一実施形態において、間接的対話装置は、接点が間接的対話装置に加えている圧力の量を決定するように構成された１つ又は複数の圧力センサを含む。圧力の量が指定した範囲内である場合、コンピュータシステム（例えば、又はコンピュータシステムの一部分）は、重ね合わせモードに入るように構成することができる（例えば、マウスポインタをディスプレイ上であちこち移動させることが可能となる）。圧力の量が指定した範囲を超えるとき、コンピュータシステム（例えば、又はコンピュータシステムの一部分）は、例えば、連動モードに入るように構成することができる（例えば、（オブジェクトの）上に重ね合わせされているボタンを「クリック」することが可能となる）。

改良型対話モデルの一実施形態において、複数の接点が間接的対話装置と対話することができる。このような実施形態において、それぞれの接点が、コンピュータシステム（例えば、又はコンピュータシステムの一部分）を重ね合わせモード及び／又は連動モードに入らせるように構成することができる。例えば、ディスプレイ上の第１の対象に関連付けられた第１の接点を使用して第１のオブジェクト（例えば、ディスプレイ上の第１の対象に近接するもの）に連動することができ、ディスプレイ上の第２の対象に関連付けられた第２の接点を使用して第２のオブジェクト（例えば、ディスプレイ上の第２の対象に近接するもの）に連動することができる。したがって、改良型モードにおいて、接点は、それぞれの対象が単にオブジェクトの上に重なり合っているのか、あるいはオブジェクトに連動しているのかを制御することができる。

前述の及び関連する目的を達成するために、以下の説明及び添付の図面は、ある特定の例示的態様及び実装形態を記載する。これらは、１つ又は複数の態様が使用されうる様々な方法のうちのほんのいくつかを示す。本開示の他の態様、利点、新しい特徴が、添付の図面とともに考慮されるときに、以下の詳細な説明から明らかとなろう。

間接的対話装置から受領した入力データに基づいて、ディスプレイ上に提示された１つ又は複数の対象を制御する代表的な方法である。 代表的な間接的対話方法である。 間接的対話装置と共に用いる代表的な対話モデルである。 間接的対話装置と共に用いる代表的な対話モデルである。 間接的対話装置から受領した入力データに基づいて、ディスプレイ上に提示された１つ又は複数の対象を制御する代表的なシステムである。 本明細書において説明する規定のうち１つ又は複数を具体化するように構成されたプロセッサ実行可能命令を含むことができる代表的なコンピュータ読取可能媒体の図示である。 本明細書において説明する規定のうち１つ又は複数を実施することができる代表的なコンピューティング環境を図示する。

請求される対象事項が、ここから図面を参照しながら説明される。図面において、概して全体にわたって同様の参照番号を用いて同様の要素を示す。下記説明において例示の目的で、多数の具体的な詳細が、請求される対象事項の十分な理解を与えるために説明される。しかしながら、請求される対象事項は上記の具体的な詳細の範囲外で実施できることが明白であろう。他の例として、構造及び装置が、請求される対象事項の説明を容易にするためにブロック図形式で図示される。

いくつかの応用において、直接的対話装置（例えば、タッチスクリーン技術の活用）は間接的対話装置（例えば、カーソル及びキーインタフェースの活用）よりもさらに有利となりうることが、十分理解されよう。例えば、直接的対話装置は、例えば販売時点管理（point-of-sale）装置、キオスクの応用例、ＧＰＳナビゲーション装置、並びに／又は産業用及び家庭用自動化システムに特に適するであろう（なぜならば、例えば、トランザクションが比較的短いため、データ入力／ユーザ対話が限定されるため、など）。しかしながら、他の応用において、間接的対話装置がより有利となりうる。例えば、グラフィックデザイン、オーディオ編集及びビデオ編集、スプレッドシート操作、並びにワープロアプリケーションなどは、間接的対話装置がうまく役立つであろう（例えば、実質的なユーザ対話が、延長された期間維持されるなど）。さらに、手及び指がユーザインタフェースの比較的小さい要素をふさぐ場合があり、ディスプレイの提示表面上の残余、不鮮明部分等をそのまま残す可能性があるため、直接的タッチ装置はいくらか不明確となりうる。

とりわけ、１つ又は複数のシステム及び／又は技術が、直接的タッチ装置の便益の少なくとも一部を提供しながらさらに直接的タッチ装置の欠陥の少なくとも一部を軽減する１つ又は複数の様式で間接的対話装置（例えばタッチパッド又は他の入力装置）を活用することについて提供される。例えば、間接的対話装置との対話が、直接的対話装置（例えば、ユーザ自身の指がディスプレイ上でオブジェクトを重ねるものなどの直接的タッチシステムを介して、ユーザがディスプレイと直接的に対話することができるもの）の視覚化に類似する様式で視覚化される。「間接的対話」及び／又は同様のものが、本明細書において広い意味で用いられて、実体（例えばユーザ）がディスプレイ以外の装置と対話してディスプレイ上のユーザインタフェースに変化をもたらすところの対話の一形式を説明していることを十分理解されたい。例えば、ラップトップコンピュータのタッチパッドは、ユーザがタッチパッドと対話してラップトップのディスプレイ／モニタ上に提示されたポインタを制御することができるため、間接的対話装置の一例となりうる。

いくつかの応用において、直接的対話装置は間接的対話装置として使用することができることを十分理解されたい。一例として、タッチスクリーンを含むモバイル装置がテレビ受像機を制御するリモコンとして使用される場合、例えば、上記モバイル装置のタッチスクリーンは間接的対話装置として使用されてテレビ受像機上に表示されているユーザインタフェース（例えば、タッチスクリーン上の対象、カーソルなど）を操作することができる。

図１は、間接的対話装置（例えば、タッチパッド、又は他のタッチセンサ式表面、熱センサ式表面など）から受領した情報に基づいてディスプレイ上に対象（target）（例えばポインタ）を提示する例示的な方法１００を図示する。上記間接的対話装置を実体（例えばユーザ）が使用して、ディスプレイ上に提示されたユーザインタフェースのオブジェクトを操作することができる。上記の方法１００は、タッチスクリーンを一般的に含まないラップトップコンピュータ及び／又はデスクトップコンピュータに特に適用可能性を見出すことができるが、そうしたものに限定されることは意図されない。例えば、別の実施形態において、例示的な方法１００はタッチスクリーンと関連して使用することができ、この場合、間接的対話装置はタッチスクリーンを補うことができる（例えば、通常タッチスクリーンを介して達成できない精度が所望されるようなアプリケーションにおいてなど）。

例示的な方法１００は、１０２において始まり、コンピュータシステムに接続された間接的対話装置が１０４において検出される。例として、タッチパッドを、有線接続（例えばユニバーサル・シリアル・バス（ＵＳＢ）など）及び／又は無線接続（例えば、ブルートゥース接続、赤外線接続など）を介してコンピュータシステムに接続することができる。さらに、例えば、間接的対話装置はコンピュータシステムが製造されるときにコンピュータシステムに接続することができ、したがって間接的対話装置はコンピュータシステムの最初の起動において検出されることができることを十分理解されたい。代替的に、間接的対話装置は、例えばエンドユーザによりコンピュータシステムに接続することができ、例えば間接的対話装置が接続されたとき及び／又はその後の再起動のときに検出されることができる。

間接的対話装置を検出すると、コンピュータシステム及び／又はコンピュータシステムの構成要素は、間接的対話装置とコンピュータシステムとの間のデータの移転を提供するように構成された、かつ／あるいはそうでなければ、例えば、間接的対話装置との対話のためにコンピュータシステムを準備し、及び／又はその反対をなすように構成されたドライバをインストールするように、構成することができる。

例示的な方法１００は、さらに１０６において、選択した対話方法に少なくとも部分的に基づいて、間接的対話装置をコンピュータシステムとマップすることを含む。すなわち、別の言い方をすると、間接的対話装置のセンサ性表面（sensory surface）上に含まれるタッチセンサ、熱センサ、又は他の種類のセンサが、選択した対話方法により指定されたマッピング手法に基づいてディスプレイにマップされる（上記の対話方法は、例えば、オペレーティングシステム製造業者、コンピュータ製造業者、ユーザなどが選択することができる）。一例として、対話方法は、絶対的、相対的、及び／又は異種的（例えば、絶対的と相対的との組み合わせの）マッピング手法を用いて間接的対話装置とコンピュータシステムとのマッピングを提供することができる。

絶対的マッピング手法は概して、間接的対話装置の軸をディスプレイの対応する軸に拡大縮小する（scale）ように構成される。例えば、間接的対話装置のｘ軸は、ｘ方向において間接的対話装置のセンサ性表面上のそれぞれのポイントがディスプレイ上の単一のポイント（例えば、又は特定数のポイント）にマップされるように、ディスプレイの対応するｘ軸に合わせて拡大縮小されることができる。同様にして、間接的対話装置のｙ軸は、ｙ軸において間接的対話装置のセンサ性表面上のそれぞれのポイントがディスプレイ上の単一のポイント（例えば、又は特定数のポイント）にマップされるように、ディスプレイの対応するｙ軸に合わせて拡大縮小されることができる。このようにして、センサ性表面上のポイントは概してディスプレイ上のそれぞれの点に対応する。すなわち、例えば、間接的対話装置のセンサ性表面の端が、センサ性表面がディスプレイの（ミニチュア）表現となるように、ディスプレイのそれぞれの端に対応する。例えば、接点（例えば、指）が間接的対話装置のセンサ性表面の右上角をタッチする場合、センサ性表面の右上角がディスプレイの右上角にマップされるため、ディスプレイにおいて上記接点を表すポインタを右上角に位置付けることができる。従来、タッチスクリーン及び／又はペン・ディジタイザは絶対的マッピング手法を活用してきた。

相対的マッピング手法は、センサ性表面が概してディスプレイの移動可能な小領域（例えば、ユーザに対して示されないもの）にマップされることが、絶対的マッピング手法とは異なる。すなわち、上記マッピングは、接点（例えば、指）がセンサ性表面により検出された時点における、ディスプレイ上での対象（例えばポインタ）の現在の場所の関数であり、対象の場所の変化に基づいて変化することができる。例えば、ある接点が検出されたときに対象がディスプレイの右上の象限の中心にある場合、センサ性表面は、センサ性表面の中心ポイントが対象の場所に対応するようにマップされることができる（例えば、ディスプレイの全体よりも少ないポイントがセンサ性表面上のポイントにマップされることをもたらす）（例えば、右上の象限だけを例えばマップすることができる）。ある期間、接点がセンサ性表面によりまったく検出されない場合、再び接点が検出されるとき、マッピングは、例えば対象の位置がセンサ性表面の中心ポイントにマップされるように、変更されることができる。したがって、センサ性表面が相対的マッピング手法を用いてマップされる場合、マッピングは時々変化することができる（例えば、ディスプレイ、及び／又は間接的対話装置のセンサ性表面に変化がない限りマッピングが典型的に変化しない絶対的マッピングとは反対である）。従来、マウス、及び／又はマウスをエミューレートするトラックパッドは相対的マッピング手法を活用してきた。

異種的マッピング手法は、絶対的マッピングの観念と相対的マッピングの観念とを組み合わせる。例えば、間接的対話装置のセンサ性表面のそれぞれの軸を独立してマップすることができ、第１の軸を絶対的マッピング手法を用いてマップし、第２の軸を相対的マッピング手法を用いてマップすることができる。例えば、相対的マッピング手法をセンサ性表面のｙ軸に適用することができ、かつ絶対的マッピング手法をセンサ性表面のｘ軸に適用することができ、あるいはその逆とすることができる。

絶対的、相対的、及び異種的マッピング手法を本明細書において説明しているが、例えば他のマッピング手法もまた考えられ、添付の請求項の範囲から除外されるべきではないことを十分理解されたい。

例示的な方法１００の１０８において、入力データが、間接的対話装置から、又は間接的対話装置のセンサ性表面から受領される。例えば、ユーザは、センサ性表面に１つ又は複数の指を置くことができ、入力データを生成させることができる。一般的に言えば、入力データは、接点（群）が接している、センサ性表面上の場所（群）を示す。入力データはさらに、センサ性表面から取得することができる他の情報を示すこともできる。

例として、入力データは、センサ性表面と接する１つ又は複数の指の場所及び／又は場所群を特徴付けることができ、したがって、指の動作（例えば、センサ性表面に対する動き）を、例示的な方法１００の１０６において生成したマップに少なくとも部分的に基づいてディスプレイにマップすることができる。さらに、一実施形態において、入力データはさらに、１つ又は複数の指によりセンサ性表面にそれぞれ加えられた圧力の量に関する情報を含むことができる。以下でより詳細に説明していくが、一実施形態において、そうした圧力情報を使用して、例えば表示されているユーザインタフェースのオブジェクトに対して上に重ね合わせている（hover）のか、及び／又は連動している（engage）のかを決定することができる。

例示的な方法１００の１１０において、入力データは、選択した対話モデルに少なくとも部分的に基づいて処理される。対話モデルは、入力データを扱う方法及び／又は入力データをコンピュータシステムにとってより有用な情報に変換する方法に関する案内及び／又は指示を提供する。例えば、上述したように、対話モデルは、間接的対話装置のセンサ性表面に対して適用されたある接点（群）（例えば、ある事象）の位置及び／又は動きのマッピングを提供することができる。したがって、１つ又は複数の接点がセンサ性表面において右に移動される場合、上記接点にそれぞれ対応する対象又は対象群（例えば、マウスポインタ（群））をディスプレイのユーザインタフェース上で右に移動することができる。

図２〜図４に関連して以下でより詳細に説明していくが、入力データを使用して、コンピュータシステム（例えば、又はコンピュータシステムの一部分）が対話モデルの仕様に従って重ね合わせモードに入るべきか、かつ／あるいは連動モードに入るべきかを決定することができる。すなわち、対話モデルは、対象が単にコンピュータシステムのユーザインタフェースの要素の上に重なり合うべきなのか、かつ／あるいはユーザインタフェースの要素に連動するべきなのかを、指定するように構成することができる。したがって、選択対話モードは、接点（群）のどの動作を構成してコンピュータシステム及び／又はコンピュータシステムの一部分（例えば、ディスプレイに提示されるポインタなど）に重ね合わせモードに入らせるか、かつ／あるいはどの動作を構成してコンピュータシステム及び／又はコンピュータシステムの一部分に連動モードに入らせる（例えば、ユーザインタフェースのオブジェクトに連動させる）かを、指定するように構成することができる。

例示的な方法１００の１１２において、対象（群）が、処理された入力データに基づいて提供されたとおり、コンピュータシステムのディスプレイ上に位置付けられ、及び／又は移動される。さらに、処理された入力データが、コンピュータシステム及び／又はコンピュータシステムの一部分が連動モードに入るべきであることを示す場合、コンピュータシステム上に表示される対象は、ディスプレイ上に提示されたユーザインタフェースのオブジェクトに連動するように構成することができる。こうした連動には、例えば、限定はされないが、ディスプレイ上に提示されたオブジェクトのスケールを操作すること、オブジェクトをパンすること、オブジェクトをドラッグすること、オブジェクトを回転すること、及び／又はオブジェクトを選択すること（例えば、ボタンを「クリック」すること）を含むことができる。

１つより多くの対象を、例示的な方法１００の１１２においてコンピュータシステムのディスプレイ上に提示することができることを十分理解されたい。一例として、対象を、間接的対話装置のセンサ性表面により検出されたそれぞれの接点について提示することができる。したがって、例えば、２つ以上の指がセンサ性表面（例えば、２つ以上の指がセンサ性表面により検出されるようなもの）に対して適用された場合、２つ以上の対象をディスプレイに提示することができる。対象は、第１の接点が第１の対象の位置／動きを制御し（例えば、かつ／あるいは、第１の対象に重ね合わせモード及び／又は連動モード間を切り替えさせ）、第２の接点が第２の対象の位置／動きを制御する（例えば、かつ／あるいは、第２の対象に重ね合わせモード及び／又は連動モード間を切り替えさせる）などのように、それぞれの接点により制御することができる。したがって、検出された接点の数と提示される対象の数との間に１対１の比率が存在することができるが、他の比率もまた考えられる。例えば、別の例において、１つの対象を、検出された２つの接点（例えば、指、スタイラスなど）ごとについて提示することができる。

いくつかの実施形態において、検出された接点の数が変化するにつれてディスプレイに提示される対象の数を変化させることができることを十分理解されたい。一例として、一実施形態において（例えば、間接的対話装置が絶対的にマップされる場合）、接点がまったく検出されないときに対象の表示をゼロ個とすることができ、１つの接点が検出されたときに１つの対象を表示することができ、２つの接点が検出されたときに２つの対象を表示することなどができる。別の実施形態において（例えば、間接的対話装置が相対的にマップされる場合）、接点がまったく検出されない場合でさえ１つ又は複数の接点を表示することができる。例えば、検出された接点がゼロ個又は１つであるときに１つの対象を表示することができ、２つの接点が検出されたときに２つの対象を表示することなどができる。

したがって、一実施形態において、コンピュータシステムは、間接的対話装置により検出されたそれぞれの接点についてディスプレイに対象を提示するように構成することができる。さらに、対象の位置／動きを、それぞれの接点により制御することができる。すなわち、第１の接点は第１の対象の位置／動きを制御することができ、第２の接点は第２の対象の位置／動きを制御することができる。一実施形態において、それぞれの対象は、他の対象とは独立して位置付けられる／移動されることができる。例えば、ユーザが仮にタッチパッド上で第１の指を動かしながら別の指は固定したままとする場合、第１の指に対応する対象が移動し、一方で第２の指に対応する対象は固定されたままとなる。同様にして、ユーザが第２の指を用いたセンサ性表面の「接点」を拾い上げ、及び／又は他の方法で中止する場合、第２の対象は消え、及び／又はディスプレイ上に別の様式で提示されることができる。

間接的対話装置のセンサ性表面により検出されたそれぞれの接点の対象を表示することにより、ユーザの動きを、例えば、直接的対話装置上で生じる視覚化（visualization）に類似する様式で視覚化することができることを十分理解されたい。すなわち、それぞれの対象は、例えば、タッチスクリーンにタッチする指に類似する様式で応答することができる。ちょうどユーザが直接的対話装置上に２つの指を置くことができるように（例えば、ユーザインタフェース上の複数のオブジェクトに対して対話し、かつ／あるいは隠す）、ユーザは、例えば、ユーザがディスプレイとの物理的な接点を有していない（例えば、しかしながらむしろ間接的対話装置を介して対象を制御する）場合でさえ、（例えば、ユーザ自身の指が対象により表現される）ディスプレイ上でユーザ自身の指を視覚化することができる。

例示的な方法１００は１１４において終了する。

図２は、間接的対話装置を用いて例えばコンピュータシステムと対話するための例示的な間接的対話方法２００を図示する。より詳細には、例示的な方法２００は、選択した対話モデル（例えば、図１の１１０）に基づいて入力データを処理する例示的な手法である。一例として、方法２００は、ユーザが直接的対話装置（例えば、タッチスクリーンなど）と対話するときにユーザに提供される視覚化に似た重ね合わせ視覚化及び／又は連動視覚化を提供するように構成することができる。図２は単に間接的対話方法の簡素化されたフロー図を提供することが意図されたものであり、図３〜図４が入力データを間接的対話装置から受領するときに生じうる動作に関連するより具体的な詳細を提供しうることを十分理解されたい。上記動作は、選択されている対話モデルに少なくとも部分的に基づくことができる。

例示的な方法２００は２０２において始まり、２０４において間接的対話装置により検出された第１の事象を示す第１の入力データを受領する。事象は、一般に接点（群）により行われ、例えば、間接的対話装置のセンサ性表面に接点（例えば、指、スタイラスなど）をタッチすること、上記接点を上記センサ性表面上で移動させることなどを含むことができる。一例として、第１の事象には、間接的対話装置のセンサ性表面（例えば、タッチセンサ式表面、熱センサ式表面など）の上又は近傍において第１の指を検出すること、及び／又はセンサ性表面の第１の指の動きを検出することを含むことができる。上記のような事象が、次いで（例えば、間接的対話装置により）、記録され、及び／又はコンピュータシステムにより受領されるように構成された入力データに変換される。

例示的な方法２００の２０６において、第１の対象が、第１の入力に基づいてコンピュータシステムデータのディスプレイに提示されるように提供される。すなわち、別の言い方をすると、第１の事象はマッピング手法に従ってディスプレイにマップされる（例えば、上記マッピング手法は選択した対話モデル内で指定されることができる）。例えば、マッピング手法には、絶対的マッピング手法、相対的マッピング手法、及び／又は異種的マッピング手法を含むことができる。一例として、第１の事象がセンサ性表面に接している指を右にスライドさせることを含む場合、ディスプレイへの第１の事象のマッピングには対象（例えば、ポインタ）を右に移動させることを含むことができる。

一般的に言えば、２０６において、対象は重ね合わせ視覚化として提示される。すなわち、対象は、ディスプレイに関して動かされ、ユーザインタフェースのオブジェクトに連動することなく上記オブジェクトの上に重なり合うことができる。例えば、対象は、アプリケーションの選択、アプリケーションの初期化、及び／又はアプリケーション（例えば、若しくはむしろディスプレイ上に提示されたアプリケーションの表現）の操作をなすことなく、アプリケーションの上で動かされることができる。このようにして、対象は従来のポインタと類似して動作する（例えばこの場合、ポインタは、ユーザが例えばマウスのボタンをタップ又はクリックするまで、ユーザインタフェースの上に重なり合うことができる）。

例示的な方法２００の２０８において、間接的対話装置により検出された第２の事象を示す第２の入力データを２０８において受領する。第２の事象には、とりわけ、接点により加えられた圧力の量における（例えば、第１の事象が検出されたときに加えられた圧力に対しての）変化の検出、センサ性表面の上若しくは付近での第２の接点の検出、及び／又はボタン若しくは他の連動機構の連動の検出を含むことができる（例えば、上記の連動機構は間接的対話装置の一部である）（例えば、重ね合わせモードから連動モードへのコンピュータシステムの推移を引き起こすように構成される）。

例示的な方法２００の２１０において、ディスプレイに提示された１つ又は複数のオブジェクトが、オブジェクトに対する第１の対象の位置と受領した第２のデータとに少なくとも部分的に基づいて連動される。すなわち、第２の入力データを受領すると、１つ又は複数の対象は、重ね合わせ視覚化（例えば、１つ又は複数の対象が単にオブジェクトの上に重なり合っている状態）から連動視覚化（例えば、１つ又は複数の対象が、それぞれの対象が上に重ね合わせされていたオブジェクトに連動する状態）へと推移することができる。

例えば、ある画像がコンピュータシステムに提示されたユーザインタフェース内に表示され、ユーザが間接的対話装置（例えば、タッチパッド）を用いて上記画像と対話したいと仮定する。ユーザは、タッチパッドのセンサ性表面に指を１つ置き、センサ性表面上で上記指を動かすことにより開始することができる。この事象（例えば、センサ性表面への指の配置、及び／又は指の動き）は、第１の入力データが例えば間接的対話装置により２０４において生成され、コンピュータシステムに送信されることをもたらすことができる。今度はコンピュータシステムが２０６において第１の入力データを解析し（例えば、事象をディスプレイにマッピングする）、指の配置及び／又は動きに実質的に対応する様式で対象を位置付け、及び／又は動かすことをもたらすディスプレイに対する情報を提供することができる。いったん対象がユーザにとって所望の位置に配置されると（例えば、ユーザは連動したいオブジェクト（例えば、上記画像）の上に重ね合わせる）、ユーザはより大きな圧力を第１の指を介してセンサ性表面に加えることができ、センサ性表面に第２の指を置くことができ、かつ／あるいは連動要素（例えば、間接的対話装置のボタン）を選択することができる。こうした事象に応じて、第２の入力データが、間接的対話装置により生成され、かつ／あるいはコンピュータシステムに送信されることができる。第２の入力データ（例えば、第２の事象を示すもの）と第２の事象が発生したときの対象の位置とに基づいて、対象に近接する（例えば、上記対象が少なくとも部分的に重なっている）ユーザインタフェースのオブジェクト（例えば、上記画像）が連動されることができる（例えば、上記画像を「掴む」ことができ、その結果、上記画像を例えばドラッグ・アンド・ドロップすることができる）。

連動及び／又は同様のものは、本明細書において広い意味で使用されてオブジェクトに生じうる１つ又は複数の動作／操作を特徴づけることを十分理解されたい。例えば、オブジェクトのスケールを操作することができ、オブジェクトをパンすることができ、オブジェクトを他の場所にドラッグすることができ、オブジェクトを回転させることができ、かつ／あるいはオブジェクトを他の方法で選択すること（例えば、オブジェクトに関連付けられたアプリケーションを初期化させること、起動させることなどをもたらし、かつ／あるいはユーザインタフェースをオブジェクトとの連動に基づいて変化させることをもたらす（例えば、オブジェクトに関連付けられたメニューを開くことができる））などができる。

さらに、コンピュータシステム及び／又はコンピュータシステムの一部分（例えば、特定の対象）を重ね合わせ視覚化から連動視覚化へと推移させるように構成された特定の動作は、指定した対話モデル内で提供されることができることを十分理解されたい。例えば、以下でより詳細に説明するが、一実施形態において、第２の接点の検出が第１の接点に関連付けられた対象を重ね合わせ視覚化から連動視覚化へ推移させることができる。しかしながら、別の例において、第２の接点の検出は、単に対象が表示されることをもたらすことができ、この場合、それぞれの対象は重ね合わせ視覚化の状態にある（例えば、したがって単に第２の接点の検出が自動的に１つ又は複数の対象を重ね合わせ視覚化から連動視覚化へ推移させる訳ではない）。

さらに、オブジェクトを連動させない、第１の事象と第２の事象との間の介在事象が存在しうることを十分理解されたい。例えば、第３の事象が第１の事象と第２の事象との間に生じる場合があり、上記第３の事象はセンサ性表面に対する接点の動きなどであり、対象を移動させるが必ずしもオブジェクトを連動させない（例えば、なぜならば第３の事象は、対象を重ね合わせモードから連動モードに推移させるように対話モデル内に指定された種類の事象ではなかったためである）。

図３は例示的な対話モデル３００を図示し、上記対話モデル３００を用いてアイドル３０２、重ね合わせ３０４、及び／又は連動３０６のモード間を推移することができる。より詳細には、図３は、本明細書において基本対話モデルと呼ぶことができるものを図示する。このような対話モデルを提供して、事象（例えば、間接的対話モデルのセンサ性表面に対する接点の検出）を絶対的、相対的、及び／又は異種的に（heterogeneously）マッピングすることができる。

典型的に、間接的対話装置のセンサ性表面が、間接的対話装置のセンサ性表面に対して適用されている接点（例えば、指）がゼロ個であることを検出するとき、コンピュータシステム及び／又はコンピュータシステムの一部分はアイドルモード３０２である。コンピュータシステム及び／又はコンピュータシステムの一部分がアイドルモードであるときに表示される対象の数は、とりわけ、コンピュータシステムにより用いられるように指定された対話モデルの種類に依存しうる。例えば、事象が相対的にマップされることになる場合、コンピュータシステム（例えば、又はコンピュータシステムの一部分）がアイドルモードである間に少なくとも１つの対象をディスプレイに提示して、ユーザがセンサ性表面と対話して例えば中心の左及び／又は右に接点を動かす場合に対象が移動することになる場所についてのいくつかの前後関係を（例えば、ユーザに対して）提供することができる。

事象が絶対的にマップされるとき（例えば、センサ性表面がディスプレイに対して絶対的にマップされるとき）（例えば、したがって、センサ性表面上のポイントが実質的に固定されたディスプレイ上の対応するポイントにマップされる）、コンピュータシステム及び／又はコンピュータシステムの一部分がアイドルモード３０２である間にゼロ個以上の対象をディスプレイに提示することができる。すなわち、別の言い方をすると、ユーザは、コンピュータシステムがアイドルモード３０２であるときに対象の現在の配置を認識する必要がなくてよい。なぜならば、ユーザは、接点がセンサ性表面に対して適用されたときに対象が現れるであろう場所を上記のような先験的な情報を用いることなく認識することができるからである（例えば、対象は、タッチされたセンサ性表面の領域に実質的に対応するディスプレイの領域に現れることになる）。

第１の接点が間接的対話装置のセンサ性表面に対して適用されたとき（例えば、第１の指がタッチパッドにタッチしたとき）、コンピュータシステム及び／又はコンピュータシステムの一部分は矢印３０８により図示されるようにアイドルモード３０２から重ね合わせモード３０４に推移することができ、かつ／あるいは対象が重ね合わせ視覚化において表示されることができる。重ね合わせモード３０４は、ディスプレイに提示されるユーザインタフェースのオブジェクト（群）の上に重なり合う対象の視覚化をユーザに提供するように構成される。一例として、ユーザは、センサ性表面上で接点を動かして対象を画面に関して移動させることができ、対象がオブジェクトの上に重なり合っている（例えば、しかしながら連動はしていない）かのように対象を出現させることができる。すなわち、別の言い方をすると、対象は、オブジェクトに連動することなく、提示されたユーザインタフェースの１つ又は複数のオブジェクトに重なることができる。重ね合わせモード３０４は、ポインタがユーザインタフェースの面（aspects）に連動することなくユーザインタフェースに関して自由に移動する（例えば、上記のことはボタンが選択されない限りのことであり、ボタンが選択されたときはもはやオブジェクトの上に重なり合っている状態ではなくなる）ところのマウスを用いることに類似しうることを十分理解されたい。しかしながら、要素の上に単に重なり合うことは、要素に連動しないとしても要素の「反応」（例えば、発光する、色を変化させるなど）をもたらすことができる。

第２の接点が第１の接点と実質的に同時にセンサ性表面に対して適用されるとき（例えば、第２の指がタッチパッドにタッチするとき）（例えば、したがって、２つの指がタッチパッドに接する）、コンピュータシステム及び／又はコンピュータシステムの一部分は矢印３１０により図示するように重ね合わせモード３０４から連動モード３０６へ推移することができ、かつ／あるいは対象が連動視覚化において表示されることができる。一実施形態において、コンピュータシステム（例えば、又はコンピュータシステムの一部分）はセンサ性表面に対して適用されたそれぞれの接点について対象を表示するように構成することができることを十分理解されたい。例えば、２つの接点がセンサ性表面に対して適用された場合は２つの対象をディスプレイに提示することができ、３つの接点がセンサ性表面に対して適用された場合は３つの対象をディスプレイに提示することなどができる。

連動モード３０６は、対象を、対象（群）に近接するオブジェクトに連動させる（例えば、対象をそれぞれに少なくとも部分的に重なっているオブジェクトに連動させる）ように構成される。オブジェクトに連動することには、とりわけ、オブジェクトのスケールを操作すること、オブジェクトをパンすること、オブジェクトをドラッグすること、オブジェクトを回転させること、及び／又は他の方法でオブジェクトを選択してオブジェクトにいくつかの変化（例えば、オブジェクトに関連付けられたアプリケーションを初期化すること、及び／又はオブジェクトに関連付けられたメニューの提示を提供することなど）をもたらすことを含んでよい。

限定ではなく例として、２つ以上の接点をセンサ性表面上で互いに向かって移動させることによりディスプレイのサイズに対してオブジェクトのスケールを減少させることができる。同様にして、２つ以上の接点をセンサ性表面上で互いから離すように移動させることによりディスプレイのサイズに対してオブジェクトのスケールを増大させることができる。互いに隣接する２つ以上の接点を移動させることは、オブジェクトがパン可能なオブジェクトである場合にパン操作をもたらすことができ、かつ／あるいはオブジェクトがドラッグ可能である場合にドラッグ操作をもたらすことができる。２つ以上の指を回転する方式で動かすことにより接点の回転に類似する様式でオブジェクトを回転させることができる。したがって、基本モデル３００において、２つ以上の接点を使用して、オブジェクトに連動し、及び／又はオブジェクトの操作を提供することができる（例えば、２つ以上の接点が間接的対話装置により検出されていることを入力データが示す場合、対象（群）は重ね合わせモードから連動モードに推移される）。

例示的なモデル３００の矢印３１２により図示するように、一実施形態において、コンピュータシステム及び／又はコンピュータシステムの一部分はアイドルモード３０２から連動モード３０６へと（例えば、重ね合わせモード３０４を飛び越えて進んで）直接的に推移することができることを十分理解されたい。一例として、入力データは、センサ性表面がゼロ個の接点の検出から２つ以上の接点の検出へと推移することを示すことができ、したがってコンピュータシステムに重ね合わせモード３０４を飛び越えて進ませることができる。

さらに、コンピュータシステム及び／又はコンピュータシステムの一部分は、連動モード３０６である場合に重ね合わせモード３０４へ戻り、かつ／あるいは重ね合わせモード３０４及び／又は連動モード３０６である場合にアイドルモード３０２へ戻るように（例えば、逆の手法を用いて）推移することができることを十分理解されたい。例えば、センサ性表面が２つ以上の接点の検出から単に１つの接点の検出へと推移するとき、コンピュータシステム及び／又はコンピュータシステムの一部分は矢印３１４により図示するように連動モード３０６から重ね合わせモード３０４へと推移されることができる。同様にして、センサ性表面が１つの接点の検出からゼロ個の接点の検出へと推移するとき、コンピュータシステム及び／又はコンピュータシステムの一部分は矢印３１６により図示されるように重ね合わせモード３０４からアイドルモード３０２へと推移されることができる。センサ性表面が２つ以上の接点の検出からゼロ個の接点の検出へと推移する場合、コンピュータシステム及び／又はコンピュータシステムの一部分は矢印３１８により図示するように連動モード３０６からアイドルモード３０２へと（例えば、重ね合わせモード３０４を飛び越えて進んで）推移されることができる。

図４は別の例示的な対話モデル４００を図示し、上記対話モデルを使用してアイドル４０２（例えば、図３の３０２）、重ね合わせ４０４（例えば、図３の３０４）、及び／又は連動４０６（例えば、図３の３０６）のモード間を推移することができる。より詳細には、図４は、本明細書において改良型対話モデルと呼ぶことができるものを図示する。このような対話モデルを提供して、事象（例えば、間接的対話モデルのセンサ性表面に対する接点の検出）を絶対的、相対的、及び／又は異種的にマッピングすることができる。

典型的に、間接的対話装置のセンサ性表面が間接的対話装置のセンサ性表面に対して適用されている接点（例えば、指）がゼロ個であることを検出するとき、コンピュータシステム及び／又はコンピュータシステムの一部分はアイドルモード４０２である。コンピュータシステム及び／又はコンピュータシステムの一部分がアイドルモードであるときに表示される対象の数は、とりわけ、コンピュータシステムにより用いられるように指定された対話モデルの種類に依存しうる。例えば、事象が相対的にマップされることになる場合、コンピュータシステム（例えば、又はコンピュータシステムの一部分）がアイドルモードである間に少なくとも１つの対象をディスプレイに提示して、ユーザがセンサ性表面と対話して例えば中心の左及び／又は右に接点を動かす場合に対象が移動することになる場所についてのいくつかの前後関係を（例えば、ユーザに対して）提供することができる。

事象が絶対的にマップされるとき（例えば、センサ性表面がディスプレイに対して絶対的にマップされるとき）（例えば、したがって、センサ性表面上のポイントが実質的に固定されたディスプレイ上の対応するポイントにマップされる）、コンピュータシステム及び／又はコンピュータシステムの一部分がアイドルモード４０２である間にゼロ個以上の対象をディスプレイに提示することができる。すなわち、別の言い方をすると、ユーザは、コンピュータシステムがアイドルモード４０２であるときに対象の現在の配置を認識する必要がなくてよい。なぜならば、ユーザは、接点がセンサ性表面に対して適用されたときに対象が現れるであろう場所を上記のような先験的な情報を用いることなく認識することができるからである（例えば、対象は、タッチされたセンサ性表面の領域に実質的に対応するディスプレイの領域に現れることになる）。

第１の接点が間接的対話装置のセンサ性表面に対して適用されたとき（例えば、第１の指がタッチパッドにタッチしたとき）、第１の接点により加えられた圧力の量を決定することができる。圧力の量が指定した範囲内である場合、コンピュータシステム（例えば、又はコンピュータシステムの一部分）は矢印４０８により図示するようにアイドルモード４０２から重ね合わせモード４０４へと推移することができ、かつ／あるいは対象が重ね合わせ視覚化において表示されることができる。センサ性表面に対して加えられた圧力の量が指定した範囲より大きい及び／又は小さい場合、コンピュータシステム（例えば、又はコンピュータシステムの一部分）は矢印４１２により図示するように（例えば、重ね合わせモード４０４を飛び越えて進んで）アイドルモード４０２から連動モード４０６へと推移することができる。

第１の接点がセンサ性表面に対して適用されている様式における変化が存在するとき（例えば、圧力が指定した閾値だけ増加及び／又は減少するとき）、コンピュータシステム及び／又はコンピュータシステムの一部分は矢印４１０により図示するように重ね合わせモード４０４から連動モード４０６へと推移することができる。

連動モード４０６は、対象を、対象（群）に近接するオブジェクトに連動させる（例えば、対象をそれぞれに少なくとも部分的に重なっているオブジェクトに連動させる）ように構成される。オブジェクトに連動することには、とりわけ、オブジェクトのスケールを操作すること、オブジェクトをパンすること、オブジェクトをドラッグすること、オブジェクトを回転させること、及び／又は他の方法でオブジェクトを選択してオブジェクトにいくつかの変化（例えば、オブジェクトに関連付けられたアプリケーションを初期化すること、及び／又はオブジェクトに関連付けられたメニューの提示を提供すること）をもたらすことを含んでよい。

図３に図示した基本モデル３００は概して、連動モード３０６に入る、及び／又はオブジェクトを操作するために２つの接点を使用していたことに対し、改良型モデル４００は、連動モード４０６に入るために単に１つの接点（例えば、指）を使用しうることを十分理解されたい。限定ではなく例として、連動モードである間に１つの方向に及び／又はパターンで接点を移動させることによりディスプレイのサイズに対してオブジェクトのスケールを減少させることができ、一方、反対の方向に及び／又はパターンで接点を移動させることによりディスプレイのサイズに対してオブジェクトのスケールを増大させることができる。同様にして、さらに別の方向に接点を移動させることによりオブジェクトのパン操作及び／又はドラッグ操作をもたらすことができる。センサ性表面上で接点を回転させることにより接点の回転に類似する様式でオブジェクトを回転させることができる。したがって、改良型モデル４００において、１つの接点だけを使用して、オブジェクトに連動し、及び／又はオブジェクトの操作を提供することができる。

コンピュータシステム及び／又はその一部分は、連動モード４０６である場合に重ね合わせモード４０４へと戻り、かつ／あるいは重ね合わせモード４０４及び／又は連動モード４０６である場合にアイドルモード４０２へと戻るように（例えば、逆の手法を用いて）推移することができる。例えば、接点により加えられた圧力が指定した範囲内に戻ったとき、コンピュータシステム又はコンピュータシステムの一部分は矢印４１４により図示されるように連動モード４０６から重ね合わせモード４０４へと推移されることができる。コンピュータシステム及び／又はコンピュータシステムの一部分が重ね合わせモード４０４である間に、加えられた圧力が指定した閾値を下回る（例えば、実質的にゼロまで降下する）場合、コンピュータシステム及び／又はコンピュータシステムの一部分は矢印４１６により図示するようにアイドルモード４０２へと推移することができる。同様にして、コンピュータシステム及び／又はコンピュータシステムの一部分は、システムが連動モード４０６である間に圧力が指定した閾値を下回る（例えば、実質的にゼロまで降下する）場合、矢印４１８により図示するように（重ね合わせモード４０４を飛び越えて進んで）連動モード４０６からアイドルモード４０２へと推移することができる。

図３に関連して説明した基本モデル３００と図４に関連して説明した改良型モデル４００とが特定の事象（例えば、複数の接点の検出、及び／又は接点により加えられた圧力における変化）に基づいてモード間を推移させることを提供することに対し、種々のモード間を推移するときを決定するための他の手法もまた考えらえることを十分理解されたい。例えば、一実施形態において、基本モデル及び／又は改良型モデルにおけるモード間の推移は、例えば連動ボタン及び／又はスイッチが（例えば、間接的対話装置上で）活性化されたことを示す入力データに基づいて開始することができる。したがって、例えば、受領したデータが、単一の接点がセンサ性表面上で検出されていることを示し、かつ連動ボタンが間接的対話装置上で選択されている（例えば、押下されている）ことを示すときに、重ね合わせモードから連動モードへの推移が生じうる。

さらに、基本モデル３００は単に２つの接点に言及したが、２つより多くの接点を間接的対話装置のセンサ性表面に対して適用することができることを十分理解されたい。同様にして、改良型モデル４００が（例えば、コンピュータ製造業者、ユーザなどにより）指定されたとき、１つより多くの接点を間接的対話装置のセンサ性表面に対して適用することができる。一例として、改良型モデルにおいて、それぞれの接点は重ね合わせモードから連動モードへと独立して推移することができる（例えば、したがって、提示されたユーザインタフェース内の同一の及び／又は異なるオブジェクトに独立して連動することができる）。例えば、第１の接点に加えられる圧力が増加するとき、第１の接点に対応する第１の対象は重ね合わせモードから連動モードへと推移することができ、一方、センサ性表面に対して加えられる圧力が増加しない第２の接点に対応する第２の対象は重ね合わせモードのままとすることができる（例えば、第１の対象があるオブジェクトに連動する間に、第２の対象はオブジェクトの上に重ね合わせ続けることができる）。別の例において、複数の対象がモード間を同時に推移する。例えば、連動ボタンが選択されたとき、複数の対象（例えば、センサ性表面に対して適用されたそれぞれの接点に対応するもの）は重ね合わせモードから連動モードへと推移することができる（例えば、それぞれの対象に近接するオブジェクトが連動されることをもたらす）。例えば、複数のアプリケーションを起動することができ、複数の画像を「掴む」ことなどができる。

図５は、間接的対話システム５０４の例示的環境５００の構成要素ブロック図を図示する。より詳細には、図５は、間接的対話装置５０２（例えば、タッチパッド、タッチセンサ式マウスなど）から受領した入力データに少なくとも部分的に基づいてディスプレイ５１４に提示されるオブジェクトと対話することを提供するように構成されたシステム５０４の例示的な環境５００を図示する。このようなシステムは、ユーザインタフェース内で正確な動きを望まれるパーソナルコンピュータ及び／又は他のコンピューティング環境に関して特定の適用可能性を見出すことができるが、他の用途も同様に考えられる。

例示的システム５０４は、間接的対話装置５０２からの入力を受領するように構成されることができる入力受領部構成要素５０６を含む。一例として、間接的対話装置５０２（例えば、タッチパッド、熱センサ式表面などのタッチセンサ式表面を含むことができる）は、特定の種類の事象を検出し、及び／又はこうした事象を入力データに変換するように構成することができる。事象及び／又は同様のものは本明細書において広い意味で用いられて、とりわけ、１つ又は複数の接点の検出、接点の動き、接点の変化（例えば、それぞれの接点の圧力変化など）などを特徴付けることを十分理解されたい。例えば、間接的対話装置５０２は、センサ性表面に対して適用される１つ又は複数の接点を検出し、かつ１つ又は複数の接点の検出に基づいて入力データを生成するように構成することができる。このような入力データは、とりわけ、センサ性表面に対して適用される接点（群）の場所、それぞれの接点により加えられる圧力の量などに関する（例えば、それらを示す）情報を提供することができる。接点がセンサ性表面に対して移動される場合、例えば、入力データもまたそうした動きを示すことができる。

例示的システム５０４はさらに、入力データにおいて提供された事象を１つ又は複数のマッピング手法（例えば、絶対的マッピング手法、相対的マッピング手法、及び／又は異種的マッピング手法（例えば、上述したようなもの））を用いてディスプレイ５１４に対してマップするように構成された、マッピング構成要素５０８を含む。使用される特定のマッピング手法はユーザ指定、製造業者指定などの対話モデルにおいて提供されてよいことを十分理解されたい。例えば、一実施形態において、システム５０４が間接的対話装置５０２上に生じる事象をディスプレイ５１４に絶対的にマップするようにすることを、オペレーティングシステム製造業者が指定することができる（例えば、製造業者はユーザに対し、基本の絶対的な対話モデル、及び／又は改良型の絶対的な対話モデルを選択する）。別の実施形態において、システム５０４のユーザが、対話モデルを指定することができる（例えば、したがって、どの事象が相対的にマップされることになり、絶対的にマップされることになり、かつ／あるいは異種的にマップされるることになるのかを指定することができる）。

例示的システム５０４は、さらに、入力受領部構成要素５０６により受領した入力データと選択した対話モデルとに少なくとも基づいてディスプレイ５１４に提示するための１つ又は複数の対象を提供するように構成された、提示構成要素５１０を含む。より詳細には、提示構成要素は、１つ又は複数の対象をディスプレイ５１４に提示されたユーザインタフェースに挿入するように構成される。例えば、ディスプレイ５１４の境界に対する１つ若しくは複数の対象の位置、及び／又は１つ若しくは複数の対象の動きを、受領した入力データに基づいてマッピング構成要素５０８により決定することができる。

提示構成要素５１０は、さらに、受領した入力データ及び／又は指定の対話モデルに少なくとも部分的に基づいて、例えば、アイドルモード（図３の３０２）、重ね合わせモード（図３の３０４）、及び／又は連動モード（図３の３０６）の間でコンピュータシステム及び／又はコンピュータシステムの一部分（例えば、それぞれの対象）を推移させるように構成することができる。

例として、コンピュータシステム及び／又はコンピュータシステムの一部分にモード間を推移させることができる特定の事象を指定している基本対話モデル（例えば、図３の３００）を提示構成要素５１０が用いて、いつモード間で推移すべきかを決定することができる。一例として、基本対話モデルは、少なくとも２つの接点が間接的対話装置５０２のセンサ性表面に対して適用されていることを入力受領部構成要素５０６により受領された入力データが示すとき、提示構成要素５１０が対象（群）を重ね合わせ視覚化（例えば、対象がユーザインタフェースのオブジェクトの上に重なり合うように構成される場合）から連動視覚化（例えば、対象がユーザインタフェースのオブジェクトに連動するように構成される場合）へと推移させることを、提供することができる。別の例として、基本対話モデルは、入力受領部構成要素５０６により受領された入力データが、少なくとも１つの接点が間接的対話装置５０２のセンサ性表面に対して適用されていることを示し、かつ連動すべき意図（例えば、連動ボタンの押下）を示すとき、提示構成要素５１０が対象（群）を重ね合わせ視覚化から連動視覚化へと推移させるようにすることを、提供することができる。したがって、入力データが、２つの接点が提供されていることを示すとき、かつ／あるいは１つの接点が適用されていることと連動する意図とを示すとき、提示構成要素５１０は、対象を重ね合わせ視覚化から連動視覚化に推移させるように構成することができる（例えば、あるいは対象が事前に重ね合わせモードになかった場合、アイドルモードから連動モードへとなる）。同様にして、入力データが、単に１つの接点を示すとき、かつ／あるいは連動する意図を示さないとき、提示構成要素５１０は、例えば、対象を連動視覚化から重ね合わせ視覚化へと推移させるように構成することができる（例えば、あるいは対象が事前にアイドルモードであった場合、アイドルモードから重ね合わせモードへとなる）。

別の例として、コンピュータシステム及び／又はコンピュータシステムの一部分にモード間を推移させることができる特定の事象を指定している改良型対話モデル（例えば、図４の４００）を提示構成要素５１０が用いて、いつモード間で推移すべきかを決定することができる。一例として、改良型対話モデルは、入力受領部構成要素５０６により受領した入力データが接点により加えられた圧力の増加を示すとき、提示構成要素５１０が接点に関連付けられた対象を重ね合わせ視覚化から連動視覚化へ推移させるようにすることを、提供することができる。別の例として、改良型対話モデルは、入力受領部構成要素５０６により受領された入力データが、少なくとも１つの接点が間接的対話装置５０２のセンサ性表面に対して適用されていることを示し、かつ連動する意図（例えば、連動ボタンの押下）を示すとき、提示構成要素５１０が対象（群）を重ね合わせ視覚化から連動視覚化へと推移させるようにすることを、提供することができる。したがって、入力データが、１つ又は複数の接点によりセンサ性表面に適用される圧力の変化を示すとき、かつ／あるいは１つの接点が適用されていることと連動する意図とを示すとき、提示構成要素５１０は、対象を重ね合わせ視覚化から連動視覚化へと推移させるように構成することができる（例えば、あるいは対象が事前に重ね合わせモードになかった場合、アイドルモードから連動モードへとなる）。同様にして、入力データが、接点に適用されている圧力が指定された量よりも少ないことを示し、かつ連動する意図を示さないとき、提示構成要素５１０は、例えば、対象を連動視覚化から重ね合わせ視覚化へと推移させるように構成することができる（例えば、あるいは対象が事前にアイドルモードにあった場合、アイドルモードから重ね合わせモードへとなる）。

一実施形態において、提示構成要素５１０はさらに、入力受領部構成要素５０６により受領された入力データが、２つ以上の接点が間接的対話装置５０２のセンサ性表面に対して適用されていることを示す（例えば、２つ以上の接点がセンサ性表面により検出されていることを示す）とき、ディスプレイ５１４に少なくとも２つの対象の提示を提供するように構成することができる。一例として、２つの接点が適用されていることを入力データが示す場合、提示構成要素５１０はディスプレイ５１４に２つの対象の提示を提供するように構成することができ、３つの接点が適用されていることを入力データが示す場合、提示構成要素５１０はディスプレイに３つの対象の提示を提供するように構成することなどができる。別の実施形態において、提示構成要素５１０は、上述した１対１の比率以外の、対象と検出される接点とのいくつかの異なる比率を提供するように構成することができる。例えば、別の実施形態において、提示構成要素５１０は、間接的対話装置５０２のセンサ性表面により検出される２つの接点につき１つの対象の提示を提供するように構成することなどができる。

提示構成要素５１０が複数の対象の提示を提供する場合、対象は互いから独立して機能することができることを十分理解されたい。例えば、対象がそれぞれの接点に対応する場合、センサ性表面の第１の接点の動きはディスプレイ上の第１の対応する対象の動きを引き起こしながら、他の移動しない接点に関連付けられた対象は固定したままとすることができる。さらに、一実施形態において、提示構成要素５１０は、それぞれの対象を重ね合わせモードと連動モードとの間で独立して推移させるように構成することができる。例えば、一実施形態において（例えば、提示構成要素５１０が改良型対話モデルを使用する場合など）、それぞれの対象はそれぞれの接点によりセンサ性表面に加えられる圧力に基づいて重ね合わせモードと連動モードとの間で推移することができる。例えば、第１の対象に対応する第１の接点が、指定した閾値を超える圧力を加える場合があり、第１の対象を連動モードに入らせることになる。同時に、第２の対象に対応する第２の接点が、指定した閾値よりも小さい圧力を加える場合があり、第２の対象を重ね合わせモードに入らせる／とどまらせることになる。

例示的システム５００はさらに、連動モードに入っている対象に基づいて（例えば、使用されている対話モデル内に指定された事象（群）に基づいて）ディスプレイ５１４に提示されたユーザインタフェース内のオブジェクトの連動を提供するように構成された、連動構成要素５１２を含む。一例として、連動構成要素は、対象が（例えば、オブジェクトに少なくとも部分的に重なっていることにより）連動しているオブジェクトのサイズを操作し、オブジェクトをパンし、オブジェクトをドラッグし、オブジェクトを回転させ、及び／又は他の方法でオブジェクトを操作するように構成することができる。

さらに別の実施形態には、本明細書において提示した手法のうち１つ又は複数を実施するように構成されたプロセッサ実行可能命令を含むコンピュータ読取可能媒体を含む。こうした方法で考案されうる代表的なコンピュータ読取可能媒体を図６に図示する。ここで、実装６００にはコンピュータ読取可能媒体６１６（例えば、ＣＤ−Ｒ、ＤＶＤ−Ｒ、又はハードディスクドライブのプラッタ）を含み、コンピュータ読取可能媒体６１６上にコンピュータ読取可能データ６１４が符号化される。今度はこのコンピュータ読取可能データ６１４が、本明細書において説明した原理のうち１つ又は複数に従い動作するように構成された一式のコンピュータ命令６１２を含む。１つのこうした実施形態６００において、プロセッサ実行可能コンピュータ命令６１２は、例えば図１の代表的な方法１００及び／又は図２の代表的な方法２００のうち少なくとも一部などの、方法６１０を実行するように構成することができる。別のこうした実施形態において、プロセッサ実行可能命令６１２は、例えば図５の代表的なシステム５００のうち少なくとも一部などの、システムを実施するように構成することができる。本明細書において提示した手法に従い動作するように構成された多くのこうしたコンピュータ読取可能媒体６１６を当業者は考案することができるであろう。

本対象事項を、構造的特徴及び／又は方法論的動作に特有の文言で説明してきたが、添付の特許請求の範囲で定められる対象事項は、前述の特定の特徴又は動作に必ずしも限定されないことを理解されたい。そうではなくて、前述の特定の特徴及び動作は、特許請求の範囲を実施する例示的形態として開示される。

本願において、「構成要素」、「モジュール」、「システム」、「インタフェース」という用語及び同様のものは、一般に、コンピュータ関連実体、ハードウェア、ハードウェア及びソフトウェアの組合せ、ソフトウェア、又は実行中のソフトウェアのうちいずれかを指すものである。例えば、構成要素は、プロセッサで実行するプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、プログラム、及び／又はコンピュータであってよいが、それらであることに限定されない。例示として、コントローラ上で動作するアプリケーションとそのコントローラとの双方が構成要素であってよい。１つ又は複数の構成要素が実行中のプロセス及び／又はスレッド内に存在してよく、ある構成要素が１つのコンピュータ上に置かれ、かつ／あるいは２つ以上のコンピュータ間で分散されてよい。

さらに、請求される対象事項は、標準プログラミング及び／又はエンジニアリング手法を用いてソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組合せを作り出してコンピュータを制御して本開示された対象を実施する、方法、装置、又は製造品として実装されうる。本明細書において「製造品」という用語は、任意のコンピュータ読取可能装置、搬送波、又は媒体からアクセス可能なコンピュータプログラムを包含するものである。もちろん、多数の変更が、請求される対象事項の範囲及び趣旨を逸脱することなくこの構成に行われうることが、当業者には理解されよう。

図７及び以下の考察は、本明細書おいて説明したもののうちの１つ又は複数の実施形態を実装するための適切なコンピューティング環境の簡潔な概要を提供する。図７の動作環境は、適切な動作環境の単に一例であり、その動作環境の使用又は機能性の範囲に関していかなる限定も示唆するものではない。例示的コンピューティング装置には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド又はラップトップ装置、モバイル装置（携帯電話、パーソナル・デジタル・アシスタント（Personal Digital Assistants：ＰＤＡ）、メディアプレーヤ、及び同様のものなど）、マルチプロセッサシステム、家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ、前述のシステム又は装置のいずれかを含む分散コンピューティング環境、及び同様のものを含むが、これらに限定されない。

必須ではないが、実施形態は、「コンピュータ読取可能命令」が１つ又は複数のコンピューティング装置により実行されるという一般的背景において説明される。コンピュータ読取可能命令は、コンピュータ読取可能媒体（以下に論じる）を介して分散されることができる。コンピュータ読取可能命令は、特定のタスクを実行する、又は特定の抽象データ型を実装する、関数、オブジェクト、アプリケーション・プログラミング・インタフェース（Application Programming Interface：ＡＰＩ）、データ構造体、及び同様のものなどのプログラムモジュールとして実装されることができる。典型的には、コンピュータ読取可能命令の機能性は、様々な環境で要望に応じて結合又は分散されることができる。

図７は、本明細書において提供される１つ又は複数の実施形態を実装するように構成されたコンピューティング装置７１２を備えるシステム７１０の一例を示す。１つの構成において、コンピューティング装置７１２は、少なくとも１つの処理ユニット７１６及びメモリ７１８を含む。コンピューティング装置の正確な構成及びタイプに応じて、メモリ７１８は、揮発性（例えば、ＲＡＭなど）、不揮発性（例えば、ＲＯＭ、フラッシュメモリなど）、又は上記２つの何らかの組合せであってよい。この構成は、破線７１４により図７に図示される。

他の実施形態において、装置７１２には、さらなる特徴及び／又は機能性を含むことができる。例えば、装置７１２はさらに、磁気記憶装置、光学記憶装置、及び同様のものを含むがこれらに限定されない、追加の記憶装置（例えば、取外し可能及び／又は取外し不能）を含むことができる。そのような追加の記憶装置を、記憶装置７２０により図７に図示する。一実施形態において、本明細書で提供される１つ又は複数の実施形態を実装するためのコンピュータ読取可能命令が、記憶装置７２０内に存在してよい。記憶装置７２０はまた、オペレーティングシステム、アプリケーションプログラム、及び同様のものを実装するための他のコンピュータ読取可能命令も記憶することができる。例えば、コンピュータ読取可能命令は、処理ユニット７１６による実行のためにメモリ７１８内にロードされることができる。

本明細書において「コンピュータ読取可能媒体」という用語は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、コンピュータ読取可能命令又は他のデータなどの情報の記憶のための任意の方法又は技術で実装された、揮発性及び不揮発性の、取外し可能及び取外し不能な媒体を含む。メモリ７１８及び記憶装置７２０は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は所望の情報を記憶するために使用でき、装置７１２がアクセスできる任意の他の媒体を含むが、これらに限定されない。任意のそのようなコンピュータ記憶媒体は、装置７１２の部分であってよい。

装置７１２はまた、装置７１２が他のデバイスと通信できるようにする通信接続（群）７２６を含むことができる。通信接続（群）７２６は、モデム、ネットワークインタフェースカード（Network Interface Card：ＮＩＣ）、統合ネットワークインタフェース、無線周波数送信機／受信機、赤外線ポート、ＵＳＢ接続、又はコンピューティング装置７１２を他のコンピューティング装置に接続するための他のインタフェースを含むことができるが、これらに限定されない。通信接続（群）７２６には、有線接続又は無線接続を含むことができる。通信接続（群）７２６は、通信媒体を送信及び／又は受信することができる。

「コンピュータ読取可能媒体」という用語は、通信媒体を含むことができる。通信媒体は、典型的には、搬送波又は他の移送機構などの「変調されたデータ信号」においてコンピュータ読取可能命令又は他のデータを具体化し、任意の情報配信媒体を含む。「変調されたデータ信号」という用語には、その特性のうち１つ又は複数が信号内の情報を符号化するための様式で設定又は変更された信号を含むことができる。

装置７１２には、キーボード、マウス、ペン、音声入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置、及び／又は任意の他の入力装置などの入力装置（群）７２４を含むことができる。１つ若しくは複数のディスプレイ、スピーカ、プリンタ、及び／又は任意の他の出力装置などの出力装置（群）７２２もまた、装置７１２に含むことができる。入力装置（群）７２４及び出力装置（群）７２２は、有線接続、無線接続、又はそれらの任意の組合せを介して装置７１２に接続されることができる。一実施形態において、別のコンピューティング装置の入力装置又は出力装置を、コンピューティング装置７１２のための入力装置（群）７２４又は出力装置（群）７２２として使用することができる。

コンピューティング装置７１２の構成要素は、バスなどの様々な相互接続によって接続されることができる。そのような相互接続には、ＰＣＩエクスプレス、ユニバーサル・シリアル・バス（ＵＳＢ）、ファイアワイヤ（ＩＥＥＥ１３９４）、光学バス構造、及び同様のものなどの周辺構成要素相互接続（Peripheral Component Interconnect：ＰＣＩ）を含むことができる。別の実施形態において、コンピューティング装置７１２の構成要素はネットワークによって相互接続されることができる。例えば、メモリ７１８は、ネットワークによって相互接続された異なる物理的場所に配置された複数の物理的メモリユニットで構成されることができる。

コンピュータ読取可能命令を記憶するために使用される記憶装置はネットワークを介して分散されうることが、当業者には理解されよう。例えば、ネットワーク７２８を介してアクセス可能なコンピューティング装置７３０は、本明細書で提供される１つ又は複数の実施形態を実装するためにコンピュータ読取可能命令を記憶することができる。コンピューティング装置７１２は、コンピューティング装置７３０にアクセスし、実行のためにそのコンピュータ読取可能命令の一部又はすべてをダウンロードすることができる。別法として、コンピューティング装置７１２は、必要に応じ、複数のコンピュータ読取可能命令をダウンロードすることができ、あるいはいくつかの命令はコンピューティング装置７１２で実行し、いくつかはコンピューティング装置７３０で実行することができる。

実施形態の様々な動作が本明細書において提供される。一実施形態において、記載された動作のうちの１つ又は複数が、１つ又は複数のコンピュータ読取可能媒体に記憶されたコンピュータ読取可能命令を構成することができ、上記コンピュータ読取可能命令は、コンピューティング装置によって実行された場合に記載された動作を上記コンピューティング装置に実行させることになる。上記の動作のうちのいくつか又はすべてが記載された順序は、これらの動作が必ず順序依存であることを示唆するものとして解釈されるべきではない。代替順序が、本明細書の助けを借りて、当業者には理解されよう。さらに、すべての動作が、本明細書で提供される各実施形態に必ずしも存在する訳ではないことが、理解されよう。

さらに、「代表的」という言葉は、例、事例又は例証の役割を果たすことを意味するために、本明細書で使用される。本明細書に「代表的」として記載される態様又は設計は、他の態様又は設計を上回って有利であるとして必ずしも解釈されるものではない。そうではなくて、代表的という言葉の使用は、具体的な形で本概念を提示することを意図する。本願において、「又は」という用語は、排他的な「又は」ではなくて包括的な「又は」を意味するものである。すなわち、他に指定のない限り、又は文脈から明らかであれば、「ＸはＡ又はＢを使用する」は、自然な包含的順列のいずれかを意味するものである。すなわち、ＸがＡを使用する、ＸがＢを使用する、あるいはＸがＡ及びＢの双方を使用する場合、「ＸはＡ又はＢを使用する」は前述の例のいずれの下でも満たされる。加えて、本願及び添付の特許請求の範囲において使用される冠詞「ａ（１つの）」及び「ａｎ（１つの）」は、概して、他に指定のない限り又は単数形を対象とすることが文脈から明らかでなければ、「１つ又は複数の」を意味するものとして解釈されうる。また、Ａ及びＢのうちの少なくとも１つあるいは同様のものは、概して、Ａ又はＢ、あるいはＡ及びＢの両方を意味する。

本開示は１つ又は複数の実装形態に関して示され、説明されたが、均等な代替及び変更が、本明細書及び添付の図面を読み、理解することに少なくとも部分的に基づいて、当業者には想到されよう。本開示は、すべてのそのような変更及び代替を含み、添付の特許請求の範囲によってのみ限定される。前述の構成要素（例えば、要素、リソースなど）によって実行される様々な機能に特に関して、そのような構成要素を記載するために使用される用語は、他に指示のない限り、たとえ本開示の本明細書に示された代表的実装における機能を実行する開示された構造と構造的に同等でなくても、記載された構成要素の指定された機能を実行する（例えば、機能的に同等な）任意の構成要素に相当するものとする。加えて、本開示の具体的な特徴がいくつかの実装のうちの１つのみに関して開示されることがあるが、そのような特徴は、任意の所与の又は特定の適用例のために求められうる及び有利でありうるように、他の実装形態の１つ又は複数の他の特徴と組み合わせることができる。さらに、「含む」、「有した」、「有する」、「もつ」という用語又はそれらの変化形が詳細な説明又は特許請求の範囲のいずれかで使用される限りにおいて、そのような用語は、「備える」という用語と同様の形で包括的なものとする。

Claims (10)

1. 間接的対話装置のセンサ性表面により検出された第１の事象を示す入力データを受領するように構成された入力受領部構成要素であり、前記第１の事象は少なくとも２つの接点が前記センサ性表面に対して適用されていることを示す、入力受領部構成要素と、
   前記入力データに少なくとも部分的に基づいてディスプレイへの提示のために少なくとも２つの対象を提供するように構成された提示構成要素であり、第１の対象が前記センサ性表面に適用された第１の接点を示し、第２の対象が前記センサ性表面に適用された第２の接点を示す、提示構成要素と、
   を含む間接的対話システム。
2. 前記提示構成要素は、前記入力データに少なくとも部分的に基づいて前記第１の事象を前記ディスプレイにマップするように構成されたマッピング構成要素を含む、請求項１に記載のシステム。
3. 前記マッピング構成要素は、
   絶対的ディスプレイマッピング手法に少なくとも部分的に基づいて前記第１の事象をマップすること、
   相対的ディスプレイマッピング手法に少なくとも部分的に基づいて前記第１の事象をマップすること、及び
   異種的ディスプレイマッピング手法に少なくとも部分的に基づいて前記第１の事象をマップすること
   のうち少なくとも１つをなすように構成される、請求項２に記載のシステム。
4. 前記提示構成要素は、
   前記ディスプレイ上の前記第２の対象の動きから独立した、前記ディスプレイ上の前記第１の対象の動き、及び
   前記ディスプレイ上の前記第２の対象の動きに依存した、前記ディスプレイ上の前記第１の対象の動き
   のうち少なくとも１つを提供するように構成される、請求項１に記載のシステム。
5. 前記センサ性表面により検出された、受領された第２の事象に少なくとも部分的に基づいて、前記ディスプレイに提示されたユーザインタフェース内のオブジェクトの連動を提供するように構成された実行構成要素、を含む請求項１に記載のシステム。
6. 間接的対話装置のセンサ性表面により検出された第１の事象を示す第１の入力データを受領するステップと、
   前記第１の入力データに基づいて、ディスプレイに提示すべき第１の対象を提供するステップと、
   前記センサ性表面により検出された第２の事象を示す第２の入力データを受領するステップと、
   前記ディスプレイに提示されたオブジェクトに、該オブジェクトに対する前記第１の対象の位置と前記の受領された第２の入力データとに少なくとも部分的に基づいて連動するステップと、
   を含む間接的対話方法。
7. 前記第１の入力データに少なくとも部分的に基づいて前記第１の対象の重ね合わせ視覚化を提示するステップ、を含む請求項６に記載の方法。
8. 前記第１の事象は第１の接点が前記センサ性表面に対して適用されていることを示し、前記第２の事象は第２の接点が前記センサ性表面に対して適用されていることを示し、前記第１の事象と前記第２の事象とは実質的に同時に生じる、請求項６に記載の方法。
9. 前記第１の事象は第１の接点が前記センサ性表面に対して適用されていることを示し、前記第２の事象は前記第１の接点が前記センサ性表面に対して適用されている様式における変化を示す、請求項６に記載の方法。
10. 前記変化は前記センサ性表面に加えられる圧力における変化を示す、請求項９に記載の方法。
    

Images