JP2012513047A - 物理オブジェクトと対話型表面との併用 - Google Patents

Abstract

キーボードタイプのデバイスおよびマウスタイプのデバイスなど、様々なインプットデバイスを使って、協調的環境においてユーザを対話型表面に関与させる対話管理モジュール（ＩＭＭ）を記載する。ＩＭＭは、様々なやり方で、デバイスに関連づけられたデジタルオブジェクトを対話型表面上に表示する。デジタルオブジェクトは、インプット表示インターフェイス、カーソル、ソフトキーインプット機構などを含み得る。さらに、ＩＭＭは、対話型表面上での各カーソルの配置を支配する基準座標系を確立する機構を提供する。さらに、ＩＭＭは、対話型表面上に配置された物理的物品のデジタルコピーをユーザに作らせる機構を提供する。ＩＭＭは、物理的物品に関してデジタルコピーに対してとられたアクションを再現し、その反対を行う機構も提供する。

Description

本発明は、物理オブジェクトと対話型表面との併用に関する。

対話型表面は、コンピュータ実施アプリケーションと対話する代替的機構を提供する。典型的な対話型表面は、対話型表面上に情報を表示する投影機構を含む。対話型表面は、対話型表面と対話している間にユーザによって行われた選択を検出するインプット機構も含む。たとえば、対話型表面は、ユーザが対話型表面の特定の部分に触れたときを検出することができる。このような対話を通して、ユーザは、対話型表面によって表示されるデジタルオブジェクトを操作し、他の操作を実施することができる。

対話型表面技術には、十分な改善の余地が残っている。たとえば、対話型表面によって与えられるインプット機構は、使いにくい場合がある（というのは、たとえば、このインプット機構を使ってユーザが情報を入力し、またはデジタルオブジェクトを操作するのが難しい場合があるからである）。インプット機構が提供する精度および応答性が満足できない場合もある。

さらに、対話型表面は、ユーザを混乱させる可能性があり得る。このことは、複数のユーザが同一の対話型表面に関与するときに特に問題になり得る。このシナリオでは、対話型表面は、複数のデジタルオブジェクトで乱雑になる可能性があり得る。さらに、大型の対話型表面の場合、ユーザは、手の届かない一部のデジタルオブジェクトを操作することが困難になる可能性がある。

さらに、対話型表面は、ユーザが集団で自然に対話する方式に適応する協調的環境を提供することができない場合がある。たとえば、協調的環境は、会議の参加者の間で情報を共有する好都合な機構を提供することができない場合がある。対話型表面は同様に、共有情報を協調して検討する適切な機構を提供することができない場合がある。

既存の対話型表面技術には、それ以外の短所もあり得る。

米国特許第７２０４４２８号明細書

例示的な一実施例では、物理デバイス（「デバイス」）を使ってユーザを対話型表面に関与させる対話型管理モジュール（ＩＭＭ）について記載する。ＩＭＭは、対話型表面上の選択された場所および向きでのデバイスの配置を検出する。それに応答して、ＩＭＭは、デバイスに関連づけて使用するために、対話型表面上にデジタルオブジェクトを表示する。デジタルオブジェクトは、デバイスに近接して配置することができ、さらに、デジタルオブジェクトは、デバイスと同じ向きでよい。あるケースでは、デバイスはキーボードタイプのデバイスであり、デジタルオブジェクトは、キーボードタイプのデバイスを使ってユーザによって入力された情報の視覚表現を提示する表示インターフェイスを提供する。

別の例示的態様によると、ＩＭＭは、対話型表面上に配置された複数の物理的インプットデバイスと同時に対話することができ、したがって、協調的環境における対話型表面の使用に適応する。

別の例示的態様によると、ＩＭＭは、デバイスをデジタルオブジェクトに関連づける視覚属性を表示する。たとえば、ＩＭＭは、デジタルオブジェクトおよびデバイス両方の周りに境界（など）を提示し得る。境界には、デジタルオブジェクトとデバイスとの間の結合を伝えるように同じ色を割り当てればよい。代替的または追加的には、視覚属性は、デジタルオブジェクトをデバイスに接続する線に対応し得る。

別の例示的態様によると、ユーザは、デバイスを、別の既存表示オブジェクトに近接して移動することができる。それに応答して、ＩＭＭは、デバイスをその別の表示オブジェクトに自動的に関連づけることができる。

別の例示的態様によると、ユーザは、別の既存表示オブジェクトを、デバイスに近接して移動することができる。それに応答して、ＩＭＭは、既存表示オブジェクトをデバイスに自動的に関連づけることができる。

別の例示的態様によると、ＩＭＭは、最初に言及したデバイスに近接した第２のデバイスの配置を検出することができる。それに応答して、ＩＭＭは、両方のデバイスを単一のデジタルオブジェクトに関連づけることができる。具体的な一例において、第１のユーザが第１のデバイスを使って第１の選択を入力し、第２のユーザが第２のデバイスを使って第２の選択を入力する場合がある。第１および第２のデバイスを１つにすると、ＩＭＭは、２人のユーザによって識別された選択をマージすることができ、組合せ選択を作成する。

別の例示的態様によると、ＩＭＭは、対話型表面上でａ）適切と思われる程度まで少なくとも１つの配置制約を満足し、ｂ）対話型表面上の新規デジタルオブジェクトと他の既存オブジェクトとの間の干渉を削減する場所に新規デジタルオブジェクトを表示することができる。

別の例示的態様によると、デバイスは、マウスタイプのデバイスである。ＩＭＭは、対話型表面上でのマウスタイプのデバイスの絶対位置およびマウスタイプのデバイスの向きを判定することによって動作する。ＩＭＭは、この情報を用いて、基準座標系を定義する。ＩＭＭは、定義された基準座標系に相対して、対話型表面上にカーソルを表示する。基準座標系は、対話型表面の最も近いエッジ（もしくは対話型表面に関連づけられた他の基準オブジェクト）またはマウスタイプのデバイス自体の向きなどに相対して選択され得る。

別の例示的態様によると、ＩＭＭは、マウスタイプのデバイスのタッチモードをユーザに有効化させ、有効化されると、カーソルは指接触点をシミュレートする。

別の例示的態様によると、ＩＭＭは、カーソル接触点および指接触点の任意の組合せを用いてデジタルオブジェクトをユーザに修正させる。たとえば、ユーザは、手の届かないデジタルオブジェクトを、１つまたは複数のカーソル接触点（たとえば、同時に対話型表面上に配置されている複数のインプットデバイスによって制御される）を使って操作することができる。

別の例示的態様によると、ＩＭＭは、対話型表面の複数の画像表現（および／または対話型表面上に配置されている個々のデジタルオブジェクトおよび／または物理オブジェクト）を、異なるそれぞれの時点で維持することができる。ユーザは、こうした画像表現を取得して、対話型表面に対してとられた操作の履歴を調べることができる。

別の例示的実施例によると、その表面上に情報が視覚的に提示された、有形媒体（たとえば、物理ドキュメント）などの物理的物品（「物品」）を含む対話型表面にユーザを関与させる対話型管理モジュール（ＩＭＭ）について記載する。例示的な一実施例において、ＩＭＭは、対話型表面上の物品の配置を検出することによって動作する。ＩＭＭは次いで、物品に関連づけて使用するために、対話型表面上にインターフェイスオブジェクトを表示する。ＩＭＭは、インターフェイスオブジェクトのユーザによる、コピー関連の有効化を検出し、それに応答して、物品のデジタルコピーを生成する。コピー関連有効化は、ユーザがインターフェイスオブジェクトを引き寄せることによって、比喩的にはデジタルコピーを物品から離すようにドラッグするモーションに対応し得る。ＩＭＭは、ユーザによって識別された、対話型表面上の場所にデジタルコピーを置く。

別の例示的態様によると、ＩＭＭは、対話型表面全体の画像を撮り、次いで、物品の画像を取得するように表面全体の画像を刈り込むことによってデジタルコピーを生成することができる。

別の例示的態様によると、ＩＭＭは、デジタルコピーのある特定の部分のユーザ選択を検出することができる。それに応答して、ＩＭＭは、物品の対応部分を強調表示することができる。同じ手順を、逆に実施することができ、たとえば、ユーザが物品の一部分を選択した場合、デジタルコピーの対応部分を強調表示するようＩＭＭに促す。

別の例示的態様によると、ＩＭＭは、ユーザがデジタルコピーにマークを付けたときを検出することができる。それに応答して、ＩＭＭは、対応するデジタルマークを物理的物品に付与することができる。同じ手順を、逆に実施することができ、たとえば、ユーザが物品にマークを付けた場合、対応するマークをデジタルコピーに付けるよう、ＩＭＭに促す。

別の例示的態様によると、ＩＭＭは、ユーザがデジタルコピーを対話型表面の編集領域に移動したことを検出することができる。ＩＭＭは次に、ユーザが編集領域内のデジタルコピーに物理的マークを付与したことを検出し得る。それに応答して、ＩＭＭは、物品の別のデジタルコピーを生成することができる。この別のデジタルコピーは、内容が元のままの、物理的マークのデジタル表現を含む。

本概要は、抜粋した概念を、簡略化した形で紹介するためのものである。こうした概念については、「発明を実施するための形態」において後でさらに説明する。本概要は、本特許請求対象の主要な特徴または本質的な特徴を識別することは意図しておらず、本特許請求対象の範囲を限定するのに使われることも意図していない。

複数のユーザが対話型表面に関与することができる例示的対話型表面環境を示す図である。 図１の対話型表面環境において用いることができる例示的コンテンツ投影機能およびインプット機能を示す図である。 図１の例示的対話型表面環境において使用するための対話型表面を示す例示的トップダウン図である。 図３に示す対話型表面の一部分を示すより詳細なトップダウン図である。 対話型表面上のカーソルの位置を判定する例示的手順を示すフローチャートである。 図５の手順においてカーソルを位置決めする際に使用するための基準座標系を判定する第１の技法を示す図であり、基準座標系は、対話型表面の最も近いエッジに基づく、図である。 図５の手順においてカーソルを位置決めする際に使用するための基準座標系を判定する第２の技法を示す図であり、基準座標系は、カーソルを制御するのに使われるマウスタイプのデバイスの向きに基づく、図である。 対話型表面上に置かれた物品のデジタルコピーを生成する例示的手順を示すフローチャート（および付随する例の図）である。 デジタルオブジェクトが対話型表面上の既存オブジェクトと干渉しないように対話型表面上にデジタルオブジェクトを配置する例示的手順を示すフローチャート（および付随する例の図）である。 マウスタイプのデバイスをタッチモードで操作する例示的手順を示すフローチャートであり、このモードでは、マウスタイプのデバイスによって制御されるカーソルが対話型表面上に置かれた指接触をシミュレートする、図である。 デバイスが対話型表面上に置かれたときに新規デジタルオブジェクトを生成する例示的手順を示すフローチャート（および付随する例の図）である。 デバイスが既存デジタルオブジェクトに近接して対話型表面上に置かれたとき、既存デジタルオブジェクトをデバイスと結びつける例示的手順を示すフローチャート（および付随する例の図）である。 既存デジタルオブジェクトがデバイスに近接して移動されたとき、既存デジタルオブジェクトをデバイスと結びつける例示的手順を示すフローチャート（および付随する例の図）である。 単一のデジタルオブジェクトを２つのデバイスと結びつける例示的手順を示すフローチャート（および付随する例の図）であり、この手順は、２つそれぞれのデジタルオブジェクト（２つそれぞれのデバイスによって制御される）によって提供されるコンテンツが、デバイスを互いの近接にもっていくことによってどのようにマージされ得るかも明示する、図である。 様々な接触点シナリオを用いてデジタルオブジェクトを操作する例示的手順を示すフローチャート（および付随する例の図）である。 デジタルオブジェクトの上にデバイスを配置すること、およびデジタルオブジェクトを移動し、または他の何らかのアクションをデジタルオブジェクトに対して実施するためのハンドルとしてデバイスを比喩的に使うことによってデジタルオブジェクトを操作する例示的手順を示すフローチャート（および付随する例の図）である。 対話型表面上に置かれた物理的物品に基づいてデジタルコピーを作成する例示的手順を示すフローチャート（および付随する例の図）である。 メニューオブジェクトを、対話型表面上に置かれた物品と関連づけて提示する例示的手順を示すフローチャート（および付随する例）である。 デジタルオブジェクトの対応する一部分の選択に基づいて、物品の一部分を強調表示する（またはその反対）例示的手順を示すフローチャート（および付随する例の図）である。 デジタルコピーに付けられた対応するデジタルマークに基づいて、物理的物品上でデジタルマークを作成する例示的手順を示すフローチャート（および付随する例の図）である。 対話型表面の編集領域内の物品のデジタルコピーに物理的マークを付与し、続いて、マークのデジタル表現を含む、物品の新規デジタルコピーを生成する例示的手順を示すフローチャート（および付随する例の図）である。 それぞれ異なる時点での対話型表面の一連の表現（および／または対話型表面上に現れた任意の個々のオブジェクトの一連の表現）を生成し、この一連の表現に関する任意の情報をユーザに表示する例示的手順を示すフローチャートである。 上記図面に示す特徴のどの態様を実装するのにも用いることができる例示的処理機能を示す図である。

同様のコンポーネントおよび特徴を参照するのに、開示内容および図面を通して、同じ番号が使われる。１００番台の番号は、図１に初めて現れる特徴を指し、２００番台の番号は、図２に初めて現れる特徴を指し、３００番台の番号は、図３に初めて現れる特徴を指し、以下同様に続く。

本開示は、対話型表面上に配置された物理オブジェクトを使って対話型表面にユーザを関与させる手法を説明する。あるケースでは、物理オブジェクトは、キーボードタイプのデバイス、マウスタイプのデバイス、または他のタイプのインプットデバイス（もしくは異なるタイプのインプットデバイスの任意の組合せ）に対応し得る。物理オブジェクトは、そのそれぞれの表面に情報が提示される物理ドキュメント（など）にも対応し得る。この手法は、対話型表面上に配置された物理オブジェクトと、それぞれのデジタルオブジェクトとの間の関連づけを管理する様々な機構も提供する。

あるシナリオによると、物理オブジェクトの使用により、対話型表面とのユーザの関与が容易になり得る。たとえば、キーボードタイプのデバイスおよびマウスタイプのデバイスは、ほとんどのユーザがすぐに馴染むことができる、時間をかけて証明された信頼できる挙動を呈する。本手法は、こうした有益な特徴を、対話型表面環境のコンテキストにおいて活用し得る。さらに、本手法は、対話型表面上に配置された物理オブジェクトと、物理オブジェクトに関連づけられたデジタルオブジェクトとの間の対応を明確にする有用な技法を提供し得る。本態様は、複数のユーザが同一の対話型表面に関与しているときの混乱を軽減するのを助け得る。さらに、本手法は、対話型表面上の届かないデジタルオブジェクトにユーザをアクセスさせ操作させるツールを提供する。さらに、本手法は、協調的環境においてユーザが他のユーザに情報を好都合に拡散することを可能にするツールを提供する。本手法は次いで、ユーザに、効率的でユーザフレンドリなやり方で、共有情報と協調的に対話させる。より全般的には、本明細書で開示する概念は、前述した挑戦課題または問題の１つまたは複数に対処し得るが、こうした挑戦課題または問題のすべてまたはいずれかへの対処に限定されるわけではない。

本開示は、以下のように編成される。セクションＡは、物理オブジェクトを使って対話型表面に関与するのに使われ得る例示的システムおよびツールを記載する。セクションＢは、セクションＡで説明するシステムおよびツールの例示的応用を記載する。セクションＣは、セクションＡ、Ｂに記載する特徴のどの態様も実装するのに用いられ得る例示的処理機能を記載する。

予備事項として、図面の一部は、機能、モジュール、特徴、要素などと様々な呼び方をされる、１つまたは複数のコンポーネントのコンテキストにおける概念を記述する。図面に示す様々なコンポーネントは、たとえば、ソフトウェア、ハードウェア、ファームウェア、手動処理操作など、またはこうした実施例の任意の組合せによって、どのように実装してもよい。あるケースでは、図面において様々なコンポーネントを別個のユニットに分離して図示しているのは、対応する別個の物理コンポーネントの使用を反映し得る。代替的または追加的には、図面に示すどの単一のコンポーネントも、複数の物理コンポーネントによって実装してよい。代替的または追加的には、図面中の複数の別々のどのコンポーネントの図示も、単一の物理コンポーネントによって実施される異なるファンクションを反映し得る。図２３は、順番に論じるが、図面に示すファンクションの例示的な一実施例に関する追加詳細を述べる。

他の図面は、概念をフローチャートの形で記述する。この形において、いくつかの動作を、一定の順序で実施される別個のブロックを組成するものとして記載する。このような実装形態は、例示的であり非限定的である。本明細書に記載するいくつかのブロックを、単一の動作にまとめて実施することができ、いくつかのブロックを、複数のコンポーネントブロックに分解することができ、いくつかのブロックを、本明細書に示すものとは異なる順序で実施することができる（または並列に実施することができる）。フローチャートに示すブロックは、ソフトウェア、ファームウェア、ハードウェア、手動処理、こうした実装形態の任意の組合せなどによって実装することができる。

用語に関して、「〜ように構成された」という語句は、識別された動作を実施するように任意の種類の機能が組み立てられ得るどのやり方も包含する。機能は、たとえば、ハードウェア、ソフトウェア、ファームウェアなど、および／またはその任意の組合せを使って動作を実施するように構成され得る。

「論理」という用語は、タスクを実施するどの機能も包含する。たとえば、フローチャートに示す各動作は、その動作を実施する論理に対応する。あるケースでは、論理は、コンピュータ可読命令に対応し得る。別のケースでは、論理は、個別の論理コンポーネント、またはコンピュータ可読命令および個別の論理コンポーネントの組合せなどに対応し得る。

＜Ａ．例示的システムおよびツール＞
＜Ａ．１．例示的対話型表面環境の概観（図１〜４）＞
図１は、複数のユーザ１０２が対話型表面１０４に関与することができる例示的対話型表面環境１００を示す。本明細書において最も一般的に再現されるケースにおいて、対話型表面１０４は、任意のサイズの平らで水平なテーブル上面に対応する。ただし、何が対話型表面１０４の構成要素となるかに対して、限定は課されない。他のケースでは、対話型表面１０４は、垂直に（たとえば、壁の上に）、または水平でない他のどの向きでも据えつけることができる。代替的または追加的には、対話型表面１０４は、カーブした表面、または他のどの種類の平らでない輪郭も有し得る。

概して、どの種類のコンテンツ投影機能１０６も、対話型表面１０４上に情報を投影するのに用いることができる。あるケースでは、コンテンツ投影機能１０６は、対話型表面１０４上に情報を投影する１つまたは複数のビデオプロジェクタに対応し得る。このようなコンテンツ投影機能１０６は、対話型表面１０４の上、対話型表面１０４の下、または対話型表面１０４に対して他のどの向きにも（もしくは複数の向きのどの組合せでも）配備することができる。代替的または追加的には、コンテンツ投影機能１０６は、対話型表面自体１０４と統合してよい。コンテンツ投影機能１０６の配置は、部分的に、対話型表面１０４の各アプリケーションに関連づけられた制約に基づいて選択することができる。たとえば、いくつかのケースでは、コンテンツ投影機能１０６をデジタル表面１０４の上に位置決めすることが適切な場合がある。というのは、そうしないと（たとえば、下から投影される場合）、対話型表面１０４上に配置された物理オブジェクトがデジタルコンテンツを遮る可能性があるからである。

インプット機能１０８は、ユーザが対話型表面１０４に関与する際にユーザからインプットを受け取るのに使われる。繰り返しになるが、様々なタイプおよび組合せのインプット機能が用いられ得る。あるケースでは、インプット機能１０８は、対話型表面１０４とのユーザの関与を検知する１つまたは複数のリモートセンサに対応し得る。たとえば、インプット機能１０８は、ユーザが対話型表面１０４に触れ、またはそうでなければその近くに移動したときを検出することができる赤外線発信／検出機を含み得る。インプット機能１０８は、インプットとして使用するための対話型表面１０４の高解像度画像を生成する撮像機能も提供し得る。このようなリモート検知タイプのどのインプット機能１０８も、対話型表面１０４の上、対話型表面１０４の下、または対話型表面１０４に対して他のどの向きにも（もしくは複数の向きのどの組合せでも）配備することができる。代替的または追加的には、インプット機能１０８は、対話型表面１０４自体と統合してよい。繰り返しになるが、インプット機能１０８の配置は、部分的に、対話型表面１０４の各アプリケーションに関連づけられた制約に基づいて選択することができる。さらに、後でより詳しく説明するように、１つまたは複数の物理オブジェクト１１０は、対話型表面１０４上に配置することができる。こうした物理オブジェクト１１０のサブセットは、インプットタイプのデバイスに対応し得る。こうしたインプットデバイスは、ユーザが対話型表面１０４と対話するときにユーザからインプットを受け取り、したがってインプット機能１０８を組成する一組の技術の一部分を形成することができる。図２は、コンテンツ投影機能１０６およびインプット機能１０８の例示的な一実施例に関する追加詳細を与える。

対話管理モジュール（ＩＭＭ）１１２は対話型表面１０４上へのコンテンツの投影を管理する任意の機能およびユーザのインプットの処理に対応する。より具体的には、ＩＭＭ１１２は、図５〜２２に示すように、後で説明する様々な手順を実施する技術に対応し得る。

ＩＭＭ１１２は、１つまたは複数のアプリケーション提供モジュール１１４（以下では、簡潔にするために複数として参照する）と対話する。アプリケーションモジュール１１４は、たとえば検索機能、文書処理機能、通信機能（たとえば、Ｅメール機能、インスタントメッセージング機能など）など、ユーザが関与し得るどのタイプの機能も提供する。アプリケーションモジュール１１４は、ローカルアプリケーションリソース、リモート（ネットワークアクセス可能）アプリケーションリソース、またはその何らかの組合せに対応し得る。アプリケーションモジュールという用語が本明細書で使われる限りにおいて、何がアプリケーションモジュールの構成要素となり得るかについて、限定は課されない。さらに、本明細書で展開する例の多くは、複数のユーザ１０２が共通アプリケーションモジュールと協調的に対話することを利用し、複数のユーザが、対話型表面１０４を使って異なるアプリケーションモジュール１１４と同時に対話することができる。さらに、１人のユーザが対話型表面１０４に関与してもよい。

対話型表面１０４自体に戻ると、上述したように、ユーザは、物理オブジェクト１１０のどの組合せも、その表面に配置することができる。「物理オブジェクト」という用語は、ユーザによって物理的に取り扱うことができるどのタイプの有形オブジェクトも包含する。「デジタルオブジェクト」は、対照的に、コンテンツ投影機能１０６によって対話型表面１０４の表面上に電子的に投影されるどのタイプのオブジェクトも包含する。「オブジェクト」という包括的用語は、物理オブジェクトおよびデジタルオブジェクトを含む、どのクラスのオブジェクトも包含する。

本明細書に記載する物理オブジェクト１１０は、デバイスおよび物品という２つのタイプのオブジェクトを包含する。こうした用語は、本説明における便宜上のラベルであり、概括的に解釈されるべきである。デバイスは、対話型表面１０４との対話において機能的役割を果たすどの機構も包含する。たとえば、あるタイプのデバイスは、従来通りそのキーを手動で押下することによってテキストおよび他の情報を入力するのに使われるキーボードタイプのデバイスに対応する。別のタイプのデバイスは、ＧＵＩ（グラフィカルユーザインターフェイス）設定において従来通りカーソルの動きを制御し、他のナビゲーションファンクションを実施するのに使われるマウスタイプのデバイスに対応する。これらは、２つの例に過ぎない。たとえばゲームコンソールタイプのデバイス、ジョイスティックタイプのデバイスなど、他のインプットデバイスも、対話型表面１０４と対話するのに使うことができる。

物理的物品という用語は、インプット機能１０８によって任意の目的で撮像することができるどの物理オブジェクトも包含する。本明細書において最も一般的に再現されるケースでは、物理的物品という用語は、情報をその表面に視覚的に提示する有形媒体に対応する。たとえば、ある具体的ケースでは、物理的物品は、その表面上にテキストおよび／またはグラフィックスおよび／または他の任意の情報を有するドキュメントに対応し得る。たとえば、物理的物品は、紙ドキュメントなどに対応し得る。別のケースでは、物理的物品は、その上に情報を投影するスクリーンなどに対応し得る。他のケースでは、物品は、たとえば３次元モデル（たとえば、モデルハウス、モデルカー、人形など）、人体構造の一部分（たとえば、手）など、他のどの物理オブジェクトにも対応し得る。何が物品の構成要素となるかに関して、限定は課されない。実際、物品は、上述したようにデバイスに対応し得る。「物品」という用語は、物理的物品と物理的物品のデジタルコピーとの区別を強調することが適切である事例を除いて、「物理的物品」の代わりに使われる。

図２は、図１の対話型表面環境１００において用いることができるコンテンツ投影機能１０６およびインプット機能１０８の代表的であり非限定的な一実施例を示す。この説明のための例では、対話型表面１０４は、平らで水平な表面（たとえば、テーブルの上面によって設けられる）に対応する。その表面上にある物理オブジェクト１１０は、１つまたは複数のデバイス２０２（たとえば、１つもしくは複数のキーボードタイプのデバイス、１つもしくは複数のマウスタイプのデバイスなど）、および／または撮像されるべき１つもしくは複数の物品２０４（たとえば、１つもしくは複数のドキュメントなど）に対応し得る。

図１のコンテンツ投影機能１０６は、１つまたは複数のコンテンツ投影モジュール２０６（以下では、簡潔にするために複数として参照する）に対応し得る。たとえば、コンテンツ投影モジュール２０６はそれぞれ、画像コンテンツのｕ×ｖパネルを対話型表面１０４上に投影することができる。統合されると、コンテンツ投影モジュール２０６は、対話型表面１０４の表面全体に広がる、このようなｕ×ｖパネルのタイル状モザイクをもたらし得る。一実施例では、コンテンツ投影モジュール２０６は、対話型表面１０４の上に配備することができ、そのコンテンツを対話型表面１０４に向けて投影する。

図１のインプット機能１０８は、対話型表面１０４とのユーザの関与に関する情報を受け取るための一組の異なる機構に対応し得る。このような１つの機構が、１つまたは複数の高解像度撮像モジュール２０８（以下では、簡潔にするために複数として参照する）である。高解像度撮像モジュール２０８は、対話型表面１０４の表面の高解像度画像を形成する１つまたは複数の高解像度ビデオカメラに対応し得る。セクションＢでは、ＩＭＭ１１２が高解像度撮像モジュール２０８を使って対話型表面１０４の画像を生成し得る状況の例を挙げる。一実施例では、高解像度撮像モジュール２０８は、対話型表面１０４の上に配備することができる。

インプット機能１０８は、１つまたは複数の位置検出モジュール２１０（以下では、簡潔にするために複数として参照する）も含み得る。説明のための一例では、位置検出モジュール２１０は、１つまたは複数のＩＲ検出モジュール２１４と連動した１つまたは複数のＩＲ（赤外線）発信モジュール２１２に対応し得る。ＩＲ発信モジュール２１２は、赤外線スペクトル中の電磁信号を対話型表面１０４上に投影する。ＩＲ検出モジュール２１４は、対話型表面１０４によって反映されるＩＲ信号およびその表面上（またはその近く）に配置される物理オブジェクトを受け取る。

ＩＲ信号の反射率の変化により、位置検出モジュール２１０は、新規物理オブジェクトが対話型表面１０４上に配置されたとき、または対話型表面１０４上の既存物理オブジェクトが移動された（または削除された）ときを検出することができる。一実施例では、位置検出モジュール２１０は、対話型表面１０４の下に配備することができる。この例では、対話型表面１０４は、コンテンツ投影モジュール２０６によって投影される画像を「受け取る」のに十分な不透明度で組み立てられる。さらに、対話型表面１０４は、対話型表面１０４の下から投影されるＩＲ信号が、ＩＭＭ１１２とともに位置検出モジュール２１０によって、対話型表面１０４の上に配置されたオブジェクトの存在を検出するのに使われ得るように、十分な透明度をもつ。位置検出モジュール２１０を実装するのに使われ得るある赤外線検出システムが、本発明者Ａｎｄｒｅｗ Ｄ． Ｗｉｌｓｏｎによる特許文献１に開示されている。

デバイス２０２は、一組のインプット機能１０８のコンポーネントでもある。あるケースでは、デバイス２０２は、キー押下データ、マウスクリックデータ、マウス位置データなどに対応するインプット情報を提供することができる。デバイス２０２は、このようなインプット情報を、たとえばワイヤレス通信を用いて、どの方式でもＩＭＭ１１２に伝達することができる。図２には示さないが、一組のインプット機能１０８は、コンテンツ投影モジュール２０６によって対話型表面１０４上に投影されるソフトキーインプット機構も含み得る。ソフトキーインプット機構は、ユーザがソフトキーインプット機構にタッチし、またはそうでなければ関与したときを指示するタッチ選択データを提供する。

さらに、ＩＭＭ１１２は任意選択で、エッジ検出機能を利用し、かつ／または検出機能を形づくることができる。この機能は、対話型表面１０４の画像を分析して、オブジェクトに関連づけられた外形（輪郭）を識別する。ＩＭＭ１１２は、この分析を適用して、対話型表面１０４上に配置されたオブジェクトの位置および向きをより正確に推定することができる。ＩＭＭ１１２は、この分析を用いて、オブジェクトを識別する（たとえば、キーボードタイプのデバイスをマウスタイプのデバイスと区別し、物理オブジェクトを指接触点と区別する、など）のを助けることもできる。

図３は、図１の対話型表面環境１００において使用するための対話型表面１０４の例示的トップダウン図を示す。この例では、対話型表面１０４は、寸法がＭ×Ｎの矩形テーブル上面に対応する。しかし、既に述べたように、対話型表面１０４は、どの形状、表面輪郭、向き、およびサイズを有してもよい。

図３の具体的ケースでは、対話型表面１０４は、複数のユーザ（３０２、３０４、３０６、３０８、３１０）が対話型表面１０４に同時に関与し得る協調的環境を収容するのに十分に大きい。上述したように、ユーザは、単一のアプリケーションモジュールによって提供される同じアプリケーションに取り組むこともでき、ユーザは、異なるそれぞれのアプリケーションモジュール１１４によって提供される別々のアプリケーションに取り組むこともできる。

ユーザは、複数の物理オブジェクトを使って対話型表面１０４に関与することに留意されたい。物理オブジェクトの第１のクラスは、インプットデバイスに対応する。このようなデバイスは、キーボードタイプのデバイスおよびマウスタイプのデバイスを含む（しかし、既に述べたように、ユーザは、どの種類のインプットデバイスを使ってもよい）。たとえば、ユーザ３０２は、２つのマウスタイプのインプットデバイス（３１２、３１４）を使っている。ユーザ３０４は、キーボードタイプのデバイス３１６をマウスタイプのデバイス３１８と組み合わせて使っている。同様に、ユーザ３０６は、キーボードタイプのデバイス３２０をマウスタイプのデバイス３２２と組み合わせて使っている。ユーザ３０８は、どの物理的インプットデバイスも操作しないが、それにも関わらず、指接触を利用して（後で説明するように）デジタルオブジェクトを操作することができる。ユーザ３１０は、物理的マーキング道具３２４（たとえば、ペンなど）を用いて、マークを作成する。物理オブジェクトの第２のクラスは、物品を含む。たとえば、ユーザ３１０は、物理ドキュメント３２６と対話している。

対話型表面１０４は、その表面上にコンテンツ投影モジュール２０６によって投影されるデジタルオブジェクトの集合体も提供する。たとえば、ユーザ３０２は、物理的物品３２６のデジタルコピー３２８と対話している。ユーザは、それぞれのマウスタイプのデバイス（３１２、３１４）によって制御されるカーソル（３３０、３３２）とも対話することができる。デジタルコピー３２８およびカーソル（３３０、３３２）は、物理オブジェクトではなく、むしろコンテンツ投影モジュール２０６によって対話型表面１０４上に投影される画像である限りにおいてはデジタルオブジェクトである。

ユーザ３０４は、キーボードタイプのデバイス３１６を使って、ユーザ３０４によってインプットされた情報を表示するのに役立つ表示インターフェイス３３４と対話している。ユーザ３０４は、任意選択の「ソフトキー」インプット機構３３６のキー（複数可）を指もしくはスタイラスで押し、またはカーソルによってシミュレートされる指接触を使うことなどによってユーザ３０４によって有効化することができるインプット機構３３６とも対話する。ユーザは、マウスタイプのデバイス３１８によって制御されるカーソル３３８とも対話する。繰り返しになるが、こうしたオブジェクトはすべて、対話型表面１０４上に投影されるデジタルオブジェクトの構成要素となる。

同様にして、ユーザ３０６は、キーボードタイプのデバイス３２０を使って、ユーザによってインプットされた情報を受け取る表示インターフェイス３４０と対話している。ユーザ３０６は、マウスタイプのデバイス３２２によって制御されるカーソル３４２とも対話する。さらに、ユーザ３０６は、ユーザ３０４と共有される共同表示インターフェイス３４４と対話することができる。つまり、共同表示インターフェイス３４４は、ユーザ３０４およびユーザ３０６両方によって入力されたコンテンツの融合を表示することができる。

ユーザ３０８は、ユーザ３０２のように、物理的物品３２６のデジタルコピー３４６と対話している。

ユーザ３１０は現時点では、どのデジタルオブジェクトとも対話していない。

図４は、ユーザ３０４が対話型表面１０４と対話し得る方式をより詳細に示す。繰り返すと、ユーザ３０４は、対話型表面１０４に関与するためにキーボードタイプのデバイス３１６およびマウスタイプのデバイス３１８を使っている。キーボードタイプのデバイス３１６は、英数字テキスト入力を与える一タイプのデバイスの例である。対話型表面１０４は、ユーザ３０４によって使用するための３つのデジタルオブジェクト、すなわち表示インターフェイス３３４、補助的ソフトキーインプット機構３３６、およびカーソル３３８を提供する。

例示したシナリオにおいて、ユーザ３０４は、文書処理プログラムと対話するのに、キーボードタイプのデバイス３１６を使っている。ユーザ３０４がキーボードタイプのデバイス３１６を使ってタイプ入力しているメッセージは、インターフェイスディスプレイ３３４に表示される。ユーザ３０４は任意選択で、ソフトキーインプット機構３３６を使って、目前の作業に関係がある補足命令を与えることができる。たとえば、文書処理プログラムは（ＩＭＭ１１２とともに）、ユーザがタイプ入力しているメッセージに対してアクションをユーザ３０４に実施させるソフトキーインプット機構３３６を提供し得る。たとえば、ユーザ３０４は、ソフトキーインプット機構３３６を使って、メッセージを印刷し、メッセージを別のユーザに送るなどのことができる。

別のシナリオ（図示せず）では、ＩＭＭ１１２は、ソフトキーインプット機構３３６を使って、ユーザ３０４がキーボードタイプのデバイス３１６（または他の何らかのインプットデバイス）によりインプットする情報を解釈する際に利用するためのコンテキストを確立することができる。たとえば、ユーザ３０４が検索を実施している場合、ソフトキーインプット機構３３６は、ユーザの３０４の検索選択が適用されるべきデータストアを識別するのに使われ得る。たとえば、ソフトキーインプット機構３３６は、検索選択が、ローカルデータベース、体系化データベース、それともリモート公共データベースなどに向けられるべきかを指定するのに使われ得る。

図３に示す例示的シナリオから理解できる通り、マルチユーザ設定では、インターフェイス表面１０４はすぐに、物理オブジェクトおよびデジタルオブジェクトで比較的乱雑になり得る。したがって、どのユーザがどのオブジェクト（複数可）を制御するかに関して、混乱が起こり得る。この起こり得る挑戦課題に対処するために、ＩＭＭ１１２は、オブジェクトの「所有権」を明確にするのを助けるための一組の機構を提供する。

一技法によると、ＩＭＭ１１２は、デジタルオブジェクトを、デジタルオブジェクトに関連づけられたデバイスの近くに表示する。たとえば、図４に示すように、ＩＭＭ１１２は、表示インターフェイス３３４を、キーボードタイプのデバイス３１６の真上に提示してよい（ただし、他の実施例では、ＩＭＭ１１２は、表示インターフェイス３３４を、キーボードタイプのデバイス３１６に相対して他の場所に提示し得る）。さらに、ＩＭＭ１１２は、デジタルオブジェクトを、デジタルオブジェクトに関連づけられたデバイスの向きと概ね一致する向きで提示してもよい。たとえば、表示インターフェイス３３４の向きは、キーボードタイプのデバイス３１６の向きと一致する。ユーザが、キーボードタイプのデバイス３１６の位置および／または向きを変更した場合、表示インターフェイス３３４の位置および／または向きは、対応して変化する。さらに、カーソル３３８の向きは、マウスタイプのデバイス３１８の向きと一致することに留意されたい。

図４は、ユーザ３０４が、自分が「所有」し、または制御するデジタルオブジェクトを追跡するのを助ける視覚属性で、デジタルオブジェクトがタグ付けされ得ることも示す。たとえば、ＩＭＭ１１２は、表示インターフェイス３３４の周りの境界４０２およびカーソル３３８の周りの境界４０４を表示することができる。ＩＭＭ１１２は任意選択で、キーボードタイプのデバイス３１６の周りの境界４０６およびマウスタイプのデバイス３１８の周りの境界４０８を表示することもできる。境界（４０２、４０４、４０６、４０８）は、他のユーザに割り当てられたそれぞれの色とは異なる単色で表示することができ、したがって、ユーザ３０４が、自身に属すデジタルオブジェクトおよびデバイスのグループを追跡するのを助ける。カラー境界の使用は、一実施例の例示である。代替的または追加的には、オブジェクトの表面全体は、指示的な色で色づけしてよい。代替的または追加的には、オブジェクトは、区別用の情報（たとえば、区別用のテキスト情報、区別用の記号情報など）などでタグ付けしてよい。代替的または追加的には、物理デバイスと、それに関連づけられたデジタルオブジェクトとの間に接続線を引いてよい。たとえば、図４に示すように、ＩＭＭ１１２は、マウスタイプのデバイス３１８を、それに関連づけられたカーソル３３８と接続する線４１０を投影することができる。

ＩＭＭ１１２は、デバイスとデジタルオブジェクトとの間に関連づけを様々なやり方で確立することができる。代表的な一機構によると、各物理的インプットデバイスは、その下側（たとえば、対話型表面１０４と接触する側）に識別タグを含み得る。たとえば、タグは、バーコードまたは他の種類のマシン可読情報に対応し得る。位置検出モジュール２１０は、このタグを読んで、物理デバイスの識別を判定することができる。これに対してこの情報は、ＩＭＭ１１２に、物理デバイスを、デバイスに関連づけられたデジタルオブジェクトと相関させる。対話型表面１０４上に配置されたデバイスから識別情報を読む技法に関する付加情報は、本発明者Ａｎｄｒｅｗ Ｄ．Ｗｉｌｓｏｎによる特許文献１で見ることができる。

図３に戻ると、この図は、下のセクションＢで詳しく記載する異なる多くの使用シナリオを包含する。こうしたシナリオを掘り下げる前に、このセクションの残りでは、セクションＢで記載するファンクションをＩＭＭ１１２に実施させるベースツールおよび機構に関する付加情報を提供する。

＜Ａ．２．例示的カーソル位置決め機構（図５〜７）＞
図５は、対話型表面１０４上のカーソルの位置を判定する例示的手順５００を示すフローチャートである。

ブロック５０２で、ＩＭＭ１１２は、マウスタイプのデバイス（またはカーソルを制御するのに使うことができる他のタイプのインプットデバイス）の向きおよび絶対位置を判定する。この情報は、位置検出モジュール２１０など、上述したインプット機構のいずれからも取得することができる。

ブロック５０４で、ＩＭＭ１１２は、カーソルを位置決めする際に使用するための基準座標系を決定する。より具体的には、典型的なマウスタイプのデバイスが、基準座標系に相対してカーソルを位置決めする位置オフセット情報を提供する。ブロック５０４は、この基準座標系を決定する。図６、７では、基準座標系を決定する２つの例示的技法を挙げる。

ブロック５０６で、ＩＭＭ１１２は、ブロック５０４で決定された基準座標系に基づく位置にカーソルを配置する。カーソルの配置はしたがって、広域（絶対）測定値（たとえば、位置検出モジュール２１０によって与えられる）および相対オフセット測定値（たとえば、マウスタイプのデバイス自体によって与えられる）両方の寄与を反映する。相対オフセット測定値は概して、広域測定値と比較してより精密であり、応答性が高い。

カーソルの配置は、ユーザ定義可能な制御表示（ＣＤ）比にも基づき得る。ＣＤ比は、マウスタイプのデバイスの対応する動きに応答してカーソルが対話型表面１０４上をどこまで進むか定義する倍率である。例示的な一技法では、ＩＭＭ１１２は、ユーザにＣＤ比を調整させるマウスタイプのインプットデバイス（図示せず）に近接して、補助的なソフトキータイプのインプット機構を表示することができる。たとえば、補助的インプット機構は、ユーザにＣＤ比を調整させるスライダ機構または他の調節可能な制御機構を含み得る。

図６は、図５の手順においてカーソルを位置決めする際に使用するための基準座標系を判定する第１の技法を示す。この技法では、ＩＭＭ１１２は、マウスタイプのデバイス６０２の絶対位置を判定し、次いで、マウスタイプのデバイス６０２の位置に最も近い、対話型表面１０４のエッジ６０４を判定する。ＩＭＭ１１２は次いで、最も近いエッジ６０４に関連づけられた軸に基づく基準座標系６０６を定義する。代替的または追加的には、対話型表面１０４の他のどの静止特徴（複数可）も、対話型表面１０４上の１つまたは複数の基準線（図示せず）など、１つの基準オブジェクトまたは複数の基準オブジェクトとして用いることができる。

図７は、図５の手順においてカーソルを位置決めする際に使用するための基準座標系を決定する第２の技法を示す。この技法では、ＩＭＭ１１２は、マウスタイプのデバイス６０２の絶対位置および向き両方を判定する。ＩＭＭ１１２は次いで、マウスタイプのデバイス６０２自体の判定された向きに対応する基準座標系７０２を定義する。この場合、基準座標系は、ユーザが対話型表面１０４上でマウスタイプのデバイス６０２を移動すると、動的に変化する。

図６、７に記載した２つの技法は、代表的であり、ＩＭＭ１１２は、さらにそれ以外の技法または異なる技法の組合せを適用して、カーソルを位置決めすることができる。

上記例では、手順５００の目標は、カーソルの相対配置を定義するための基準座標系を決定することである。ＩＭＭ１１２は、手順５００で収集した情報を応用して、マウスタイプのデバイス６０２自体の絶対位置の測定値を与えることもできる。たとえば、ＩＭＭ１１２は、位置検出モジュール２１０または他の広域（すなわち、表面の広さの）位置検知機構を使って、マウスタイプのデバイス６０２の絶対位置を決定することができる。ＩＭＭ１１２は次いで、マウスタイプのデバイス６０２によって与えられた相対的な位置測定値を用いて、マウスタイプのデバイス６０２が移動されると、上で判定された絶対位置を調整することができる。

単に位置検出モジュール２１０を使って、マウスタイプのデバイス６０２の絶対位置を判定することが可能であるが、上述したやり方で測定の組合せを用いて絶対位置を判定するのが有益であろう。というのは、たとえば、マウスタイプのデバイスによって与えられる相対的な位置測定値は、位置検出モジュール２１０によって行われる広域測定の値より応答性がある（かつ、可能性としてはより高い解像度を有する）可能性があるからである。同様の利益が、図５に示すシナリオに当てはまり、図５では、目標は、基準座標系に対してマウスタイプのデバイス６０２の相対オフセットを判定することである。単に広域測定値を用いて、マウスタイプのデバイス６０２の動きを判定することが可能であるが、広域測定値およびローカル測定値の組合せを用いることが望ましい場合がある。というのは、マウスタイプのデバイス６０２によって与えられるローカル測定値は、広域測定値と比較して、より応答性があり、より大きい解像度を有し得るからである。

＜Ａ．３．例示的画像取得機構（図８）＞
図８は、対話型表面１０４上に置かれた物品または他の種類のオブジェクトのデジタルコピーを形成する例示的手順を示すフローチャート（および付随する例）である。図８を、具体的なシナリオ（フローチャート動作の右側に示す）のコンテキストで説明するが、この手順８００は、どの画像取得シナリオにも一般的に適用されることが理解されよう。

ブロック８０２で、ＩＭＭ１１２は、物品のデジタルコピーを生成するための命令を検出する。セクションＢでは、ブロック８０２が実行され得る代表的機会を記載する。たとえば、物品に関連づけられたインターフェイスオブジェクトをユーザが（たとえば、インターフェイスオブジェクト上でドラッグモーションを実行することによって）有効化したとき、ＩＭＭ１１２はブロック８０２を実行することができる。

ブロック８０４で、ＩＭＭ１１２は、対話型表面１０４全体の画像を受け取る。図８は、この画像を、例示的「表面全体画像」８０６として示す。表面全体画像８０６は、その構成部分として目標画像８０８を含む。目標画像８０８は、対話型表面上１０４に置かれた物品に対応する。

ブロック８１０で、ＩＭＭ１１２は、目標画像８０８を除いて画像コンテンツすべてが有効に破棄されるように、表面全体画像８０６を刈り込む。目標画像８０８は、物品のデジタルコピーを与え、コピーは次いで、セクションＢに記載する方式で対話型表面１０４上に戻して投影することができる。ＩＭＭ１１２は、表面全体画像８０６を刈り込むのに様々な技法を用いることができる。一技法では、ＩＭＭ１１２は、目標画像８０８の境界を判定するのにエッジ検出を用いることができる。ＩＭＭ１１２は次いで、こうした境界の外側の画像コンテンツをすべて、刈込みを用いて削除することができる。

＜Ａ．４．例示的デジタルオブジェクト配置機構（図９）＞
図９は、デジタルオブジェクトが対話型表面１０４上の既存オブジェクトと干渉しないように、対話型表面１０４上にデジタルオブジェクトを配置する例示的手順９００を示すフローチャート（および付随する例）である。図９の単なる代表的例において、ＩＭＭ１１２は、デジタルオブジェクト９０２が既存オブジェクト９０４の集合体と干渉しないように、Ｌ×Ｍデジタルオブジェクト９０２を対話型表面１０４上に配置するよう求め得る。たとえば、ユーザが、新規キーボードデバイス９０６を対話型表面１０４上に配置したばかりだと仮定する。ＩＭＭ１１２は、デジタルオブジェクト９０２を対話型表面１０４上に配置することによって応答する。（図９の具体的なシナリオでは、表示オブジェクト９０２は、キーボードタイプのデバイス９０６用の表示インターフェイスとして作用する）。図９を、上述のシナリオ（デジタルオブジェクト９０２を伴う）の具体的なコンテキストで説明するが、この手順９００は、どのオブジェクト配置シナリオにも一般的に適用されることが理解されよう。

ブロック９０８で、ＩＭＭ１１２は、対話型表面１０４上に配置することを望むデジタルオブジェクト９０２の特性を判定する。デジタルオブジェクト９０２の特性は、デジタルオブジェクト９０２の寸法、またはより全般的には、デジタルオブジェクト９０２の全周の形状に対応し得る。図９の代表的例では、ＩＭＭ１１２は、オブジェクト９０２がＬ×Ｍの寸法をもつと判定する。

ブロック９１０で、ＩＭＭ１１２は、少なくとも１つの配置制約を識別する。各配置制約は、デジタルオブジェクト９０２を配置する際に満足されるべき制約として作用する規則に対応する。たとえば、上に記載したシナリオに当てはまり得るある規則は、デジタルオブジェクト９０２が、（ユーザの位置に相対して）キーボードデバイス９０６の上に、および好ましくは可能な限りキーボードタイプのデバイス９０６の近く（または、環境特有の配置要因に依存して、キーボードタイプのデバイス９０６の数インチ上など）に配置されるべきであるというものである。一実施例では、こうした制約の１つまたは複数は、デジタルオブジェクト９０２の配置の際に満足される必要がある必須制約として定義される。代替的または追加的には、こうした制約の１つまたは複数は、デジタルオブジェクト９０２の配置の際に可能な程度まで満足されるべき優先タイプの制約として定義される。さらに他の実施例では、ＩＭＭ１１２は、デジタルオブジェクト９０２の配置の際に制約の相対重要性を決定する重みを各制約にユーザが付加することを許可し得る。ＩＭＭ１１２は、こうした重みを用いて、特に制約すべてを完全に満足することができないケースでは、デジタルオブジェクト９０２の配置に関わる様々な検討事項に優先順位をつけることができる。

ブロック９１２で、ＩＭＭ１１２は、対話型表面１０４の表面全体のマスク（たとえば、マスク９１４）を生成する。ＩＭＭ１１２は、任意のやり方で、またはいくつかのやり方を組み合わせて、たとえば、位置検出モジュール２１０を使ってインターフェイス表面１０４上での物理オブジェクトの配置を判定することによって、マスク９１４を形成することができる。図９に示すように、マスク９１４により、既に存在するオブジェクト９０４の集合体が対話型表面１０４上に存在することが明らかになる。こうしたオブジェクト９０４は、既に存在する物理オブジェクトおよび／またはデジタルオブジェクトに対応し得る（ＩＭＭ１１２はデジタルオブジェクトを配置するエージェントなので、ＩＭＭ１１２は、こうしたオブジェクトの配置について事前に知っていることに留意されたい）。代替的または追加的には、ブロック９１２は、高解像度撮像モジュール２０８を使ってマスク９１４を形成することができる。

ブロック９１６で、ＩＭＭ１１２は、上で論じた情報すべて、すなわち、ａ）配置されるべきデジタルオブジェクト９０２の特性（ブロック９０８で判定された）、ｂ）配置制約（複数可）（ブロック９１０で判定された）、およびｃ）対話型表面１０４上での既存オブジェクト９０４の位置（ブロック９１２で判定された）に基づいて、デジタルオブジェクト９０２の配置を決定する。ＩＭＭ１１２は、オブジェクト９０２の配置を決定するどのアルゴリズムも用いることができる。ある代表的ケースでは、ＩＭＭ１１２は、積分画像（ｉｎｔｅｇｒａｌ ｉｍａｇｅ）技法を用いて、対話型表面１０４上でのデジタルオブジェクト９０２の適切な配置を決定する。ＩＭＭ１１２は、最初に積分画像テーブルを公知の方式で形成することによって、積分画像技法を適用する。積分画像テーブルは、複数の配置可能性を効率的に調べるのに使われ得る。

図９は、Ｌ×Ｍ表示オブジェクト９０２が、既存オブジェクト９０４のいずれとも重ならないように対話型表面上１０４に置かれることを示す。さらに、この配置は、たとえば、表示オブジェクト９０２がユーザのキーボードタイプのデバイス９０６の比較的近くに置かれるので、上で識別された配置制約（複数可）を少なくとも部分的に満足する。ただし、オブジェクト９０２の配置は、近くにあるオブジェクト９１８の妨害的存在のせいで、（配置制約の見地から）最適ではない場合がある。

＜Ａ．５．カーソルを接触点として使う例示的機構（図１０）＞
接触点は、対話型表面１０４上に提示されるデジタルオブジェクトを操作するため、または他の何らかのアクションを実施するためにユーザが対話型表面１０４と関与し得る点に対応する。あるケースでは、ユーザは、指（もしくは体の他の部分、たとえば手全体など）または物理的指示器具（たとえば、スタイラスなど）を対話型表面１０４上またはその近くに配置することによって、対話型表面１０４と関与し得る。このタイプの接触点は概して、本明細書では指接触点と呼ばれる。別のケースでは、ユーザは、シミュレートされた指接触点として、マウスタイプのインプットデバイスによって制御されるカーソルを使うことができる。つまり、カーソルは、カーソルによって定義された場所に指をあてるユーザの代理として動作し得る。カーソルに関連づけられた接触点のタイプは、カーソル接触点と呼ばれる。ここで、カーソルという用語は、ユーザによって操作され得るどのデジタルオブジェクトも包含し、ある非限定的ケースでは、カーソルは、矢印形状のデジタルオブジェクトに対応する。

図１０は、マウスタイプのデバイスをタッチモードで操作する例示的手順１０００を示すフローチャートである。タッチモードでは、上述したやり方でマウスタイプのデバイスによって制御されるカーソルが対話型表面上に置かれた指接触をシミュレートする。タッチモードで作用しないとき、マウスタイプのデバイスは、どの補足的画像取扱いファンクションも実施することなく、カーソルの場所を動かすことによって、従来の方式で機能する。

ブロック１００２で、ＩＭＭ１１２は、ユーザがマウスタイプのデバイスのタッチモードを有効化しているかどうか判定する。単なる例示的な一ケースでは、ユーザは、このモードを、特別に割り当てられたマウスボタンをクリックすることまたは他の制御によって有効化することができる。ユーザがこのボタンを押下している限り、デバイスは、タッチモードで動作する。ユーザがボタンを離すと、タッチモードは無効化される。ユーザがマウスタイプのデバイスのボタンを押下し、次いで、ボタンを押下したまま、カーソルを第１の場所から第２の場所に移動する例について検討する。第２の場所で、ユーザはボタンを離す。この操作は、ユーザが自分の指を対話型表面１０４に押しつけ、指を第１の場所から第２の場所にドラッグすることと機能的に等価である。

ブロック１００４で、ＩＭＭ１１２は、タッチモードが有効化されている場合、マウスタイプのデバイスをこのモードで操作する。

ブロック１００６で、ユーザは、マウスタイプのデバイスのタッチモードにおいて、どのタイプの画像取扱い操作も実施することができる。たとえば、ユーザは、デジタルオブジェクトを移動し、デジタルオブジェクトを回転させ、デジタルオブジェクトのサイズを変更するなどのことができる。セクションＢでは、マウスタイプのデバイスがタッチ操作モードで動作しているときにとることができるアクションのタイプの例を挙げる。

ブロック１００８で、ＩＭＭ１１２は、ユーザがタッチモードを無効化していることを検出する。

ブロック１０１０で、マウスタイプのデバイスは、デバイスが従来の操作方式でカーソルの動きを制御するのに使われる従来のモードに遷移する。

＜Ｂ．システムおよびツールの例示的応用＞
図１１〜２２は、セクションＡに記載したシステムおよびツールがユーザによって対話型表面１０４と関与するのにどのように使われ得るかを記載するいくつかのシナリオを挙げる。こうしたシナリオは例示的であり、上述したシステムおよびツールは、このセクションに特に列挙しない他の多くの動作を実施するのに使われ得る。

＜Ｂ．１．デジタルオブジェクトを物理オブジェクトと結びつける機構（図１１〜１４）＞
図１１〜１４は、物理デバイスとデジタルオブジェクトとの間の結合をＩＭＭ１１２がどのように管理するかを示す様々なシナリオを示す。このサブセクションで説明するシナリオにおいて、デジタルオブジェクトは、表示インターフェイスに対応する。こうした表示インターフェイスは、キーボードタイプのデバイスなどの物理デバイスを使うユーザによって入力された情報を提示するのに使われる。ただし、ここで記載する原理は、どのタイプのデジタルオブジェクトおよびどのタイプの物理デバイスにも適用可能である。

図１１から始めると、この図は、デバイスが対話型表面上１０４に置かれたときに新規デジタルオブジェクトを生成する例示的手順１１００を示すフローチャート（および付随する例）である。すなわち、この場合、ユーザは、デバイス１１０２を対話型表面１０４上に配置している。手順１１００の目標は、デジタルオブジェクト１１０４を対話型表面１０４上に表示することである。この例示的ケースでは、デジタルオブジェクト１１０４は、（上述したように）デバイス１１０２と関連づけて使用するための表示インターフェイスを提供する。

ブロック１１０６で、ＩＭＭ１１２は、ユーザがデバイス１１０２を対話型表面１０４上に配置していることを検出する。ＩＭＭ１１２は、この判定を、位置検出モジュール２１０、および／または上述した他の任意のインプット機構によって提供されたインプット情報に基づいて行えばよい。ＩＭＭ１１２は、デバイス１１０２がその下側に指示的コードを含むことに注目することによって、デバイス１１０２を、物理的物品（物理ドキュメントなど）と区別することができる。追加的または代替的には、ＩＭＭ１１２は、輪郭分析に基づいて、デバイス１１０２を物理的物品（または指接触点など）と区別することができる。

ブロック１１０８で、ＩＭＭ１１２は、デジタルオブジェクト１１０４を表面上でデバイス１１０２のすぐ上に表示する。より具体的には、（図９に関連して）上述した配置手順９００は、デジタルオブジェクト１１０４を配置するべき位置（および向き）を決定するのに用いることができる。あるケースでは、ＩＭＭ１１２は、ユーザがデバイス１１０２を対話型表面１０４上に配置したことを検出した直後にデジタルオブジェクト１１０４を表示してよい。別のケースでは、ＩＭＭ１１２は、ユーザがデバイス１１０２と対話し始めたという検出に応答してデジタルオブジェクト１１０４を表示してよい。たとえば、ＩＭＭ１１２は、ユーザがデバイス１１０２を使って最初のキーストロークを入れたときにデジタルオブジェクト１１０４を表示してよい。さらに他の要因が、デジタルオブジェクト１１０４を提示するべきタイミングを決定する役割を果たし得る。あるケースでは、ＩＭＭ１１２は、所定の期間に渡るデバイス１１０２に関する無効化を検出したとき、デジタルオブジェクト１１０４を削除する（たとえば、オフにする）ことができる。

ブロック１１１０で、ＩＭＭ１１２は、ユーザが対話型表面１０４からデバイス１１０２を削除したことを検出する。

ブロック１１１２で、デバイス１１０２の削除に応答して、ＩＭＭ１１２は、対話型表面１０４からデジタルオブジェクト１１０４を削除する。

図１２は、デバイスが既存デジタルオブジェクトに近接して対話型表面１０４上に置かれたとき、既存デジタルオブジェクトをデバイスと結びつける例示的手順１２００を示すフローチャート（および付随する例）である。たとえば、対話型表面１０４がデジタルオブジェクト１２０２を既に含むと仮定する。具体的な一例示的シナリオでは、このデジタルオブジェクト１２０２は、１人または複数のユーザによって、アプリケーションモジュールと対話するのに使われている。新規ユーザが、他のユーザに加わり、デジタルオブジェクト１２０２を介してアプリケーションモジュールと対話することも望む場合がある。

ブロック１２０４で、ＩＭＭ１１２は、新規ユーザが、デバイス１２０６（または他のタイプのインプットデバイス）を、対話型表面１０４上に既存デジタルオブジェクト１２０２に近接して配置したことを検出する。

ブロック１２０８で、ＩＭＭ１１２は、１つまたは複数のデバイス−オブジェクト結合検討事項が満足されるかどうか検出する。こうした条件は、新規デバイス１２０６が、デジタルオブジェクト１２０２との関連づけを形成することを許可されるかどうか判定する。ある検討事項は、たとえば、デジタルオブジェクト１２０２とのデバイス１２０６の自動関連づけを認めるために、新規ユーザがデバイス１２０６をデジタルオブジェクト１２０２の十分近くに配置しているかどうかを示す。別の検討事項は、ユーザが作業に加わり、寄与することを許可されるかどうかを示す。この検討事項は、たとえば実施される作業の性質、ユーザの識別など、任意の数の環境特有要因に依存し得る。何がデバイス−オブジェクト結合検討事項を組成するかに関して、限定は課されない。

ブロック１２１０で、ＩＭＭ１１２は、ブロック１２０８で識別された検討事項（複数可）が満足される場合、デバイス１２０６とデジタルオブジェクト１２０２との間の関連づけを形成する。図１２は、デジタルオブジェクト１２０２が現在、デバイス１２０６に関連づけられていることを示すための視覚属性１２１２（色づけされた境界など）とともに表示インターフェイス１２０２が提示され得ることを示す。ＩＭＭ１１２は、デバイスとオブジェクトの結合を意味するのに、他の技法を、つまり、視覚属性１２１２の代わりに、または視覚属性１２１２に加えて用いてもよい。たとえば、ＩＭＭ１１２は、デバイス１２０６をデジタルオブジェクト１２０２に接続する線（図示せず）を投影することができる。（図示していないが、同じタイプのデバイス−オブジェクト視覚相関機構（複数可）が、図１１に示すシナリオに適用され得る）。

図１３は、既存デジタルオブジェクトがデバイスに近接して移動されたとき、既存デジタルオブジェクトをデバイスと結びつける例示的手順１３００を示すフローチャート（および付随する例）である。つまり、図１３は、図１２で記載したシナリオに対して補足的なシナリオを示す。図１３で、ユーザは、既存デジタルオブジェクト１３０２をデバイス１３０４の方に移動し、図１２では、ユーザは、既存デバイス１２０６をデジタルオブジェクト１２０２の方に移動する。

ブロック１３０６で、ＩＭＭ１１２は、ユーザ（または他の何らかのエージェント）が、既存デジタルオブジェクト１３０２をデバイス１３０４に近接して配置したことを検出する。

ブロック１３０８で、ＩＭＭ１１２は、デバイス−オブジェクト結合検討事項（複数可）が満たされるかどうか判定する。こうした検討事項は、デジタルオブジェクト１３０２をデバイス１３０４に関連づけることが適切かどうか定義する。このような例示的検討事項は、図１２のブロック１２０８を考察したコンテキストで記載してある。

ブロック１３１０で、ブロック１３０８で定義された条件が満足される場合、ＩＭＭ１１２は、デジタルオブジェクト１３０２をデバイス１３０４に関連づける。あるケースでは、ＩＭＭ１１２は、デジタルオブジェクト１３０２が現在、デバイス１３０４に関連づけられていることを示すために、視覚属性１３１２（色づけされた境界など）を表示してよい。

図１４は、単一のデジタルオブジェクトを２つのデバイスと結びつける例示的手順１４００を示すフローチャート（および付随する例）である。この手順は、２つそれぞれのデジタルオブジェクト（２つそれぞれのデバイスによって制御される）を使って実施される操作が、デバイスを互いの近くにもっていくことによってどのようにマージされ得るかも明示する。

たとえば、あるシナリオでは、第１のユーザが、検索アプリケーションモジュールと対話するために、第１のデバイス１４０２および関連づけられた表示オブジェクト１４０４を使っていると仮定する。第２のユーザは、同じ検索アプリケーションモジュールと対話するために、第２のデバイス１４０６および関連づけられたデジタルオブジェクト１４０８を使っている。初期の時点で、こうしたユーザは、互いから比較的離れた場所で対話型表面１０４と対話している。さらに、こうした２人のユーザは、各自の検索操作を実施している。次に、ユーザが、共通検索作業に一緒に取り組むことができるように、自分のデバイス（１４０２、１４０６）を互いの比較的近くに移動すると仮定する。たとえば、こうした２人のユーザは、図３に示すユーザ３０４、３０６に対応し得る。このシナリオでは、ＩＭＭ１１２は、こうしたユーザによって後で説明するように実施される操作を組み合わせるのに使うことができる。

ブロック１４１０で、ＩＭＭ１１２は、対話型表面１０４上で互いに近接した２つのデバイス（１４０２、１４０６）の配置を検出する。

ブロック１４１２で、ＩＭＭ１１２は、１つまたは複数のデバイス−デバイス結合検討事項が満足されるかどうか判定する。こうした検討事項は、あるユーザによって実施される操作が、別のユーザによって実施される操作とマージされるべきかどうかを支配する１つまたは複数の規則を定義する。例示的なこのような検討事項は、図１２、１３を考察したコンテキストで記載してある。

ブロック１４１４で、ブロック１４１２で説明した検討事項が満足される場合、ＩＭＭ１１２は、２人のユーザによって実施されるファンクションをマージする。このマージ動作は、様々な環境特有要因および他の検討事項に依存して、異なる形をとり得る。図１４に示す単なる説明のための例では、ＩＭＭ１１２は、デバイス（１４０２、１４０６）によって別々に使われていたデジタルオブジェクト（１４０４、１４０８）を、単一のデジタルオブジェクト１４１６に組み合わせる。両方のユーザは、それぞれのデバイス（１４０２、１４０６）を使って共同表示オブジェクト１４１６に関与することを許可される。

さらに、ＩＭＭ１１２は任意選択で、２人のユーザによってそれぞれ独立に行われた検索選択を、共同検索選択に組み合わせることができる。たとえば、こうしたユーザが自分のデバイス（１４０２、１４０６）を互いの近くに移動する前に、第１のユーザが検索選択「シアトル」を入力し、第２のユーザが検索選択「マンション」を入力したと仮定する。互いの近くに移動すると、ＩＭＭ１１２は、各自の検索選択の論理融合を表す組み合わされた検索選択を形成し得る（組み合わされた検索選択「シアトルＡＮＤマンション」を形成することなどによって）。（他のシナリオでは、他の規則が、別々の選択が論理的に組み合わされる方式を決定し得る。）ＩＭＭ１１２は、この組み合わされた検索選択を適切なアプリケーションモジュールにフォワードし、次いで、アプリケーションモジュールによって与えられた結果を、ラベル「（共同検索のアウトプット）」を指す矢印で図１４にグラフィカルに示すように、単一化された表示インターフェイス１４１６に表示すればよい。

繰り返すと、図１４で展開した具体例は、デジタルオブジェクトと対応する動作が、様々なトリガイベントに基づいてマージされ得る多くの可能シナリオを表す。別の例では、２人のユーザが、各自のデジタルオブジェクトを使って、会議でメモを各自とり、メモを表示する場合がある。互いの近くに移動すると、ＩＭＭ１１２は、こうしたユーザによってとられたメモを、共通デジタルオブジェクトによって表示される共通ドキュメントにマージすることができる。このシナリオでは、ＩＭＭ１１２は任意選択で、それぞれのユーザによって行われる共通ドキュメントへの寄与を示すための任意のタイプのユーザタグを与えることができる。概して、実施されるマージ操作の性質は、１つまたは複数の環境特有要因と組み合わされて、部分的に、ユーザによって実施されるファンクションの性質に依存することになる。あるケースでは、ＩＭＭ１１２は、ユーザごとに、ＩＭＭ１１２のオブジェクト組合せおよび操作組合わせ挙動を支配する特権情報を維持することができる。たとえば、会議管理者は、特定のユーザが共同作業に寄与するのを禁止することを望む場合があり、そうすることによって、手順１４００で説明した挙動を特定のユーザに対して禁じる。

図１４は、２人のユーザという例示的コンテキストで記載してある。しかし、上に記載した原理は、共有デジタルオブジェクトと対話することを望む任意の数のユーザに適用され得る。

＜Ｂ．２．デジタルオブジェクトを操作する機構（図１５、１６）＞
次の一連の図面は、デジタルオブジェクトを操作する例示的技法を示す。図１５から始めるが、この図は、様々な接触点シナリオを用いてデジタルオブジェクトを操作する例示的手順１５００を示すフローチャート（および付随する例）である。上に記載したように、接触点は、ユーザが対話型表面１０４の表面に関与する（たとえば、それとの接触を行う）点に対応する。このファンクションは、様々なやり方で実施することができる。最初に、ユーザは、自分の指（もしくは他の体の部分）または物理的器具を対話型表面１０４に押しつけることによって接触点を作成すればよく、このアクションが指接触点を定義する。ユーザは、図１０の手順１０００に記載したように、マウスタイプのデバイスのタッチモードを有効化することによって接触点を作成してもよく、このアクションがカーソル接触点を定義する。

ブロック１５０２で、ＩＭＭ１１２は、ユーザが複数の接触点を使ってデジタルオブジェクトと関与していることを検出する。

ブロック１５０４で、ＩＭＭ１１２は、ユーザによって命令されたように（たとえば、デジタルオブジェクトを動かし、デジタルオブジェクトの向きを変え、デジタルオブジェクトのサイズを変えることなどによって）デジタルオブジェクトを操作する。

図１５は、手順１５００がどのように実施され得るかを説明する３つの代表的（および非網羅的）シナリオを提示する。シナリオＡにおいて、ユーザは、２つの指接触点（１５０８、１５１０）を使ってデジタルオブジェクト１５０６に関与する。この単なる説明のための例において、ユーザは、指接触点を使って、デジタルオブジェクト１５０６の２つの向かい合う隅にタッチすることができる。ユーザは次いで、デジタルオブジェクト１５０６を（任意選択で、１つの接触点がピボットとして固定されて）回転させるように指接触点（１５０８、１５１０）を時計回りもしくは反時計回り方向に動かすことによって、またはデジタルオブジェクト１５０６のサイズを変更するために指接触点（１５０８、１５１０）を互いに向かって、もしくは互いから離れるように動かすことなどによってデジタルオブジェクト１５０６を操作することができる。

シナリオＢにおいて、ユーザは、指接触点１５１２およびカーソル接触点１５１４を用いてデジタルオブジェクト１５０６に関与する。ユーザは、こうした接触点を使って、シナリオＡのコンテキストにおいて上述したどの取扱いも実行することができる。

シナリオＣにおいて、ユーザは、２つのカーソル接触点（１５１６、１５１８）を用いてデジタルオブジェクト１５０６に関与する。ユーザは、こうした接触点を使って、シナリオＡのコンテキストにおいて上述したどの取扱いも実行することができる。シナリオＣに示す取扱いのタイプは、ユーザが、手の届かないオブジェクトを操作することを求める状況に特に適している。たとえば、図３のユーザ３０２は、２つのマウスタイプのデバイス（３１２、３１４）を使って、２つの関連づけられたカーソル（３３０、３３２）を制御することができる。マウスタイプのデバイス（３１２、３１４）をタッチモードで操作することによって、デジタルコピー３２８が物理的にユーザ３０２の手が届かない場合でも、ユーザは、上述したやり方でデジタルコピー３２８を操作することができる。

図示していないが、ユーザは、単一の接触点を使ってデジタルオブジェクトを操作することもできる。たとえば、ユーザは、単一の指接触点または単一のカーソル接触点を使って、どのデジタルオブジェクトも、対話型表面１０４上の第１の場所から第２の場所に移動することができる。

図１６は、デジタルオブジェクトの上にデバイスを配置すること、およびデジタルオブジェクトを移動し、または他の何らかのアクションをデジタルオブジェクトに対して実施するためのハンドルとしてデバイスを比喩的に使うことによってデジタルオブジェクトを操作する例示的手順１６００を示すフローチャート（および付随する例）である。

ブロック１６０２で、ＩＭＭ１１２は、デジタルオブジェクトの上にかかるデバイスの動きを検出する。

ブロック１６０４で、ＩＭＭ１１２は、ユーザによって命令されたように、デバイスをハンドルとして使ってデジタルオブジェクトを操作する。

たとえば、手順１６００のフローチャートブロックの右側に示すシナリオについて検討する。ここで、ユーザは、対話型表面１０４上に表示される任意のタイプのデジタルオブジェクト１６０８の上にマウスタイプのデバイス１６０６を配置している。ユーザは次いで、マウスタイプのデバイス１６０６を使って、たとえば、デジタルオブジェクト１６０８を回転させ、デジタルオブジェクト１６０８を別の位置にスライドさせることなどによって、任意の方式でデジタルオブジェクト１６０８を操作すればよい。マウスタイプのデバイス１６０６とデジタルオブジェクト１６０８との間の関連づけは、ユーザがマウスタイプのデバイス１６０６を対話型表面１０４からもち上げたときになくなり得る。代替的または追加的には、マウスタイプのデバイス１６０６のハンドルのような能力は、このファンクションに割り当てられたマウスボタンを押し、離すことによって有効化し無効化することができる。

＜Ｂ．３．デジタルコピーを作成し、操作する機構（図１７〜２１）＞
次の一連のフローチャートは、有形（たとえば、「ハードコピー」）ドキュメントなどだが、それに限定されない、どのタイプの物理的物品のコピーも生成する様々な技法を示す。フローチャートは、生成済みのデジタルコピーと対話する技法も示す。デジタルコピーの生成および取扱いは、協調的環境では特に有用である。たとえば、図３に示すように、ユーザ３１０は、物理的物品３２６と対話している。ユーザ３１０は、この物理的物品３２６のデジタルコピー（たとえば、デジタルコピー３２８、３４６）を、他のユーザ（たとえば、ユーザ３０２、３０８）に配布するために生成することができる。こうすることにより、他のユーザ（３０２、３０８）は、物理的物品３２６によって分与される情報を、たとえば、ユーザ（３０２、３０８）が元の物理的物品３２６を調査するためにユーザ３１０の周りに集まる必要なく、およびユーザ（３０２、３０８、３１０）が従来の時間連続方式で自分達の間で物理的物品３２６を回覧する必要なく、調査しやすくなる。さらに、デジタルコピーに対してどのユーザによってとられたアクションも、自動的に、対応する操作を物理的物品に対して実施させ、およびその反対も行われる。こうすることにより、たとえば、任意のユーザが、対象となっている特徴を、対話型表面１０４の周辺付近の異なる場所に留まっている他の１人または複数のユーザに指摘し得るための好都合な機構を提供することによって、環境の協調的性質が促進される。

図１７から始めると、この図は、対話型表面１０４上に置かれた物理的物品１７０４に基づいてデジタルコピー１７０２を作成する例示的手順１７００を示すフローチャート（および付随する例）である。

ブロック１７０６で、ＩＭＭ１１２は、ユーザが物理的物品１７０４を対話型表面１０４上に配置したことを検出する。この検出操作は、位置検出モジュール２１０のアウトプットに基づいて、または他の何らかのインプット機構もしくはインプット機構の組合せを使うことによって実施することができる。ＩＭＭ１１２は、輪郭分析を利用して物理的物品１７０４を指接触点（および他のオブジェクト）と区別することができる。ＩＭＭ１１２は、オブジェクトをインプットデバイスとして識別する指示的マークが物理的物品１７０４に付けられていないことに注目することによって、物理的物品１７０４をインプットデバイスと区別することができる。

ブロック１７０８で、ＩＭＭ１１２は、インターフェイスオブジェクト１７１０を物理的物品１７０４に関連づけて提示する。インターフェイスオブジェクト１７１０は、たとえば、物理的物品１７０４のデジタルコピーを作り、他の操作を実施するために、ユーザを物理的物品１７０４と対話させるデジタルオブジェクトである。図１７の単なる代表的例において、インターフェイスオブジェクト１７１０は、物理オブジェクト１７０４の周りに形成される光輪または境界に対応する。他のどのタイプのインターフェイスオブジェクトも、手順１７００のファンクションを遂行するのに使われ得る。たとえば、別のインターフェイスオブジェクト（図示せず）が、物理的物品１７０４の１つの隅（または複数の隅）から突き出る１つまたは複数のデジタルプルタブに対応し得る。

ブロック１７１２で、ＩＭＭ１１２は、物理的物品１７０４のデジタルコピーを作成する意図を示すように、ユーザがインターフェイスオブジェクト１７１０に関与していることを検出する。あるケースでは、ユーザが、指でインターフェイスオブジェクト１７１０に触れ、次いで、指を対話型表面１０４に押しつけたまま、指を物理的物品１７０４から離すようにドラッグすると仮定する。ＩＭＭ１１２は、このモーションを、物理的物品１７０４のデジタルコピーを作成するための命令と解釈し得る。このモーションは、カードの山から一番上のカードをスライドさせる作用に似ている。同じ動きを、指接触点ではなくカーソル接触点を使って実施することができる。さらに、繰り返すと、他のインターフェイスオブジェクトおよび関連づけられた指示的動きが、デジタルコピーを作成するよう、ＩＭＭ１１２に命令するのに用いられ得る。ＩＭＭ１１２は、上述した検出機構の任意の１つまたは複数を使って（たとえば、位置検出モジュール２１０および／または高解像度撮像モジュール２０８などを使って）、指示的動きを検出することができる。

ブロック１７１４で、ＩＭＭ１１２は、上述した指示的動きのタイプを検出しており、物理的物品１７０４のデジタルコピー１７０２を作成する。あるケースでは、ＩＭＭ１１２は、ユーザが自分の指ドラッグモーションを完了し、対話型表面１０４から指をもち上げた場所にデジタルコピー１７０２を「置く」ことができる。図示しないが、ＩＭＭ１１２は、たとえば、生じるべきコピーの数、使われるべきサイズスケーリング比、使われるべきコピー濃度などを指定することによって、コピー操作を支配する様々な属性をユーザに指定させることもできる。

様々な環境特有検討事項が、ＩＭＭ１１２が物理的物品１７０４の画像を取り込む正確なタイミングを判定するのに用いられ得る。ある非限定的ケースでは、ＩＭＭ１１２は、ユーザが対話型表面１０４から指をはずしたとき、たとえば、ドラッグ操作の終わりに物理的物品１７０４の画像を取り込む。このタイミングにより、ＩＭＭ１１２が、物理的物品１７０２の写真を撮る際にユーザの体の一部分を取り込む可能性が低下し得る。

図１８は、メニューオブジェクト１８０２を、対話型表面１０４上に置かれた物理的物品（たとえば、物理的物品１７０４）と関連づけて提示する例示的手順１８００を示すフローチャート（および付随する例）である。より具体的には、コピー操作（図１７で記載した）を実施するためのツールとして働くのに加えて、インターフェイスオブジェクト１７１０は、メニューオブジェクト１８０２の提示など、他の操作を実施するために有効化され得る。

ブロック１８０４で、ＩＭＭ１１２は、インターフェイスオブジェクト１７１０に関与して、物理的物品１７０４のデジタルコピーの作成以外の作業を実施したいというユーザの希望を示す、ユーザによるアクションを識別する。たとえば、単なる例示的なあるケースでは、ユーザは、インターフェイスオブジェクト１７１０の上を、指またはシミュレートされた指接触点（マウスタイプのデバイスによって制御される）で２回素早く続けて叩けばよい。図１８の例において、ＩＭＭ１１２は、このアクションを、メニューオブジェクト１８０２を有効化するためのリクエストと解釈する。

ブロック１８０６で、ＩＭＭ１１２は、ユーザにメニューオブジェクト１８０２を提示する。ＩＭＭ１１２は、このメニューオブジェクト１８０２を、インターフェイスオブジェクト１７１０の周辺など、どの場所にも表示することができる。メニューオブジェクト１８０２は、たとえば物理的物品１７０４のデジタルコピーの印刷、物理的物品１７０４のデジタルコピーの保存など、物理的物品１７０４に対して任意の数の操作を実施するための任意の数の選択肢を提供し得る。代替的または追加的には、メニューオブジェクト１８０２は、（図１７の）コピー操作を支配する設定をユーザに調整させるツールとして働き得る。

図１９は、デジタルコピー１９０４の対応する一部分の選択に基づいて、物理的物品１９０２の一部分を強調表示する（またはその反対）例示的手順１９００を示すフローチャート（および付随する例）である。

ブロック１９０６で、ＩＭＭ１１２は、ユーザがデジタルコピー１９０４のある部分１９０８を選択したことを検出する。たとえば、ユーザは、指、スタイラス、カーソル、または他の接触点を使って、デジタルコピー１９０４の特定の部分１９０８を指すことができる。

ブロック１９１０で、ＩＭＭ１１２は、物理的物品１９０２の一部分１９１４に強調表示１９１２を与えることができる。この部分１９１４は、デジタルコピー１９０４の選択された部分１９０８に対応する。ＩＭＭ１１２は、このファンクションを、デジタルコピー１９０４中の位置を物理的物品１９０２中の対応する位置にマップすることによって実施することができる。ＩＭＭ１１２は、たとえば部分１９１４の周りの境界の画像を投影し、部分１９１４を指摘する矢印（など）を投影し、部分１９１４を照らす光線を投影することなどによって、どのやり方でも物理的コピー１９０２の部分１９１４を強調表示することができる。

ブロック１９１６で、ＩＭＭ１１２は、ユーザが、たとえば、部分１９０８から指をはずすことによって、デジタルコピー１９０４の部分１９０８を選択解除したことを検出する。

ブロック１９１８で、ＩＭＭ１１２は、物理的物品１９０２の対応する部分１９１４から強調表示１９１２を削除する。

図示していないが、ユーザは、上述したやり方で物理的物品１９０２の一部分を選択することができ、こうすることにより、ＩＭＭ１１２は、デジタルコピー１９０４の対応する部分に強調表示を加えるよう促される。前述通り、ＩＭＭ１１２は、物理的物品１９０２の予め選択された部分をユーザが選択解除したときに強調表示を削除してよい。このシナリオでは、インプット機能１０８は、ユーザによって物理的物品１９０２の真上でとられたアクションを検出する能力をもつ別の位置検出システム（図示せず）を含み得る。たとえば、インプット機能１０８は、対話型表面１０４の上に位置決めされるどのタイプのリモート検知機構も含み得る。代替的または追加的には、インプット機能１０８は、対話型表面１０４自体に統合された（たとえば、その内部の）タッチ感応インプット機構を含み得る。

他のケースでは、ＩＭＭ１１２は、予め選択された部分をユーザが選択解除した後、物理的物品１９０２またはデジタルコピー１９０４に付与された強調表示を保存する選択肢をユーザに与え得る。たとえば、上述したようにデジタルコピー１９０４に非永続的強調表示を加えるのではなく、ユーザは、デジタルコピー１９０４にデジタルマークを加えることができる。こうすることにより、ＩＭＭ１１２は、対応するデジタルマークを物理的物品１９０２に加える。物理的物品１９０２に付与されたデジタルマークは、ユーザがデジタルコピー１９０４に関与し終えした後も残り得る（ただし、物理的物品１９０４に付与されたデジタルマークを「消す」選択肢をユーザに与えることも可能である）。

図２０は、上で識別された概念において拡張される。すなわち、図２０は、デジタルコピー２００８に付けられた対応するデジタルマーク２００６に基づいて、物理的物品２００４上でデジタルマーク２００２を作成する例示的手順２０００を示すフローチャート（および付随する例）である。

ブロック２０１０で、ＩＭＭ１１２は、ユーザがデジタルコピー２００８上にデジタルマーク２００６を配置したことを検出する。ユーザは、このデジタルマーク２００６を、たとえば指、スタイラス、カーソルなど、どの機構２０１２を使っても作成することができる。図２０の単なる例示的シナリオにおいて、ユーザは、指を使って、デジタルコピー２００８のある特定の部分２０１４を囲む。ＩＭＭ１１２は、上述した検出機構の任意の１つまたは複数を使って（たとえば、位置検出モジュール２１０および／または高解像度撮像モジュール２０８などを使って）デジタルマーク２００６の作成を検出し得る。

ブロック２０１６で、ＩＭＭ１１２は、対応するデジタルマーク２００２を、物理的物品２００４の対応する部分２０１８に適用する。図１９のケースとは異なり、デジタルマーク２００２は、物理的物品２００４上に残るが、このようなデジタルマーク２００２をユーザに「消させる」機構を提供することも可能である。

図２０に示す手順２０００は、たとえば、ユーザが物理的物品２００４に物理的マーク（またはデジタルマーク）を付けたことを検出し、次いで、それに応答して、対応するデジタルマークをデジタルコピー２００８に加えることによって、逆に実施することができる。このシナリオでは、ＩＭＭ１１２は、時刻ｔ₁（物理的マークが加えられる前）での物理的物品と時刻ｔ₂（物理的マークが加えられた後）との間の差分を反映する差分画像を形成することによって、物理的マークが加えられたと判定し得る。物理的マークのデジタル対応物は、この差分画像に基づいて取得され得る。

図２１は、物理的物品（図示せず）のデジタルコピー２１０４にマーク２１０２を付与し、続いて、物理的マーク２１０２のデジタル表現であるデジタルマーク２１０８を含む新規デジタルコピーを生成する例示的手順２１００を示すフローチャート（および付随する例）である。

ブロック２１１０で、ＩＭＭ１１２は、ユーザが物理的物品のデジタルコピー２１０４を、編集領域２１１２上に移動したことを検出する。編集領域２１１２は、例示的な一ケースでは、対話型表面１０４のホワイトボードセクションに対応し得る。または、編集領域２１１２は、対話型表面１０４の表面上に配置された１枚の紙（など）に対応し得る。ユーザは、この編集領域２１１２上で、たとえば、ペン、鉛筆、マーカなどを使って描画することができる。編集領域２１１２は、定義されたサイズを有する。あるケースでは、ＩＭＭ１１２は、デジタルコピー２１０４が編集領域２１１２上に移動されたとき、つまり、デジタルコピー２１０４のサイズを、編集領域２１１２のサイズに合うように修正することによって、デジタルコピー２１０４を編集領域２１１２のサイズに「整合させる」ことができる。デジタルコピー２１０４が編集領域２１１２に関連づけられたとき、デジタルコピー２１０４は、編集領域２１１２に「付加された」ままでよい。したがって、編集領域２１１２が対話型表面１０４上で（たとえば、編集領域２１１２に関連づけられたホワイトボードまたは紙を動かすことによって）移動されると（およびその場合）、デジタルコピー２１０４は、一緒に移動される。この機構は、たとえば、デジタルコピー２１０４をその上で移動するべきプレートとして編集領域２１１２を比喩的に使うことによって、対話型表面１０４上でのデジタルコピーの別の動かし方を提供する。

ブロック２１１４で、ＩＭＭ１１２は、ユーザが（たとえば、図２０を参照して上述した検出技法を用いて）デジタルコピー２１０４上で物理的マーク２１０２を作成したことを検出する。物理的マーク２１０２は、編集領域２１１２によって与えられる基底の基板上で物理的に形成される。この単なる例示的ケースでは、ユーザは、器具２１１６を使って、デジタルコピー２１０４の一部分２１１８を囲む。

ブロック２１２０で、ＩＭＭ１１２は、以前のデジタルコピー２１０４の新規デジタルコピー２１０６を生成する。新規デジタルコピー２１０６は、デジタルコピー２１０４の以前のバージョン「上」で描画された物理的マーク２１０２のデジタル対応物であるデジタルマーク２１０８を含む。図２１の例において、ユーザはまた、新規デジタルコピー２１０６を編集領域２１１２から離すように移動しているが、これにより、編集領域２１１２上に配置された「むき出しの」元の物理的マーク２１０２が明らかにされる。

ＩＭＭ１１２は、ブロック２１２０の操作を様々なやり方で実施することができる。一技法によると、ＩＭＭ１１２は、（マーク２１０２が加えられた）デジタルコピー２１０４の別の写真を撮ることができ、可能性としては、ＩＭＭ１１２が現在、元の物理ドキュメントではなく、主としてある画像の写真を撮っている（物理的マーク２１０２は例外として）という事実をさらに明らかにする。別の技法では、ＩＭＭ１１２は、デジタルコピー２１０４の投影を瞬間的にオフにしてよく、こうすることにより、むき出しの物理的マーク２１０２が明らかになる。ＩＭＭ１１２は、物理的マーク２１０２の画像を取り込み、次いで、物理的マーク２１０２の画像を元のデジタルコピー２１０４とデジタルに合成して、新規デジタルコピー２１０６を生成することができる。さらに他の技法が、新規デジタルコピー２１０６を生成するのに用いられ得る。

上述した手順２１００は、１回または複数回繰り返してよい。各反復ごとに、ユーザは、上述したやり方でデジタルオブジェクトに追加注釈を与えることができる。

より全般的には、サブセクションＢ．３で記載した技法のいずれも、任意の方法で組み合わせることができる。

さらに、上記例において、物理的物品は、紙ドキュメントなどの物理ドキュメントに対応する。しかし、上述した手順は、どの物理オブジェクトにも適用され得る。たとえば、別のケースでは、物理オブジェクトは、３次元オブジェクトに対応する。別のケースでは、物理オブジェクトは、その上に情報を表示するスクリーンを含む。別のケースでは、物理オブジェクトは、ユーザの人体構造の一部分を備える（または含む）。たとえば、図１７の手順１７００において、ユーザは、ユーザがドキュメント中の特定の一節を物理的に指しているドキュメントのデジタルコピーを作成することを望む場合がある。さらに他の適用法が可能である。

Ｂ．４．アクションの履歴を取り込み、他の表面管理ファンクションを実施する機構
図２２は、それぞれ異なる時点での対話型表面１０４の一連の表現を生成し、この一連の表現に関する任意の情報をユーザに表示する例示的手順２２００を示すフローチャートである。

ブロック２２０２で、ＩＭＭ１１２は、時刻ｔ_nでの対話型表面１０４全体の写真を撮ることができる。ＩＭＭ１１２は、この写真を、たとえば対話型表面１０４の写真を、物理オブジェクトおよびデジタルオブジェクト両方をその上に配置して、１枚だけ撮ることによって、様々なやり方で形成してよい。または、ＩＭＭ１１２は、図２１の説明のコンテキストで上述したやり方で、たとえば、投影をオフにし、対話型表面１０４上の物理的物品の写真を撮り、次いで、その写真を、対話型表面１０４上に投影されるデジタルオブジェクトと組み合わせることによって合成画像を形成してよい。

様々なイベントが、画像取込み操作をトリガし得る。あるケースでは、ＩＭＭ１１２は、対話型表面１０４の画像を定期的に（たとえば、ｎ秒ごとやｎ分ごとなど）取り込む。代替的または追加的には、ユーザは、様々な対象時刻に画像を取り込むよう、ＩＭＭ１１２に明示的に命令することができる。代替的または追加的には、ＩＭＭ１１２は、対話型表面１０４上で注目すべきことが起きているとき、たとえばユーザが対話型表面１０４に新規デバイスを追加したときや、ユーザがインターフェイス表面１０４上で既存デバイスまたはデジタルオブジェクトを移動したときなど、個別に検出したときに画像を自動的に取り込んでよい。繰り返すと、ブロック２２０２は、それぞれ異なるときに撮られた対話型表面の複数の画像を確立する。ＩＭＭ１１２は、画像を、適切な１つのデータストアまたは複数のストア（図示せず）にアーカイブしてよい。

ブロック２２０４で、ユーザは、ブロック２２０２で予め記録した画像のいずれかを示すよう、ＩＭＭ１１２に命令することができる。あるケースでは、ユーザは、選択された１枚の画像または選択された複数の画像を示すよう、ＩＭＭ１１２に依頼することができる。別のケースでは、ユーザは、一連の記録された画像を、こうした画像が、識別されたタイムスパンに渡って取り込まれた順序で表示するよう、ＩＭＭ１１２に依頼することができる。この後者のシナリオにおいて、ＩＭＭ１１２は、アニメーション方式または擬似（大体）注釈つき方式で画像を提示することができる。

手順２２００は、上述したように、対話型表面１０４全体の一連の表現を形成するのに用いられ得る。代替的または追加的には、手順２２００は、対話型表面１０４上に配置された個々のオブジェクト（物理オブジェクトおよび／またはデジタルオブジェクトを含む）など、対話型表面１０４の部分の一連の表現を、ユーザがこうした表現が形成されることを明示的にリクエストしていなくても形成するのに用いられ得る。たとえば、手順２２００は、物理ドキュメントの個々のコピーに対して行われる変化の発展などを示すのに用いられ得る。ＩＭＭ１１２は、たとえば、図８のマスク手順などを用いて、物理オブジェクトの表現を取得することができる。ＩＭＭ１１２は、対話型表面１０４上に投影するデジタルオブジェクトに直ちにアクセスすることができる。

ＩＭＭ１１２は、図２２の手順２２００と併用するための様々なインターフェイス機構を提供し得る。たとえば、ＩＭＭ１２２は、対話型表面１０４上にコンテナタイプのデジタルオブジェクト（図示せず）を表示することができる。コンテナタイプのデジタルオブジェクトは、（対話型表面１０４上に現れている個々の項目および／またはインターフェイス表面１０４全体の表現に関連づけられた）デジタルオブジェクトの集合体へのインターフェイスとして作用する。ユーザは、１つまたは複数のビューを用いて、デジタルオブジェクトを、コンテナタイプのデジタルオブジェクト中に編成することができる。第１のビューにより、ユーザは、デジタルオブジェクトをグリッド形式または他の空間組織形式で並べる。第２のビューにより、ユーザは、デジタルオブジェクトをフリップブック形式で、たとえば、時間順のオブジェクトとして並べる。あるケースでは、ユーザは、たとえばデジタルオブジェクトをスケーリングし、デジタルオブジェクトを回転させることなどによって、コンテナタイプのデジタルオブジェクトにより任意のデジタルオブジェクトを操作することもできる。

ＩＭＭ１１２は、たとえば、対話型表面からデジタルオブジェクトを取り除くことによって、対話型表面１０４をユーザに「クリーンアップさせる」機構も含み得る。あるケースでは、ＩＭＭ１１２は、インターフェイス表面１０４からすべてのデジタルオブジェクトをユーザに消去させる（たとえば、取り除かせる）コマンドを提供し得る。追加的または代替的には、ＩＭＭ１１２は、識別されたデジタルオブジェクトをユーザに消去させるコマンドを提供し得る。

＜Ｃ．代表的処理機能＞
図２３は、上述したファンクションのどの態様を実装するのにも用いられ得る例示的な電気的データ処理機能２３００（これ以降、単に「処理機能」）を説明する。図１を参照すると、たとえば、図２３に示す処理機能２３００のタイプは、対話型表面環境１００のどの態様を実装するのにも用いられ得る。あるケースでは、処理機能２３００は、どのタイプのコンピューティングデバイスにも対応し得る。

処理機能２３００は、ＲＡＭ２３０２およびＲＯＭ２３０４などの揮発性および不揮発性メモリ、ならびに１つまたは複数の処理デバイス２３０６を含み得る。処理機能２３００は任意選択で、たとえばハードディスクモジュール、光ディスクモジュールなど、様々なメディアデバイス２３０８も含む。処理機能２３００は、メモリ（たとえば、ＲＡＭ２３０２、ＲＯＭ２３０４、または他の所）によって維持される命令を処理デバイス（複数可）２３０６が実行すると、上で識別された様々な操作を実施し得る。より全般的には、命令および他の情報は、スタティックメモリ記憶デバイス、磁気記憶デバイス、光学記憶デバイスなどを含むが、それに限定されない、どのコンピュータ可読媒体２３１０にも格納することができる。「コンピュータ可読媒体」という用語は、複数の記憶デバイスも包含する。「コンピュータ可読媒体」という用語は、たとえば、ワイヤー、ケーブル、ワイヤレス伝送などを介して第１の場所から第２の場所に伝送される信号も包含する。

処理機能２３００は、ユーザから（インプットモジュール２３１４を介して）様々なインプットを受け取り、ユーザに（アウトプットモジュール２３１６を介して）様々なアウトプットを与えるインプット／アウトプットモジュール２３１２も含む。図１、２は、様々なタイプのこのようなインプットモジュール２３１４およびアウトプットモジュール２３１６（たとえば、それぞれ、インプット機能１０８およびコンテンツ投影機能１０６に対応する）を記載している。処理機能２３００は、１つまたは複数の通信コンジット２３２０を介して他のデバイスとデータを交換する１つまたは複数のネットワークインターフェイス２３１８も含み得る。１つまたは複数の通信バス２３２２が、上述のコンポーネントを通信可能に結合する。

最後に、本説明は、様々な概念を、例示的な挑戦課題または問題のコンテキストにおいて記載している場合がある。この説明方式は、他者がこうした挑戦課題または問題を、本明細書において指定したように理解し、かつ／または表現していることを認めるものではない。

より全般的には、構造的特徴および／または方法論的行為に特有の言葉で本主題を説明したが、添付の請求項において定義される本主題は、上で説明した特有の特徴または行為には必ずしも限定されないことを理解されたい。そうではなく、上に記載したこうした特有の特徴および行為は、権利請求される本発明を実装する形の例として開示されるものである。

Claims (15)

1. 対話型表面に関与する方法（１１００）であって、
   前記対話型表面上の選択された場所および向きでのインプットデバイスの配置を検出するステップ（１１０６）であって、前記インプットデバイスは、英数字テキスト入力を与えるように構成された、ステップと、
   前記対話型表面上にデジタルオブジェクトを、前記インプットデバイスに位置的に関連づけて表示するステップ（１１０８）と
   を含み、
   前記デジタルオブジェクトは、ユーザによって前記インプットデバイスを使って入力された情報の視覚表現を提示する表示インターフェイスを提供することを特徴とする方法。
2. 前記インプットデバイスを前記デジタルオブジェクトに関連づける視覚属性を表示するステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記デジタルオブジェクトは、第１のデジタルオブジェクトを含み、前記対話型表面は、第２のデジタルオブジェクトも表示し、前記方法は、
   前記第２のデジタルオブジェクトに近接した任意のインプットデバイスの配置、または前記任意のインプットデバイスに近接した前記第２のデジタルオブジェクトの配置を検出するステップと、
   前記任意のインプットデバイスを前記第２のデジタルオブジェクトに自動的に関連づけるステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
4. 前記インプットデバイスは第１のインプットデバイスを含み、前記方法は、
   前記第１のインプットデバイスに近接した前記対話型表面上での第２のインプットデバイスの配置を検出するステップと、
   前記検出するステップに応答して、前記第１のインプットデバイスおよび前記第２のインプットデバイス両方が前記デジタルオブジェクトに関連づけられるように、前記第２のインプットデバイスを前記デジタルオブジェクトに自動的に関連づけるステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
5. 前記インプットデバイスは第１のインプットデバイスを含み、前記デジタルオブジェクトは第１のデジタルオブジェクトを含み、前記方法は、
   前記対話型表面上での第２のインプットデバイスの配置を検出するステップであって、前記対話型表面は、第２のデジタルオブジェクトを、前記第２のインプットデバイスに位置的に関連づけて表示する、ステップと、
   前記第１のインプットデバイスに近接した前記第２のインプットデバイスの動きまたは前記第２のインプットデバイスに近接した前記第１のインプットデバイスの動きを検出するステップと、
   前記動きを検出するステップに応答して、前記第１のデジタルオブジェクトによって提供されるコンテンツを、前記第２のデジタルオブジェクトによって提供されるコンテンツとマージするステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
6. 前記デジタルオブジェクトを表示する前記ステップは、
   前記対話型表面上で、ａ）適切と思われる程度まで少なくとも１つの配置制約を満足し、ｂ）前記対話型表面上の前記デジタルオブジェクトと他の既存オブジェクトとの間の干渉を削減する場所に、前記デジタルオブジェクトを配置するステップを含むことを特徴とする請求項１に記載の方法。
7. コンピュータ可読命令を格納するコンピュータ可読媒体（２３１０）であって、前記コンピュータ可読命令は、１つまたは複数の処理デバイスによって実行されると、対話管理モジュールを提供し、前記コンピュータ可読命令は、
   対話型表面上でのマウスタイプのデバイスのユーザによる配置を検出するように構成された論理（５０２）と、
   前記マウスタイプのデバイスの絶対位置および前記マウスタイプのデバイスの向きを判定するように構成された論理（５０２）と、
   前記マウスタイプのデバイスの前記絶対位置および前記向きに基づいて基準座標系を定義するように構成された論理（５０４）と、
   定義済みの前記基準座標系に相対して、前記対話型表面上にカーソルを表示するように構成された論理（５０６）と
   を備えることを特徴とするコンピュータ可読媒体。
8. 前記基準座標系を定義するように構成された前記論理は、
   前記対話型表面上の基準オブジェクト、または
   前記マウスタイプのデバイスの向き
   に相対して前記基準座標系を定義するように動作することを特徴とする請求項７に記載のコンピュータ可読媒体。
9. 前記マウスタイプのデバイスと前記カーソルとを関連づける視覚属性を表示するように構成された論理をさらに備えることを特徴とする請求項７に記載のコンピュータ可読媒体。
10. 前記ユーザが、前記マウスタイプのデバイスによって与えられる制御を有効化したことを検出するように構成された論理と、
    前記マウスタイプのデバイスをタッチモードで操作するように構成された論理であって、前記タッチモードにおいて、前記カーソルは、前記対話型表面に関与するシミュレートされた接触点として働く論理と
    をさらに備えることを特徴とする請求項７に記載のコンピュータ可読媒体。
11. 対話型表面（１０４）を管理する対話型管理モジュール（１１２）であって、
    前記対話型表面（１０４）上での物品（１７０４）の配置を検出するように構成された論理（１７０６）と、
    前記物品（１７０４）に関連づけて使用するために、前記対話型表面（１０４）上にインターフェイスオブジェクト（１７１０）を表示するように構成された論理（１７０８）と、
    前記インターフェイスオブジェクト（１７１０）の、ユーザによるコピー関連有効化を検出するように構成された論理（１７１２）と、
    前記有効化に応答して、前記物品（１７０４）のデジタルコピー（１７０２）を生成し、前記物品（１７０４）の前記デジタルコピー（１７０２）を、前記対話型表面（１０４）上で前記ユーザによって識別された場所に表示するように構成された論理（１７１４）と
    を備えることを特徴とする対話型管理モジュール。
12. 前記ユーザによる、前記コピー関連有効化は、前記ユーザによって、前記インターフェイスオブジェクトを引っ張ることによって実行されるドラッグモーションに対応することを特徴とする請求項１１に記載の対話型管理モジュール。
13. 前記デジタルコピーのある特定のデジタル部分の、前記ユーザによる選択を検出するように構成された論理と、
    前記デジタルコピーの前記特定のデジタル部分の対応物である、前記物品の物理的部分を強調表示し、またはマークするように構成された論理と
    をさらに備えることを特徴とする請求項１１に記載の対話型管理モジュール。
14. 前記ユーザが前記デジタルコピーを前記対話型表面の編集領域に移動したことを検出するように構成された論理と、
    前記ユーザによって前記編集領域内の前記デジタルコピーに付与された物理的マークを検出するように構成された論理と、
    前記物品の別のデジタルコピーを生成するように構成された論理であって、前記別のデジタルコピーは、前記物理的マークのデジタル表現を含む、論理と
    をさらに備えることを特徴とする請求項１１に記載の対話型管理モジュール。
15. 前記対話型表面の少なくとも一部分の複数の表現を異なるそれぞれの時点で記録するように構成された論理と、前記複数の表現に関する情報を提示するように構成された論理とをさらに備えることを特徴とする請求項１１に記載の対話型管理モジュール。

Images