JP2006228215A - タッチセンシティブグラフィカルユーザインタフェースの動作方法およびタッチセンシティブグラフィカルユーザインタフェース - Google Patents

Abstract

【課題】水平卓上ディスプレイの異なる位置から対話可能なマルチユーザ用インタフェースの提供。
【解決手段】ドキュメント及びポップアップアイテム等のグラフィカルオブジェクトが、タッチセンシティブグラフィカルユーザインタフェースの画面に投影される。特定のドキュメントに関連するポップアップアイテムが、ドキュメントから或る距離を置いて表示される。この距離は、ポップアップアイテムのいずれかに触れるときに、関連するドキュメントのオクルージョンを回避するのに十分なものである。ポップアップアイテムは、画面の上に浮かぶように見えるように、透明な、すなわちアルファブレンドされた有色三角形により特定のドキュメントに視覚的に結び付けられる。
【選択図】図１

Description

本発明は、包括的にはグラフィカルユーザインタフェースに関し、特にタッチセンシティブグラフィカルユーザインタフェースに関する。

グラフィカルユーザインタフェースでは、「ポップアップ」アイテムが多くの場合に使用される。メニュー及びツールが、最も一般的なポップアップアイテムの２つである。一般に、ポップアップアイテムは使用が終わるまで画面に一時的に現れる。ポップアップアイテムは、ドキュメント等、グラフィカルオブジェクトに対して操作を行うために使用される。ポップアップアイテムはまた、操作をさらに選択するためのメニューである場合もあれば、オブジェクトの属性を表示する場合もある。

グラフィカルツールの効率を上げるために、Bier等は、両手での操作が可能なToolglassと呼ばれるシースルーユーザインタフェースウィジットについて述べている。ユーザは片手で透明ツールを位置決めし、他方の手で操作を開始することができる。Bier等、「Toolglass and magic lenses: the see-through interface」、Proceedings of SIGGRAPH '93, pp.73-80, 1993を参照のこと。しかし、このインタフェースは３つの別個の装置、すなわち２つの入力装置、たとえばタッチパッド及びマウス、並びに１つの出力装置、たとえば表示画面を必要とする。

Hinckleyは、マウスにセンサを使用するダイナミックグラフィカルToolglass起動方法について述べている。Toolglassは、ユーザがマウスに触れたときのみディスプレイに出現する。Hinckley、「Techniques for Implementing an On-Demand Tool Glass for Use in a Desktop User Interface」米国特許第６，２３２，９５７号、２００１年５月１５日発行を参照のこと。

効率的な片手操作を可能にしながらツールを自在に位置決めできるように、Fitzmaurice等がトラッキングメニューについて述べている。ポインティングデバイスがツール容器のエッジに達すると、ツール容器全体がポインティングデバイスの動きに追従する。ポインティングデバイスがエッジを離れ、再びツール容器内になると、ユーザは操作のツール要素を選択することができる。Fitzmaurice等、「Tracking Menus」Proceedings of the ACM Symposium on User Interface Software and Technology (UIST '03), pp.71-79, 2003を参照のこと。

上記の従来技術はすべて、表示端末、ラップトップＰＣ、又はタブレットＰＣと併せて使用するものである。典型的な、比較的小型の従来の画面では、通常、ただ１つのツール又はトラッキングメニューがアクティブに表示される。このようなディスプレイでのドキュメントとデスクトップツールとの間の距離は、正しい関連及びリンクの認識を混乱させるものではない。

本発明では、ダイレクトタッチ面が入力空間及び出力空間が重ねられたグラフィカルユーザインタフェースとして定義される。すなわち、画像は、面が触れられている間、正面投影を用いて面上に表示される。比較的大型のダイレクトタッチ画面の場合、多くの潜在的な問題がある。すなわち、タッチング要素による表示画像のオクルージョン（遮蔽）、画面とユーザの間の距離、１人以上のユーザによる多数のグラフィカルオブジェクトの同時表示及び同時操作、並びに判読性である。

ダイレクトタッチ画面を使用する場合、接触を行っている手又はスタイラスが画面のオクルージョンを生じさせる可能性がある。オクルージョンが生じる可能性は、手又は入力トランスデューサにより潜在的にドキュメントのオクルージョンを発生させる可能性があるため、また表示オブジェクトに重なったポップアップアイテムにより、ポップアップアイテムがオブジェクト上又はオブジェクト付近に表示されている場合に増大する。

第２に、表示オブジェクトのいくつかに手が届かないように画面のすべての部分に手を伸ばすことは難しい場合がある。マルチユーザグラフィカルインタフェースの場合、これは、すべてのユーザがオブジェクトに協同して触れて操作することができるように、オブジェクトを位置替えする必要があり得ることを意味する。こういったタスクは、表示オブジェクトの位置を固定したままで可動ツール及びメニューで支援されるべきである。

マルチユーザインタフェースの場合、１人以上のユーザが複数のアプリケーション、ドキュメント、及びオブジェクトと同時に対話することができる。したがって、複数のツール及びメニューを同時に表示することができる。このため、表示オブジェクトに関連付けられたツール及びメニューが必要である。

卓上画面等の水平ディスプレイの場合、ユーザはテーブルの異なる角度又は異なる側からインタフェースと対話し得る。したがって、従来の直線的なテキスト表示はすべてのユーザが容易に判読できるものではない。

大型マルチユーザダイレクトタッチインタフェースの上記問題を解消することが望ましい。

［発明の概要］
本発明は、従来技術によるタッチインタフェースに伴う問題を解消した大型マルチユーザダイレクトタッチグラフィカルユーザインタフェースと対話する方法及びシステムを提供する。グラフィカルオブジェクトが表面に表示される。ユーザは触れることによりオブジェクトを操作する。

グラフィカルオブジェクトは、概してドキュメントと定義される画像、テキスト、図等を含むことができる。グラフィカルオブジェクトはまた、ドキュメントを操作する、又は操作を行うために使用されるポップアップアイテムも含む。複数のユーザがオブジェクトを同時に操作することができる。

触れることによる操作対象及び操作はポップアップアイテムとして表示される。ポップアップアイテムは、オクルージョンをなくすために、触れられているドキュメントから或る距離を置いて表示される。ポップアップアイテムは、ユーザがアイテムをドキュメントに関連付けることができるようにドキュメントに視覚的に結び付けられる。結び付きは、アルファブレンドされた半透明の有色三角形スワス帯を用いて実現される。このように表示される場合、ポップアップアイテムは、ドキュメントの十分な視野外に、画面上で、ある高さに、「浮かんで」いるように見える。

本発明は、ドキュメント及びポップアップアイテムが、ユーザが画面の回りに位置決めされた場所に正しく向けられるように極変換及びデカルト変換を用いる。

グラフィカルオブジェクトは、オブジェクトを触れることによって任意に位置決めされる。オブジェクトに対して、移動、ドラッグ、回転、サイズ変更、及び向き変更を行うことができる。向き変更は、１回のタッチ動作によるオブジェクトの平行移動及び回転として定義される。触れることは、指、手、スタイラス又はライトペン等のポインティングデバイス又はマーキングデバイス、又は画面に適した他のトランスデューサにより行うことができる。オブジェクトは個々に移動させることもできれば、又はオブジェクト群に関連して表示されるハンドルを用いて群として移動させることもできる。

本発明はまた、移動が片手で行われ、所望の操作が他方の手で開始される両手操作を可能にする。両手操作が、従来技術と異なり単一の入力装置を用いて行われることに留意されたい。

本発明はまた、複数のユーザによる協同操作を可能にする。１人のユーザがオブジェクトを操作している間に、別のユーザがドキュメントを画面上で移動させることができる。

［好適な実施形態の詳細な説明］
図１は、本発明によるマルチモデルタッチセンシティブグラフィカルユーザインタフェース１００を示す。システムは、タッチセンシティブ面２００に電気的に接続されたテーブル１１０、椅子１２０、プロジェクタ１３０、及びプロセッサ１４０を備える。椅子の１つに座っているユーザが画面２００上の或る位置に触れると、ユーザと面上の触れられた位置との間に静電結合が発生する。位置はプロセッサにより感知され、触れられた位置に従って操作が行われる。

１人のユーザ又は複数のユーザによる複数のタッチ又はジェスチャを同時に検出することができる。プロセッサ１４０により処理されるタッチに従って、画像がプロジェクタ１３０により面上に表示される。画像は、グラフィカルオブジェクトのセットを含む。特定のセットは１つ又は複数のオブジェクトを含むことができる。表示されるオブジェクトは、本明細書では概してドキュメントと定義するテキスト、データ、画像等であることができる。オブジェクトは、より詳細に後述するポップアップアイテムも含むことができる。

複数のユーザが同時に触れる複数の位置を感知することが可能なタッチ画面を使用することが好ましい。Dietz等、「DiamondTouch: A multi-user touch technology」Proc. User Interface Software and Technology (UIST) 2001, pp. 219-226, 2001及びDietz等に２００２年１２月２４日に発行され、参照により本明細書に援用する米国特許第６，４９８，５９０号「Multi-user touch surface」を参照のこと。ハンドジェスチャが、Wu等により２００３年９月１０日に出願され、参照により本明細書に援用する米国特許出願第１０／６５９，１８０号「Hand Gesture Interaction with Touch Surface」に記載されている。

表示されるグラフィカルオブジェクトは、オブジェクトに触れることにより任意に位置決めされる。位置決めにより、オブジェクトに対して移動、ドラッグ、回転、サイズ変更、及び向き変更を行うことができることを意味する。向き変更は、１回のタッチ動作によるアイテムの平行移動及び回転として定義される。触れることは、指、手、スタイラス又はライトペン等のポインティングデバイス又はマーキングデバイス、或いは画面に適した他のトランスデューサにより行うことができる。

図２は、種々のグラフィカルオブジェクトがある画面２００を示す。１つのオブジェクトは、開始位置２０２に表示されているドキュメント２０１である。また、関連するポップアップアイテム２０３、たとえばメニュー、ツール、及びドキュメントの属性のセットも表示される。メニューはさらに選択を行うために使用することができ、ツールはドキュメントに対してアクション又はコマンドを実行し、属性はドキュメントの特徴、たとえばサイズ、タイプ、名前、位置等を記述する。

ユーザ２２０はポップアップに触れて、ポップアップを移動して位置変更する、又はアクション若しくはコマンドを実行することができる。最初、ドキュメント及びポップアップアイテムのセットは、図２に示すように実質的に同じ場所に配置されている。

図３に示すように、オプションの表示ハンドル３０１をポップアップアイテム２０３に関連付けることができる。ハンドル３０１は、アイテムが最初に画面に出現したときに表示される。ハンドルを移動させると、関連するアイテム２０３のセットが群として位置決めされる。すなわち、ドキュメントの位置及びアイテムの位置の関連をスペースにおいて解除することができる。

本発明の変形形態では、アイテムはアイテムの回りに円又は楕円３１０に位置決めされる。

したがって、図３に示すように、本発明は、アイテムセットが位置変更されたときに、どのドキュメントがポップアップアイテムの特定のセットに関連しているかを示す視覚的なフィードバックをユーザ２２０に提供する。フィードバックは、点描で示す透明、すなわちアルファブレンドされた有色三角形４００の形態である。

図４に示すように、特定の操作アイテム２０３の各三角形４００は、関連する操作対象アイテムの開始位置２０２、すなわちドキュメント２０１の中央に頂点を有する。三角形の底辺は、操作アイテムの側面に結び付く。異なる操作アイテムの三角形は異なる透明色を有することができる。図４は、ドキュメントが位置変更された（４１０）ときに、ドキュメントの向きがユーザの位置に従ってどのように変更されるかも示す。

マルチユーザ環境では、アイテム及びいずれのテキストの向きもユーザの位置に対応することができる。たとえば、ユーザ２２０が図２及び図３に示すディスプレイに関してテーブルの「末尾」に座っているものと仮定する。

図５は、テーブルの左側に座っているユーザ５２０のディスプレイの向きを示す。ここではハンドルがなく、したがってアイテムを個々に変位できることにも留意されたい。

図６に示すように、ドラッグツール６０１及び回転ツール６０２をドキュメント２０１の角に表示して、位置決めし易いようにすることができる。

本発明の変形形態では、ポップアップにはコマンドではなくドキュメントの属性が関連付けられる。属性には、ドキュメントのサイズ、位置、及び名前を含むことができる。

この変形形態では、ポップアップアイテムを触れたときにアクションは実行されない。その代わり、ポップアップアイテムに触れることで、アイテムの位置を変更することができる。各ポップアップアイテムはそれ自体のハンドルとして振る舞う。したがって、ユーザは、ポップアップアイテムに触れると、そのアイテムを画面上の任意の位置に位置決めすることができる。ポップアップアイテムが、画面上で別のポップアップに重なるように位置決めされる場合、システムはこれに応答して、位置変更されたポップアップに関連する属性の値を他方のポップアップに割り当て、それに従って他方のアイテムに関連するドキュメントを変更する。

たとえば、小さなドキュメント及び大きなドキュメントが表示される。大きなドキュメントの「サイズ」ポップアップが、小さなポップアップの「サイズ」ポップアップの上に重ねられる。システムはこれに応答して、大きなドキュメントのサイズ属性を小さなドキュメントのサイズ属性に割り当て、結果として２つのドキュメントが同じサイズを有するようになる。

本発明について好ましい実施形態の例として説明したが、他の様々な適応及び変更を本発明の精神及び範囲内で行うことが可能であることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内のこのような変形及び変更をすべて包含することである。

本発明によるグラフィカルユーザインタフェースの側面図である。 本発明によるインタフェースの上面図である。 本発明による視覚的に結び付いたグラフィカルオブジェクトを含むインタフェースの上面図である。 本発明によるアルファブレンドされた半透明の有色三角形スワス帯を含むインタフェースの上面図である。 インタフェースの左側にいるユーザとのインタフェースの上面図である。 本発明による位置ツールを含むインタフェースの上面図である。

Claims (20)

1. タッチセンシティブグラフィカルユーザインタフェースの画面に第１のグラフィカルオブジェクトを表示すること、
   前記第１のグラフィカルオブジェクトから或る距離を置いて、前記第１のグラフィカルオブジェクトを操作するために使用される第２のグラフィカルオブジェクトを表示することであって、前記距離は、前記第２のグラフィカルオブジェクトに触れたときに前記第１のグラフィカルオブジェクトのオクルージョンを回避するのに十分なものである、表示すること、
   前記画面において前記第１及び第２のグラフィカルオブジェクトを視覚的に結び付けること、
   を備えたタッチセンシティブグラフィカルユーザインタフェースの動作方法。
2. 前記画面は卓上であり、
   前記第１及び第２のグラフィカルオブジェクトを前記卓上に投影することをさらに備えた、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
3. 前記第１のグラフィカルオブジェクトはドキュメントであり、前記第２のグラフィカルオブジェクトはポップアップアイテムである、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
4. 前記ポップアップアイテムはグラフィカルツールである、請求項３に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
5. 前記ポップアップアイテムはメニューである、請求項３に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
6. 前記ポップアップアイテムはドキュメントの属性である、請求項３に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
7. 前記グラフィカルユーザインタフェースの単一ユーザにより行われる複数のタッチを同時に感知することをさらに備えた、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
8. 前記グラフィカルユーザインタフェースの複数のユーザにより行われる複数のタッチを同時に感知することをさらに備えた、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
9. 前記タッチはジェスチャである、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
10. 前記第１及び第２のグラフィカルオブジェクトを前記画面上の任意の位置に位置決めすることをさらに備えた、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
11. 前記グラフィカルオブジェクトは個々に位置決めされる、請求項１０に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
12. 前記位置決めすることは、移動、ドラッグ、回転、サイズ変更、及び向き変更を行うことを含む、請求項１０に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
13. 前記第１のグラフィカルオブジェクトを操作するために使用される前記第２のグラフィカルオブジェクトのセットを、前記第１のグラフィカルオブジェクトから或る距離を置いて表示することであって、前記距離は、前記第２のグラフィカルオブジェクトアイテムのセットに触れるときに前記第１のグラフィカルオブジェクトのオクルージョンを回避するのに十分なものである、表示すること、
    前記第１のグラフィカルオブジェクトを前記第２のグラフィカルオブジェクトのそれぞれに前記画面において視覚的に結び付けること、
    をさらに備えた、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
14. 表示されるハンドルを前記第２のグラフィカルオブジェクトのセットに関連付けること、
    前記ハンドルに触れて移動させると、表示されている前記第２のオブジェクトのセットを群として位置決めすること、
    をさらに備えた、請求項１３に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
15. 前記視覚的に結び付けることは、前記第１のグラフィカルオブジェクトの中央に頂点を有し、前記第２のグラフィカルオブジェクトの１つの側面に底辺をそれぞれ有する透明な有色三角形の形態である、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
16. 前記第１及び第２のグラフィカルオブジェクトに触れるユーザの位置に従って前記第１及び第２のグラフィカルオブジェクトの向きを決定することをさらに備えた、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
17. ドラッグツール及び回転ツールを前記第１のグラフィカルオブジェクトに関連付けることであって、前記ドラッグツール及び前記回転ツールは前記第１のグラフィカルオブジェクトの角に配置される、関連付けることをさらに備えた、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
18. 前記第１のグラフィカルオブジェクトに第１の手で触れることであって、それによって前記グラフィカルオブジェクトを選択する、触れること、
    前記第２のグラフィカルオブジェクトに第２の手で触れることであって、それによって前記第１のグラフィカルオブジェクトを操作する、触れること、
    とをさらに含む、請求項１に記載のタッチセンシティブグラフィカルユーザインタフェースの動作方法。
19. ドキュメントのセットをタッチセンシティブグラフィカルユーザインタフェースの画面に表示すること、
    前記各ドキュメント毎に、関連するドキュメントを操作するために使用されるポップアップアイテムのセットを、前記関連するドキュメントから或る距離を置いて表示することであって、前記距離は、前記ポップアップアイテムのいずれに触れるときであっても前記関連するドキュメントのオクルージョンを回避するのに十分なものである、表示すること、
    前記各ドキュメント毎に、前記ポップアップアイテムのセットを視覚的に結び付けること、
    と
    を備えた、タッチセンシティブグラフィカルユーザインタフェースの動作方法。
20. 第１のグラフィカルオブジェクトをタッチセンシティブグラフィカルユーザインタフェースの画面に表示する手段と、
    前記第１のグラフィカルオブジェクトを操作するために使用される第２のグラフィカルオブジェクトを、前記第１のグラフィカルオブジェクトから或る距離を置いて表示する手段であって、前記距離は、前記第２のグラフィカルオブジェクトアイテムに触れるときに前記第１のグラフィカルオブジェクトのオクルージョンを回避するのに十分なものである、表示する手段と、
    前記第１及び第２のグラフィカルオブジェクトを前記画面において視覚的に結び付ける手段と、
    を備えた、タッチセンシティブグラフィカルユーザインタフェース。

Images