JP2004259247A - マルチユーザコラボラティブ円形グラフィカルユーザインタフェース - Google Patents

Abstract

【課題】円形グラフィカルユーザインタフェース用の視覚化およびレイアウト方式を提供する。
【解決手段】アイテムを表示するマルチユーザコラボラティブ円形グラフィカルユーザインタフェースは、マウスのクリックといった外部コマンドに応答して、アイテムの極座標を生成する変換エンジン４１０と、極座標に従ってアイテムの画像を生成する非同期レンダリングエンジン４２０と、上記レンダリングエンジンを制御するスレッドスイッチングエンジン４３０を含む。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
この発明は、包括的には、グラフィカルユーザインタフェースに関し、より具体的には、コラボラティブ円形グラフィカルユーザインタフェースに関するものである。
【０００２】
【従来の技術】
プレゼンテーションは、多数の職業上および社会生活上の場面の１つの重要な様相である。経営幹部は重役に対してプレゼンテーションを行い、管理職は部下との打ち合わせを行い、販売員は潜在的な顧客に対してプレゼンテーションを行い、医者は看護婦および患者との打ち合わせを行い、弁護士は陪審員に対してプレゼンテーションを行い、家族および友人は、生活の中の重要な出来事の写真を提示し、共有し合う。
【０００３】
多くの場合に、有効なプレゼンテーションを生み出し、配布することには多大な努力が注がれる。専用のソフトウエアを用いて、従来のパーソナルコンピュータシステムはプレゼンテーションを生み出し、それを行うための有効なプラットフォームを提供することができる。現在市販されているプレゼンテーションプログラムモジュールは、パーソナルコンピュータを用いて、表示ターミナルおよびデジタルプロジェクターを使用した映像プレゼンテーションを生み出し、配布するための特別なプレゼンテーションシステムへと構築することができる。
【０００４】
一般的に述べると、これらの従来技術のプレゼンテーションシステムは、特別に設計された使い勝手のよいツール一式を設けており、次に視聴者に表示されることになるプレゼンテーション資料の作成を容易にする。また、これらのプレゼンテーションシステムによれば、映像毎に色、動画、音声を付加し、効果的に場面を切り替えながら視聴者に映像を順次提供することができ、そのプレゼンテーションの内容を豊かにし、引き立たせることができる。
【０００５】
従来のプレゼンテーションシステムは、プレゼンテーションを行っている間に、そのプレゼンテーションの内容と双方向動作するための有効な手段を提供していない。この欠点は、従来のプレゼンテーションシステムが２つの動作モード、すなわち編集モードと表示モードのみを有するために生じる。たいてい１人のユーザがプレゼンテーション資料を作成し、その後、同じプレゼンテーション資料を視聴者に配布する。プレゼンテーションを行っている間に、その１人のユーザは、編集モードを呼び出すことによってのみ、そのプレゼンテーション資料の内容と双方向動作することができ、主にそれによってユーザはプレゼンテーション資料が配列される順番を変更することができる。
【０００６】
そのプレゼンテーションの全ての参加者がそのプレゼンテーションの内容に同時に双方向動作することはできないので、これらの従来のプレゼンテーションシステムを用いるときに著しい欠点が生じる。
【０００７】
従来のシステムは、プレゼンテーションを受けるだけの視聴者に対して１人のプレゼンタが使用するために設計されており、そのプレゼンテーションの全ての参加者が対等な立場でプレゼンテーションの内容に双方向動作できる場面を想定して設計されていない。従来のプレゼンテーションは通常、一次元的な設置状態で行われる。プレゼンタは視聴者に対面し、視聴者はプレゼンタの背後にあるプレゼンテーション資料を視認する。プレゼンタは、視聴者あるいはプレゼンテーション資料のいずれか一方を見ることができるが、それらの両方を同時に見ることはできない。
【０００８】
さらに、従来のプレゼンテーションシステムは、１組の制御部しか持たない。プレゼンタ以外の誰もがプレゼンテーションを操作できるようにすることは、かなりの混乱を招き、面倒である。また、一度に複数の画像を表示する大部分のコンピュータ実施型プレゼンテーションシステムは、機械式のスライドソータによって用いられるのと同じ矩形の形式を用いる。それらは、通常１人のユーザが表示されるプレゼンテーションに対して特定の方向を向くことを要求する。これらのタイプのシステムは、高い双方向動作性を有し、多元的で、複数の参加者が互いに、かつ表示されるプレゼンテーションに面する状況に構成し直すことには適していない。
【０００９】
代替的なプレゼンテーションシステムは、テーブルトップといった円形表示面を使用することができる。テーブルトップの表示は、ホワイトボード、投影スクリーン、デスクトップコンピュータ、またはハンドヘルドデバイスといったこれまでのプレゼンテーションシステムを上回る多くの利点を有し、特に、複数のユーザが、互いに共同し、コンピュータ資源にアクセスするという両方を行う必要があるコラボラティブタスクにとって、多くの利点を有する。
【００１０】
ユーザは、コンピュータスクリーンまたは小さなハンドヘルドデバイスの周りに寄り集まろうとするのではなく、テーブルの周りに座ることができ、したがって、簡単にお互いと向かい合うことができる。テーブルトップは、共有された空間を提供し、また、ユーザが、完全にプライベートな空間ではないとしても、彼ら自身の個人的な作業空間を持つことも可能にする。最後に、テーブルトップは、電子ディスプレイであろうとなかろうと、ユーザが画像を広げ、編成することができる便利な空間を持つだけの余裕がある。
【００１１】
最近、多くの代替的な表示システムが記述されてきた。例えば、Ｗｅｌｌｎｅｒ Ｐ．著の「Ｔｈｅ ＤｉｇｉｔａｌＤｅｓｋ Ｃａｌｃｕｌａｔｏｒ： Ｔａｎｇｉｂｌｅ Ｍａｎｉｐｕｌａｔｉｏｎ ｏｎ ａ Ｄｅｓｋ Ｔｏｐ Ｄｉｓｐｌａｙ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＵＩＳＴ ’９１， ＡＣＭ Ｐｒｅｓｓ， ｐｐ． ２７−３３， Ｎｏｖｅｍｂｅｒ １９９１、Ｗｅｌｌｎｅｒ Ｐ．著の「Ｉｎｔｅｒａｃｉｎｇ ｗｉｔｈ Ｐａｐｅｒ ｏｎ ｔｈｅ ＤｉｇｉｔａｌＤｅｓｋ」Ｃｏｍｍ． ＡＣＭ Ｖｏｌ， ３６， ７， ｐｐ． ８６−９６， １９９３、Ｓｔｒｅｉｔｚ， Ｎ．等著の「ｉ−ＬＡＮＤ： Ａｎ Ｉｎｔｅｒａｃｔｉｖｅ Ｌａｎｄｓｃａｐｅ ｆｏｒ Ｃｒｅａｔｉｖｉｔｙ ａｎｄ Ｉｎｎｏｖａｔｉｏｎ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ （ＣＨＩ’９９）， ｐｐ． １２０−１２７， １９９９、Ｐｒａｎｔｅ， Ｔ．、Ｍｕｌｌｅｒ−Ｔｏｍｆｅｌｄｅ， Ｃ．、Ｓｔｒｅｉｔｚ， Ｎ．、Ｓｔｅｉｎｍｅｔｚ， Ｒ．著の「ＣｏｎｎｅｃＴａｂｌｅｓ： Ｄｙｎａｍｉｃ Ｃｏｕｐｌｉｎｇ ｏｆ Ｄｉｓｐｌａｙｓ ｆｏｒ ｔｈｅ Ｆｌｅｘｉｂｌｅ Ｃｒｅａｔｉｏｎ ｏｆ Ｓｈａｒｅｄ Ｗｏｒｋｓｐａｃｅ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １４^ｔｈ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ （ＵＩＳＴ’０１）， Ｎｏｖｅｍｂｅｒ， ２００１、およびＧｕｉｍｂｒｅｔｉｅｒｅ， Ｆ．、Ｓｔｏｎｅ， Ｍ．、Ｗｉｎｏｇｒａｄ， Ｔ．著の「Ｆｌｕｉｄ Ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ Ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ Ｗａｌｌ−ｓｉｚｅ Ｄｉｓｐｌａｙｓ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １４^ｔｈ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ （ＵＩＳＴ’０１）， Ｎｏｖｅｍｂｅｒ， ２００１を参照されたい。
【００１２】
デジタルデスク（ＤｉｇｉｔａｌＤｅｓｋ）は、ビジョンおよびプロジェクタの機能により拡張された物理的なデスクであり、物理的なデスクトップと電子的デスクトップが１つに融合されている。デジタルデスクは、単一ユーザ用に設計されている。ｉ−ＬａｎｄプロジェクトのＩｎｔｅｒａｃＴａｂｌｅは、複数のユーザ用の方形面を提供する。しかしながら、これらのテーブルトップユーザインタフェースのほとんどは、方形の形式で画像を編成する。円形グラフィカルユーザインタフェースを実現することが望まれている。
【００１３】
【発明が解決しようとする課題】
コラボラティブ円形グラフィカルユーザインタフェースは、特有の問題を提示する。これらの問題は、単一の「デスクトップ」インタフェースが、デカルト座標によって完全に制約される、例えばＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）といった従来のイベント駆動型「ウィンドウ」アーキテクチャおよび単一ユーザが対処することができない問題である。円形グラフィカルユーザインタフェースによる問題は、円形であり、かつ、テーブルトップにあるコラボラティブユーザインタフェースの３つの独特の特性から生じる。
【００１４】
第１に、表示されるアイコン、文書、および画像といった「アイテム」と総称するものの極位置および極方向が、従来の方形フォーマットと異なる特別な方法で操作されなければならない。
【００１５】
第２に、表示可能なアイテムの個数および種類が、これまでの「デスクトップ」上に通常見られるものよりもずっと多い。また、アイテムは、同時ユーザに関連する複数のレイヤおよびビューに編成することができる。
【００１６】
第３に、インタフェースを駆動するイベントは、複数のユーザ間のコラボレーションから発生する。従来のウィンドウベースのアーキテクチャは、これらの問題のいずれにも対処していない。
【００１７】
【課題を解決するための手段】
本発明は、円形グラフィカルユーザインタフェース用の視覚化およびレイアウト方式を提供する。このインタフェースは、極座標系を使用して、画像を表示するので、通常、デカルト座標系を使用する従来の技法は適用できない。
【００１８】
本発明の目的は、円形インタフェースの画像の再配置、方向の再設定、拡大縮小および割り付けをリアルタイムで行う全ての機能をこのインタフェースのユーザに与えることである。
【００１９】
本発明の別の目的は、複数のユーザが、複数の視点から画像のコラボラティブな表示および操作を行うことを可能にすることである。
【００２０】
【発明の実施の形態】
システム構造
図１は、本発明によって動作する円形グラフィカルユーザインタフェース１００の近くにいる複数のユーザ１０１〜１０３を示している。ユーザは、動的でコラボラティブな方法で映像プレゼンテーションを共有し、映像プレゼンテーションと双方向動作する。本発明によるシステムは、表示面、すなわち円形テーブル１２５の水平なテーブルトップ１３０に画像１１０を表示する。これら画像は、写真、ビデオ、コンピュータ生成画像、アイコン、文書、または他の任意の表示可能なソース素材といった以下「アイテム」と総称するものとすることができる。好ましい実施形態では、テーブルトップ１３０の表面は、タッチ検出式である。
【００２１】
インタフェース１００は、方向指示領域１４０、および複数のコントロールパネル（メニュー）２００を含む。好ましい実施形態では、方向指示領域１４０は、画像の周辺部にある環状のリングである。コントロールパネルは、環状のリング内で合成される。それぞれのユーザに対して、１つのコントロールパネルすなわち上位レベルメニューが存在する。必要に応じて、ポップアップメニューをさらに追加することができる。ポップアップメニューは一般に、一時的である。
【００２２】
コントロールパネル２００は、表示面１３０のユーザの前面の領域に表示される。ユーザ１０１〜１０３が表示テーブルの周囲を動き回るに従い、各ユーザのコントロールパネル２００が追従するように、カメラ３６０（図３参照）をユーザ１０１〜１０３の追跡用に使用することができる。あるいは、ユーザは、ポインティングデバイスを使用して、各ユーザのコントロールパネルがテーブルトップに現れるべき場所を指示することができる。
【００２３】
図２は、コントロールパネル２００のアイコンをさらに詳細に示している。それぞれのユーザのコントロールパネルは、次のアイコン、すなわち、インクパッドアイコン２１０、キーボードアイコン２２０、人アイコン（ｐｅｏｐｌｅ）２３０、カレンダーアイコン（ｃａｌｅｎｄａｒ）２４０、作業空間アイコン（Ｗ）２５０、新規アイコン（Ｎ）２６０、場所アイコン（ｌｏｃａｔｉｏｎ）２７０、イベントアイコン（ｅｖｅｎｔｓ）２８０、表示アイコン２９０、および概観アイコン２９５を含む。マウスまたはタッチ検出式技法を使用して、コントロールパネル２００のアイコンを起動することができる。最初に、アイコンは、白色の背景に黒色で表示されるが、アイコンが起動または選択されると、そのアイコンは、フルカラーで表示される。
【００２４】
人アイコン、カレンダーアイコン、場所アイコン、およびイベントアイコンは、対応する「ビュー」に関連付けることができる。これまでのウィンドウベースのデスクトップでは、関連する１つのビューしか存在しない。しかしながら、本実施形態では、それぞれのユーザは、テーブルトップに表示可能なものの１つまたは２つ以上のビューを作成することができ、ユーザは、これらビューのいずれも、アクティブビューとして選択することができる。すなわち、アクティブビューは、現在表示されているビューである。例えば、「イベントビュー」は、イベントにより画像を編成し、クラスタリングする（ｏｒｇａｎｉｚｅｓ ｃｌｕｓｔｅｒｓ ｉｍａｇｅｓ）。「カレンダービュー」は、同じタイムフレームで取得される画像をクラスタリングする。「場所ビュー」は、地理的位置により画像をクラスタリングする。本質的には、ビューは、ある論理関係を有する画像の組である。
【００２５】
図３に示すように、アイテムの画像は、本発明によるソフトウェアアーキテクチャ４００を実行するプロセッサ３１０によって合成される。合成された画像は、表示面に表示される。表示される画像は、ユーザ入力コマンド（イベント）に応答して合成される。ユーザ入力は、タッチ面３２０、キーボード、マウス３３０などを介して行うことができる。利点として、本システムは、複数のユーザによって同時に操作することができる。好ましい実施形態では、表示面は円形である。テーブルトップでの表示の場合、画像は、プロジェクタ３４０およびミラー３５０を介して表示される。プロジェクタを垂直に取り付けるか、あるいは逆投影法を使用してミラーの必要性をなくすことができる。これは、出力画像が、多数の個々の画像から合成され得ることを必要とするので、１つのプロジェクタだけが使用されるという事実は、重要である。
【００２６】
上述したように、インタフェース１００に対するユーザ１０１〜１０３の相対的な場所を確定するために、カメラが使用される。
【００２７】
図面の中には、テーブル上にコーヒーマグカップ１を示しているものもある。コーヒーマグカップ１は、本発明の一部ではないが、多くの場合、コーヒーマグカップは、職業上または社会生活上で、プレゼンテーション中に存在する重要なアイテムである。利点として、本発明は、プレゼンテーションとコーヒーマグカップあるいは他の物理的な検討アイテムとを違和感なく調和させることができる。実際に、あるビジョンシステムのプロセッサ３１０に接続されるカメラ３６０を使用して、表示される画像を、ユーザインタフェースの一部ではない物理的なアイテムが、画像の主要な部分を不明瞭にしないように合成することができる。
【００２８】
本発明によるアーキテクチャ４００の主な目的は、写真、スライド、テキスト、ビデオなどの「アイテム」を操作し、かつ提示することである。アイテムは、「イベント」を生成するコントロールパネルおよび他の入力デバイスを用いて、ユーザにより操作される。画像が選択されるときに、サウンドトラックも再生できるように、画像をサウンドトラックに関連付けることができる。また、画像には、テキストで注釈を付けることもできる。
【００２９】
アイテムは、データベース（ＤＢ）３７０に編成することができる。データベースは、ローカルであってもよいし、または、リモートであってもよい。アイテムは、数例にすぎないが、例えばｂｍｐ、．ｊｐｇ、ｍｐｇ、．ｇｉｆ、．ｐｄｆ、または．ｅｐｓの拡張子を付されたファイルといったデジタル画像の形態を有することができる。これらのファイルはソースデータを形成し、ソースデータから画像が形成される。画像は、例えば、．ｗａｖファイルの関連するオーディオファイルを有することができる。また、アイテムには、名前、日付、場所などによって注釈を付けることもできる。後述するように、アイテムは、データベース３７０から選択され、選択されたアイテムが、「ビュー」として表示される画像内に合成される。複数のユーザは、同時に、かつインタラクティブに合成プロセスと双方向動作することができる。方向指示領域１４０は、プレゼンテーション画像１１０またはアクティブビューの「内容」の向きを決めるために使用される。方向指示領域が円形である場合には、表示される画像を回転テーブルのように回転させることができる。この回転は、選択された向きで画像を合成するプロセスによって行われる。このリングは、テーブルトップのタッチ検出面上に投影することができる。
【００３０】
アイテムの画像は、概ね、選択が行われた場所からコントロールパネルに向かう方向で、すなわち、概ね、アイテムを選択したユーザと向かい合って表示される。別のユーザが、続いて、同じ画像を見たい場合、後にさらに詳述するように、選択することにより、それに応じて、その画像は、画像全体で配置および方向の再設定を行うことができる。
【００３１】
個々のユーザの見る好みおよびグループ共有で見る必要性をサポートするために、インタフェースは、２つの汎用ユーザインタフェース機能を提供する。第１に、表示された画像全体をいずれの方向にも自由に回転させることができる。この動作は、それぞれ個々のユーザの見る角度に向けて、インタフェースの全体的なレイアウトを順に回すのに非常に便利な手段である。さらに、我々は、ユーザがどこに座っていようとも、テーブルトップの周囲に沿ってコントロールパネルの位置を合わせることを可能にする。
【００３２】
インタフェースおよび画像の方向
ウィンドウベースのアーキテクチャといったこれまでの方形インタフェースは、通常、そのユーザまたはその複数のユーザが、常にほぼ同じ方向および角度から、すなわち端末またはスクリーンの前面から、そのインタフェースを見るものと仮定する。従来技術のインタフェースは通常、直交（デカルト）座標系を使用して、画像を表示する。例えば、画像は、ほとんどの場合、常にピクセルの横の列および縦の列に従って一列に並べられ、これにより、表示領域またはスクリーンを分割する方形ウィンドウをさらに画定することもできる。画像のピクセルが並べられると、アフィン変換および拡大縮小といった変換は簡単である。
【００３３】
一方、我々の発明は、インタフェースがユーザ同士の間に位置する、顔と顔とを向かい合わせたコラボレーションを可能にする。したがって、我々は、そこに表示されている画像を含む表示インタフェース全体の回転および方向の再設定の問題を考慮しなければならない。このように、我々は、インタフェース表面上の任意の画像またはすべての画像の便利な方向の再設定、インタフェース表面の周りの画像の通過、ならびにユーザインタフェースおよび画像のサイズの設定を容易にするために、視覚化およびコラボラティブな双方向動作を行うアーキテクチャを提供する。
【００３４】
円形グラフィカルユーザインタフェースのアーキテクチャの概観
図４は、コラボラティブ円形グラフィカルユーザインタフェースのアーキテクチャおよび方法４００を示している。アーキテクチャは、相互に接続された変換エンジン４１０、非同期レンダリングエンジン４２０、およびスレッドスイッチングエンジン４３０を含む。これらエンジンの動作は、マウスのクリック、ドラッグ＆ドロップイベント、自由形式ストロークイベント、タッチイベント、およびキーボードイベントといった外部イベント４５０に応答して行われる。
【００３５】
外部イベント４５０に応答して、変換エンジン４１０は、グラフィックスコンテキストおよび入力イベントの変換行列４１１の極座標を生成する。非同期レンダリングエンジン４２０は、マルチレイヤの複数の深さのレンダリング関数を調和させ、スレッドスイッチングエンジン４３０は、複数の実行スレッド、複数の画像レイヤ、および複数のテーブルトップビューを調和させる。これら３つのエンジンによって、入力イベントと出力レンダリングとの間の正確で効率的な対応が保証される。
【００３６】
アーキテクチャ４００は、画像のレイヤを操作する。ビューを形成するためにレイヤの組を収集することができる。複数のビューを同時に保持することができる。ビューは、そのビューと関連するレイヤの組を所定の順序で合成することにより形成される。アクティブビューは、テーブルトップに現在表示されているプレゼンテーション画像１１０である。レイヤのタイプは、アイテムレイヤ４０１、ビューレイヤ４０２、および背景レイヤ４０３を含むことができる。最終的な画像のピクセルのすべてがある値を有することを確保するために、背景レイヤは、透明なピクセルを有しない。例えば、背景レイヤのピクセルは、初期値として、すべてブルーに設定される。
【００３７】
レイヤの個数は、時間の経過と共に変化することができる。レンダリング中、アイテム４０１は、ビューレイヤ４０２に合成され、次に、ビューレイヤ４０２は、背景レイヤ４０３上に合成される。画像バッファは、それぞれのレイヤに関連している。したがって、最後のリフレッシュから変化していないいずれの画像も、レンダリング中、ディスプレイバッファまたはビデオバッファに直接コピーすることができる。好ましい実施形態では、ダブルバッファ技法が使用される。第１のバッファが表示されている間、第２のバッファがピクセルにより満たされる。次に、第２のバッファが表示され、第１のバッファがピクセルにより満たされ、以下同様である。
【００３８】
レイヤ
図５は、ビューに合成することができる一組の可能なレイヤを示している。融合およびレンダリングの目的で、レイヤは、たとえば最上位から最下位に向けて０，１，２，３，４等と番号が付けられている。ここで、１つのレイヤは、常に「最上位」レイヤと定義される。合成操作は、いずれのレイヤにおいても、その下位レイヤのすべてと実行することができる。例えば、レイヤ３は、レイヤ０＋１＋２＋３の合成であり、レイヤ４は、レイヤ１＋２＋３＋４の合成である。
【００３９】
例えば、これらレイヤは、最上位から最下位に向けた順序で、以下のレイヤを含むことができる。ポップアップアイテムまたは上位レベルメニューのレイヤ４５１は、当該レイヤが存在するならば、常に最上位にある。一般に、ポップアップメニューは一時的である。選択された画像のレイヤ４５２は、レイヤ４５１が存在しないならば、最上位にある。コントロールバーまたはメニューバー２００を有するレイヤ４５３は、上記レイヤのいずれも存在しないならば、最上位レイヤである。レイヤ４５４は、選択された画像を除くすべての画像を有する。レイヤ４５５は、変形グリッド（ｄｅｆｏｒｍａｔｉｏｎ ｇｒｉｄ）用のレイヤである。変形グリッドは、ビューがどのように変形可能であるかをユーザが視覚化するのを支援する。例えば、「ブラックホール」タイプの効果を与えるには、ビューの中心付近のアイテムを、ビューのエッジ付近のアイテムよりも狭い間隔で配置し、かつ小さく見えるようにすることができる。まさしく最下位には、背景レイヤ４５６が存在する。
【００４０】
変換エンジン
我々のアーキテクチャによって、ユーザ１０１〜１０３は、アクティブビュー１１０全体を回転させることができるか、またはビュー内の個々の画像を移動させることができる。個々の画像は、アフィン変換、すなわち平行移動、拡大縮小、および回転を用いて移動させることができる。インタフェースは、主に円形であるので、２つの極座標系が保持される。グローバル極座標系は、ビュー全体に割り当てられ、ローカル極座標系は、ビュー内の個々の画像に割り当てられる。画像の移動は、イベント４５０に応答して行われる。
【００４１】
変換エンジン４１０は、必要なプリミティブのすべてを操作して、これら２つの極座標系に基づき円形インタフェースを構築する。これまでのＧＵＩでは、構成要素の階層を用いて、スクリーンレイアウト（デスクトップ）を小さな領域に分割することが非常に一般的である。これは、方形インタフェースでは、方形がローカル座標系でのみ動作するそれぞれの領域を有するより小さな方形に分割することができ、ローカル座標系では、表示されるそれぞれのビジュアルオブジェクトに対して１つの共通の方向しか存在しないので、可能である。例えば、デスクトップインタフェースでは、すべての画像が垂直方向に並べられ、回転は不可能である。
【００４２】
一方、極座標ベースのインタフェースは、表示されるアイテムの支配的な方向を有しない。したがって、スクリーンを分割することはできず、より小さな問題をローカルフレーム座標系で解決することはできない。その結果、ウィンドウベースのデスクトップアーキテクチャにおけるように、グローバルレイアウトをローカルレイアウトから組み立てることはできない。
【００４３】
極座標系では、意味のある１つの中心または１つだけの中心が存在する。すべてのアイテムは、この中心が常にどこにあるかを知らなければならない。したがって、表示されるすべてのアイテムを極位置および極方向によって同時に記述する必要がある。
【００４４】
極座標系
図６に示すように、本発明によるアーキテクチャは、２つの極座標系を用いて、３つの変数を決定する。３つの変数は、それぞれの画像５０５の中心５０４から表示面、すなわち「ビュー」の中心５００までの半径距離ｒ５０１、ビューの中心の周りの回転角α５０２、およびそれぞれの画像の中心の周りの回転角β５０３である。角αは、表示面の、ある仮想基準線５１０に対する角度であり、角βは、角αからそれぞれの画像の中心軸５２０へのオフセットである。比較のため、「ＡＢ」とラベル付けされたアイテム５０５は、角αよりも大きな角βを有し、「ＣＤ」とラベル付けされたアイテム５０５は、非常に小さな角βおよび９０°に近い角αを有する。さらに、グローバル角φ５３０が設けられ、これは、ビュー全体が、ある任意の基準位置に対してどれだけ回転しているかを決定する。
【００４５】
たとえβ角がゼロであっても、角αは、これらの２つのアイテムにとって異なり、これらアイテムは、異なる方向を有する。この問題は、デカルトフレームワークには存在しない。第３の自由度である角β５０３の導入により、あらゆるアイテムを、そのアイテム自体の中心の周りに回転させることができる。
【００４６】
それぞれのアイテム、要素の相対的な位置を管理するために、変換エンジン４１０は、アイテムの位置（ｒ_５０１，α）を変換行列４１１およびローカル角β５０３に変換する。例えば、変換は、β＝−α＋φを用いて、テーブルトップに表示されたすべての要素を回転し、角φ５３０によって定義される、テーブルにおけるユーザの位置に向いた同じ方向に向ける。角φ５３０は、ビュー全体を回転するために使用されるグローバル角度である。また、β＝−α＋φとβ＝０との間の中間の値を用いて、文書の方向を連続体で方向の再設定を行うこともできる。
【００４７】
マルチレイヤマルチデプス非同期再描画エンジン
円形グラフィカルインタフェースは、本明細書中で説明されるように、ユーザが、テーブルトップ（ビュー）上のアイテムの「パイル（ｐｉｌｅ）」、「シャッフル（ｓｈｕｆｆｌｅ）」、「パス（ｐａｓｓ）」、および「流布（ｓｐｒｅａｄ）」を行うことを可能にする（図１を参照）。さまざまな解像度への拡大縮小（ズーム）も行うことができる。したがって、おそらく千またはそれより多くの非常に多数のアイテムをある特定のビューに表示し、リフレッシュすることが必要となる可能性がある。これは、従来のデスクトップディスプレイに「オープン」したウィンドウの個数よりも２〜３桁大きい。
【００４８】
それぞれ個々のアイテム自体は、多数のピクセルを有し得るので、アクティブビューの１つの合成をリフレッシュするために処理されるピクセルの合計数は、極めて大きくなる可能性がある。
【００４９】
このため、マルチレイヤは、非同期レンダリングエンジン４２０によって使用される。アクティブビューの「内容」が位置、方向、またはサイズにおいて変化するときはいつでも、非同期レンダリングエンジン４２０が、レンダリングの必要のあるレイヤ、およびレイヤのレンダリングの順序を決定する。この決定は、例えば、ビュー全体の回転、選択されたアイテムのサイズおよび方向の再設定、あるレイヤから別のレイヤへのアイテムの移動、ある特定のレイヤの合成画像の構築、アイテムの属性の更新などのイベント４５０に基づいて行われる。
【００５０】
それぞれのアイテムは、サイズ、現在位置、および方向角といったそのアイテムの特性と、そのアイテムのソースデータを形成するデータベース３７０の物理的なファイルへのポインタとを記述する属性を備えた表示可能な画像の一部である可能性がある。特定用途向けの属性をアイテムと関連付けることも可能である。例えば、デジタル画像に対して、ユーザは、影の生成、描画品質／解像度のパラメータ、およびアイテムが回転可能か否かについての情報のための属性を追加することができる。
【００５１】
マルチレイヤの表現では、アイテムレイヤ４５１は通常、１つまたは２つ以上の選択されたアイテムを含む。選択されたアイテムは、例えば、当該アイテムが回転の最中、別のユーザに渡されている最中など、ユーザによってアクティブに制御されている最中であり、イベント４５０を引き起こす。選択されたアイテムの表示の変化を反映するには、そのアイテムの新しいバージョンを、そのアイテムを含むことになるビューレイヤ４５４と合成し、次に、そのレイヤを背景レイヤ４５６と合成することで十分である。異なるビューを起動することによって、そのビューのみが、背景レイヤと合成されるだけある。そのビューの個々のアイテムは、それらアイテムが選択されるまで、合成される必要はない。
【００５２】
換言すると、合成は、最下位から最上位に向けた順序で行われる。背景（最深部）レイヤ４５６は、比較的静的であり、例えば、最初は青色であり、その後、変形グリッド、マップ、またはテーブルクロスのテクスチャによって上書きされる。複数のビューが使用される場合には、それぞれのビューを区別するために、異なった背景を使用することができる。
【００５３】
このレイヤは、最初に合成される。しかしながら、背景の変化により、背景レイヤの上にあるすべてのレイヤの再合成が必要となる。層状にすることにより、レイヤまたはビューを再合成するのに必要な回数が削減される。最上位レイヤは常に、これまでのレイヤの上に合成される最後のレイヤである。
【００５４】
図７（ａ）および（ｂ）にそれぞれ示すように、２つのレンダリング方法を使用することができる。第１の方法では、それぞれのレイヤ内のすべてのアイテムの画像６０１〜６０４が生成される（６１１〜６１４（左矢印））。この生成は、それぞれのアイテムのソースデータから、サイズおよび方向といったパラメータに従って行われる。次に、レイヤは、ビューをレンダリングするために、最下位から最上位に向けた順序で合成することができる（上矢印）。第２の方法では、それぞれのレイヤ６２１〜６２４は、そのレイヤの下位にあるすべてのレイヤだけでなく自身も含む。これらの２つの方法は、それぞれ、「パイル（ｐｉｌｅ）」および「ピラミッド」と呼ばれる。実用的に言うと、ピラミッドでは、より深いレイヤのアイテムよりも高い頻度で変化するアイテムの個数は、最上位レイヤでは少ない。これら２つの方法は、併用することができる。例えば、パイルレイヤは、ピラミッドレイヤと合成することができる。ピラミッドレイヤ６２１〜６２４は、生成プロセスを因子分解するために、パイルレイヤ６０１〜６０４から生成することができる。
【００５５】
スレッドスイッチング
本発明によるレンダリングエンジン４２０は、複数のスレッドを同時に、かつ非同期に実行する。非同期のレンダリングは、それぞれのレイヤ用の独立したレンダリングスレッドを保持することにより行われる。
【００５６】
マルチレイヤ表現は、テーブルトップに表示されるビューの一部の選択的なレンダリングを可能にする。ほとんど場合、選択されたアイテムの１つの画像のみを再生成する必要がある。例えば、あるユーザが、別のユーザに写真を「渡している」か、またはその写真をズームしている場合である。しかしながら、ユーザがテーブルトップのビュー全体を回転させる場合には、すべてのレイヤを、１つの新しい回転されたビューに合成する必要があり得る。別の場合では、テーブルトップのビューのいくつかの部分、例えば、ユーザのコントロールパネルは静止したままである一方、画像の残りの部分は回転する。
【００５７】
スレッドは、ソースデータから生成する必要のある画像数が最小となるように実行される。また、待ち時間は最小となる。例えば、ユーザがアイテムを移動させ、次にビュー全体を回転させる場合、画像全体が更新され、その１つのアイテムのためのレンダリングパスは捨てられる。
【００５８】
本アーキテクチャは、タイマ用のスレッドも含む。タイマは、アイテムを動画にするために使用することができる。データベースからソースデータを取得するために、他のスレッドが使用される。
【００５９】
複数のビューおよび複数のコントロールバー
上述したように、本アーキテクチャは、複数のビューをサポートする。この特徴の１つの簡単な使用としては、複数の仮想テーブルを提供することであるが、これらの仮想テーブルはすべてユーザ環境において同じ空間を使用する。より重要なことは、この使用により、さまざまなユーザが、さまざまな方法で同じアイテムを見て、さまざまな物の見方を得ることが可能になることである。例えば、ユーザは、それぞれが異なるビューを表す複数の写真に誰が写っているか、それら写真はいつ撮影されたか、またはそれら写真はどこで撮影されたかに基づいて写真を議論することができる。
【００６０】
複数ビューシステムにおいて異なるビューに切り替えると、マルチレイヤ表現のアイテムのリストが、異なるビューにおいて異なる可能性がある。アイテムの組、アイテムのサイズ、背景、およびどのような他の情報が表示されているかは、ビューが異なると変化し得る。
【００６１】
本アーキテクチャは、ユーザがビューを切り替え、さまざまな方法でアプリケーションを制御することを可能にするコントロールパネルを提供する。本アーキテクチャは、複数の曲線状のコントロールパネルをサポートする。このコントロールパネルは、１人のユーザに１つ提供され、テーブルトップに表示された円形ビューの縁に沿って自由にドラッグすることができる。
【００６２】
これまでのウィンドウＧＵＩでは、選択されたアイテム用のポップアップメニューを有することが一般的である。これらは常に同じ垂直方向で表示される。これは、円形インタフェースでは当てはまらない。円形インタフェースでは、ポップアップメニューは、インタフェースの周辺部と向かい合うユーザと位置合わせされる。この場合、表示を回転すると、ユーザは混乱する可能性がある。したがって、本システムは、ポップアップメニューの「影」を、選択されたアイテムに関連するそのオリジナルの場所に残すことができる。
【００６３】
好ましい実施形態を例にして本発明を説明してきたが、本発明の精神および範囲内で他のさまざまな適合および変更を行い得ることは理解されるであろう。したがって、併記特許請求の範囲の目的は、本発明の真の精神および範囲内に入るようなすべての変形および変更を網羅することである。
【図面の簡単な説明】
【図１】本発明によるマルチユーザコラボラティブ円形グラフィカルユーザインタフェースの斜視図である。
【図２】図１のマルチユーザコラボラティブ円形グラフィカルユーザインタフェースのコントロールバーの平面図である。
【図３】図１のマルチユーザコラボラティブ円形グラフィカルユーザインタフェースの側面図である。
【図４】図１および図３のマルチユーザコラボラティブ円形グラフィカルユーザインタフェースのブロック図である。
【図５】本発明によって使用されるレンダリングレイヤのブロック図である。
【図６】本発明によって使用される極座標系の図である。
【図７】パイルおよびピラミッドのレンダリングのブロック図である。

Claims (11)

1. アイテムを表示するマルチユーザコラボラティブ円形グラフィカルユーザインタフェースであって、
   外部コマンドに応答して、前記アイテムの極座標を生成する変換エンジンと、
   前記極座標に従って前記アイテムの画像を生成する非同期レンダリングエンジンと、
   前記非同期レンダリングエンジンを制御するスレッドスイッチングエンジンとを備えるマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
2. 前記アイテムをレンダリングする円形表示領域
   をさらに備える請求項１記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
3. 前記円形表示領域は、タッチ検出面を含む
   請求項２記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
4. 前記アイテムの中心軸が、前記円形表示領域の中心を貫通する
   請求項２記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
5. 前記アイテムは、複数のレイヤからレンダリングされる
   請求項１記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
6. 前記複数のレイヤは、ポップアップレイヤ、コントロールレイヤ、選択された画像のレイヤ、変形グリッド、および背景レイヤを含む
   請求項５記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
7. 前記変換エンジンは、前記極座標を用いて、平行移動、拡大縮小、および回転を実行する
   請求項１記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
8. 前記極座標は、ローカル座標およびグローバル座標を含む
   請求項１記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
9. 前記複数のレイヤは、階層的に配置される
   請求項５記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
10. 前記アイテムは、最下位から最上位に向けてレンダリングされる
    請求項９記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。
11. それぞれのレイヤ用に実行スレッドが存在する
    請求項５記載のマルチユーザコラボラティブ円形グラフィカルユーザインタフェース。

Images