JP2011040036A - グラフィカル・ユーザ・インターフェースを用いて通信セッションを管理するシステムと方法。 - Google Patents

Abstract

【課題】グラフィカル・ユーザ・インターフェースを用いて通信セッションをコンピュータで管理するユーザフレンドリな方法を提供する。
【解決手段】 本発明の方法において、通信機器が以下のステップを実行する。（Ａ）通信セッションの構造を表す接続されたグラフィカル要素の組を、グラフィカル・ユーザ・インターフェースを介して、表示するステップと、前記通信セッションは、複数の通信するユーザを含み、（Ｂ）前記接続されたグラフィカル要素の組に関連するユーザ入力を受領するステップと、前記ユーザ入力は、通信セッションに関連したアクションを有し、（Ｃ）前記アクションを、前記受領したユーザ入力に基づいて実行するステップ。
【選択図】 図２Ｄ

Description

本発明は、通信に関し、特にグラフィカル・ユーザ・インターフェース(graphical user interface)を介して、通信セッションを管理するシステムと方法に関する。通信セッションには、様々なモード（例、電話の呼びのセッション、インスタントメッセージ・セッション、ｅメール・セッション、テレビ会議・セッション、スクリーン共有・セッション、マルチメディア・セッション等）が有り、更に通信機器（例、デスクトップ電話、携帯機器、ネットブック等）にも存在する。

タッチトーン電話は、何年にも亘って機能ボタンやメニューを追加することにより補強され続けてきた。これ等の機能へのインターフェースは、単純なボタンから階層型のメニューに展開してきた。このような階層型のメニューは、トラックボール、ポインター等により駆動される。機能の数が増えるに従って、インターフェースは、より多くのボタン、シーケンス、或いはボタンの組合せを追加している。このようなフューチャ（機能特徴）が増えることにより、様々なレベルで複雑な大量のインターフェースが必要となる。時にユーザは、キーの機能をルートで覚えさせることに頼っているが、この方法は、必ずしも実際的ではなく又望ましいことではない。近年、タッチ型ディスプレイを具備するスマートフォンが、同様な機能の提供を開始している。しかしこのようなタッチ型のディスプレイは、ディスプレイの上であっても、機能ボタンやメニューを再度増やしている。

更にユーザは、他の通信形態に移行しつつある。例えばテキストメッセージ、インスタントメッセージ、ｅメール、チャットセッション、電話会議（video conferencing）等である。これ等の通信モードを、従来の電話機に組み込むことは、複雑さや難しさが何倍にもなる。現在必要なものは、より直感的な通信管理インターフェースである。

本発明は、従来の問題点を解決し、通信セッションの管理を改善する。本発明は、様々な種類の通信セッションを早急且つ効率的に管理するグラフィカル・ユーザ・インターフェースに関連するシステムと方法と、これらのソフトウエアを記憶する書き換え可能でコンピュータで読み取り可能な媒体（以下単に記憶媒体と称する）を開示する。システムの実施例においては、システムは、グラフィカル・ユーザ・インターフェース上に特定の通信セッションの構図を表すグラフィカルに接続した要素を、ユーザに示す。以下の説明においては、図１に、本発明が適用されるシステムとコンピュータ装置を開示し、図２以降で本発明のグラフィカル・ユーザ・インターフェースを説明をする。

図２Ａ−２Ｄで、グラフィカル・ユーザ・インターフェース２００は、特に図２Ｃでは、３人のユーザが通信している通信セッションを表す。グラフィカル・ユーザ・インターフェース２００は、ユーザ入力（マルチモードのユーザ入力を含む）を受領し、通信セッションを管理する。例えば、通信セッション上の（にいる）ユーザは、入力をドラッグしドロップするか、或いは入力（マウス）を動かして、コンタクト・リスト２１８からコンタクト先を選択して、この新たなコンタクト先を通信セッションに追加できる。システムは、このような入力を受領すると、自動的にそのコンタクト先の電話番号にダイヤルし、彼らを通信セッションに追加する。ユーザを呼びから外すには、ユーザを表す接続された要素を、ゴミ箱に入れるか、或いはユーザを通信セッションから削除することを表すアイコンをドラッグするかにより、行う。ユーザには、人間或いは人間以外（自動応答機械）の参加者も含む。

通信セッションは、通信のモードの種類を問わない。グラフィカル・インターフェース上に表示された通信セッション内の接続されたユーザの表示は、発呼者／被呼者、インスタントメッセージ・ユーザ、ｅメール・ユーザ、テレビ会議を通して繋がれたユーザ、ｗｅｂ会議のユーザ等を表す。例えば、図２Ａに示した例においては、ユーザは、コンタクト先を選択し、ユーザと同一タイプのユーザ入力を使用し（ドラッグアンドドロップ、フリッキング、ジェスチャ等を用いて）、その人とあらゆる種類の通信モードを開始することができる。しかしユーザは、様々な入力モードに対する様々な入力機構を知る必要はない。

通信セッションの参加者に接続したグラフィカル要素の表示と、グラフィカル要素が如何に接続されるか、ユーザがグラフィカル要素と如何に相互作用するかは、全て通信セッションのニーズと現在の能動的コンテキストによって、変わる。例えば通信セッションの参加者に関連するグラフィカル要素は、テキスト、タイトル、ポジション、或いは各ユーザに関するデータを含む。このグラフィカル要素は、ユーザ間の接続表示、接続の種類（電話、画像、ｗｅｂカンファレンス等）、接続の質（ローバンドとハイバンド）、参加者が最初のユーザに対する階層的関係（友達か、同僚か、知人か、未知のユーザか等）、接続の状態（有効か、無効か、ホールド状態か等）を表す。

システムの実施例を表す図。 通信セッションを有さない最初のビューを表す図。 来入した通信セッションのビューを表す図。 来入した通信セッションを受け入れた後の最初のビューを表す図。 第三当事者を追加した後の通信セッションのビューを表す図。 通信セッションのネットワーク・ビューを表す図。 通信セッションの第２のビューを表す図。 同時に存在する他の通信セッションを有する通信セッションの第３のビューを表す図。 通信セッションを分割するアクションを表す図。 通信セッションを分割するアクションの結果を表す図。 本発明の方法を表すフローチャート図。

図１において、システム１００は、プロセッサ１２０と、システム・バス１１０とを有する。プロセッサ１２０は、様々なシステム構成要素である。システム・バス１１０は、メモリ１３０とＲＯＭ１４０とＲＡＭ１５０をプロセッサ１２０に接続する。システム１００はキャッシュ１２２を有する。キャッシュ１２２は、高速メモリで、プロセッサ１２０に直接接続されるか、近くに配置されるか、或いはその一部として一体に形成される。システム１００は、メモリ１３０又は記憶装置１６０からのデータを、キャッシュ１２２に一時的にコピーして、プロセッサ１２０が迅速にアクセスできるようにしている。かくして、キャッシュ１２２は、プロセッサがデータを取り出すのを待つことにより、プロセッサ１２０の処理が遅延するのを回避し、性能を向上させる。これ等のモジュールは、プロセッサ１２０を制御して様々なアクションを実行する。他のメモリ１３０も同様に使用可能である。メモリ１３０は、様々な性能特徴を有する複数の種類のメモリを含む。このシステムは、複数のプロセッサ１２０を有するシステム１００上で動作するか、それ等をネットワークで繋いだグループで動作するか、或いはクラスタ上で動作して、より大きな処理能力を与えるようにしている。プロセッサ１２０は、汎用プロセッサと、ハードウエアのモジュール或いはソフトウエアのモジュールを含む。例えば、第１モジュール１６２、第２モジュール１６４、第３モジュール１６６で構成され、これ等は記憶装置１６０内に配置され、プロセッサ１２０と特定目的のプロセッサとを制御する。この特定目的プロセッサでは、ソフトウエアのインストラクションが、実際のプロセッサのデザイン（ハードウエア）に組み込まれている。プロセッサ１２０は、自己保有型のコンピュータシステムであり、複数のコア又はプロセッサと、バスと、メモリコントローラと、キャッシュ等を含む。マルチコアプロセッサは、対称或いは非対称性の何れでもよい。

システム・バス１１０は、あらゆるタイプのバス構造体を含み、例えば、メモリバス、メモリコントローラ、周辺バス、ローカルバスであり、あらゆるバス構造を利用したものを含む。ＲＯＭ１４０内に記憶されるベーシックな入力／出力（basic input/outout:ＢＩＯＳ）は、ベーシックなルーチンを与える。このベーシックなルーチンは、システム１００内の構成要素の間の情報の伝送を助ける、例えばスタートアップ時の情報の伝送を助ける。システム１００は記憶装置１６０を含む。この記憶装置１６０は、例えばハードディスクドライブ、磁気ディスクドライブ、光学ディスクドライブ、テープドライブ等である。記憶装置１６０は、ソフトウエアモジュール１６２，１６４，１６６を有し、プロセッサ１２０を制御する。また他のハードウエアモジュール又はソフトウエアモジュールを組み込み可能である。記憶装置１６０は、システム・バス１１０にドライブインターフェースで接続される。このドライブインターフェースとそれに関連するコンピュータに読み込み可能な記憶媒体は、コンピュータで読み込み可能なインストラクション（データ構造）、プログラムモジュール、或いはシステム１００用の他のデータの非揮発性の記憶媒体を提供する。一態様によれば、特定の機能を実行するハードウエアモジュールは、ソフトウエアコンポーネントを含む。このソフトウエアコンポーネントは、機能を実行するために必要なハードウエア（プロセッサ１２０，システム・バス１１０，出力装置１７０）と接続された書き換え不可能なコンピュータ読み込み媒体内に記憶される。これ等のベーシックな構成要素は当業者には公知である。システム１００は、小型コンピュータ、携帯用コンピュータ、デスクトップコンピュータ、コンピュータサーバー等でもよい。

本発明の一実施例では、記憶装置１６０はハードディスクであるが、他のあらゆる種類の記憶媒体も当業者は容易に想到できる。例えば磁気カッセト、フラッシュメモリカード、ＤＶＤ、カートリッジ、ＲＡＭ１５０、ＲＯＭ１４０、或いはビットストリームを含むケーブル或いは無線信号も、本発明で用いることができる。書き換え不可能なコンピュータで読み込み媒体は、エネルギー、キャリア信号、電磁波、信号そのもののような媒体を含まない。

システム１００とユーザの間の双方向動作を可能とするために、入力装置１９０は、あらゆる数の種類の入力機構、例えば、マイクロフォン、タッチセンサ、グラフィカル入力、キーボード、マウス、モーション入力、音声認識装置等である。出力装置１７０は、当業者に公知の複数の出力機構の内の１つである。出力装置１７０が、グラフィカルディスプレイを有し、タッチ入力を受領することができる場合には、入力装置１９０と出力装置１７０は、同一の要素或いはディスプレイである。一実施例においては、マルチモードのシステムにより、ユーザは、システム１００と通信するために複数の入力を提供できる。通信インターフェース１８０は、ユーザ入力とシステム出力を管理する。本発明は、特定のハードウエア要素上で動作することに限定されず、基本的な機能は、改良されたハードウエア或いはファームウエアで置換できる。

図示したシステムの実施例は、個別の機能ブロックとして示されている。例えば、プロセッサ１２０として示されている。これ等のブロックの有する機能は、共有ハードウエア、専用ハードウエア、ソフトウエアを実行できるハードウエア、汎用コンピュータ上で実行されるソフトウエアと等価で機能する専用のハードウエア（例、プロセッサ１２０）で実行できる。例えば、図１のプロセッサの機能は、１つの共有プロセッサ或いは複数のプロセッサで提供できる。本明細書において、プロセッサとは、ソフトウエアを実行できるハードウエアに限定されるものではない。ここに示した実施例は、マイクロプロセッサ、デジタル信号プロセッサ、ＤＳＰ、ハードウエア、ＲＯＭ１４０、上記した操作を実行するソフトウエアを記憶するＲＯＭ１４０と、結果を記憶するＲＡＭ１５０とを有する。これらは、ＶＬＳＩハードウエアと汎用のＤＳＰと組み合わせたカスタムＶＬＳＩ回路でもよい。

本発明の様々な実施例の論理動作は、
（１）汎用コンピュータ内のプログラム可能な回路内で実行される、ステップ操作、手順のシーケンスとして、
（２）専用使用のプログラム可能な回路内で実行される、ステップ操作、手順のシーケンスとして、
（３）プログラム可能回路内に組み込まれたマシンモジュール或いはプログラムエンジンとして
実行される。
図１のシステム１００は、本発明の方法の全て或いは一部は、本発明の記憶媒体内のインストラクションに応じて実行する。このような論理動作は、プロセッサ１２０を制御するため、モジュールのプログラムに合わせて特定の機能を実行するモジュールとして実現される。例えば図１では、３個のモジュール即ち第１モジュール１６２と第２モジュール１６４と第３モジュール１６６が、プロセッサ１２０を制御するよう構築されたモジュールとして示されている。これ等のモジュールは、記憶装置１６０内に記憶されＲＡＭ１５０、ルーチンではメモリ１３０にロードされ、或いはコンピュータで読み込み可能なメモリ内に記憶される。

次に図２Ａ−２Ｄに、通信セッションを管理するグラフィカル・ユーザ・インターフェースについて説明する。図１に示したシステム１００は、グラフィカル・ユーザ・インターフェース２００を示し、入力を受領して通信セッションを管理する。本発明の一態様によれば、システム１００は、通信機器（電話、インスタントメッセンジャー、パソコン、携帯コンピュータ、ｅメール装置）と相互作用をして、通信セッションを管理する。更にユーザは、コンピュータと通信できるデスクトップ型の電話機を有してもよい。このコンピュータ装置は、電話機とインターフェースして、図２Ａ−２Ｄに示すようなディスプレイを表示して電話機を用いて通信セッションを管理する。

図２Ａにおいて、ディスプレイにあるグラフィカル・ユーザ・インターフェース２００は、一連のアイコン２０８，２１０，２１２，２１４，２１６，２２０とコンタクト・リスト２１８とを有し、通信セッションを開始したり、来入する通信セッションと相互作用をする。図２Ａ−２Ｄは、通信セッションの管理を表し、例えば通信セッションの設定、通信セッションの終了、参加者の通信セッションへの追加、参加者の通信セッションからの削除を示す。

図２Ａのコンテキストから、ユーザは、コンタクトすべき人を特定して、その人に接触し、同一のモードを用いてあらゆる種類の通信を開始するか、或いは別の種類の通信を開始する。システムはこの点に対しあらゆる種類を受け入れ可能である。ドラッグアンドドロップ、ジェスチャー、タッピング、或いはあらゆる入力モードを用いて、電話の呼びセッション、電話会議セッション、ＩＭセッション、ｅメールセッション等を開始し、それを確立することができる。様々な入力の実施例が、ユーティリティアイコン２０８，２１０，２１２，２１４，２１６，２２０に関連して記載されるが、あらゆる種類の入力モードが、使用する為に利用可能である。

図２Ｂにおいて、来入した通信セッション２０１は、あらゆる種類のセッションが可能である。例えば来入した電話の呼び、来入したインスタントメッセージ、来入したテキストメッセージ、ｗｅｂカンファランスに対するリクエスト、或いは来入したビデオカンファランスが可能である。来入した通信セッション２０１は、リクエストを発したＫａｒｌを表すアイコン２０６を示す。Ｋａｒｌ２０６は、サブパート（例、名前／肩書きビデオ・アイコン２０６ａと通信携帯アイコン２０６ｂ）を含む。ユーザは、通信セッション２０１と相互作用をするが、これは例えばモダリティ（通信モード、通信形態）アイコンをクリックし、それを通信セッション２０１内にドラッグすることにより行う。これによりＫａｒｌ２０６からのテレビ会議リクエストを受け入れる。この実施例においては、ユーザは、電話形態の２０８用のアイコンをクリックしドラッグ（２０５）する。ユーザは別のアイコンを選択できる。ユーザは、他のタイプの入力を与えて、通信セッションと相互作用することができる。例えばアイコンを、タッチスクリーン又はスティラスを介してタッピングする、フリッキングジェスチャ、マウスクリック/ムーブメント、音声入力、キーボード入力、タッチスクリーン上のスワイプ、或いはタッチレスのジェスチャ、或いは適宜のユーザ入力の組合せで用いて、入力を提供できる。タッチスクリーンの場合には、様々なタッチ時間とその圧力で、様々なアクションを行うことができる。ユーザ入力は、マウスムーブメント、クリック、右側クリック、ダブルクリック、ドラッギング、フリッキング、フーバリング、ジェスチャ等を含む。この装置は、振ったり傾けたりして、加速度入力を受け入れることもできる、或いはある動作を表す位置／方向入力も可能である。ユーティリティアイコンを他のエンティティと接続して機能を実行するようなアクション、例えばイグノア（無視）、メッセージの送信、来入する呼びの受領、通信セッションの開始、人を通信セッションから排除したりすることを含む。以下、Ｋａｒｌアイコン２０６とＫａｒｌ２０６とは同意である。

図２Ｂは来入した通信セッション２０１を示す。、ユーザは、通信セッションを、あらゆる方法で開始することができる。例えばユーザは、コンタクト・リスト２１８からコンタクト先を、通信モダリティのアイコン２０８，２１０，２１２，２１４，２１６の１つに、ドラッグすることができる。ユーザは、コンタクト・リスト２１８をスクロールして、識別子２０４ａを有するコンタクト先２０４、所望のコンタクト先のグループを見出し選択し、この選択されたコンタクト先のグループ上をダブルクリックする或いはタップして、通信セッションを開始することができる。識別子２０４ａはグラフィック又はアイコンを有する。これは、その接触先の通信の利用可能なモード（例、ＩＭのみ）、プレゼンス情報（例、オフィスに居るが電話には出られない状態等）、スケジューリング情報（例、人の手が空いているか、手が空いていないが１時間だけは空いている等）を示す。グラフィック形態の情報は、現地時間と、通信セッションのホストの居る時間、又は体内時間を含む。体内時間とは、コンテキストの一形態である。例えば西海岸の住人が、偶々東海岸に居る場合には、１０時ＰＭの電話の通信セッションを受け入れることができる。しかし、これは東海岸の人は受け入れることが出来ない、これは体内時計が合わないからである。この情報は、そのコンタクト先との通信を求めるべきか否かを知るために、ユーザの補助をする。このような情報は、通信セッション内のエンティティを表すアイコン或いはグラフィックに関連して表示される。他のユーザインターフェースの変形例は、これ等の変形例を用いることができる。

図２Ｃにおいて、Ｋａｒｌのアイコン２０６に加えて、ユーザ自身の電話アイコン２０２（図ではFRANK GRIMES）が通信セッション２０１に現れ、Ｋａｒｌ２０６に接続されると、電話アイコン２０２が現れる。FRANK GRIMESの電話アイコン２０２は、選択的事項で、名前／肩書き２０２ａと通信様式アイコン２０２ｂを含む。この場合、ユーザは、入ってきたリクエストに対し電話のアイコン２０８で応答しているので、Ｆｒａｎｋの電話アイコン２０２は、Ｋａｒｌアイコン２０６と、通信セッション２０１内で電話で会話する（電話アイコン２０２ｂで示される）。Ｋａｒｌのアイコン２０６は、ビデオアイコン２０６ｂを有する。このビデオアイコン２０６ｂは、電話会議の機能を表す。Ｆｒａｎｋの電話アイコン２０２が、コンタクト・リスト２１８からＭａｘＰｏｗｅｒ２０４を通信セッション２０１に追加しようとする場合を考えてみる。ユーザの電話アイコン２０２を、コンタクト・リスト２１８からＭａｘＰｏｗｅｒの２０４をクリックし、ドラッグして、それを通信セッション２０１にドロップする。かくして、システム１００は、ＭａｘＰｏｗｅｒ（２０４）を通信セッションに追加する（図２Ｄ）。

本発明は、インターフェースをユーザに提供する。その結果、ユーザは、様々な複数の接続表示（connection metaphor）を使用して、通信セッションを確立し管理することができる。例えばシステム１００は、参加者のアイコンをスクリーン上に表示し、参加者間の相互接続を表示し、ユーザが各相互接続上にモードアイコンを配置して、通信セッションを確立することができる。このシステム１００により、ユーザは、参加者のアイコンをスクリーン上に配置し、モードを選択し、「ゴー」、「コネクト」のようなボタンを押すことができる。システム１００は、参加者のアイコンをスクリーン上に置き、通信モードのアイコンを各参加者のアイコンの上に重ね、ユーザが「ゴー」又は「コネクト」を打つことができるようにする。このインターフェースのオプションは、例示的なものである。実際のインターフェースは様々な方法で実現できる。

本発明の一態様においては、参加者は通信セッション２０１に電話を介して参加する。しかし通信セッション２０１は、様々な通信形態にはこだわらず、ユーザが電話或いは他の通信セッションに参加しようとする場合でも、同様に処理できる。

本発明の一態様においては、システム１００は通信機器の機能を統合する。この場合、図２Ｄのディスプレイであるグラフィカル・ユーザ・インターフェース２００は、マイクとスピーカーとディスプレイを含む計算機器であるシステム１００を表す。この計算機器は、（１）単純な電話機（これを介してユーザの音声を別の発呼者或いは通信セッションに通知する）として、（２）通信セッション管理システム（これは通信システムに関連する様々な参加者を表すイメージを表示し、参加者を追加したり外したりする指示を受領し、或いはグラフィカル・ユーザ・インターフェース２００に関連する様々なパラメータを管理する）として、機能する。

システム１００は、入力を、物理的手段、スクリーン上のキーボード、マウス、スチラス、タッチスクリーン、音声コマンド、シングルタッチ或いはマルチタッチのジェスチャを介して、受領する。通信セッションが確立する前に、システム１００は、ホームスクリーンを表示する。このホームスクリーンでは、通信のユーティリティ例えばアイコン２０８，２１０，２１２，２１４，２１６，２２０を表すグラフィカル要素を示す。一変形例においては、システム１００は、会社概要或いはウエルカムページを示し、そこに簡単なニュース、メッセージ、接触先、カレンダの事象或いは構成のオプション等を示す。他の変形例においては、システム１００は、デフォルトの入力機構、例えば電話番号をダイヤルするためのテンキー数字を表示する。

グラフィカル・ユーザ・インターフェース２００は、３つの接続されたグラフィカル要素の通信セッション２０１を示す。即ちエンティティであるアイコン２０２，２０４，２０６を示す。グラフィカル要素の組は、イメージ、カリカチュア、アバター、テキスト、ハイパーリンクを示す。このハイパーリンクによりグラフィカル要素に関連するユーザに関連する更なる情報へ繋がる。グラフィカルデータのあらゆる組合せを表示して、個々のユーザ、接続モード、ステイタス、プレゼンス、或いは他のモードの機能に関する情報を提供する。テキストは、名前、肩書き、ポジション、生年月日、電話番号、ｅメールアドレス、現在のステイタス、プレゼンス情報或いはその居場所を含むことができる。システムは、グラフィカル要素を、コンタクトした参加者のコンテキスト、ペルソナ、プレゼンス或いは他のファクタに基づいて、変更或いはアニメートすることができる。例えばグラフィカル要素は、目を閉じているアバター或いは人の顔を示すとする。この表示は、そのアバター或いは人は、呼びの間アクティブ状態ではなく呼びに注意を払っていないことを示す。アバターは、脇見をしている人を表す或いは影の着いた人を表すこもできる。この表示状態は、ある他のグラフィカルな表示においては、呼びに参加して居らず、それ等はサイドバー上で無言状態にいることを示す。次に、通信セッションの有効な接続は、以下の形態で表示される。即ち、オーバーラップしたグラフィカル要素を有するグラフィカルな接続表示として、グラフィカル要素を接続するラインとして、グラフィカル要素を接続する形状として、グラフィカル要素を接続する放射線状のラインを有する形状として、グラフィカル要素の共通の増大したアピアランスとして、表示される。オーバーラップした或いはグルーピングしたグラフィカル要素は、或るロケーションにいる人或いは人たちを表す。このような場合その場所に関する情報も提供される。更にグラフィカル要素の色が変わったり濃さが変わったりアニメーション、テキスチャ或いは長さは、グラフィカル要素により表されるエンティティの関係或いは状態を示す。

図２Ｄにおいて、表示された通信セッション２０１は、通信セッション内のエンティティのリアルタイムの通信を表す。この実施例において、リアルタイムの通信は、Ｆｒａｎｋ Ｇｒｉｍｅｓ２０２と、ＭａｘＰｏｗｅｒ２０４と、Ｋａｒｌ２０６の間の３方向の通信セッション２０１である。これは、それぞれのアイコン２０２，２０４，２０６の間を線で繋ぐことにより、示されている。図２Ａ−２Ｄにおいて、ＦＲＡＮＫ２０２がこのスクリーンを見ており、通信セッション２０１のホスト或いはマネージャであるとする。するとディスプレイであるグラフィカル・ユーザ・インターフェース２００は、システムが彼に表すグラフィカルディスプレイである。図４以降の図は、同一のグラフィカルディスプレイを、別の参加者から見た図である。

呼びの設定手順或いは通信セッション設定手順を次に説明する。通信セッション２０１を確立するために、ユーザは、コンタクト・リスト２１８から或いは他の選択機構からコンタクト先をドラッグし、それをブランク領域或いはドラッグエリア或いは所定のスポットにドロップする。例えばＦｒａｎｋ Ｇｒｉｍｅｓを表す要素アイコン２０２の上に落とす。通信セッション２０１内の各参加者或いはコンタクト・リスト２１８のコンタクト先は、複数の関連するアドレス、電話番号、コンタクト先、事務所の電話番号、家庭の電話番号、携帯電話番号或いは事務所のｅメールアドレス、家庭のｅメールアドレス、ＡＩＭアドレスアドレス、ソシャルネットワーキングアドレス、フェースブックのチャットアドレス等を有する。各参加者は、アイコン２０２ｂ、２０４ｂ、２０６ｂ或いはクオリィファイヤーを有する。このクオリィファイヤーは、参加者とコンタクトモードを示す。この時点において、被呼電話番号或いは別のモードの通信アドレスを特定する必要がある。システムは、インターフェース或いはメニューを表示する。これによりユーザは、あらゆる種類の電話番号のキーパッドをダイヤルすることにより、番号リストからユーザの番号を選択することにより、ｅメールアドレスをタイプ打つこと（ユーザがｅメールアドレスしか有さない場合）により、入ることができる。このシステムは、所定のコンタクト先に対しては１個の電話番号のみを有し、そこの番号に自動的にダイヤルする。このシステムは、利用可能な電話番号から、前の電話履歴或いはプレゼンス情報のような基準に基づいて、自動的に番号を選択する。図２Ｄはあるプロセスにおけるステージを表す。このプロセスにおいては、ユーザであるＦｒａｎｋ Ｇｒｉｍｅｓ電話アイコン２０２は、ＭａｘＰｏｗｅｒ２０４とＫａｒｌ２０６との両方との間で通信セッションを形成している。これを図２Ａ，２Ｂ，２Ｃに示す。

通信セッション２０１は電話の呼びに限定されない。グラフィカル・ユーザ・インターフェース２００により、通信セッションのモードの管理が可能となる。他のユーザとの間の呼び、インスタントメッセージ、テキストメッセージ、テレビ会議等を、開始すると、システム１００は、他の当事者への接続を確立し、他の当事者との通信セッションのグラフィカル表示をスクリーン上に表示する。その後ユーザは、更なる当事者を通信セッションに同様な方法で追加できる。ユーザは参加者を通信セッションから削除することもできる。この削除は、その要素をゴミ箱２２０にドラッグすること、フリッキングモーション、参加者その参加者に関連するＸをクリックすること、参加者をハイライトすること、或いは携帯機器が加速度機能を有する場合にはその機器を揺すること、或いは物理的即ちグラフィカルの切断ボタンをクリックすることにより、行われる。通信セッションが電話を介して行われる場合には、システム１００は、ユーザが電話機の受信器を置いた時に、参加者を通信セッションから排除する。参加者が通信セッション２０１から離れると、システム１００は、その参加者のアイコンを通信セッションのグラフィカル表示から取り除く。参加者を通信セッションに加えたり削除したりすることは、その参加者のユーザ入力をドラッグしたりドロップしたりすることにより、行われる。

図２Ａ−２Ｄのグラフィカル要素はアイコンであるが、これ以外にイメージ、テキスト、画像、アニメーション、音声、カリカチュア、アバター等を含むことができる。ユーザは、自分自身のグラフィカル要素を個人特有のものにして、カメラ或いはビデオカメラからのライブのイメージ・ストリームを供給することもできる。更にグラフィカル要素は、テキスト２０２ａ，識別子２０４ａ，ビデオ・アイコン２０６ａの関連するストリングを有することができる。テキストのストリングは、名前、肩書き、ポジション、電話番号、ｅメールアドレス、現在の状態、プレゼンス情報、場所或いは他の利用可能な情報を含むことができる。テキストのストリングは、グラフィカル要素から切り離されるがそれに関連している。別の構成として、システム１００は、テキストのストリングをグラフィカル要素のトップに重ねるか、或いはテキストをグラフィカル要素の一部として一体化することもできる。テキスト又はグラフィカル要素の全て或いは一部は、更なる情報にハイパーリンクすることもできる。この更なる情報は、テキスト又はグラフィカル要素に関連するユーザに関するもので例えばブログ、マイクロブログ、ｅメールアドレス、プレゼンス情報等である。

システム１００は、各アイコン２０２，２０４，２０６用にそれぞれのサブグラフィカル要素であるグラフィカルサブ要素２０２ｂ，２０４ｂ、２０６ｂを有し、各参加者の通信モードを表す。例えばＭａｘＰｏｗｅｒ２０４が、インスタントメッセージ（ＩＭ）クライアント２０４ｂで参加しており、ＦｒａｎｋＧｒｉｍｅｓ電話アイコン２０２は、電話２０２ｂで参加しており、Ｋａｒｌ２０６が、テレビ会議クライアント２０６ｂで参加している。システム１００はモード中立である。このモード中立の意味することは、システム１００は、通信の各モード例えば電話、携帯電話、ＶｏＩＰ、インスタントメッセージ、ｅメール、テキストメッセージ、電話会議等を同等に扱うことである。ユーザが或るモードから別のモードに替わると、サブ要素もそれに応じて替わる。例えばＦｒａｎｋＧｒｉｍｅｓ電話アイコン２０２が地上電話から携帯電話の会議に変わったとすると、電話アイコン２０２ｂは、携帯電話アイコンに替わる。

本発明のシステムにより、ユーザが通信セッション内で様々なモードで通信している場合には、システムは、モードを変更し、通信セッション内でモードを合わせることができる。インスタントメッセージは音声に変換され、それがＭａｘＰｏｗｅｒからの電話会議で話される。この音声は、又テキストに変換され、ＭａｘＰｏｗｅｒ２０４に送られて、モード間の有効な通信を確立する。

グラフィカル要素は、通信セッションに関する情報を搬送するが、これは種類、サイズ、色、ボーダー、輝度、ポジション等を変えることにより、行う。例えばライン（線）は参加者の間の関係を示す。ユーザは、手動で自分のアイコン或いは他人のアイコンの変更をトリガーするか、或いはシステム１００は、この変化を検出して、それによりグラフィカル要素を変化させる。変化は、接触した当事者、コンテキスト、ペルソナ、プレゼンスに基づいて、行われる。例えば人が喋っている時には、システム１００はその人を表すアイコンを大きくする。別の例として、システム１００は、通信セッションで各参加者がどの程度の量を喋っているかを追跡して、通信セッション内の話すトータルの時間に基づいて、グラフィカル要素を上下に動かす。

他の変形例において、システム１００は、グラフィカル要素であるアイコン２０２，２０４，２０６を接続するリンクを、その太さ、長さ、色、スタイル等を変化させることにより、或いはリンクをアニメートすることにより、修正する。この修正は以下のことを表す。即ち、現在の話している参加者、共有している資源、有効通信セッション状態、保持された通信セッション状態、中断した通信セッション状態、ミュートの状態にある通信セッション状態、ペンディングの通信セッション状態、接続する通信セッション状態、複数の参加者のライン、サイドバーのコンバセイション、モニターしたトランスファー、モニターしていないトランスファー、選択的な転送、通信セッションの複数の通信セッションへの選択的なブレイクアップである。かくしてユーザは、通信セッションの状態、発生している通信のタイプ、通信セッションに関する他の重要な詳細についての知識を得ることができる。

本発明の一態様によれば、ユーザは、入力をジェスチャ（例えばドラッグアンドドロップとタッチスクリーンでのドラッグと他のユーザ入力の実行）として提供して、通信セッションを管理することができる。例えばユーザが、呼びのアイコン２０８、ビデオ会議アイコン２１０，ＩＭアイコン２１２，アイコンボタン２１４、或いはソシァル媒体アイコン２１６を、クリックして、他のユーザを通信セッションに招くこともできる。ユーザは、これ等のアイコンをドラッグし、それをコンタクト先或いは現在の通信セッションの参加者にドロップすることっもできる。例えば入ってきた通信セッションが、あるモダリティ（例えばＩＭ２１２）の場合には、ユーザは。呼びアイコン２０８を来入してきた通信セッションにドラッグして、来入してきた通信セッションを受付けることができる。但しそれは、ＩＭから電話の呼びに変換できることげ条件である。

ユーザが、このようなアイコンと相互作用する基本的な例を以下説明する。以下の説明は、ユーティリティアイコン２０８，２１０，２１２，２１４，２１６，２２０を使用してステップが設定される。第１の例は発呼アイコン２０８の使用例である。ユーザであるＫａｒｌ２０６とＦｒａｎｋ２０２が、図２Ｃに示すように通信セッション状態にあるが、これはｅメールを介してであり電話ではないとする。ＦＲＡＮＫ２０２は、電話で単に話したいだけである。この場合、ＦＲＡＮＫ２０２は、指示的入力を、例えば発呼アイコン２０８上にダブルクリックすることにより、提供する。これによりシステムは、通信セッション（ｅメール）が存在しているが、通信の新たなモードがそのセッションで要求されていると認識する。その後電話の呼びが、ＦＲＡＮＫ２０２とＫａｒｌ２０６との間で確立し、これは、スクリーングラフィカル・ユーザ・インターフェース２００上で電話機のアイコン２０２ｂで示される。

次に、ビデオアイコン２１０の使用例を、図２Ａの最初のディスプレイのコンテキストに続いて示す。Ｆｒａｎｋ２０２が、指でビデオアイコン２１０上にタップしホールドし、同時にコンタクト・リスト２１８のＭａｘＰｏｗｅｒ２０４のアイコン上にタップする。システム１００は、この２つの入力を認識し、この入力をＭａｘＰｏｗｅｒ２０４とのテレビ会議通信セッションの開始に対するリクエストと解釈する。システム１００はＭａｘＰｏｗｅｒ２０４に対するプレゼンス情報を取り出し、ＭａｘＰｏｗｅｒ２０４がテレビ会議通話を受け付けるか否かを決定する。情報２０４ａは、ＭａｘＰｏｗｅｒはテレビ会議の機能を有し、現在参加可能であることを示す。そのような場合、システム１００は、通信セッションを、Ｍａｘ２０４とＦＲＡＮＫ２０２との間の画像を介して確立し、グラフィカル・ユーザ・インターフェース２００を、それに応じて更新する。そうでない場合には、システム１００は、ＦＲＡＮＫ２０２に対し別の通信形態を選択することを望むか否かを問い合わせる。その後ＦＲＡＮＫ２０２は、利用可能なユーティリティアイコンをタップする。

図２Ｄのコンテキストで、ＩＭアイコン２０２の使用例について説明する。ＦＲＡＮＫ２０２は、Ｋａｒｌ２０６（既に現在の通信セッションへの参加者である）をＩＭアイコン２１２上にドラッグして、その参加者とのＩＭサイドバーを確立する。システム１００は、ＦＲＡＮＫ２０２とＫａｒｌ２０６との間の更なる通信セッションを、メインの通信セッション２０１と同時に存在するＩＭを介して確立する。システム１００は、ＦＲＡＮＫ２０２とＫａｒｌ２０６の間のＩＭサイドバーの表示を、ＭａｘＰｏｗｅｒ２０４に示す。

図２Ｄのコンテキストで、ｅメールアイコン２１４の例を説明する。ＦＲＡＮＫ２０２は、タッチスクリーン上のｅメールアイコン２１４の上を３本の指でスワイプし、現在の通信セッションに居る参加者全員或いは一部の者に、一斉の（mass）ｅメールを送る。システム１００は、グラフィカル・ユーザ・インターフェース２００に現れた全ての参加者を特定し、これ等参加者のｅメールアドレスを取り出す。或る参加者がｅメールアドレスを持っていない場合には、システム１００は、適宜の置換例えばＩＭ又はＳＭＳを、現在のモード或いはプレゼンス情報の利用性に基づいて、選択する。システム１００が、ｅメールアドレス情報の全てを集めると、ＦＲＡＮＫ２０２はトップアップウインドウ内のメッセージに入り「センド」をクリックする。システム１００は、その後このメッセージを、意図した受領者宛に送る。

図２Ｄのコンテキストで、ソシヤルネットワーキングアイコン２１６について議論する。ＦＲＡＮＫ２０２は、ソシヤルネットワーキングアイコン２１６をダブルタップする。一変形例においては、システム１００は、どの参加者がＦｒａｎｋのソシヤルネットワークの一員でないかを特定する。その後ＦＲＡＮＫ２０２は、視覚的に特定された参加者にクリック或いはタップして、彼等を、例えば,Social Network LinkedIn Facebooknに加える。ＦＲＡＮＫ２０２が、ソシヤルネットワーキングアイコン２１６に一旦タップする或いは何処かにタップすると、システム１００は、ソシヤルネットワーク上に第２回目のタップの位置に、関連するデータ例えば、オーディオクリップ、ドキュメント、ビデオファイル、リンク、テキスト、イメージ或いは他のデータを、掲げる。ソシヤルメディアは、ｗｅｂサイト例えばfacebook, Twitter, LinkedIn, Myspace等を含む。

ユーザはゴミ箱２２０と相互作用するが、これは、参加者のアイコンを、ゴミ箱２２０の方向にフリッキングすることにより、参加者のアイコンの上或いは通信セッション全体に文字「Ｘ」を書くことにより、携帯機器の場合には装置を揺することにより、行うことができる。システム１００は、通信セッションを終了し、コンタクト先を削除し、参加者を通信セッションから外し、或いはゴミ箱２２０に関連するユーザの相互作用に基づいて、他の動作をとることができる。ゴミ箱２２０は、あらゆる形態のグラフィカルイメージを採ることができる。例えば、これは、人或いは物が通信セッションから出るドアや窓の形である。窓やドアが、ディスプレイスクリーン上に現れ、それぞれのアイコンを窓又はドアの方向に移動させ、ホストがエンティティ（例、参加者）を通信セッションから除く。ユーティリティアイコンとのユーザの相互作用と、通信セッション内の少なくとも１つのエンティティは、上記のあらゆる形態を採りうる。各相互作用は、他のユーティリティアイコンにも同様に適用される。

ユーザは、通信セッションを開始するが、これは、適宜のアイコンをコンタクト先にドラッグしドロップすることにより行うことができる。別の構成として、ユーザは、コンタクト・リスト２１８をブラウズし、所望のコンタクト先をドラッグしドロップして、所望のコンタクト先を通信セッションに追加する。するとシステム１００は、自動的にその人に所望のモード、送信者にとって好ましいモード、プレゼンス情報に基づいた現在利用可能なモード、或いは参加者の間の共通モードで、接触して、その人を通信セッションに追加する。システム１００は、別の情報、例えばカレンダ、ノート、メモ、個人のプレゼンス情報、時間等を表示できる。ユーザは、手動で或いはシームレスに１つのモードから別の中間セッションに切り替えることができる。例えば通信セッションにｗｅｂカムの近傍にいる携帯電話で参加しているユーザは、テレビ会議アイコンを通信セッション上にドラッグして、携帯電話をテレビ会議に切り替えることができる。システム１００はユーザが構築可能なものである。

ドラッグとドロップが、この実施例では主に使用されているが、あらゆるユーザ入力、例えばタッピング、ジェスチャによるフリッキング等で、所定のユーティリティアイコン２０８，２１０，２１２，２１４，２１６と参加者（人のみならず電話会議或いはカレンダアイテム等を含む）とのリンクを表すために用いることもできる。

本発明の一態様によれば、ユーザの優先（user prepference）はグラフィカル要素により搬送される情報の関連テキストの量と種類をガイドする。ユーザ優先は、見る者の優先或いはソースパーソンの優先（source person's preference）から得られる。例えば、見る者は、優先を設定して利用可能な他人のｅメールを示すが、ソースパーソンは、ｅメールアドレスを共有できないものとして、優先を設定する。ソースパーソンの優先（或いは、情報の所有者の優先）は、第３者の優先を上書きする。

次に、図３の通信セッションのネットワークビュー３００について説明する。ネットワーク３０２は、様々な通信機器３０４，３０６，３０８，３１０，３１２を接続し、装置から装置へ情報を伝達する。通信ネットワークは、電話回線（ＰＯＴＳ）、非同期トランスファーモード（ＡＴＭ）ネットワーク、ワールドワイドウエブ、ＩＳＤＮ、フレームリレーネットワーク、イーサーネットワーク、トークンリングネットワーク、或いは他の適宜の有線又は無線のネットワークの組合せ或いはその内の１つである。ネットワークは、相互接続されたノード３１４，３１６，３１８，３２０を有し、これらは伝送機能と接続機能の一部或いは全てを実行する。この伝送機能と接続機能は、グラフィカル・ユーザ・インターフェース上に通信セッションをグラフィカル表示を置く。このネットワークノード３１４，３１６，３１８，３２０は、ネットワーク３０２内の全ての機能を実行するか、エンドユーザ通信機器３０４，３０６，３０８，３１２と連動して、通信セッションを操作する。ディスプレイ要素は、装置３０４，３０６である。

本発明の一態様においては、中央集中化されたエンティティ例えばノード３２０は、通信セッションを制御する。中央装置であるノード３２０は、ネットワーク内にあるかネットワークを介して通信する。中央装置３２０は、企業の中央インテリジェンス・サーバとして機能する。他の態様においては、通信セッションの制御と機能は。ネットワーク内の複数のサーバー資源３１４，３１６，３１８，３２０の中に分配しているか、或いはクラウド３０２内にある。中央化されたインテリジェンスやクラウド内にある分散配置されたインテリジェンスに加えて、ネットワーク３０２は、ピアツーピアのアプローチを用いた機能に、エンドポイント３１２，３０８，３０６，３０４上のインテリジェンスを与える。或る変形例では、標準のサーバーや、エンドポイント間にある非標準の機能に、標準の機能を提供する。ある態様において、「システム」、「デバイス」、「通信機器」或るステップを実行するハードウエアの構成要素の特徴は、図１，３に示す「エンドポイント」或いは「ネットワーク要素」としての様々な機器の１つとして、解釈できる。

図３の各通信機器３０６，３０４，３１２，３０８は、同一の通信セッションの異なるアスペクト或いはビューを示す。例えば通信機器３０４のディスプレイは、同一の参加者２０２，２０４，２０６の同一のディスプレイを示す。デバイス３０６のディスプレイは、同一の参加者２０２，２０４，２０６を、装置３０６からビューとは異なる通信セッションのビューで、示す。同様にデバイス３０８、３１２は、同一の参加者２０２，２０４，２０６を、別のビューから示す。これは、通信セッションの個々の参加者に特別に作られたものである。通信機器３０４は、通信セッションのホスト或いはマネージャーを表すが、呼びの参加者（図示せず）でもよい。

本発明の一態様において、携帯機器３０８は、基地局３１０と接続して、ネットワークに接続される。携帯機器３０８は、通信セッションの自分自身のビューを生成するか、別の通信機器のディスプレイのデュプリケート或いはコンパニオンビューを示す。

一般的に、通信セッションの管理は、ユーザ例えばデバイス通信機器３０４とインターフェースするユーザに関与し、入力をグラフィカル・インターフェースに与える。この入力は、通信セッションを管理するアクションステップに関連する。対応するインストラクションが、ネットワークノード３２０に、或いは様々な参加者への通信リンクを提供するネットワークノードに与えられる。ネットワークノードは、管理装置から受領したインストラクションを実行する。その結果、通信セッションのブリッジング、人を通信セッションから外すこと、サイドバーディスカッションの確立、通信セッションを複数の小さな通信セッションに分けること等のアクションが、適宜行われる。

図３は、通信セッションの誰かにコンタクトしようとする人又はエンティティを示す。例えばメアリーが、デバイス通信機器３０４を有し、ＦＲＡＮＫ２０２に電話をしようとする場合を想定する。メアリーが電話をかけ、許可が与えられると、彼女には、アイコン２０２，２０４，２０６を示すＦｒａｎｋの通信セッションのビジュアルが提示される。これにより、彼女に、通信セッションのタイプに対し詳細なレベルを提供できる。例えば、誰が電話に出たか、通話の主題は何かの等の詳細なレベルを提供する。かくして、メアリーにはオプションが提示される。彼女はこの知識を有するからである。彼女は、呼びの替わりに、ＩＭ又はｅメールを望む。彼女は、カンファレンスコールに参加することを要求してもよい。彼女は、メッセージをＦＲＡＮＫ２０２に送る。このメッセージは彼が電話中でありことは分かっており、彼が１時間以内に彼女に電話をかけ戻すよう要求するものである。メアリーに、彼女が電話している相手の通信セッションの存在のグラフィカルイメージを提供することにより、彼女にとって、より効率的な機構が提供できる。これによりＦＲＡＮＫ２０２との次のステップを如何に最適に採るかを決定できる。

図４は、図２Ｄに示すのと同一の通信セッションの異なるビュー４００を示す。これは、ＭａｘＰｏｗｅｒ２０４から見たビューである。この場合、ＭａｘＰｏｗｅｒは、モデレータであり、ＭａｘＰｏｗｅｒのアイコン２０４は、残りの参加者のアイコン２０２，２０６に比較して中央にある。各参加者のアイコン２０２，２０６は、テキスト２０２ａ，識別子２０４ａ，ビデオ・アイコン２０６ａを有し、名前と通信モードを提示する。テキスト２０２ａ，識別子２０４ａ，ビデオ・アイコン２０６ａは、各人に関する他のデータを提示するアイコン、或いは通信或いは様々なタイプのデータを表すアイコンを含む。データは、例えば、通信モード、プレゼンス情報、時間情報、カレンダ情報、階層情報、経営者情報等である。システムシステム１００は、組織的な階層に基づいて、アイコンを、組織的な階層、役割、ロケーション、年功順或いは他のパラメータの組合せに基づいて、配列する。

図４のインターフェース４００は、接続ラインと中央ハブ４０２を用いて、３人の参加者がハブへ話しかけて、３人の参加者２０２，２０４，２０６が、通信セッションに居ることを示す。システムシステム１００は、更なる通信セッションに関わり合うので、ディスプレイは、別の位置（ロケーション）にいる更なる通信セッションを示す。インスタントメッセージの場合には、１個のロケーションが、同一タイプの複数の通信セッションを有する。例えば複数のＩＭ通信セッションは、１個のロケーションで複数のカードの積み重ねとして表示することができる。セッションは、１個のロケーションで他の基準に従ってグループ分けすることができる。基準の一例は、同一の参加者を共有するセッション、同一のトピックスを共有するセッション、指定されたユーザの基準である。図４のハブ４０２と、図２Ｄのアイコンを接続するラインとは、アクティブな接続の構成を表示する。アイコン、テキスト、グラフィカル要素の他の構成は、これ等のアイコンを置換できる。

ディスプレイ４００は、タイトルバー４０４と様々な制御を有する。制御の一例は、ミュートボタン４０６、イグジットボタン４０８、トランスクリプションボタン（図示せず）、参加者追加ボタン４１０である。ユーザが、参加者追加ボタン４１０をクリックすると、システム１００は、ユーザに対し、ダイアログを表示して、追加すべき参加者を選択させる。タイトルバー４０４は、情報例えば、呼びの持続時間、コール・モデレータ、好ましい通信モードを含む。ユーザが、ミュートボタン４０６をクリックすると、システム１００は、ユーザのライン或いは他の参加者のラインをミュート（無言）にする。イグジットボタン４０８をクリックすると、参加者は会議から外れる。コール・モデレータは、参加者をクリック又はジェスチャでハイライトし、その後イグジットボタン４０８をクリックして、参加者を会議から外すことができる。会議のモデレータは、全ての参加者に対し通信セッションを終了することができる。これはイグジットボタン４０８をクリックすることにより行われる。

ユーザが、トランスクリプションボタン（図示せず）をクリックすると、システム１００は、音声認識モジュールに繋がり、音声を認識し、記述する。システム１００は、リアルタイムでトランスクリプションを表示する。例えばユーザのアイコンの下にテキストのティッカーとして表示する。システム１００は、通信セッション全体の完全なトランスクリプトを準備し、完全な口述記録を通信セッションの終了後所定の参加者に送る。システム１００は、電話からのオーディオをテキストに、自動音声認識（automatic speech recognition）を介して変換してテキストメッセージセッションを形成し、逆にテキストから音声（ＴＴＳ（text-to-speach））へ、様々な方法で、変換する。かくして、Ｍａｘ２０４は、ＩＭを介して、ＦＲＡＮＫ２０２とＫａｒｌ２０４と、同一のセッションであるが別々のモードで、通信できる。これ等のモードの相違は、セッション表示をセッションディスプレイ内で視覚的に表示される。

別の構成として、ユーザは、ブラウジングをして、コンタクト先のリストから参加者を選択し、この参加者を直接会議のグラフィカル表示にドラッグすることもできる。ユーザは、関係者を通信セッションに追加したり、関係者を通信セッションに招待したり、関係者を通信セッションから外したり、通信セッションを分離したり、サイドバー通信セッションを形成したり、２つの通信セッションを併合したりする、ことができる。サイドバー通信セッションは、メインの通信セッション内にある複数の参加者の間の同時進行の通信セッションであるが、メインの通信セッションとは別のものである。例えば、ＭａｘＰｏｗｅｒ２０４がアイデアを提案すると、ＦｒａｎｋＧｒｉｍｅｓ２０２とＫａｒｌ２０６は、サイドバーを形成して、提案されたアイデアを議論するが、これはＭａｘＰｏｗｅｒが、聞くこと無しに更には又サイドバーの存在をＭａｘＰｏｗｅｒが知ること無しに行うことができる。ある場合には、サイドバーの存在は、他の参加者にも判るが、他の参加者には、サイドバー内で何が話されているかは知ることはできない。

図５を参照すると、通信セッション５０２（これはＭａｘＰｏｗｅｒ２０４とＦｒａｎｋＧｒｉｍｅｓ電話アイコン２０２とＫａｒｌ２０６との間の通信で、Ｋａｒｌ２０６から見たものである）と、同時進行のリアルタイムの通信セッション５１２と、Ｋａｒｌ２０６へ来入する呼び５１４を示す。通信セッション５０２の有効接続は、三角接続５１０で示される。図５のシステム１００は、オーバーラップしたグラフィカル要素と、グラフィカル要素を接続するラインと、グラフィカル要素を接続する形状と、グラフィカル要素を接続する放射状のラインを有する形状と、グラフィカル要素の共通の大きくなったアピアランスの何れかを表示する。システムは、同一ロケーションにある個人に対応するアイコンを一緒にするか、或いはオーバーラップすることができる。かくして、視覚的表示は、通信セッションへの各「個人」に対し、個人、ロケーション、グループ等によって、変わる。この視覚的イメージは、参加者に与えられ、誰が通信中かを理解でき、又セッションの管理をグラフィカルに表示する。

図５のディスプレイは、同時に行われている通信セッション５０２，５１２，５１４を示す。第１の通信セッション５０２は、Ｍａｘ２０４とＦＲＡＮＫ２０２とＫａｒｌ２０６の間にある。それぞれのメタデータは、２０２ａ，２０４ａ，２０６ａで示す。第２の通信セッション５１２は、Ｋａｒｌが参加者で、カリフォルニアからのグループ５０４と、ポール（ＰＯＵＬ）５０６と，ロブ（ＲＯＢ）５０８と，レイン（ＬＡＹＮＥ）５２４と、フロリダからのグループ５２２を含む。かくしてＫａｒｌ２０６は、２つの通信セッション５０２，５１２の同時の参加者である。これ等２つの通信セッションに加えて、システム１００は、ジョン．マーからの来入通信５１４を表示する。来入通信アイコン５１４は、点滅し、バウンスし、パルスを発し、光ったり、縮んだり、振動したり、色を替えたり、可聴アラーム（リングトーン）を行うか、又は別の通知を、来入呼びの相手であるユーザに与える。Ｋａｒｌ２０６は、この来入したリクエストを、他の現在の通信セッションと同様に相互作用し操作する。システム１００は、活性状態にある通信セッションと来入の呼びの通信セッションとを区別しない（平等に取り扱う）。例えばＫａｒｌ２０６は、来入呼び５１４を通信セッション５１２の上部にドラッグしドロップして、来入呼びを直接通信セッション５１２又は５０２に追加することができる。他の例として、Ｋａｒｌ２０６は、来入通信５１２をドラッグしゴミ箱にドロップして呼びを無視するか、来入通信５１４上をダブルクリックして来入発呼者をボイスメールに送るか、或いは発呼者をトラップしホールドすることができる。

Ｋａｒｌ２０６が、ジョン．マーからの来入通信５１４を受け入れると、システム１００は、Ｋａｒｌ２０６とジョン．マーを含む新たな通信セッションを創設し表示する。システム１００は、ディスプレイ上の何処かに、この新たな通信セッションを置く。

システム１００は、アクティブな接続を、或るロケーションにおける個人用のグラフィカル要素にオーバーラップして、表すことができる。例えば、第２の通信セッション５１２において、フロリダからの参加者とカリフォルニアからの参加者とがオーバーラップされる。このユーザ（Ｋａｒｌ）は、これ等のオーバーラップしたアイコンを操作して、通信セッションの参加者を特定し、通信することができる。

ディスプレイは、コンタクト先のリスト５２０とカレンダ（事象）５２２を含む。コンタクト先とのユーザの相互作用により拡張したビューをトリガーするか、或いはより多くの情報を含んだウインドウをポップアップする。その後ユーザは、特定のコンタクト先をクリックして、そのコンタクト先の通信の利用可能なモードのリストを見る。システム１００は、そのコンタクト先との更なる通信セッションを開始することができるが、これは、通信の利用可能なモードにユーザの選択に基づいて、行われる。システム１００はその通信セッションを、現在の通信セッション５０２，５１２と、新たに追加されたジョン．マーとの通信セッションを表示する。

システム１００は、更にサーチ機能を有する。ユーザは、コンタクト先と、カレンダ事象と、ｅメールアドレスと、電話番号等をサーチできる。このアプローチは、特に特定の部門の全てのメンバーを見出すか、より大きなコンタクト先のリストを持っているユーザにとっては、利点がある。

コンタクト先は、特定の通信モダリティに対しては複数のコンタクト先を有する。例えば或るコンタクト先は、４つの電話番号と、２つのテキストメッセージ番号と、３つのｅメールアドレス等を有することができる。この場合、システム１００は、所定の通信モダリティに対し、利用可能なアドレス又は電話番号の１つを自動的に選択するか、或いはシステム１００は、明確なダイアログを示し、その結果、ユーザは、所望のアドレス又は番号をそこから選択できる。

多くの場合、ユーザは、他の通信セッションの参加者全てに対し、コンタクトエントリーを有さない。通信セッション参加者をコンタクト先として追加するために、ユーザは所望のアイコンをコンタクト先のアイコンにドラッグしドロップする。システム１００は、その参加者に関する得られる情報を自動的に探し当て、コンタクト先のデータベースに追加する。

図６Ａ−Ｂに示すように、有効なユーザ入力は、通信セッションを分割することである。ユーザは、マウスをドラッグしてラインを引くか、或いはタッチスクリーンに指で触れて、通信セッションを２つのグループに分割する。すると、システム１００は、通信セッションを２つの同時進行の通信セッションに分割する。一態様において、通信セッションのマネージャーは、所定の時間通信セッションを分割するが、その時間経過後、通信セッションは自動的に併合される。例えばマネージャーは、「チームＡは戦略Ａの賛否を議論し、チームＢは戦略Ｂの賛否を議論する。５分後に戻り、議論結果についてレポートせよ」と指示する。すると、マネージャーは、ブレークアウトセッション用にラインを引くか或いはグループを選択し、期間を設定する。ダイアログ又はアイコンは、通信セッションが分離されたときに現れ、分離を管理する利用可能なオプションを表す。システム１００は、通信セッションを分割し、設定期間の後それ等を再結合する。マネージャーは、更なるセッティングを示すことができる。例えばブレークアウト・セッションの間、グループ間のサイドバーによる会話を禁止することである。マネージャは、ブレイクアウト・セッションには参加しておらず、各ブレイクアウト・セッションを、オーディオ、サマリー、リアルタイム・テキストで、監視できる。

図６Ａに、通信セッション６００を分離するアクションを示す。この通信セッションには、５人の参加者６０２，６０４，６０８，６１０がいる。これ等の参加者は、ハブ６１６で接続された各参加者により特定されたセッション内にある。ユーザは、入力を与えることにより、例えばタッチスクリーン上に自分の指でラインを描くことにより、通信セッションを２つの部分に分割できる。システム１００は、入力を解釈しその入力に基づいてアクションを実行する。例えば図６Ａに示す入力の後、システム１００（又はノード又はネットワーク内のノード）は、通信セッションを参加者６０２，６０４，６１０からなる第１の通信セッション６１２と、参加者６０６，６０８からなる第２の通信セッション６１４に分割する。これを図６Ｂに示す。

図６Ｂは、ハブ６１６ａ、６１６ｂを示す。このハブ６１６ａは、接続された参加者６０２，６０４，６１０との通信セッションを維持する。ハブ６１６ｂが、別の通信セッションにいる参加者６０８と６０６を接続する。セッションマネージャーは、様々な方法で、これ等の通信セッションを再結合する。再結合は、例えばハブ６１６ｂをハブ６１６ａにドラッグしドロップすることにより、行われる。

図７に本発明の方法を説明する。本発明の方法は、図１のシステムを例に議論する。図２，４，５は、図７に開示された方法の代表的なグラフィカル・インターフェースを示す。

図７は、通信セッションを、グラフィカル・ユーザ・インターフェースを介して、制御する方法を示す。システム１００は、グラフィカル・ユーザ・インターフェースを介して、通信セッションの構造を表す接続されたグラフィカル要素の組と、複数の通信ユーザを有する通信セッションを表す（７０２）。通信セッションは、電話の呼び、他のモードの通信セッション、又は単なる通信セッションである。ユーザ又は参加者の数は複数である。通信セッションは、モード的に中立（即ち、どのモードも公平に処理する）である。その結果、セッション内のユーザは、ある通信モードを用いて、電話、携帯電話、ＶｏＩＰ、テレビ会議、テキストメッセージ、インスタントメッセージ、ｗｅｂベースのチャット、ｅメール、ソシヤルネットワーキングの通信が可能となる。本発明のグラフィカル・ユーザ・インターフェースにより、ユーザは、通信セッションを早急且つ直感的に操作できる。

例えば、グラフィカル・インターフェースを用いること、通信セッションを設定することは、指示入力を与えるユーザが関与する。この指示入力により、システムは、コンタクト先のリストから個人を、インターフェースの特定の部分に移動させる。システムは、そのユーザ入力を、参加した人（参加者）にコンタクトしたいリクエストと、解釈する。その後システムは、参加者にダイヤルし、その人が電話に出ると、グラフィカル要素は、ユーザと被呼者（参加者）の間の接続がある旨を、表示する。他の人を呼びに追加したり呼びから外したりするが、これはアイコン又はグラフィカル要素を、通信セッションにドラッグしたり通信セッションからドロップすることにより、行われる。ユーザは、自分自身の通信モードを、別の接続形態アイコンをタッピングすることにより、変えることができる。

ユーザは、電話で通信している人をＩＭにドラッグしドロップすることができる。すると、システムは、テキストフィールドを自動的に表示し、そのユーザにＩＭテキストを入力させる。システムが「エンター」を受領する或いはメッセージが完結した旨の他の表示を受領すると、システムは、ＩＭメッセージをその選択したユーザに送る。

様々な機能を有するデバイスが、適宜のグラフィカル・ユーザ・インターフェースを提示する。例えば卓上型電話機は、小型の携帯電話より、より強力なプロセッサ、より高級なグラフィック表示機能、より大きなスクリーン、より大型メモリ、より高いバンド幅等を有する。卓上型の電話機は、完全な双方向とアニメーションを具備したグラフィカル・ユーザ・インターフェースを表示できる。携帯通信機器は、その機能の一部しか提供できない。卓上型電話機は、コンピュータと双方向通信が可能であり、その結果通信セッションのグラフィカル・インターフェースが、コンピュータスクリーン上に提示され、卓上型電話機で実行される。

図７の方法について更に説明する。システム１００は、接続されたグラフィカル要素の組に関連するユーザ入力を受領する。このユーザ入力は、通信セッションと関連するアクションを有する（７０４）。ユーザ入力は、キーボード、スクリーン上のキーボード、マウス、スティラス、タッチスクリーン、音声コマンド、１回又は複数回のタッチ動作を介して、受領される。あらゆるシングルモードの入力又はマルチモードの入力を、ユーザから受領し、特定の機能を管理或いは実行する。入力は、１つのグラフィカル要素に向けられるか或いはディスプレイ上のユーザインターフェースのコンポーネントに向けられる。

システム１００は、受領したユーザ入力に基づいて、アクションを実行する（７０６）。例えばユーザが、タッチスクリーンに指を触れて、通信セッションの第１グループの参加者と第２グループの参加者の間にラインを引くと、システムは、第１グループを独立した通信セッションに、第２グループを独立した通信セッションに分割する。その結果別個の通信セッションが確立される。システム或いはネットワークの通信ノードは、指定されたグループを接続したり橋渡しする機能を管理する。適宜のアクションをピアツーピアの方法で、ネットワーク内のエンドデバイス間で処理することもできる。

別の実施例として、ユーザが、コンタクト先を通信セッションにドラッグすると、システム１００は、そのコンタクト先を通信セッションに追加する。他のアクションは、関係者を通信セッションに追加する、関係者を通信セッションに招待する、関係者を通信セッションから外す、通信セッションを分離する、別個の同時進行の通信セッションであるがメインの通信セッションの参加者を含むようなサイドバーの通信セッションを形成する、通信セッションを第２の通信セッションと併合する等のアクションを含む。各ケースにおいて、通信セッションを行うネットワークノードは、受領したユーザ入力に基づいて、通信セッションの再方向付けと修正を管理する。

用語「コンピュータで読み取り可能な媒体」とは、コンピュータが実行するプロセスを記憶する媒体或いは伝送媒体を意味する。媒体とは、非揮発性媒体、揮発性媒体、伝送媒体を意味する。非揮発性の媒体とは、ＮＶＲＡＭ、磁気ディスク又は光学ディスクである。揮発性媒体とは、ＤＲＡＭ、メインメモリを意味する。このコンピュータで読み取り可能な媒体の一般的なものとしては、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気ディスク、他の磁気媒体、磁気光学媒体、ＣＤ−ＲＯＭ、パンチカード、ペーパーテープ等、更にＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、メモリカード、メモリチップ、或いはカートリッジ等がある。ｅ−ｍａｉｌ或いは他の自己保存型の情報アーカイブに付属したデジタルファイルは、記憶媒体に等価な分配型の記憶媒体であり、本発明でいう記憶媒体と見なすことができる。コンピュータで読み取り可能な媒体がデータベースとして構築された場合には、このデータベースは、あらゆる種類のデータベース、例えば関連型、階層型、オブジェクト志向型のいずれをも含む。
他の実施例においては、開示された方法は、コンピュータで読み取り可能な記憶媒体に記憶されたソフトウエアで実行され、コントローラとメモリとを有するプログラムされた汎用コンピュータ、特殊目的コンピュータ、マイクロプロセッサ等で実施される。これ等の実施例においては、本発明のシステムと方法は、パソコンに組み込まれたプログラムで実行できる。例えばアプレット、ＪＡＶＡ、Ｃグラフィカル・インターフェーススクプリト、サーバ或いはコンピュータ、ワークステーションに記録された資源或いは専用の測定システムに組み込まれたルーチン等で実施できる。
本発明のシステムは、本発明のシステムと方法をソフトウエア又はハードウエアのシステムに物理的に組み込むことにより実施することもできる。 本発明は、特定の標準及びプロトコルを例に説明したが、本発明はこのような標準とプロトコルに制限されるものではない。他の類似の標準とプロトコルも本発明で用いることができる。これ等の標準とプロトコルは、今後開発されるより効率的な標準とプロトコルで置換されるかも知れないが、このような置換も本発明の一態様（一実施例）と考えられる。

以上の説明は、本発明の一実施例に関するもので、この技術分野の当業者であれば、本発明の種々の変形例を考え得るが、それらはいずれも本発明の技術的範囲に包含される。特許請求の範囲の構成要素の後に記載した括弧内の番号は、図面の部品番号に対応し、発明の容易なる理解の為に付したものであり、発明を限定的に解釈するために用いてはならない。また、同一番号でも明細書と特許請求の範囲の部品名は必ずしも同一ではない。これは上記した理由による。用語「又は」に関して、例えば「Ａ又はＢ」は、「Ａのみ」、「Ｂのみ」ならず、「ＡとＢの両方」を選択することも含む。特に記載のない限り、装置又は手段の数は、単数か複数かを問わない。

１００ システム
１１０ システム・バス
１２０ プロセッサ
１２２ キャッシュ
１３０ メモリ
１４０ ＲＯＭ
１５０ ＲＡＭ
１６０ 記憶装置
１７０ 出力装置
１８０ 通信インターフェース
１９０ 入力装置
２００ グラフィカル・ユーザ・インターフェース
２０１ 通信セッション
２０８，２１０，２１２，２１４，２１６ アイコン
２１８ コンタクト・リスト
２０２ 電話アイコン
２０４ａ 識別装置
２０６ Ｋａｒｌのアイコン
２０６ａ ビデオ・アイコン
３０２ ネットワーク
３０４，３，６，３０８，３１０，３１２ 通信機器
３１４，３１６，３１８，３２０ ノード
３２０ 中央装置
図７
７０２：通信セッションの構造を表す接続されたグラフィカル要素の組を、グラフィカル ・ユーザ・インターフェースを介して、表示する。
前記通信セッションは、複数の通信するユーザを含む
７０４：前記接続されたグラフィカル要素の組に関連するユーザ入力を受領する。
前記ユーザ入力は、通信セッションに関連したアクションを有する
７０６：前記アクションを、前記受領したユーザ入力に基づいて実行する

Claims (10)

1. グラフィカル・ユーザ・インターフェースを用いて通信セッションをコンピュータで管理する方法において、通信機器が以下のステップを実行する
   （Ａ）通信セッションの構造を表す接続されたグラフィカル要素の組を、グラフィカル・ユーザ・インターフェースを介して、表示するステップと、
   前記通信セッションは、複数の通信するユーザを含み、
   （Ｂ）前記接続されたグラフィカル要素の組に関連するユーザ入力を受領するステップと、
   前記ユーザ入力は、通信セッションに関連したアクションを有し、
   （Ｃ）前記アクションを、前記受領したユーザ入力に基づいて、実行するステップ
   ことを特徴とするグラフィカル・ユーザ・インターフェースを用いて通信セッションをコンピュータで管理する方法。
2. 前記グラフィカル要素は、関連する情報のテキストを含み、
   前記テキストは、名前、肩書き、ポジション、電話番号、ｅメールアドレス、現地時間、生体時間、プレゼンス情報、ロケーションの内の少なくとも１つを含む
   ことを特徴とする請求項１記載の方法。
3. 有効接続が、オーバーラップしたグラフィカル要素として、視覚的に表示され、
   前記オーバーラップしたグラフィカル要素は、一ロケーションにおける人を表す
   ことを特徴とする請求項１記載の方法。
4. 前記グラフィカル接続表示は、接続されたグラフィカル要素の間の通信セッションの関係を、色、太さ、アニメーション、テキスチャ、長さを変更することにより示す
   ことを特徴とする請求項１記載の方法。
5. 前記通信セッションの関係は、アクティブ、ホールド、ペンディング、サイドバー、被監視移送、無監視移送、選択的転送、通信セッションを複数の通信セッションに選択的に分割することの何れかを含む
   ことを特徴とする請求項１記載の方法。
6. 前記グラフィカル要素は、組織的階層、役割、ロケーション、年齢順の少なくとも１つに基づいて、配置される
   ことを特徴とする請求項１記載の方法。
7. 前記通信セッションは、通信モダリティを含む
   ことを特徴とする請求項１記載の方法。
8. グラフィカル・ユーザ・インターフェースを用いて通信セッションを管理するシステムにおいて、
   （Ａ）プロセッサと、
   （Ｂ）前記プロセッサを制御する第１モジュールと、
   前記第１モジュールは、通信セッションの構造を表す接続されたグラフィカル要素の組を、グラフィカル・ユーザ・インターフェースを介して、表示し、前記通信セッションは、複数の通信するユーザを含み、
   （Ｃ）前記プロセッサを制御する第２モジュールと、
   前記第２モジュールは、前記接続されたグラフィカル要素の組に関連するユーザ入力を受領し、前記ユーザ入力は、通信セッションに関連したアクションを有し、
   （Ｄ）前記プロセッサを制御する第３モジュールと、
   前記第３モジュールは、前記アクションを、前記受領したユーザ入力に基づいて実行する
   ことを特徴とするグラフィカル・ユーザ・インターフェースを用いて通信セッションを管理するシステム。
9. 前記接続されたグラフィカル要素の組内で、通信セッションへの活性接続は、グラフィカル接続表示により表示され、
   前記グラフィカル接続要素は、オーバーラップしたグラフィカル要素を接続するライン、グラフィカル要素を接続する形状、グラフィカル要素を接続する放射状ラインを有する形状、グラフィカル要素の共通の強化したアピアランスの何れかを含む
   ことを特徴とする請求項８記載のシステム。
10. コンピュータで実行するインストラクションを記憶する記憶媒体において、
    前記インストラクションにより、コンピュータが、グラフィカル・ユーザ・インターフェースを用いて通信セッションを管理し、前記インストラクションは、
    （Ａ）通信セッションの構造を表す接続されたグラフィカル要素の組を、グラフィカル・ユーザ・インターフェースを介して、表示するステップと、
    前記通信セッションは、複数の通信するユーザを含み、
    （Ｂ）前記接続されたグラフィカル要素の組に関連するユーザ入力を受領するステップと、
    前記ユーザ入力は、通信セッションに関連したアクションを有し、
    （Ｃ）前記アクションを、前記受領したユーザ入力に基づいて実行するステップ
    を有する
    ことを特徴とするコンピュータで実行するインストラクションを記憶する記憶媒体。

Images