JP2009526303A - グラフィックユーザインターフェース装置及びグラフィック客体のディスプレイ方法 - Google Patents

Abstract

グラフィックユーザインターフェースが開示される。グラフィックユーザインターフェースは、グラフィック客体を生成するためにユーザ入力を受信する第１の領域、ユーザ入力を電気信号に変換して処理装置へ伝送する入力変換装置、処理装置からディスプレイ制御信号を受信する制御信号受信装置、及び制御信号に基づいてグラフィック客体をディスプレイする第２の領域を備える。グラフィック客体は、情報の最小単位を示すノード及びノードの間を連結してノードの間の関係を示すリンクを備える。本発明のグラフィックユーザインターフェースは、ユーザが面倒な探索手順を行うことなく現在の案件と関連した資料及びこれらの間の関係を直観的に把握することができるようにする。

Description

本発明は、グラフィックユーザインターフェースに関するものである。より具体的にはグラフィック客体（ｇｒａｐｈｉｃ ｏｂｊｅｃｔ）を生成するためにユーザ入力を受け入れる領域及び生成されたグラフィック客体をディスプレイする領域を備えるグラフィックユーザインターフェースに関する。

コンピュータが会議空間で会議をサポートする道具として必須となっている。即ち、会議関連資料はコンピュータで読み出すことができるファイルとして提供されている。このような場合、そのような資料を検索及びディスプレイするためにファイル管理プログラム（例えば、ウィンドウズエクスプローラ）がしばしば用いられてきた。

しかし、フォルダ及びファイルは階層的に構成されるため、既存のエクスプローラまたはプログラムは大量の資料及びそのような資料の間の関係を同時にディスプレイしてこれらを直観的に把握することが難しいという問題があり、会議進行中に現在の案件と関連した資料をディスプレイするためにはユーザが該当資料が含まれたフォルダの位置を探し出さなければならない不便がある。

多数のユーザからの多様な案件を取り扱うために関連資料を表示するための会議進行補助システムが開発されて用いられている。しかし、新たな案件が上程される場合、その新たな案件が多数の資料と連結されており、そのような資料と共にリアルタイムで多数の参加者が認知することができるようにディスプレイする必要がある。即ち、参加者が面倒な探索過程を経なくても即時に現在の案件と関連した多数の資料及びこれらの間の関係を把握することができるように、現在の案件、関連した多数の資料、そしてこれらの間の関係をディスプレイしなければならない。

また、会議進行と関連した資料はイメージファイル、映像ファイル、サウンドファイル、テーブルファイル、テキストファイルなどのような多様な形式を有する資料が含まれていることもあるので、これらを記録してディスプレイする必要があり、そのような資料及び資料の間の関係を反映させて即時に会議を構成することが要求されている。

会議テーブルを取り囲んでいる参加者が会議の進行内容を便利に把握することができ、特に便利にテキスト情報を読み出すことができるようにするディスプレイ方法が要求されている。

要するに、会議進行に必要な機能を提供するために構成されたシステムにおいて、最小限の操作による直観的インターフェースによって会議の進展状況を総合的かつ直観的にディスプレイしてディスプレイ要素を操作することが要求されている。

［発明の詳細な説明］
［技術的課題］
本発明は、前記従来技術の問題を解決するためのものであって、会議進行のために有用なグラフィックユーザインターフェースを提供することを目的とする。このために、会議進行時に必要な多様な情報のそれぞれはグラフィック客体として格納され、表示部上にディスプレイされる。例えば、情報を格納する意味的集合体であるノードは表示部にディスプレイでき、ノードの意味情報の間の関係に基づいてリンクにより他のノードに連結され得る。その上、少なくとも一つのノード及びそのノードに連結されたリンクを備える一つのレイヤーが形成できる。会議進行を容易にして補助するためにこのようなノード、リンクまたはレイヤーを備える構造をディスプレイするグラフィックユーザインターフェースが提供される。

本発明の一実施形態によるグラフィックユーザインターフェースによれば、会議進行に必要な多量の情報が効率的に整理されてディスプレイされ、会議を準備する時に参考にできる資料に容易で速やかにアプローチ可能になり、可視したノードの分布とリンクの構造を通じて過去及び現在の会議進展状況を直観的に把握可能になる。

［技術的解決方法］
前述した目的を達成するために、グラフィック客体を生成するためにユーザ入力を受信する第１の領域、ユーザ入力を電気信号に変換して処理装置へ伝送する入力変換装置、処理装置からディスプレイ制御信号を受信する制御信号受信装置及び制御信号に基づいてグラフィック客体をディスプレイするための第２の領域を備え、前記グラフィック客体は情報の最小単位を示すノード及びノードの間を連結してノードの間の関係を示すリンクを備えるグラフィックユーザインターフェースを提供する。

前述した目的を達成するためにユーザ入力の有無を判断し、ユーザ入力の位置が第１の領域であるか、第２の領域であるか判断し、ユーザ入力の位置が第１の領域であり、入力形態がノード生成に該当すれば、ノードをディスプレイし、位置が第１の領域から始まってノードを二つ以上貫通すれば、貫通したノードを連結するリンクをディスプレイし、位置が第２の領域であれば、該当グラフィック客体を活性化する（ａｃｔｉｖａｔｉｎｇ）グラフィック客体ディスプレイ方法を提供する。

本発明によるグラフィックユーザインターフェースを用いることによってユーザが面倒な探索手順を行うことなく現在の案件と関連した資料及びこれらの間の関係を直観的に把握することができる。

本発明によるグラフィックユーザインターフェースを用いることによって案件と関連した多様な形式の資料を検索及びディスプレイすることができる。さらに、会議参加者がどの位置からでもその進行内容を容易に把握することができるように方向転換が可能であり、ウィンドウズエクスプローラのような従来のファイル管理プログラムで提起されてきた問題を解消することができる。

［発明の実施のための最善の形態］
本発明の一実施形態によってグラフィックユーザインターフェースは、グラフィック客体を生成するためにユーザ入力を受信するための第１の領域と、前記ユーザ入力を電気信号に変換して処理装置へ伝送するための入力変換装置と、前記処理装置からディスプレイ制御信号を受信するための制御信号受信装置と、前記制御信号に基づいてグラフィック客体をディスプレイするための第２の領域とを備え、前記グラフィック客体は、情報の最小単位を示すノード及び前記ノードの間を連結して前記ノードの間の関係を示すリンクを備える。

本発明の他の実施形態によってグラフィックユーザインターフェースを用いてグラフィック客体をディスプレイする方法は、ユーザ入力の有無を判断する段階と、前記ユーザ入力の位置が第１の領域なのか、第２の領域なのか判断する段階と、前記位置が前記第１の領域であり、入力形態がノード生成に該当すれば、ノードをディスプレイする段階と、前記位置が前記第１の領域から始まって前記ノードを二つ以上貫通すれば、前記貫通したノードを連結するリンクをディスプレイする段階と、前記位置が第２領域であれば、該当グラフィック客体を活性化する段階とを備える。

［発明の実施のための形態］
本発明によるグラフィックユーザインターフェースを具体的に説明するに先立ち、本発明で用いる基本概念及び関連用語をまず説明することにする。

本発明で用いる用語の中で、「グラフィック客体」は、表示部にディスプレイされるグラフィック図形であり、同時に情報を備える客体でもある。グラフィック客体を例示する図１を参照すれば、グラフィック客体は円形４１０_１、４１０_２、直線４２０、四角形４３０などのグラフィック図形を備えるが、これらはそれぞれノード、リンク、レイヤーという情報の客体にそれぞれ該当する。具体的には、「ノード４１０_１、４１０_２」は情報の最小単位を示す情報の客体である。会議に適用される場合、ノード４１０_１、４１０_２）は会議で論議すべき案件に対するキーワードまたはそのキーワードと関連して導き出されるキーワードを示すことができる。

図２は、表示部にディスプレイされるノードの例示的な形態を示す。ノード４１０は意見及び資料を縮約するキーワード４１１の領域を備えることができる。図１の例示を本発明の装置を具現するためのプロジェクト会議に適用すれば、ノード４１０_１のキーワードは「手動作基盤の入出力装置」、ノード４１０_２のキーワードはノード４１０_１の下位構造である「制御部」になり得る。他の例として、ノード４１０_１のキーワードは「手動作基盤の入出力装置」、ノード４１０_２のキーワードはノード４１０_１の開発担当者である「Ａ」になり得る。図１または図２でノードの形状として円形を例示したのは単に例示に過ぎず、三角形などの他の形状になり得ることはもちろんである。

図２でノード４１０は、ノード４１０の位置を表示するＩＤ領域４１３をさらに備えることができる。これ以外にノード４１０がディスプレイされる時ユーザが区分しやすいようにノード４１０の状態を示すカラー領域４１５をさらに備えることができる。ノードの状態は、例えばノードが選択されたか否かを備えることができる。ノードは付加情報として中心座標（ｘ，ｙ）値及びサイズである半径（ｒ）値をさらに備えることができる。

「リンク４２０」はノードとノードとの間を連結してノード間の関係を示す情報の客体である。ここで、「リンク４２０」が示すノード間の関係は、例えば上／下関係及び前／後関係、あるいは所属関係などを備えることができる。前記例示で、ノード４１０_１が手動作基盤の入出力装置、ノード４１０_２が制御部の場合、リンク４２０は二つの装置の間の上／下関係を表示し、ノード４１０_１が手動作基盤の入出力装置、ノード４１０_２が「Ａ」の場合、リンク４２０はその装置に対する担当者の所属関係を示す。

図３は、表示部にディスプレイされるリンクの例示的な形態を示す。図３に示した例で、リンク４２０は二つのノードを連結するが、この二つのノードは親と子の間の関係を有することができる。また、親子関係は上述した通り上／下、前／後、所属関係などを示すことができる。リンク４２０は親ノードの中心座標４２１から始まって、子ノードの中心座標４２２で終わる。リンク４２０は二つの連結されたノード間の関係によって実線または点線で表示できる。この時、リンクの形状である実線または点線はリンクが示す関係を区別するための例示に過ぎず、これ以外に色または太さなどのグラフィック特性を用いることができる。

「レイヤー４３０」は、少なくとも一つのノード及び前記ノードに連結されたリンクを備え、含まれたグラフィック客体に対して集合的な属性を示す情報の客体である。例えば、図１に示した通り、レイヤー４３０が所定の会議を示せば、ノード４１０_１、４１０_２及びリンク４２０がその会議で討議された事案に関連した特徴を示すことができる。四角のボックスは、図１でレイヤーを示す形態の一つの例であるだけで、レイヤーの形状はこれに制限されない。図１には二つのノード４１０_１または４１０_２、一つのリンク４２０、一つのレイヤー４３０のみが示されているが、これに制限されず、本発明はさらに多くのノード、リンク、レイヤーとグラフィック客体またはさらに少ないノード、リンク、レイヤーとグラフィック客体を備えることができる。

図４は、複数のレイヤーを備えるグラフィック客体の例を示す。前記会議の例示を続ければ、複数のレイヤー４３０_１−４３０_Ｌはｎ番目の会議結果をそれぞれ表示し、一つの束として管理されることができる。この場合、何枚かのレイヤーに目を通すことで現在まで会議が進行された過程を直観的に把握することができる。

これ以外にも、例えばプロジェクトに対して賛否決定をするためのレイヤー、ブレーンストーミングをするためのレイヤー、参加組織構造のためのレイヤー、日程に関するレイヤーなどを一つの束で管理することができる。このように、多数のレイヤーを一つの束で管理するようになれば、多数のレイヤーに目を通すことでプロジェクト全体を直観的に把握することができ、状況に応じてレイヤーの配列順序及び束ねる方式を異にすることによってユーザが会議の進行状態を把握するのに役立つ。

また、リンクの数またはリンクの連結構造もユーザが現在の会議状態を把握するのに役立つ。例えば、図４に見られるように、ノード４１０_Ｎは最適に多くのリンクに連結されており、その連結構造はツリー構造形式のレイアウトを有する。これはノード４１０_Ｎが意味する案件から多くの案件が導き出されて上程された状態であり、このような案件に対して現在活発に会議が進行していることを意味する。また、例えば点線リンクが未決を意味する場合、ノード４１０_Ｎと関連した案件のうち、多数は確実に解決されておらず、それに関する結論を導き出すために多数の方案が具体的に論議されていることが分かるが、このようにユーザはディスプレイを見るだけで会議の進行状態を一目で把握することができる。

グラフィック客体はまた、他のグラフィック客体に対する操作及び情報入力を行う道具客体を備えることができるが、図１に示した制御ボタン束４４０、仮想キーボード４５０などをその例に挙げることができる。具体的には、「制御ボタン束４４０」はグラフィック客体の操作をユーザの直観的な手動作でできるようにする道具客体である。図５に制御ボタン束の例示的な形態が示されている。図１または図５で制御ボタン束が円形であるのは単に例示的なものである。

図５で、制御ボタン束４４０はレイヤーのズームイン／アウト４４１、４４２、レイヤーの生成４４３及びレイヤーの削除４４４、グラフィック客体のファイルへの格納４４５、グラフィック客体が格納されたファイルのオープン４４６、リンクに連結されたノード構造のスケール調整４４７、４４８などを示す記号を含んでいる。

用語「ノード構造」とは、現在選択されたノード、選択されたノードに連結された全てのリンクとそのリンクに連結されたノード全部を称する。用語「ノード構造のスケール調整」とは、このようなノード構造において例えば選択されたノードを中心にノード構造を拡大／縮小したり、または予め定められた基本表示位置を中心にノード構造を拡大／縮小することになり得る。制御ボタン束４４０はノード構造の位置調整も備えることができる。スケール調整と同様に、ノード構造の位置調整も現在選択されたノードを中心に位置が移動したり基本表示位置を中心に位置が移動することができる。これ以外に上述した記号が示す動作の詳細な内容は制御部の関連部分で説明することにする。

ユーザは、例えば指で所望の動作に該当する制御ボタン束４４０の記号に触れるような直観的な手動作を通じて該当グラフィック客体の該当する操作を可能にすることができる。上述した制御ボタン束の機能及び記号は単に例示的なものであり、本発明で制御ボタン束の機能及び記号はこれに制限されない。

「仮想キーボード４５０」はテキスト入力を可能にする道具客体である。ユーザは仮想キーボードを用いて、例えばノード４１０_１または４１０_２のキーワード、レイヤー４３０の名前またはグラフィック客体の付加情報を入力及び修正することができる。

図６に仮想キーボードの例示的な形態を示した。仮想キーボードは仮想キーボード領域４５１、例えばＰＣ／ＡＴ １０１キー互換ハングルキーボードと配列の同じキーボタン４５２及びキーボードのサイズを調節することができる選択領域４５３で構成されている。ユーザは、例えば指で仮想キーボード４５０上のキーボタン領域４５２に触れるような直観的な手動作を通じて該当テキストを入力することができる。図６は単に仮想キーボードの例示であるだけであり、本発明の仮想キーボードはこれによって制限されない。

上述したグラフィック客体の概念に基づいて、以下では図７〜図３０を参照して本発明の実施形態を詳細に説明する。

図７は本発明の一実施形態による手動作基盤の入出力装置の構成を示したブロック図である。手動作基盤の入出力装置１００は、入力部１０２、制御部１０４及び表示部１０６を備える。

入力部１０２は、ユーザの手動作をセンシングしてこれを電気信号に変換する。手動作のセンシングはタッチスクリーンのように触覚（接触）情報を入力とするセンシング、カメラのように視覚情報を入力とするセンシング、または赤外線送受信装置のような赤外線送受信を用いるセンシングなどを備える。ただし、これに制限されない。入力部１０２はセンシングされた位置データを処理し、例えば手の初期位置と移動経路などを計算することによって感知された手動作が示す電気信号を発生させる。

図８〜１１は、ユーザがとる例示的な手動作を示したものである。図８で、ユーザが指２００で入力部１０２に円を描けば、入力部１０２はこれをセンシングして円が示す電気信号、例えば「ノード生成」を示す電気信号を発生させる。

図９で、ユーザが指２００で入力部１０２に直線を描けば、入力部１０２はこれをセンシングして直線が示す電気信号である「リンク生成」を示す電気信号を発生させる。一実施形態で、例えば表示部１０６上でいかなるグラフィック客体も存在しない領域から始め、二つ以上のノードを貫通する軌跡をドラッグした後、指２００を離せば「リンク生成」という電気信号が発生する。望ましい実施形態で、軌跡で最初に接したノードが最上位の親ノードになり、次に接したノードは最初のノードの子ノードになる関係を有することができる。この場合、もし指２００が三つ以上のノードを貫通すれば、軌跡上の一つのノードは直前のノードの子ノードになり得る。

図１０で、ユーザが入力部１０２に指２００でＺ状を描いた場合、入力部１０２はＺ状をセンシングしてＺ状の意味を示す、例えば「制御ボタン束４４０の生成（活性化）」を示す電気信号を発生させ得る。これと同様に、ユーザが入力部１０２に指２００で四角形を描いた場合、入力部１０２は四角形をセンシングして四角形の意味を示す、例えば「仮想キーボード４５０の生成（活性化）」を示す電気信号を発生させ得る。

一方、ユーザが入力部１０２の所定位置を指２００で触れる場合（ポインティングイベント）、入力部１０２はこれをセンシングしてポインティングイベントを示す電気信号の「該当するグラフィック客体（ノード、リンクまたはレイヤー）の選択」を示す電気信号を発生させる。ポインティングイベントが発生した位置がグラフィック客体の記号、例えば、制御ボタン束４４０などの格納記号上である場合、「グラフィック客体の格納」を示す電気信号を発生させる。同様に、ポインティングイベント発生位置が仮想キーボード４５０の特定テキスト位置上である場合、「該当テキスト入力」を示す電気信号を発生させる。

図１１で、ユーザが指２００でスプリング形状を描けば、入力部１０２はこれをセンシングしてスプリング形状が示す電気信号の「選択されたグラフィック客体の削除」を示す電気信号を発生させる。

一方、ユーザが指２００で引っ張る（ドラッグ）場合、入力部１０２はこれをセンシングしてドラッグが示す電気信号である「選択されたグラフィック客体の移動」を示す電気信号を発生させる。

上述した円、直線、ポインティングイベント、またはスプリング形状などは直観的なジェスチャーの例示であるだけで、これに制限されない。この実施形態で、入力部１０２で発生する電気信号は、図１２に示したメッセージのようなプロトコルで表現できる。即ち、電気信号は動作フィールド、動作が行われる客体フィールド及び付加情報フィールドを表示することができる。

図１４は、本発明による手動作基盤入出力装置で制御部１０４の例示的な詳細構成を示したものである。制御部１０４は、処理ユニット１０４ａを備えることができる。処理ユニット１０４ａは入力部１０２から受信された電気信号（またはメッセージ）を解折した後、それによる動作を行う。電気信号が表示部１０６のディスプレイのためのメッセージとして解折されれば、処理ユニット１０４ａはこれを指示する実行制御信号を表示部１０６に伝達する。例えば、処理ユニット１０４ａが解折した電気信号の客体及び動作が「ノード」及び「生成」の場合、処理ユニット１０４ａは情報客体のノードを生成した後、表示部１０６に生成されたノードをディスプレイするように指示する実行制御信号を伝達することができる。このように処理ユニット１０４ａを備える制御部１０４はマイクロプロセッサのように所定の演算及び制御処理が可能な装置で具現できるが、これに制限されない。

本発明の一実施形態で、制御部１０４は上述したような処理ユニット１０４ａ以外にメモリ１０４ｂのように処理ユニット１０４ａでアクセス可能な所定の格納装置をさらに備えることができる。

メモリ１０４ｂは、図１３のようなマッピングテーブルが格納できる。この実施形態で、制御部１０４は受信された電気信号をメモリ１０４ｂに格納されたマッピングテーブルと対照して電気信号の客体及び動作を解折することができる。

メモリ１０４ｂはまた、制御部１０４が管理するグラフィック客体に関する資料構造（ｄａｔａ ｓｔｒｕｃｔｕｒｅ）を格納することができる。本発明の一実施形態によって、制御部１０４が管理する資料構造の例を図１５〜１６に示した。図１５〜１６に示した通り、資料構造の形態はリストとグラフ、２種類の形態があり得る。

図１５に示した例示的なリストは、線形資料構造としてそれぞれのグラフィック客体をより容易に生成、削除及び検索することができるようにする。まず、図１５のノードリストはノードの識別子（ＩＤ）、説明、座標、半径サイズ及び状態フィールドを備える。説明フィールドは該当ノードが含蓄する資料のキーワード、該当ノードの上位ノード及び下位ノードのＩＤを備えることができる。座標フィールドは該当ノードの中心が位置する座標（ｘ、ｙ）になり、半径サイズフィールドは例えばピクセル単位で半径値になり得る。状態フィールドは以下で詳細に説明する拡張／縮小の状態を備える。フィールド及びフィールドに含まれた内容は単に例示に過ぎず、本発明のノードリストがこれに制限されるのではない。

図１５のリンクリストは、リンクのＩＤ、説明及び開始と終了フィールドを備える。説明フィールドは該当ノードが連結する二つのノード間の関係を表示することができる。開始及び終了フィールドは開始ノード及び終了ノードのＩＤを備えることができる。フィールド及びフィールドに含まれた内容も例示的なものであり、本発明はこれによって制限されない。

図１５のレイヤーリストはレイヤーのＩＤ、レイヤーが備えるノード及びリンクフィールドを備える。ノード及びリンクフィールドは該当レイヤーに含まれたノード及びリンクのＩＤをそれぞれ備えることができる。示したレイヤーリストのフィールド及びフィールドに含まれた内容も例示的なものであり、本発明はこれによって制限されない。

多数のユーザが本発明によるシステムを用いる場合、グラフィック客体に対して数多くの「生成」、「削除」などの動的作業を行うようになる。グラフィック客体をリストで管理することによってシステム設計時に事前にメモリ空間を確保する必要なく動的に必要なメモリ空間を作って客体を連結することによって効率的なメモリ空間の管理が可能である。

図１６に示したグラフは非線形資料構造としてノードと各ノードを連結するリンクの関係及び論理的な構造情報を表現する。図１６に示したように、グラフは各ノード間の前／後関係、上／下関係及び所属関係を表現し、表示部１０６で示した形態のように管理されて操作される。図１６に示したように、本発明で非線形資料構造として用いられるグラフはツリーとは異なり、一定の方向性なく意味的に連結された全ての客体間の構造を表現することができる。従って、本発明の一実施形態による手動作基盤の入出力装置はグラフィック客体をグラフで管理することによってグラフィック客体の生成、削除などの制御がユーザの観点から直観的に操作されて表現できるという長所を有する。

図１３を参照して制御部１０４が行う動作を一つ一つ詳察することにする。

制御部１０４が解折した電気信号の動作が「生成」の場合、制御部１０４が行う作業はノード、リンクまたはレイヤーなどのグラフィック客体を生成してメモリ１０４ｂに格納されたリストまたはグラフのような資料構造に登録し、表示部１０６に生成されたグラフィック客体をディスプレイするように指示する制御信号を伝送する過程を備えることができる。電気信号の対象が制御ボタン束または仮想キーボードの場合、制御部１０４は制御ボタン束または仮想キーボードをｏｎ状態（活性化されて画面に表示した状態）に設定し、活性化された制御ボタン束または仮想キーボードを表示部１０６にディスプレイするように指示する制御信号を伝送することができる。

ノード、リンクまたはレイヤーのようなグラフィック客体の生成時に、制御部１０４はリストにその客体が既に格納されているかどうかをまず確認することができる。例えば、生成されたノードのキーワードとノードリストにある所定のノードのキーワードが同一であれば該当ノードが存在するものと判断され得る。また、生成されたリンクの開始及び終了ノードのＩＤがリンクリストにある所定のリンクの開始及び終了ノードのＩＤと同一であれば該当リンクが存在するものと判断され得る。

該当グラフィック客体が存在しなければ、基本情報であるグラフィック客体のＩＤを該当リストに格納する（図１５参照）。ノードを生成する場合、ノードリストに中心座標とサイズ（半径）値を付加的に格納することができる。リンクを生成する場合、リンクリストにリンクの開始、終了ノードのＩＤを付加的に格納することができるが、この時、二つのノードはノードリストに存在しなければならない。このように登録された客体はグラフに格納されることによって、グラフでの該当グラフィック客体の位置と異なるグラフィック客体との関係を表現することが可能になる（図１６参照）。

制御部１０４が解折した電気信号の動作が「選択」の場合、制御部１０４は選択されたグラフィック客体のＩＤを把握する。即ち、「選択」は「移動」、「情報修正」またはレイヤーの「最大／最小化」などのための事前段階として用いられる。例えば、「選択」に対する手動作は指で触れるようなポインティングイベントになり得るが、この場合、制御部１０４は表示部１０６と通信して該当客体のＩＤを確認することができる。

制御部１０４が解折した電気信号の動作が「移動」の場合、制御部１０４は（選択された）ノードを移動し、移動した座標をノードリストまたはグラフの該当資料構造に格納した後、ノードを移動した座標で表示部１０６にディスプレイするように指示する制御信号を伝送する。

本発明の一実施形態でノードの移動は、単一ノード移動と全ての子ノードを移動するという二つを備えることができる。例えば、単一ノードの移動はノードの属性設定モードがｏｎの状態でノードを「選択」した後行われることができる。この実施形態で、単一ノードの移動は「選択」を通じてノードのＩＤを得てきた後、移動した座標値を計算して選択されたノードのみを移動させることができる。

一方、ノードの属性設定モードがｏｆｆである状態（非活性化されて、例えば、画面に半透明状態で表示される状態）でノードを「選択」した後、移動させると、選択された単一ノードに連結された異なるグラフィック客体（例えば、選択されたノードに連結されたリンク及びリンクに連結されたノード）まで共に移動できる。この実施形態で、選択されたノードと連結された全ての他のノードのＩＤ値を抽出し、抽出されたノードの移動した座標値を計算した後、再び該当資料構造に格納することができる。

制御部１０４が解折した電気信号の動作が「情報修正」の場合、この動作はユーザによる仮想キーボード４５０への入力を要する場合がある。また、ノード、リンクまたはレイヤーのようなグラフィック客体の「選択」が先行しなければならない。ユーザはこのようなグラフィック客体を選択した後、仮想キーボード４５０を通じて情報を入力することによって該当グラフィック客体の情報を変更させることができる。変更された情報は前述したような該当資料構造に格納できる。

制御部１０４が解折した電気信号の動作が「削除」の場合、制御部１０４は選択されたグラフィック客体に関する情報を該当資料構造から除去した後、これを表示部１０６にディスプレイするように（客体除去）指示する制御信号を伝送する。即ち、この過程は上述した「生成」と反対となる作業に該当する。電気信号の対象が制御ボタン束または仮想キーボードの場合、制御部１０４は制御ボタン束または仮想キーボードをｏｆｆ状態に設定（非活性化状態にディスプレイ、例えば半透明状態に）し、これをディスプレイするように指示する制御信号を伝送する。

制御部１０４が解折した電気信号の動作がノードの「拡張／縮小」の場合、制御部１０４は表示部１０６上で該当ノードの子ノードを表示したり、または非表示にするように資料構造で情報を変更した後、これをディスプレイするように指示する制御信号を伝送する。

拡張／縮小の機能は、図１７に示した通り、ノードの属性設定モードの機能中の一つになり得る。属性設定モードはノードの属性を設定することができる状態で、例えば該当ノードをダブルクリックすることによってノードのモードを属性設定モードに転換させることができる。一方、属性設定モード状態のノードをダブルクリックする場合、再び基本モードに戻ることができる。このようなモード切替の例は、単なる例示に過ぎず、本発明がこれに制限されるものではない。

属性設定モードの例として、図１８〜図２０にノードの拡張／縮小、サイズ調整及びキーワード検索を示した。

図１８を参照すれば、ユーザは属性設定モード状態で、例えばノード４１０_１の＋／−記号４１６を指で触れること（ポインティングイベント）により拡張／縮小を実行させることができる。制御部１０４は受信された電気信号が「ノードの拡張／縮小」として解折された場合、まず該当ノードが現在拡張された状態なのか縮小された状態なのかを把握することができる。図１８の左側に示した通り、ノード４１０_１が拡張状態の場合、制御部１０４は子ノードのＩＤ（例えば、４１０_２−４１０_６）及びリンクのＩＤ（例えば、４２０_１−４２０_５）をノード４１０_１の資料構造から収集することができる。次に、制御部１０４は収集された子ノード４１０_２−４１０_６及びリンク４２０_１−４２０_５に対し縮小状態に情報を変更した後、これらの色を例えば、透明に変更することができる。反対に、図１８の右側に示した通りノード４１０_１が縮小状態の場合、制御部１０４は収集された子ノード４１０_２−４１０_６及びリンク４２０_１−４２０_５に対して情報及び色を縮小の前の状態に、例えば鮮明に変更することができる。拡張／縮小で変更された情報は該当資料構造で格納及び管理される。

図１９を参照すれば、属性設定モード状態で、例えばノードのサイズ調整領域４１７を指で触れた後（ポインティングイベント）、適切に引っ張る（ドラッグ）ことによってノードのサイズを調整することができる。制御部１０４は受信された電気信号が「ノードのサイズ調整」と解折された場合、ポインティングイベント発生以後から該当ノードの中心座標と現在の指の座標との間の距離を計算してこの距離に比例するようにノードのサイズを調整する。

図１９の左側に示したノードを基本ノードサイズと仮定する。ユーザがサイズ調整領域４１７を指で触った後、例えばノードの外側に指をドラッグすれば、図１９の中央に示したように、ノードのサイズを拡大できる。これと反対に、ユーザが例えばノードの内側に指をドラッグすれば、図１９の右側に示したように、ノードのサイズを縮小できる。

制御部１０４は、変更されたノードのサイズを該当ノードの資料構造（例えば、ノードリストのサイズフィールド）に格納し、これをディスプレイするように表示部１０６に制御信号を伝送する。

ユーザは属性設定モード状態で、例えばノードのキーワード検索領域４１８を指で触れること（ポインティングイベント）によって「キーワード検索」を実行させることができる。制御部１０４は、受信された電気信号が「キーワード検索」と解折された場合、所定のデータベース（ＤＢ：１１８；図１４参照）を探索して前記ノードのキーワードと関連したファイルを呼出し、パーサー（ｐａｓｅｒ）を通じてファイルを解折した後、これをディスプレイするように指示する制御信号を表示部１０６へ伝送することができる。

図２０はキーワード検索時の表示部１０６の例示的なディスプレイ状態を示したものである。表示部１０６は、図２０に示した通り、ディスプレイ領域を分割（例えば、４７０_１−４７０_４）して複数の資料が同時にディスプレイされるようにすることができる。図２０で分割領域を４つに示したのは単に例示的なものであり、本発明がこれに制限されるものではない。表示部１０６は現在キーワード検索が実行された該当ノード４１０を表示して、ユーザがディスプレイされた資料とこれに関連したキーワードを容易に把握することができる。

ノードのキーワードと関連してディスプレイ領域４７０_１−４７０_４にディスプレイできるファイルの例としては、ノードに対する簡略な要約情報、参考資料のハイパーリンク、ワードなどのテキスト文書、パワーポイントなどのプレゼンテーション資料、ｊｐｇなどのイメージ資料またはａｖｉなどの動画像資料を挙げることができる。また、ファイルはｍｐ３などのサウンド資料またはｗａｖなどの録音資料を備えることができる。ただし、動画像資料、サウンド資料または録音資料などを再生するためにはスピーカのような別途の音源再生装置が必要となる場合がある。このように列挙された資料は単に例示に過ぎず、ノードのキーワードと関連した資料はこれ以外にパーサーを通じて解折されてディスプレイされ得る任意のテキスト及びマルチメディア資料を備えることができる。

図２１は、キーワード検索時、探索された資料のディスプレイに便宜を図るための例示的な検索ボタンを示したものである。例えば、検索ボタン４６０のスクロール記号４６２、４６３を指で触れること（ポインティングイベント）により探索された資料が順にディスプレイされるようにすることができる。

図２２は、検索ボタンのスクロール記号を用いる一実施形態を示す。図２２の左側に見られるように、キーワード検索時に検索されたファイルは最初にディスプレイされ得る。各領域４７０_１、４７０_２、４７０_３、４７０_４はそれぞれワード（１）、ウェブページ（２）、パワーポイント（３）及びエクセル（４）ファイルをディスプレイしている。ファイルの番号は目録化された順序を示すことができる。スクロール記号４６３に触れると、資料のディスプレイが図２２の右側に見られるように変わることがある。即ち各領域４７０_１、４７０_２、４７０_３、４７０_４はウェブページ（２）、パワーポイント（３）、エクセル（４）及びイメージ（５）ファイルをディスプレイする。この状態でスクロール記号４６２に触れると、資料のディスプレイは図２２の左側に見られるように、再び元に戻る。このようなディスプレイ方式及びスクロール記号は単に例示であるだけであり、本発明がこれに制限されるものではない。

図２３は、キーワード検索時にディスプレイされる資料の方向を変更する例を示したものである。キーワード検索時、ユーザが方向変更領域４７５に触れると、表示部１０６にディスプレイされる資料の方向が変更される。左側の基本ディスプレイ画面でユーザが方向変更領域４７５に触れると、図２３の右側画面のように、方向変更領域４７５がテキストの上方になるようにディスプレイ方向が変更される。例えば、方向変更領域４７５が表示部１０６の四つの縁に位置すれば、上述したものと同様の形態でディスプレイされる資料の方向が四つの縁の方向に変更される。このような機能は、会議進行時に会議テーブルを取り囲んでいる参加者がどの位置からもその進行内容を容易に把握することができ、特に便利にテキスト情報を読み出すことができるという長所を提供する。

制御部１０４が解折した電気信号の動作が「ズームイン／アウト」の場合、制御部１０４は表示部１０６上でレイヤーのスケールを選択されたサイズに調整するように指示する制御信号を伝送する。この機能は上述したように制御ボタン束４４０の機能の中の一つの、例えばユーザが、制御ボタン束４４０がｏｎである状態で制御ボタン束４４０上の「ズームイン／アウト」の記号４４１、４４２に指で触れること（ポインティングイベント）によって実行できる。スケールを拡張させれば、全体ノードのサイズは拡張された比率だけ増加し、スケールを縮小させれば、全体ノードのサイズは縮小された比率だけ減少する。ズームイン／アウトが０％または１００％に選択されれば、それぞれ以下で説明されるレイヤーの「最小」または「最大」の場合に該当する。

制御部１０４が解折した電気信号の動作が「ファイル格納」の場合、制御部１０４は表示部１０６にディスプレイ中であるグラフィック客体をコンピュータ読み出し可能媒体に格納できる形態のファイルで格納する。この機能は上述した通り制御ボタン束４４０の機能中一つの、例えばユーザが制御ボタン束４４０がオン（ｏｎ）である状態で制御ボタン束４４０上の「ファイル格納」の記号４４５に指で触れること（ポインティングイベント）により実行できる。

本発明の望ましい実施形態で、グラフィック客体が格納されるファイルはＸＭＬ形態になり得る。この実施形態で、制御部１０４は、まず、各レイヤーに対する要素（ｅｌｅｍｅｎｔ）を生成する。制御部１０４が上述した通り、リストとグラフとしてグラフィック客体を２つの資料構造で管理する場合、レイヤーに対する要素はレイヤーリストを参照して生成できる。その次に、ノード要素及びリンク要素を生成する。グラフィック客体がリストで管理される場合、同様にノード及びリンクに対する要素はノードリスト及びリンクリストを参照して生成できる。この実施形態で、リストに含まれている付加情報を属性として追加することができる。全ての要素が生成されれば、それぞれのノード及びリンク要素を該当レイヤー要素に登録することによって一つのファイルが生成される。

制御部１０４が解折した電気信号の動作が「ファイルオープン」の場合、制御部１０４はグラフィック客体が格納されたファイルを呼出し、パーサーを通じて解折し、これを表示部１０６にディスプレイするように指示する制御信号を伝送する。この機能は上述した通り、制御ボタン束４４０の機能中の一つの、例えばユーザが制御ボタン束４４０がｏｎである状態で制御ボタン束４４０上の「ファイルオープン」の記号４４６に指で触れること（ポインティングイベント）によって実行できる。

本発明の一実施形態で、制御部１０４の「ファイルオープン」はグラフィック客体が格納されたＸＭＬファイルを呼出すことができる。この実施形態で、制御部１０４は、まず、ルート要素（ｒｏｏｔ ｅｌｅｍｅｎｔ）を確認して装置で使用可能なファイルなのかを確認した後、ルート要素の子要素（ｃｈｉｌｄ ｅｌｅｍｅｎｔ）を導き出すことができる。子要素はレイヤー要素で構成され、それぞれのレイヤー要素は子要素としてリンク要素とノード要素を備える。このような情報の表現は単一グラフに関する情報を記述するものでレイヤーとグラフ、即ち、表示領域で表現された情報を制御領域の情報と有機的に連結するためである。リンク要素は属性としてリンクのＩＤ、リンクの説明、リンクを連結する２ノードのＩＤを備えることができ、ノード要素はノードのＩＤ、ノードの説明、ノードの座標及びノードのサイズを備えることができる。制御部１０４が上述したようにリストとグラフとしてグラフィック客体を２つの資料構造で管理する場合、パーサーを通じて解析された情報は各グラフィック客体のためのリスト及びグラフに格納され、グラフィック客体生成過程を通じて表示部１０６にグラフィック客体がディスプレイされるようにする。

制御部１０４が解折した電気信号の動作が「最大／最小化」の場合、制御部１０４は表示部１０６上で現在活性化状態であるレイヤーに対してその情報を一時的に格納した後、非表示したり（最小化）、現在最小化されたレイヤーに対して一時的に格納された情報をオープンした後、活性化を行う（最大化）ことができる。図４に示した例を参照すれば、レイヤー４３０_１は現在活性化された状態であり、レイヤー４３０_２−４３０_Ｌは最小化された状態である。レイヤー４３０_１を最小化させると非表示となり、レイヤー４３０_２−４３０_Ｌの中の一つを最大化すれば該当レイヤーが活性化される。

表示部１０６は、制御部１０４の指示に従ってグラフィック客体をディスプレイする。表示部１０６は液晶ディスプレイ（ＬＣＤ）で具現できるが、これに制限されるものではない。

図２４は、本発明の望ましい一実施形態で、入力部を表示部上に装着した構成を示したものである。一例示として、入力部１０２はタッチスクリーンであり、表示部１０６はＬＣＤになり得る。円状、Ｚ状などの手動作が発生すると、入力部１０２でこの手動作に該当する電気信号を制御部１０４へ伝送し、制御部１０４は受信された電気信号を解折し、解折されたところによって適切な動作を行うが、ディスプレイと関連した動作の場合、これを指示する制御信号を表示部１０６へ伝送することができる。一方、指でグラフィック客体に触れるようにポインティングイベントが発生すれば、制御部１０４は表示部１０６と通信してポインティングされたグラフィック客体に関する情報を得ることができる。この実施形態で、ユーザはディスプレイに基づいて直観的なジェスチャーで入／出力装置を作動することができる。

この実施形態で、入力部１０２及び表示部１０６として大型（例えば、５５インチ）タッチスクリーン及びＬＣＤを用いれば、複数の人が大型タッチスクリーンを通じて同時に自由に情報を入力することができる。従来技術では複数の人が情報の入力を所望する場合、ノートブック、キーボード、マウスなどを多数接続した後、入力を所望する人にスイッチングしたりまたは一つの入力装置に対して複数の人が順に用いなければならなかった。本発明では使用順序を気にせず、別途の入力装置乃至スイッチング装置を接続する必要なく、一つの入力部を複数の人が便利かつ自由に用いることができる。従って、本発明は会議進行のように複数の人が共に入力し、出力を共有する作業で有利に用いられる。

手動作基盤の入出力装置１００は、望ましくは図２４に示した通り、グラフィック客体ファイル変換部１０８を備えることができる。グラフィック客体ファイル変換部１０８はグラフィック客体に対するファイルを一定の形態のファイルに変換させて既存のシステム及び多様な形態のアプリケーションプログラムと互換性を有するようにすることができる。変換されるファイルの形態は画像ファイル、ワードファイル及びパワーポイントファイル形態の文書を備えることができるが、これに制限されない。

図２５は本発明の一実施形態によって、多数の手動作基盤の入出力装置がサーバ１００及びクライアント２００_１−２００_Ｃとして通信ネットワーク３００を通じて連動する構成を示したものである。図２５のクライアント２００_１−２００_Ｃはユーザの個人入出力装置で用いるためのものであって、携帯の簡便なノートブック及びタブレットＰＣで具現できるが、これに制限されない。通信ネットワーク３００はＬＡＮのような有線ネットワーク、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）のような無線ネットワークなど、接続された装置間の双方向データ伝送が可能な任意のネットワークを備えることができる。

図２５のサーバ−クライアントシステムでサーバ１００及びクライアント２００_１−２００_Ｃとして用いられる手動作基盤の入出力装置は、それぞれ通信ネットワーク３００を通じてグラフィック客体に関する情報を受信する受信部１１２、２１２_１−２１２_Ｃ及び表示部１０６、２０６_１−２０６_Ｃにディスプレイされているグラフィック客体を一時的に格納する臨時格納部１１６、２１６_１−２１６_Ｃをさらに備える。受信部１１２、２１２_１−２１２_Ｃで通信ネットワーク３００を通じてグラフィック客体に関する情報を受信した場合、臨時格納部１１６、２１６_１−２１６_Ｃは表示部１０６、２０６_１−２０６_Ｃにディスプレイされているグラフィック客体を一時的に格納し、表示部１０６、２０６_１−２０６_Ｃは受信されたグラフィック客体をディスプレイする。

サーバ１００は、通信ネットワーク３００を通じてグラフィック客体に関する情報を伝送する送信部１１０及びクライアント２００_１−２００_Ｃが通信ネットワーク３００を通じてサーバ１００に接続を要請する場合、クライアント２００_１−２００_Ｃを認証して接続を許可する認証部１１４をさらに備える。認証部１１４は望ましくは、認証されたクライアント２００_１−２００_Ｃの付加情報、即ちＩＤ及びＩＰアドレスをハッシュテーブルに登録して接続するクライアント２００_１−２００_Ｃを管理することができる。

図２６−２７は、サーバ−クライアントシステムでサーバとクライアントがグラフィック客体に関する情報を送受信する例示的な構成を示したものである。図２６を参照すれば、サーバ１００の送信部１１０は、サーバ１００に接続されたクライアント２００_１がある場合、サーバ１００の表示部１０６にディスプレイ中であるグラフィック客体に関する情報を、通信ネットワーク３００を通じて接続されたクライアント２００_１へ伝送する。一実施形態で、送信部１１０から伝送するグラフィック客体に関する情報は制御部１０４が管理するグラフィック客体に関する資料構造を備えることができる。また、グラフィック客体に関する情報を伝送する過程は、上述したファイル格納機能を用いて送信部１１０を通じてなされる。

サーバ１００からグラフィック客体に関する情報を受信したクライアント２００_１は、現在クライアント２００_１の表示部２０６_１にディスプレイ中であるグラフィック客体に関する情報を臨時格納部２１４_１に格納し、受信したグラフィック客体を表示部２０６_１にディスプレイする。このような過程は受信部２１２_１から上述したファイルオープン操作を用いて行うことができる。制御部２０４_１は最小化機能を用いて現在活性化されていたレイヤーを非表示にし、最大化機能を用いて新たに受信されたレイヤーを活性化させることができる。制御部２０４_１がグラフィック客体を上述した資料構造で管理する場合、ファイルオープン過程と同様にパーサーを通じてグラフィック客体の情報を分析した後、新たな資料構造を生成して各グラフィック客体を生成された資料構造に登録することができる。

サーバ−クライアントシステムで、グラフィック客体に関する情報の送受信はＸＭＬに基づく（ＸＭＬ ｂａｓｅｄ）ソケットデータ通信を通じて行われることができる。このようなシステムを構成することにより、遠隔ユーザもサーバ上で進行中である作業内容、例えば会議内容を自らの装置（クライアント）でリアルタイムにアップデートしながら見ることができる。

図２７は、サーバ−クライアントシステムでクライアントがサーバにグラフィック客体に関する情報を伝送する例を示したものである。クライアント２００_１は通信ネットワーク３００を通じてグラフィック客体に関する情報を伝送する送信部２１０_１をさらに備える。クライアント２００_１は図２６を参照して説明されたような方法でサーバ１００にグラフィック客体に関する情報を伝送することができる。サーバ１００の受信部１１２がクライアント２００_１からグラフィック客体に関する情報を受信した場合、図２６を参照して説明されたような方法で受信されたグラフィック客体に関する情報を処理することができる。

図２６を参照して上述した通り、サーバ１００の送信部１１０は、サーバ１００に接続されたクライアント２００_１−２００_Ｃがあれば、サーバの表示部１０６にディスプレイ中であるグラフィック客体に関する情報を、通信ネットワーク３００を通じて接続されたクライアント２００_１−２００_Ｃへ伝送する。従って、図２７でクライアント２００_１がサーバ１００にグラフィック客体に関する情報を伝送すれば、サーバ１００はこのグラフィック客体に関する情報を、再び接続された全体クライアント２００_１−２００_Ｃへ伝送するようになる。従って、サーバ−クライアントシステムに従って、一つのクライアントが有するグラフィック客体に関する情報をサーバに接続された全体クライアントがいずれも共有して見ることができるようになる。

これと異なり、権限が委任されたクライアント２００_１がサーバ１００だけでなく接続中である他のクライアント２００_２−２００_Ｃに直接グラフィック客体に関する情報を伝送するように具現されることができる。

本発明の望ましい一実施形態で、グラフィック客体の操作権限を有する装置のみがグラフィック客体に関する情報を伝送するようにすることができる。グラフィック客体の操作権限とは、多数のクライアント２００_１−２００_Ｃが通信ネットワーク３００を通じてサーバ１００と連動中である時、サーバ１００の表示部１０６にディスプレイされるグラフィック客体に関する情報を伝送することができる権限として複数の装置による操作でデータが衝突することを防止するためである。グラフィック客体の操作権限は基本的にサーバ１００が有し、クライアント２００_１−２００_Ｃはサーバ１００にグラフィック客体の操作権限を委任するように要請することができる。

図２７の例を続けて参照すれば、クライアント２００_１はサーバ１００からグラフィック客体の操作権限が委任されたのである。従って、この場合、サーバ１００にグラフィック客体に関する情報を伝送することができるのはクライアント２００_１だけで他のクライアント２００_２−２００_Ｃはサーバ１００にグラフィック客体に関する情報を伝送することができない。しかし、各クライアント２００_１−２００_Ｃは自らの表示部２０６_１−２０６_Ｃにディスプレイされるグラフィック客体に対してはグラフィック客体の操作権限の如何に関係なく入力部２０２_１−２０２_Ｃを通じて自由に操作することができる。

一実施形態で、操作権限がクライアント２００_１に委任された場合にもサーバ１００の入力部１０２に入力した手動作が表示部１０６に反映されるように具現できる。この場合は上述した通りクライアントが客体操作権限に関係なく自由に自らの表示部にディスプレイされたグラフィック客体を生成または削除することができることに該当する。代わりに、クライアント２００_１がサーバ１００から操作権限の委任を受けた場合には入力部１０２はディセーブルでき、入力部１０２に入力された手動作が表示部１０６にディスプレイされないことも有り得る。言い換えれば、自己のみの装置として遠距離ユーザが用いるクライアントと複数の人が共通に使用中の近距離ユーザのサーバを別途に取り扱うことができる。これはアプリケーションによってユーザが取捨選択することができる。

図２８は、本発明の一実施形態によって手動作基盤の入出力方法（７００）を行うための論理的な流れを示したものである。まず、手動作をセンシングし、センシングされた結果を電気信号に変換する（７０１）。電気信号の例として図１２に示したメッセージタイプのプロトコルを挙げることができる。

段階（７０２）で、電気信号に基づいてマッピングテーブルによって動作を行う。マッピングテーブルの例として図１３に示したマッピングテーブルを挙げることができる。段階（７０３）で、行われた動作を反映させてディスプレイする。

手動作基盤の入出力方法（７００）は、クライアントから通信ネットワークを介して接続要請を受信する段階（７０４）をさらに備えることができる。この場合、サーバは接続を要請するクライアントを認証して接続を許可することができる（７０５）。次に、サーバはディスプレイされているグラフィック客体に関する情報を接続されたクライアントへ伝送することができる（７０６）。

手動作基盤の入出力方法（７００）は、接続されたクライアントのいずれか一つからグラフィック客体の操作権限に対して委任の要請を受ける段階を備えることができる（７０８）。サーバは委任要請に応答し、委任を要請したクライアントにグラフィック客体の操作権限を委任することができる（７０９）。サーバはグラフィック客体の操作権限の委任を受けたクライアントからグラフィック客体に関する情報を受信することができる（７１０）。サーバは現在サーバの表示部にディスプレイされているグラフィック客体を臨時に格納し、受信されたグラフィック客体をディスプレイすることができる（７１１）。

図２９は、本発明の他の一実施形態による手動作基盤の入出力方法を行うための論理的な流れを示したものである。まず、ユーザジェスチャー信号を受け入れるために入力部１０２を開放する（８０１）。その次に、制御部１０４は各グラフィック客体のための資料構造を生成する（８０２）。グラフィック客体は上述したノード、リンク、レイヤーなどを備えることができる。次に、制御部１０４は入力部を通じて電気信号を受信する（８０３）。制御部１０４はマッピングテーブルに基づいて電気信号を分析する（８０４）。マッピングテーブルは例えば、図１３に示したマッピングテーブルを備えることができる。制御部１０４は分析された内容をバッファに格納する（８０５）。制御部１０４は分析された内容が、制御部１０４が行う動作に関するメッセージなのか判断する（８０６）。メッセージの場合、それによる動作を行う（８０７）。

行った動作によって表示部１０６にディスプレイを指示する制御信号を発生させる（８０８）。発生させた指示信号を表示部１０６へ伝送する（８０９）。

手動作基盤の入出力方法（８００）は、８０５段階の後、接続されたクライアントが存在するかを判定する段階（８１０）をさらに備えることができる。この実施形態で、接続されたクライアントが存在する場合、バッファに格納された内容を接続されたクライアントへ伝送する（８１１）。

手動作基盤の入出力方法（８００）は、複数のクライアントのために受信部１１２を開放する段階（８１２）をさらに備えることができる。この実施形態で、受信部１１２は開放後にクライアントの接続を待機する（８１３）。クライアントが接続を要請すれば（８１４）、認証部１１４でクライアントを認証して接続を許可する（８１５）。認証されたクライアントの情報をハッシュテーブルに登録して（８１６）クライアントがファイルなどを伝送した場合、これを制御部１０４で処理する（８０７）。制御部１０４の処理は例えば、上述した通りディスプレイされているグラフィック客体を臨時に格納し、伝送されたグラフィック客体をディスプレイするものとなることができる。

図３０は、本発明によって手動作基盤の入力を感知し、ディスプレイする例示的なグラフィックユーザインターフェース方法の論理的流れを示したものである。ポインティングイベント（ユーザの入力）管理者はユーザ入力を感知してポインタの移動する位置を追跡し、これを変数に格納する（９１０）。ポインティングイベント発生位置がノード内部領域なのか（９２０）、リンクなのか（９３０）、グラフィック客体のない空き空間（ベース領域）なのか（９４０）を判断する。

ユーザ入力位置を判断した結果、ノード内部領域の場合、入力がクリックなのか（９２１）、ドラッグなのか（９２２）、ダブルクリックなのか（９２３）を判断する。クリックの場合、現在ノードを選択された状態でディスプレイ変更する（９２１１）。ディスプレイ変更は、例えば、ノードのカラー領域（４１５；図２参照）の色を変更したり発光アニメーション効果（きらめき）を与える方法などからなることができる。ドラッグの場合、該当ノードの中心座標をポインタの座標と一致するように該当ノードのディスプレイを更新する（９２２１）。この過程をドラッグを止めるまで反復する（９２２２）。ダブルクリックの場合、ノードが属性設定モードなのかを判断し（９２３１）、属性設定モードであれば属性設定モードに必要なボタン（例えば、拡張／縮小（４１６）、スケール調整（４１７）またはキーワード検索（４１８）等；図１７参照）をディスプレイし（９２３２）、属性設定モードではない場合、基本ノード形態（図２参照）でディスプレイする（９２３３）。

ユーザ入力位置を判断した結果、リンクの場合、現在リンクを選択された状態でディスプレイ変更する（９３１）。ディスプレイ変更は上述したノードと同様の方法でなされる。

ユーザ入力位置を判断した結果、空き空間の場合、ドラッグなのか判断する（９４１）。ドラッグが所定のジェスチャー（例えば、ノード生成）として認識されれば（９４１２）、該当ジェスチャーに該当するディスプレイ（例えば、新たなノードディスプレイ）を行う（９４１３）。ユーザの便宜のために、ドラッグ判断段階とジェスチャー認識段階との間に選択的にドラッグについて行く実線をディスプレイすることができる（９４１１）。

本発明は、また、コンピュータで読み出すことができる記録媒体にコンピュータが読み出すことができるコードとして具現することが可能である。コンピュータが読み出すことができる記録媒体はコンピュータシステムによって読まれることができるデータが格納される全ての種類の記録装置を備える。コンピュータが読み出すことができる記録媒体の例としてはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えばインターネットを介した伝送）の形態で具現されるものも備える。また、コンピュータが読み出すことができる記録媒体はネットワークに接続されたコンピュータシステムに分散し、分散方式でコンピュータが読み出すことができるコードが格納されて実行できる。そして、本発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは本発明の属する技術分野のプログラマにより容易に推察できる。

このような本願発明である方法及び装置は、理解を促進するために図面に示した実施形態を参考までに説明したが、これは例示的なものに過ぎず、当該分野で通常の知識を有する者であればこれから多様な変形及び均等した他実施形態が可能であるという点を理解するはずである。従って、本発明の真正な技術的保護範囲は添付された特許請求の範囲によって定められなければならない。

本発明によるグラフィックユーザインターフェースは、ユーザが面倒な探索手順を行うことなく現在の案件と関連した資料及びこれらの間の関係を直観的に把握することができるようにする。

図１は、本発明の一実施形態による手動作基盤の入力及びディスプレイされるグラフィック客体を表示した図面である。 図２は、本発明の一実施形態によるグラフィック客体を示す図面である。 図３は、本発明の一実施形態によるグラフィック客体を示す図面である。 図４は、本発明の一実施形態によるグラフィック客体を示す図面である。 図５は、本発明の一実施形態によるグラフィック客体を示す図面である。 図６は、本発明の一実施形態によるグラフィック客体を示す図面である。 図７は、本発明の一実施形態による手動作入出力装置の構成図である。 図８は、本発明の一実施形態による手動作入力例示図である。 図９は、本発明の一実施形態による手動作入力例示図である。 図１０は、本発明の一実施形態による手動作入力例示図である。 図１１は、本発明の一実施形態による手動作入力例示図である。 図１２は、本発明の一実施形態によるメッセージタイプの電気信号及びこれを実行動作とマッピングさせるマッピングテーブルを表示した図面である。 図１３は、本発明の一実施形態によるメッセージタイプの電気信号及びこれを実行動作とマッピングさせるマッピングテーブルを表示した図面である。 図１４は、本発明の一実施形態による制御部の構成例示図である。 図１５は、本発明の一実施形態による制御部で管理するグラフィック客体の資料構造図である。 図１６は、本発明の一実施形態による制御部で管理するグラフィック客体の資料構造図である。 図１７は、本発明の実施形態による属性設定モードの機能を示す図面である。 図１８は、本発明の実施形態による属性設定モードの機能を示す図面である。 図１９は、本発明の実施形態による属性設定モードの機能を示す図面である。 図２０は、本発明の実施形態による属性設定モードの機能を示す図面である。 図２１は、本発明の一実施形態によるキーワード検索時の表示部のディスプレイ例示図である。 図２２は、本発明の一実施形態によるキーワード検索時の表示部のディスプレイ例示図である。 図２３は、本発明の一実施形態によるキーワード検索時の表示部のディスプレイ例示図である。 図２４は、本発明の一実施形態によって表示部に入力部を装着した構成の例示図である。 図２５は、本発明の一実施形態による手動作基盤の入出力装置を用いたサーバ−クライアントシステムの構成図である。 図２６は、本発明の一実施形態によるサーバ−クライアントシステムでグラフィック客体情報の送受信を示す構成図である。 図２７は、本発明の一実施形態によるサーバ−クライアントシステムでグラフィック客体情報の送受信を示す構成図である。 図２８は、本発明の一実施形態による手動作基盤の入出力方法に関する論理フローチャートである。 図２９は、本発明の他の実施形態による手動作基盤の入出力方法に関する論理フローチャートである。 図３０は、本発明による手動作基盤の入力を感知及びディスプレイするグラフィックユーザインターフェース方法の論理フローチャートである。

Claims (16)

1. グラフィック客体を生成するためにユーザ入力を受信するための第１の領域と、
   前記ユーザ入力を電気信号に変換して処理装置へ伝送するための入力変換装置と、
   前記処理装置からディスプレイ制御信号を受信するための制御信号受信装置と、
   前記制御信号に基づいてグラフィック客体をディスプレイするための第２の領域と
   を備え、
   前記グラフィック客体は、情報の最小単位を示すノード及び前記ノードの間を連結して前記ノードの間の関係を示すリンクを備えることを特徴とするグラフィックユーザインターフェース装置。
2. 前記ノードは、ノードが示す資料を含蓄するキーワードを備えることを特徴とする請求項１に記載のグラフィックユーザインターフェース装置。
3. 前記リンクが連結する二つのノードのうち、一つは親ノード、もう一つは子ノードであり、前記親／子ノードの関係は上／下関係、前／後の関係または所属関係を備えることを特徴とする請求項１に記載のグラフィックユーザインターフェース装置。
4. 前記グラフィック客体は、
   少なくとも一つのノード及び前記ノードに連結されたリンクを備えるレイヤーをさらに備え、前記レイヤーは含まれたグラフィック客体に対して全体として属性を示すことを特徴とする請求項１に記載のグラフィックユーザインターフェース装置。
5. 前記第１の領域で受信されるユーザ入力は、前記グラフィック客体を削除するためのユーザ入力を備えることを特徴とする請求項１に記載のグラフィックユーザインターフェース装置。
6. 前記ノードは、
   ユーザによって選択された場合、少なくとも一つの作業をすることができるように活性化されることを特徴とする請求項１に記載のグラフィックユーザインターフェース装置。
7. 前記少なくとも一つの作業は、
   移動、サイズ変更、または前記ノードの下位ノード及び前記ノードと前記下位ノードとの間に連結されたリンクのディスプレイ状態変更を備えることを特徴とする請求項６に記載のグラフィックユーザインターフェース装置。
8. 前記少なくとも一つの作業は、キーワード検索を備え、
   前記キーワード検索が実行されれば、前記第１及び第２の領域は検索された資料をディスプレイする第３の領域に転換されることを特徴とする請求項６に記載のグラフィックユーザインターフェース装置。
9. 前記第３の領域は、複数の資料がディスプレイできるように分割されることを特徴とする請求項８に記載のグラフィックユーザインターフェース装置。
10. ユーザにより選択された場合、前記第３の領域でディスプレイされる資料の方向が変更される第４の領域をさらに備えることを特徴とする請求項８に記載のグラフィックユーザインターフェース装置。
11. 前記グラフィック客体は、
    前記キーワード検索の開始、終了、または検索された資料のディスプレイを備える作業を行うためのキーワード検索道具
    をさらに備え、前記第３の領域は前記キーワード検索道具をディスプレイすることを特徴とする請求項８に記載のグラフィックユーザインターフェース装置。
12. 前記グラフィック客体は、
    前記グラフィック個体の格納、または前記グラフィック客体が格納されたファイルのオープンを備える作業を行うための制御道具
    をさらに備えることを特徴とする請求項１に記載のグラフィックユーザインターフェース装置。
13. 情報の最小単位を示すノード及び前記ノードの間を連結して前記ノードの間の関係を示すリンクを備えるグラフィック客体をディスプレイをする方法であって、
    ユーザ入力の有無を判断する段階と、
    前記ユーザ入力の位置がユーザ入力を受信するための第１の領域なのか、グラフィック客体をディスプレイするための第２の領域なのか判断する段階と、
    前記位置が前記第１の領域であり、入力形態がノード生成に該当すれば、ノードをディスプレイする段階と、
    前記位置が前記第１の領域から始まって前記ノードを二つ以上貫通すれば、前記貫通したノードを連結するリンクをディスプレイする段階と、
    前記位置が第２の領域であれば、該当グラフィック客体を活性化する段階と
    を備えることを特徴とするグラフィック客体のディスプレイ方法。
14. 前記該当グラフィック客体を活性化する段階は、
    前記該当グラフィック客体が前記ノードの場合、移動、サイズ変更、前記ノードの下位ノード及び前記ノードと前記下位ノードとの間に連結されたリンクのディスプレイ状態変更、または前記ノードが示す情報の検索を備える作業をすることができるように活性化する段階を備えることを特徴とする請求項１３に記載のグラフィック客体のディスプレイ方法。
15. 情報の最小単位を示すノード及び前記ノードの間を連結して前記ノードの間の関係を示すリンクを備えるグラフィック客体をディスプレイをする方法を行うプログラムを収録したコンピュータで読み出すことができる記録媒体として、
    ユーザ入力の有無を判断する段階と、
    前記ユーザ入力の位置がユーザ入力を受信するための第１の領域なのか、グラフィック客体をディスプレイするための第２の領域なのかを判断する段階と、
    前記位置が前記第１の領域であり、入力形態がノード生成に該当すれば、ノードをディスプレイする段階と、
    前記位置が前記第１の領域から始まって前記ノードを二つ以上貫通すれば、前記貫通したノードを連結するリンクをディスプレイする段階と、
    前記位置が第２の領域であれば、該当グラフィック客体を活性化する段階と
    を備えるグラフィック客体のディスプレイ方法を行うプログラムを収録したコンピュータで読み出すことができることを特徴とする記録媒体。
16. 前記該当グラフィック客体を活性化する段階で、
    前記該当グラフィック客体が前記ノードの場合、移動、サイズ変更、前記ノードの下位ノード及び前記ノードと前記下位ノードとの間に連結されたリンクのディスプレイ状態変更、または前記ノードが示す情報の検索を備える作業をすることができるように活性化する、グラフィック客体のディスプレイ方法を行うプログラムを収録したコンピュータで読み出すことができることを特徴とする請求項１５に記載の記録媒体。

Images