JP2015046178A - インターラクティブグラフィカルインタフェースを用いてデータ構造を生成及び操作するシステム、方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】 直感的かつインターラクティブなグラフィカルインタフェースを用いて、データ構造を生成、可視化、及び操作するシステム、方法、及びコンピュータプログラムを提供する。
【解決手段】 データ構造を表示し、ユーザにユーザインタフェースによりデータ構造とインターラクションさせる。データ構造はデータエンティティとその間の関係とを含む。ユーザコンテクストプロパティがデータエンティティと関連し得る。ユーザに、ユーザインタフェースのビジュアルプロパティをデータ構造のユーザコンテクスト関連プロパティと関連付けさせることにより、ユーザインタフェースにデータ構造からデータエンティティが追加される。これにより、ユーザはユーザインタフェースによりデータ構造とインターラクトできる。
【選択図】 図２

Description

本発明は、概して、データ構造を生成し操作するインタフェースに関する。本発明は、より具体的には、直感的かつインターラクティブなグラフィカルインタフェースを用いて、データ構造を生成、可視化、及び操作するシステム、方法、及びコンピュータプログラムに関する。

［クロスリファレンス］
本特許出願は、２００９年１１月１０日に出願した米国特許出願第１２／６１５，７０３号の利益を主張するものであり、その出願書類はここに参照援用する。

［背景技術］
知識は、グラフを含むいろいろなタイプのデータ構造を用いて表現できる。かかるグラフの１つはセマンティックネットワークとして知られている。セマンティックネットワークは、概念を表す頂点と、概念間のセマンティックな関係を表す辺よりなる有効グラフである。

セマンティックネットワークは大きくなると扱いにくくなる。

タグを用いて、セマンティックネットワーク中の概念を表すことができる。「タグクラウド」として知られる可視化において、タグのセットを用いて概念間の関係を表せる。タグクラウドはインターネット上でよく使われるデータ可視化デバイスである。タグクラウドは、意味のある方法でタグを表すために、例えば、ブログその他のインターネットリソースにおけるタグの普及をユーザに対して記述するために、一般的に用いられる。サイズ、重み、色などの単語のプロパティは、基礎にあるデータのプロパティを表す。タグクラウドはマニュアルで、又はコンピュータ化した手段を用いて生成できる。図１Ａ乃至図１Ｃはタグクラウドの例を示す図である。図１Ａに示したように、例えば、クラウドは複数のサイズが異なるタグを有してもよい。クラウド中の大きなタグはブログにおいてそのタグがよく使われていることを表す。図１Ｂと図１Ｃに示したように、例えば、タグのサイズは、あるコンテクストに関する概念の重要性を示す。

（サイズ、重み、色などの）タグプロパティに情報をエンコードできるが、タグクラウドにおける絶対的位置や相対的位置は実際上意味がない。タグは典型的には単一の単語であり、アルファベット順又は別の順番で並んでいる。単語はベースライン上に一列に並べても、その他の方法で配置してもよいが、これは一般的には、スペースを節約するため、又は異なる視覚的効果を得るために行われる。

しかし、これらのタグクラウドは、情報をグラフィカルに表しているだけであり、ユーザからのフィードバック手段が何もないので、インターラクティブではない。タグクラウドでは、タグ間の関係を操作する手段はない。

先行技術では、平均的なコンピュータユーザがデータ構造を生成、可視化、又は操作できるように、階層的又は多階層的（polyhierarchical）なデータ構造の簡単なビジュアル表現を示す方法は説明されていない。先行技術では新しい概念と関係のマニュアルエントリーは限定的な範囲で想定されているが、先行技術に開示されていないことは、概念を生成し、タグにより表された既存の概念との関係を自動的に推論するためのタグクラウドの利用である。また、開示されていないことは、タグにより表される概念間の関係を可視化して操作する便利な方法である。言い換えると、先行技術は、タグクラウドを、表示されたセマンティックネットワークその他のデータ構造への入力デバイスとして用いることを教示していない。

特許文献１は、ユーザに表示され、各タグがｎレイヤの関連情報に導くタグクラウドを開示している。

特許文献２は、検索クエリに応じてコンピュータで生成されるタグクラウドを開示している。主題表示やラベルを含むタグは、そのクラウドを生成する情報を最初に集める関連ウェブサイトにリンクされている。

特許文献３は、表示されたタグクラウドの表示のカスタマイズが開示されている。これらのクラウドは、フォントカラー、フォントサイズ、ボーダー、３次元の奥行き、シャドーイングなどの属性に関してカスタマイズされる。これらの属性すべての変更はタグクラウド中のタグのビジュアルな表示に貢献するが、タグクラウドにより示された情報には、対応する重要な影響を与えない。

上記の出願はどれも、タグにより表される概念間にある関係をビジュアルに表し、そのタグを用いたユーザによるそのデータ構造の操作を可能にするように、ユーザにデータ構造を表示する方法を説明していない。

特許文献４は、ユーザに、単語又は単語の組み合わせとして表された概念とその概念間の関係とを、グラフィカルユーザインタフェースで入力、記憶、及び出力できるようにさせることが開示されている。ユーザは、思考エンジンに概念を提供し、概念間の関係のタイプや性質を指定する。ユーザはセマンティックネットワークを構成し、共有する。

特許文献４は、構造化データを理解していないユーザが、その構造にデータを挿入できるようにすることに関する。ユーザはデータと関係を明示的に挿入するので、その関係がどうして生じるのか知っている必要がある。ユーザがデータを見る方法に基づき関係を確立する自動的方法は提供されていない。特許文献４は、新しい関係のタイプのユーザによる分類を説明しているが、最小限のユーザ入力で関係を確立する簡単な方法についての説明はない。また、セマンティックネットワークにおける概念間の既存の関係を容易に操作する方法はまったく説明されていない。

それゆえ、平均的なコンピュータユーザが、タグクラウドを用いてデータ構造を生成、可視化、又は操作できるようにする手段が必要である。

米国特許出願第１１／５４８，８９４号（出願人Lewis等） 米国特許出願第１１／５４０，６２８号（出願人Hoskinson） 米国特許出願第１１／５３３，０５８号（出願人Blanchard等） 国際出願第US２００７／０２５８７３（出願人Lindermann等）

本発明により次の方法が提供される。すなわち、データ構造を表示し、ユーザインタフェースによりユーザに前記データ構造とインターラクションさせる、コンピュータネットワークで実施する方法であって、前記データ構造はデータエンティティと前記データエンティティ間の関係とを含み、ユーザコンテクストプロパティが前記データエンティティと関連し、前記方法は、前記ユーザに前記ユーザインタフェースのビジュアルプロパティを前記データ構造のユーザコンテクスト関連プロパティと関連付けさせ、それにより前記ユーザに前記ユーザインタフェースにより前記データ構造とインターラクションさせることにより、前記データ構造からのデータエンティティを追加することを有することを特徴とする。

本発明により次のシステムが提供される。すなわち、データエンティティと前記データエンティティ間の関係とを含むデータ構造を表示し、ユーザに前記データ構造を生成することを含み前記データ構造とインターラクションさせるコンピュータネットワークで実施する方法を実行するシステムであって、ユーザコンテクストプロパティが前記データエンティティと関連し、（ａ）少なくとも１つのディスプレイと、（ｂ）ユーザインタフェースユーティリティであって、
（ｉ）前記少なくとも１つのディスプレイにより、ユーザにユーザインタフェースを提供し、
（ｉｉ）前記ユーザに前記ユーザインタフェースのビジュアルプロパティを前記データ構造のユーザコンテクスト関連プロパティと関連付けさせ、それにより前記ユーザに前記ユーザインタフェースにより前記データ構造とインターラクションさせることにより、前記データ構造からのデータエンティティを追加する、ユーザインタフェースユーティリティとを有することを特徴とする。

本発明により次のコンピュータプログラム製品が提供される。すなわち、ディスプレイを有するコンピュータにより実行された時、データ構造に対応するユーザインタフェースを表示し、前記データ構造を生成することにより、ユーザに前記データ構造とインターラクションさせる実行可能なコンピュータプログラムを含むコンピュータプログラム製品であって、前記データ構造はデータエンティティと、前記データエンティティ間の関係を含み、ユーザコンテクストプロパティが前記データエンティティに関連付けられ、ユーザインタフェースにおける前記データ構造とのインターラクションは、前記ユーザに前記ユーザインタフェースのビジュアルプロパティを前記データ構造のユーザコンテクスト関連プロパティと関連付けさせ、それにより前記ユーザに前記ユーザインタフェースにより前記データ構造とインターラクションさせることにより、前記データ構造からのデータエンティティを追加することを有することを特徴とする。

この点で、本発明の少なくとも１つの実施形態を詳細に説明する前に、言うまでもなく、本発明はその適用において、以下に説明する、または図面に示す詳細な構造やコンポーネントの配置に限定されない。本発明は、他の実施形態も含み、様々な方法で実施することができる。また、言うまでもなく、ここで用いる用語は、説明を目的としたものであり、限定するものと解すべきではない。

先行技術のタグクラウドを示す図である。 先行技術の他のタグクラウドを示す図である。 先行技術の他のタグクラウドを示す図である。 本発明の思考クラウドを示す図である。 思考クラウドへの新しい概念の挿入を示す図である。 思考クラウドの新しい概念に対応するラベルの変更を示す図である。 思考クラウドの新しい概念に対応するラベルの変更を示す図である。 思考クラウドの既存の概念に対応するラベルを示す図である。 思考クラウド中のラベルのフォントをサイズ変更する手段を示す図である。 サイズ変更されたラベルのフォントを示す図である。 位置変更する思考クラウドのレベルを示す図である。 ラベルの位置変更を示す図である。 位置変更したラベルを示す図である。 概念に関するコンテンツを変更する手段を示す図である。 概念に関するコンテンツを示す図である。 思考クラウドを示す図である。 思考クラウド中に示した示唆概念を示す図である。 本発明を実施できる階層セマンティックネットワークの一例を示す図である。

定義
データ構造は、データエンティティ間の関係リンクに基づき、知識表現により構成された情報記憶を組織化し、アクセスする手段を含む。

データエンティティは、データ構造を示す知識表現を意味する。

関係には、データ構造中のデータエンティティ間の階層的、多階層的、アソシアティブ（associative）、等価その他の関係が含まれる。

ユーザコンテクストプロパティは、ユーザが本発明により提供されるインタフェースを用いてデータ構造中に表現したい、概念の定量的又は定性的な側面を意味し、例えば、相対的なトピックの重要性、時間、時間的順序（chronology）、及び／又は温度、圧力などの物理的属性が含まれる。

概念には、セマンティックネットワークのコンテクストでは、データエンティティの一実施形態が含まれ、各概念はユーザの思考を表現する。

アクティブ概念は、考慮中の概念を意味する。

セマンティックネットワークの生成における深さは、セマンティックネットワークを生成又は表示する、アクティブ概念とは離れた、ある数の関係を意味する。

概要
本発明は、データ構造を生成、可視化、及び操作するユーザインタフェースを提供するものである。ユーザインタフェースは、データ構造への入力手段を提供する。データ構造は、データエンティティとその間の関係とを含む。例えば、データ構造がユーザコンテクストを反映できるように、データエンティティには１つ以上のユーザコンテクストプロパティが関連し得る。これに関して、ユーザコンテクストは、データエンティティ間の関係が階層的、多階層的、アソシアティブ、又は等価的となってもよい。

データエンティティは、ユーザインタフェースにより表示され、１人以上のユーザがそのデータ構造とインターラクション（interact）できる。ユーザインタフェースにより、ユーザは、基礎となるデータ構造中の関係の性質を理解しなくても、及び関係への所望の変更を明示的に特定しなくても、新しいデータエンティティと既存のデータエンティティとの間の関係を定義できる。

データ構造はセマンティックネットワークであってもよく、その場合、データエンティティは概念であってもよい。セマンティックネットワークは、例えば国際出願公開第ＰＣＴ／ＣＡ２００９／０００５６７号（Sweeney等）に記載されているように、セマンティックエンジンにより与えられる。セマンティックネットワークの構造は様々であり、階層構造、多階層構造、循環構造、又は非循環構造が含まれる。

ユーザインタフェースは、ユーザが、データ構造を容易に生成、可視化、及び操作できるように設計されている。具体的に、データ構造は、理解しやすく直感的なフォーマットで表され、ユーザがセマンティックネットワーク中の関係をシームレスに操作できる。ユーザは、基礎となるデータ構造中の関係の性質を理解しなくてもよく、概念間に関係があることさえ知らなくてもよい。むしろ、ユーザが互いに関係する概念に関して考える方法に基づき、関係が定義される。

例えば、データ構造がセマンティックネットワークである場合、ユーザインタフェースによりセマンティックネットワークのコンテクストの又はグラフィカルな表現の生成及び管理が可能になる。ユーザインタフェースは、概念及び関係とマッチする又は対応するインタフェースコンポーネントを含む（populated with）。インタフェースコンポーネントは、例えば、概念の表現に対応するラベルである。

ユーザインタフェースにより、素人のコンピュータユーザがセマンティックエンジンとインターラクションして、セマンティックネットワークを生成し、改良することができる（これには、例えば、セマンティックネットワーク中の１つ以上の関係レベルにおいて概念間の関係を管理することや、概念を追加、編集、削除することが含まれる）。

関係は、ユーザのユーザインタフェースとのインターラクションにより黙示的に管理され、ユーザがセマンティックネットワーク中の関係への変更を明示的に規定する必要はない。ユーザインタフェースに入力されるラベルその他のインタフェースコンポーネントは、関係にマッピングされる。関係は、ユーザにより管理されたユーザインタフェースにおける概念のマッピングから推論され、他の概念との関係でその概念をユーザがどう考えるかということを反映する。ユーザは、インタフェースコンポーネントを操作することにより、セマンティックネットワークにおいてコンセプトを生成、編集、又は削除できる。セマンティックネットワークのこのコンテクスト表現又はグラフィカル表現を管理することにより、ユーザは、本発明にセマンティックネットワークの関係を自動的に生成又は操作させる。

表現は、データエンティティに関するいろいろなプロパティ又は属性をマッピングする、ビジュアル空間における複数の次元を含む。１つ以上のプロパティは、例えば、位置、サイズ、色、距離、タイプフェイス、下線、輪郭線、重み、傾き、時間、その他の視覚的に意味のある属性である。

ユーザインタフェースは、思考クラウド、すなわちユーザの思考が明示されるタグのクラウドと考えられる。思考クラウドは、ユーザに、基礎となるセマンティックネットワークに関連する概念を反映し、それらの関係に基づき思考クラウドにおけるラベルとして構成される複数のラベルを表示できる。このようにして、基礎となるデータ構造のいろいろなユーザコンテクストプロパティと、データ構造中のエンティティ間の関係を、可視化して示せる。

ユーザは、ユーザインタフェースとインターラクションして、さらにセマンティックネットワークを生成、可視化、及び操作して、例えば、そのユーザが概念を他の概念との関係でどう考えるかを反映するように、セマンティックネットワークを管理できる。ユーザは、ユーザインタフェースによりツールを提供される。これには、セマンティックネットワークに概念を追加するもの、セマンティックネットワーク中の関係を操作するものが含まれる。このようにして、ユーザは、ユーザのセマンティックネットワークとのインターラクションにより処理される、対応するデータの変換フォーマリズムの複雑さを考える必要も理解する必要もない。ユーザインタフェースは、セマンティックネットワークを構成する概念間の関係をユーザに明示的に表示する必要はないが、表示してもよい。

本発明は、ユーザがユーザインタフェースに入力した１つ以上のラベルと潜在的に関連するセマンティックネットワーク中の概念を表す複数の示唆ラベルを提供されるセマンティックネットワークのユーザインタフェースも含む。セマンティックネットワークは、概念と、概念間の関係とを含み得る。ユーザは、任意的に、示唆ラベルを承認できる。そのマッピングにより黙示的にセマンティックネットワーク中の他の概念との関係が推論され、既存の概念から示唆ラベルにより表される概念への新しい関係が生成される。

以下の説明では、セマンティックネットワークをデータ構造の一例として用いて、思考クラウドをセマンティックネットワークのユーザインタフェースの一例として用いる。しかし、言うまでもなく、データ構造はデータエンティティと、データエンティティ間の関係とを有する任意のデータ構造でよい。ユーザコンテクストプロパティはデータエンティティと関連付け得る。さらに、言うまでもなく、「思考クラウド（thought cloud）」との用語は便宜上のものである。

思考クラウド
本発明は、例えば、概念と、概念間の階層的又は多階層的関係を含むセマンティックネットワークであるデータ構造を、生成、可視化、及び操作するユーザインタフェースを含む。セマンティックネットワークは、例えば国際出願公開第ＰＣＴ／ＣＡ２００９／０００５６７号（Sweeney等）に記載されているように、セマンティックエンジンにより与えられ、アクティブ概念から始まる。ユーザインタフェースにより、ユーザが、基礎となるセマンティックネットワーク中の関係の性質を理解しなくても、及び関係への所望の変更を明示的に特定しなくても、新しい概念と既存の概念との間の関係を操作できるようにする入力手段を、セマンティックネットワークに提供する。

ユーザインタフェースにより、セマンティックネットワークのコンテクスト的又はグラフィカルな表現の生成ができる。ユーザインタフェースは思考クラウドであってもよい。思考クラウドは、ユーザに、１つ以上のインタフェースコンポーネントを表示する。これは、例えば、基礎となるセマンティックネットワークに階層的又は多階層的に関連する概念に対応するラベルである。ラベルは１つ以上のプロパティを有し、各プロパティはコンテクスト的又はグラフィカルに表現できる。これらのプロパティにより、ユーザインタフェースにより各概念を組織的に表示できる。これにより、ユーザインタフェースは、関係があることの性質を理解していないユーザの混乱を防ぐよう、関係をユーザに明示的に表示しなくても、その関係を表示できる。

タグクラウドはインターラクティブではないが、思考クラウドはインターラクティブである。タグクラウドは出力デバイスとして用いられているが、思考クラウドは、ユーザがセマンティックネットワークを生成、可視化、及び操作できる入力デバイスとしても用いられる。ユーザはユーザインタフェースによりツールを提供される。これには、セマンティックネットワーク概念を追加するもの、概念を修正するものが含まれる。また、ユーザが知らないうちにセマンティックネットワーク中の階層や多階層の関係を操作する手段も提供される。このようにして、ユーザは、ユーザのセマンティックネットワークとのインターラクションにより処理される、対応するデータの変換フォーマリズムの複雑さを考える必要も知る必要もない。

思考クラウドのユーザは、例えば、ラベルを互いに動かし、ラベルのプロパティを変更できる。その結果、基礎となるセマンティックネットワークは変更されるが、ユーザはそれに付随する変換にさらされない。そのため、思考クラウドにより、ユーザは、自分に取って何らかの意味がある方法で概念を表すラベルを生成、配置、及び操作することにより、コンピュータ上で自分の思考を捕らえることができる。例えば、思考クラウドではラベルを特定の整列や配置をする必要はなく、ラベルはユーザが望むように配置及び再配置することができる。

ワークフロー例
ユーザは本発明を用いて、例えばセマンティックネットワークである、データ構造を生成、視覚化、及び操作することができる。例えば、以下のワークフローは本発明の一利用例である。しかし、言うまでもなく、他の利用も可能であり、例えば、データ構造はセマンティックネットワーク以外のデータ構造であってもよく、セマンティックネットワークはセマンティックエンジンではなくユーザにより全部生成されてもよい。

ユーザは、最初にユーザインタフェースにアクセスして、アクティブ概念と任意的に深さ（depth）を入力する手段をユーザインタフェースにより提供される。ユーザは、アクティブ概念を入力し、それをセマンティックエンジンが取得する。セマンティックエンジンは、実施形態に応じて、セマンティックネットワークを生成する。ユーザインタフェースはユーザに、セマンティックネットワークを表す思考クラウドを表示する。思考クラウドは、任意的に、ユーザが深さを指定した場合、アクティブ概念の深さ内に概念を制約する。言うまでもなく、セマンティックエンジンは、深さを用いて、アクティブ概念からのセマンティックネットワークの生成を限定してもよい。

ユーザは、思考クラウドによりセマンティックネットワークを可視化できる。ユーザは、思考クラウド中をパンして、又は思考クラウドにズーム・イン又はズーム・アウトすることにより、思考クラウド中をナビゲーションできる。ユーザは、思考クラウドに表示したように、概念を表すラベルを操作できる。例えば、ユーザは、ユーザインタフェース上で１つ以上の概念を移動でき、１つ以上の概念の１つ以上のプロパティを操作できる。各操作は、本発明により処理され、セマンティックネットワークを自動的に変更して、変換規則に則してユーザによる概念の操作を反映させる。

ユーザは、思考クラウド中に概念を追加し、又は削除することもできる。概念を追加するとき、ユーザは、概念のプロパティを規定できる。概念とそのプロパティは本発明により処理され、変換規則に則りそのプロパティに基づき、自動的にセマンティックネットワークを変更し、概念の追加を反映させる。

ユーザインタフェースはユーザに、生成し操作したセマンティックネットワークを保存する手段を提供できる。ユーザは、例えば、履歴時点や日付が異なるセマンティックネットワークを表す、生成し操作した複数のセマンティックネットワークを保存できる。ユーザインタフェースはユーザに、保存したセマンティックネットワークを回復する手段も提供できる。

思考クラウドの可視化
ユーザインタフェースは画面、又は思考クラウドを可視化する限度として機能する画面の一部である。

思考クラウドに手に負えない数の概念が現れるのを防ぐため、最初に思考クラウドを構成する開始点を決定するユーザインターラクションを用いることができる。例えば、セマンティックネットワークを生成するセマンティックエンジンが、アクティブ概念を求めるユーザインターラクション情報（コンテクスト）を受け取るため、設けられている。セマンティックエンジンは、例えば、国際出願公開第ＰＣＴ／ＣＡ２００９／０００５６７号に記載されたものである。アクティブ概念は、セマンティックネットワークを可視化する開始点と考えられる。深さを設けて、その深さ内のアクティブ概念に関連するセマンティックネットワーク中の概念のみを、ユーザインタフェースにより表示する。

あるいは、空間的制約を処理するため、ユーザインタフェースは、ズーム・インとズーム・アウトによりｚ方向の動きをまねて、解像度を変更する機能を含んでもよい。ユーザインタフェースは、垂直方向又は水平方向にパンして、思考クラウドの異なる領域中をナビゲーションする機能を提供してもよい。パンするとき、ユーザインタフェースのある領域、例えば中央の近くに来る概念を、アクティブ概念として用いて、セマンティックネットワークをさらに表示することもできる。

概念と、概念間の関係とは、一組の変換規則に則り、例えば、視覚的プロパティを含む１つ以上のプロパティ又は属性により表せる。これらのプロパティは、ｘ、ｙ、ｚ座標、サイズ、色、距離、タイプフェイス、下線、囲み線、重み、傾き、その他の視覚的に意味のある属性を含む。各プロパティは、基礎となるデータ構造のユーザコンテクストプロパティ（概念の意味や変換規則により規定された関係のタイプなどであり、例えば、順序、信頼度、時間、又は普及を含む）に関連する。これらの拡張可能なプロパティにより、本発明は、どんな範囲の複雑な概念と複雑な関係タイプ（階層的な、アソシアティブな、又は等価な関係を含む）とでも機能する。基礎となるデータ構造のプロパティを、可視化したものやインターラクションのプロパティと関連づけるために設ける変換規則の数はいくつでもよい。

図２は、一実施例の思考クラウドを示す。セマンティックネットワークにおける重要性又は（アクティブノード又は概念からの）深さは、思考クラウドにおいてラベルのサイズとして表せる。親子関係は、概念間の相対的位置により表せ、最も近く大きい概念が親である。姉妹概念の順序は、共通の原点からの距離又は親概念への距離で表される。概念の出所（source）（例えば、その概念を提供したユーザ）は、色で表される。言うまでもなく、思考クラウドにおける概念間の関係を表すために用いられる視覚的プロパティは変更可能である。

例えば、図８に示した階層を有するセマンティックネットワークを考える。この例では、テキストサイズが最も大きい概念は、セマンティックネットワークのルートレベルであり、テキストサイズが最も小さい概念は、リーフレベルである。他の概念に対して、最も近い大きい概念はその親である（例えば、フォントサイズが８の概念は、フォントサイズが８より大きい最も近い概念である親を有する）。

図２に示したように、例えば、アクティブ概念「Miles Davis」は、「Improvisation」、「Trumpet」、「Jazz」の親概念である。これは、これらの子概念のそれぞれに最も近い大きい概念だからである。同様に、「Fusion」と「Bebop」は親として「Jazz」を有し、「Columbia」は親として「Trumpet」を有し、「Modal」は親として「Improvisation」を有する。また、図から分かるように、「Bebop」は「Modal」より「Jazz」により密接に関係している。

ユーザインタフェースにより表示される関係の深さは、前述の通り、深さ（depth）により制約される。

このように、説明したユーザインタフェースは、階層的又は多階層的なセマンティックネットワークを可視化するために用いられる。制約された階層では、（親を持たないルート概念を除き）各概念が有する親は１つだけであり、多階層（polyhierarchy）では、各概念は複数の親を有し得る。例えば、多階層は、子概念を複数の同サイズの親概念から等距離に配置することにより、可視化できる。

任意的に、概念を厳密に等距離に、又は同じサイズになるように構成することは難しいので、これら又はその他のプロパティは設定可能単位及び範囲に分割してもよい。例えば、単位や範囲内では、実際のプロパティ値は異なるが、セマンティックネットワークは同じものとして取り扱う。あるいは、距離とテキストサイズは、設定可能グリッド上の最も近い値に「スナップ（snap）」できる。グリッドにより概念の配置が簡単になる。

概念の追加
本発明は、思考クラウドを、ユーザがセマンティックネットワークに概念を生成し、セマンティックネットワークに、対応する関係を自動的に生成する手段として用いる手段を有する。思考クラウドがユーザにより可視化されると、ユーザは思考クラウドに概念を追加できる。その概念はセマンティックネットワークにおける新しい概念として反映される。新しい概念は、その概念を表すラベルのプロパティのユーザ設定に基づき、セマンティックネットワーク中の関係を有する。再び、ユーザは、プロパティが、概念のセマンティックネットワークの他の概念との関係を反映することを理解する必要はない。

図３は、新しいコンセプトの追加を示す。ユーザは、新しい概念を追加するコマンドを選択する。追加により新しい概念分野がユーザインタフェースに表示される。図３Ａは、ユーザインタフェースに追加した新しい概念のラベルを示す。このラベルは、ユーザが新しい設定可能なラベルであると容易に判断できるように、「New」と明確にマークされる。

ユーザは、図３Ｂに示したように、新しい概念の意味のあるラベルを生成できる。ユーザがラベルを入力すると、図３Ｃに示したように、そのラベルは思考クラウドの一部となる。一旦追加すると、基礎となるセマンティックネットワーク中の新しい概念のプロパティは、前述の通り、思考クラウド中のラベルのプロパティに基づいて自動的に生成される。ユーザは、さらに、生成したプロパティを操作し、又はラベルのプロパティを生成できる。

概念の操作又は削除
本発明は、ユーザが思考クラウドの概念を操作して、セマンティックネットワークにおいてその概念とその関係とを自動的に管理できるユーザインタフェースも有する。

例えば、新しい又は既存のラベルのプロパティや位置はユーザにより変更し得る。図４Ａは、思考クラウドを示す。ユーザは、例えば、概念に対応するラベル上にマウスポインタを持ってくるか、そのラベルをクリックすることにより、操作する概念を選択できる。図４Ｂは、選択されたラベルを示す。一旦選択されると、プロパティを設定する手段が、設定するラベルの近くに表示される。この手段は、例えば、すべての可能なプロパティの設定をリストしたドロップダウンリストやテキストボックスである。各プロパティを設定する手段を含むオプションがユーザに表示される。ユーザは、ラベルを削除するオプションであってセマンティックネットワークから概念を削除するオプションも与えられる。

例えば、ユーザは、ラベルのフォントサイズを設定できる。ユーザインタフェースは、それぞれフォントサイズを大きく又は小さくする上向きと下向きの矢印を提供できる。ユーザは、例えば、下向きの矢印を選択して、ラベルのフォントサイズを小さくできる。ユーザは、プロパティの変更に満足すると、ラベルを非選択として、図４Ｃに示したように設定を適用する。

ラベルは再配置して、セマンティックネットワークの概念間の関係を変更できる。図５Ａは、ユーザが動かしたい概念に対応するラベルを示す。ユーザは、例えば、図５Ｂに示すように、ラベルをクリックして所望の位置までドラッグすることにより、ラベルを選択し動かすことができる。ユーザはラベルを非選択として、図５Ｃに示したように、概念の設定を適用する。

ラベルのプロパティのユーザによる操作は、変換規則により基礎となるセマンティックネットワーク中の概念間の関係を自動的に変更することにより、処理される。

同様に、セマンティックネットワークから概念を削除することもできる。例えば、ユーザは削除コマンドを選択して概念を削除する。削除される概念を介してのみセマンティックネットワークのアクティブ概念に関連する概念も任意的に削除できるが、セマンティックネットワークのアクティブ概念に多階層的リンクを有する概念は、削除される概念を介したリンクのみが切られ、削除される概念を介さない他のリンクはつながったままであってもよい。

例えば、色、重み、傾きなどを含む幾何学的属性を含むラベルのプロパティを設定する同様のプロセスを提供できる。

一旦設定が適用されると、プロパティのユーザによる操作は、変換規則によりセマンティックネットワーク中の概念と、概念間の関係をと自動的に操作することにより、処理される。

あるデータ構造では、具体的には多階層データ構造でないものでは、新しい又は既存のラベルの曖昧な操作により生じる結びつきを解消する必要がある。しかし、多階層的データ構造で結びつきの解消を用いて、例えば、多階層的関係の数を制限することができる。

例えば、セマンティックネットワークにおいて、２つの潜在的な親概念間に等距離に配置された概念は結びつき（tie）を生じ得る。結びつきの潜在性は、基礎となるセマンティックネットワークが大きくなるにつれて、大きくなる。それゆえ、結びつきを解消するために、一組の結びつき解消規則（tiebreaking rules）を設けてもよい。例えば、前述の変換規則の例を用いる場合、本システムは、親子関係があると判断した時に結びつきを解消する必要がある。ある概念に、同じ最短距離にある大きい複数の概念がある場合、これらの基準によりどれが親であるか決定できる。この目的のための、一組の結びつき解消規則には、順番に：
（１）大きい概念を親とする；
（２）最近の変化の時、関係の信頼度（confidence）、共通原点からの距離、又はアルファベット順などの、概念の、確立された他のプロパティによりランク付ける（このランキングで選択されるプロパティは、具体的な思考クラウドにとって意味のあるものであれば何でもよい）；
（３）概念に対応するラベルの、生成された又はユーザにより規定されたプロパティの数；
（４）多階層が許されない場合、ランダムに選択する；
（５）親を選択するようユーザに促す；
（６）多階層が許され、上記の第１の又は第２の基準で結びつきが解消されない場合、すべての候補概念を子概念の親とみなす。

同じ例を参照して、本システムは、姉妹の順序を決定する時に、結びつきを解消する必要がある。２つ以上の概念が共通限定から（又は、限定の替わりに親概念を用いる場合、その親概念から）同じ距離にある場合、これらの基準によりどちらの姉妹が先か決定できる。
（１）大きい概念を姉とする；
（２）最近の変化の時、関係の信頼度（confidence）、共通原点からの距離、又はアルファベット順などの、概念の、確立された他のプロパティによりランク付ける（このランキングで選択されるプロパティは、具体的な思考クラウドにとって意味のあるものであれば何でもよい）；
（３）ランダムに選択する、又は姉妹の順序を入力するようユーザに促す。

生成と操作
また、セマンティックネットワークの概念は、その概念に詳細を追加することにより操作することができる。例えば、概念の主な表現はそのラベルであるが、概念は、通常は隠されて見えないタグ、ノート、グラフ、オーディオやビデオやその他のコンテンツへのリンクなどのコンテンツを有していてもよい。

例えば、ユーザは、図６Aに示したように、例えば、概念に関連するコンテンツ又はその一部を表示するドロップダウンメニュー又はテキストボックスにより示される、コンテンツを見る手段となる、セマンティックネットワークのその概念のラベルを選択できる。ユーザは、コンテンツを見ることを選択でき、その結果コンテンツが図６Bに示したように表示される。コンテンツは編集可能フォーマットで表示でき、ユーザはコンテンツを操作できる。一旦ラベルが非選択とされると、コンテンツは、再び隠され、セマンティックネットワークに再適用され得る。ユーザは、ラベルに対応するコンテンツを生成する目的で、コンテンツを見る手段にアクセスできる。

拡大（augmentation）
また、ユーザインタフェースは、ユーザに、ユーザがユーザインタフェースに入力した１つ以上のラベルに、及び／又はユーザインタフェース上でユーザに表示されたラベルに潜在的に関連する概念を表す、複数の示唆ラベル（suggested labels）を提供できる。ユーザは、基礎となるデータ構造において直接的に又は間接的に関連する、セマンティックエンジンから示唆ラベルとともに提供される、これらの１つ以上の入力された及び／又は表示されたラベルを選択してもよい。

示唆ラベルは、例えばラベルの位置やサイズに基づき、ユーザにより入力された１つ以上のラベルの１つ以上のプロパティに基づき、変わる。示唆ラベルは、１つ以上のプロパティへの変更に基づいて変わってもよいし、他のラベルの追加、削除、又は修正により変わってもよい。

ユーザは、任意的に、示唆ラベルを承認して、既存の概念から示唆ラベルにより表された概念への新しい関係を自動的に生成できる。再び、セマンティックネットワークをデータ構造の例として用いるが、以下は他のデータ構造にも適用できる。

思考クラウドに示される概念に関連する概念は、国際出願公開第ＰＣＴ／ＣＡ２００９／０００５６７号に記載したように、関連するセマンティックエンジンにより示唆され得る。これらの概念は、（ユーザ又はその他の誰かにより生成された）他のセマンティックネットワークからのものでも、情報のドメインからのものであっても、これらの組み合わせからのものであってもよい。ユーザは、示唆された集合（suggested set）中の概念を含むように、ある基準の最小値及び／又は最大値を設定できる。最小又は最大が設定されると、ユーザは、単純なハードルではなく、包含用のウィンドウを生成できる。

関連する概念は、任意的に、例えば、色、影付け、不透明度、傾き、又は幾何学的属性などの弁別手段を用いることにより、ユーザ自信の概念から弁別できる。例えば、図７Ａの思考クラウドを考える。関連概念のラベルは、ユーザの元の思考クラウドを含むパネルとは別のユーザインタフェースのパネルに表示できる。あるいは、図７Ｂに示したように、ユーザの概念のラベルは、示唆概念のラベルとは異なるフォント属性を用いて表示できる。

追加的実施
セマンティックネットワークの概念間の関係の近さと、セマンティックネットワーク中の概念のレベルを表すサイズにかかわらず、ラベルのテキストの明暗の傾斜で、各概念の信頼度の異なるレベルを表すことによりこのアプローチを増強できる。セマンティックネットワークシステムにより示唆された概念が０．１の信頼度を有する場合、そのラベルは明るいテキストで示すことができる。ユーザがその概念を選択した場合、その信頼度は１．０に変わり、そのラベルは暗くなる。

セマンティックネットワーク用の思考クラウドを越えて、データ構造を生成、可視化、及び操作する本発明のユーザインタフェースをさらに拡張できる。

異なる実施例は、目標計画アプリケーションに、ｘ座標を日付、ｙ座標を予定コスト、ｚ座標を重要性と変換する。ユーザインタフェースは、ユーザがその意味を解釈するのを手伝う物理的次元の明示的軸を含み得る。ここで、日付次元はｘ座標と並行なテキスト傾斜を利用し、古い目標を明るいラベルとしてもよい。
これらの実施形態に、テキスト傾斜による時間の表現を適用してもよい。この方法では、傾斜は信頼度ではなく、時間を表す。

Claims (35)

1. データ構造を表示し、ユーザインタフェースによりユーザに前記データ構造とインターラクションさせる、コンピュータで実施する方法であって、前記データ構造はデータエンティティと前記データエンティティ間の関係とを含み、
   前記方法は、
   前記コンピュータを用いて、前記ユーザに前記ユーザインタフェースのビジュアルプロパティを前記データ構造と関連付けさせ、それにより前記ユーザに前記ユーザインタフェースにより前記データ構造とインターラクションさせることにより、前記ユーザインタフェースに前記データ構造からのデータエンティティを追加し、
   前記関係は階層的又は多階層的であり、
   前記ユーザインタフェースは多階層関係を解消するルールを含み、前記ルールは、より多くのビジュアルプロパティを有するより大きなデータエンティティが、階層のより高いレベルを定めることを含む
   ことを特徴とする、方法。
2. 前記ユーザは前記ビジュアルプロパティを修正して、前記データ構造とインターラクションすることを特徴とする、請求項１に記載の方法。
3. 前記データ構造を修正して、前記ユーザの前記インターラクションの結果として、前記ユーザインタフェース上に表示された前記ビジュアルプロパティを反映する修正データ構造とすることを特徴とする、請求項２に記載の方法。
4. 前記修正データ構造を記憶することを特徴とし、前記方法はさらにある時点で前記修正データ構造を回復するステップを有することを特徴とする、請求項３に記載の方法。
5. 前記ユーザインタフェースのビジュアルプロパティを前記データエンティティに対応するインタフェースコンポーネントに関連付け、さらに、前記ユーザに前記ユーザインタフェースを用いてインタフェースコンポーネントを追加又は削除させ、前記インタフェースコンポーネントのビジュアルプロパティを画定させ、その結果として前記データ構造を修正して前記インタフェースコンポーネントを反映させるステップを有する、請求項１に記載の方法。
6. 前記インタフェースコンポーネントは文脈上の又はグラフィカルなラベルであることを特徴とする、請求項５に記載の方法。
7. 前記ビジュアルプロパティはサイズを含み、他の特定のデータエンティティに対して最も近い大きなサイズのデータエンティティは前記データエンティティ間の階層関係を表すことを特徴とする、請求項１に記載の方法。
8. 前記ビジュアルプロパティは、位置、サイズ、色、距離、タイプフェイス、下線、囲み線、重み、傾き、時間、及びこれらの任意の組み合わせよりなる群から選択される、請求項２に記載の方法。
9. 前記データ構造はセマンティックネットワークであり、前記データエンティティは概念を含み、前記関係は前記概念間のセマンティックな関係を含むことを特徴とする、請求項１に記載の方法。
10. 前記ビジュアルプロパティは、前記ユーザインタフェースにより前記ユーザによりアクセスされ、操作できることを特徴とする、請求項２に記載の方法。
11. 前記ユーザは前記ユーザインタフェースにおいて追加的なビジュアルプロパティを生成できる、請求項１に記載の方法。
12. データエンティティに対して、前記ユーザは、タグ、ノート、グラフィックス、オーディオへのリンク、ビデオへのリンク、又はこれらの任意の組み合わせよりなる群から選択したコンテンツを追加し、操作できることを特徴とする、請求項１に記載の方法。
13. 多階層関係は、少なくとも２つの等距離かつ等サイズのデータエンティティを有するデータエンティティにより前記ユーザインタフェース上に表されることを特徴とする、請求項７に記載の方法。
14. 前記ユーザインタフェースは前記多階層関係を解消するルールをさらに含み、前記ルールは、
    前記関係に含まれるデータエンティティのビジュアルプロパティ、
    前記関係中のデータエンティティに対応する、生成された、若しくはユーザにより画定されたビジュアルプロパティの数、
    前記関係の信頼度、ランダム選択、ユーザ選択、結びつきの許容、又はこれらの任意の組み合わせに基づく、請求項１３に記載の方法。
15. 前記ユーザは、前記ユーザインタフェースをパン、及び／又はズーム・イン、ズーム・アウトすることにより、前記データエンティティと関係をナビゲーションできる、請求項１に記載の方法。
16. データエンティティと前記データエンティティ間の関係とを含むデータ構造を表示し、ユーザに前記データ構造を生成することを含み前記データ構造とインターラクションさせるコンピュータで実施する方法を実行するシステムであって、
    前記システムは、１つ以上のコンピュータデバイスが、
    （ａ）少なくとも１つのディスプレイと、
    （ｂ）ユーザインタフェースユーティリティであって、
    （ｉ）前記少なくとも１つのディスプレイにより、ユーザにユーザインタフェースを提供し、
    （ｉｉ）前記ユーザに前記ユーザインタフェースのビジュアルプロパティを前記データ構造と関連付けさせ、それにより前記ユーザに前記ユーザインタフェースにより前記データ構造とインターラクションさせることにより、前記ユーザインタフェースに前記データ構造からのデータエンティティを追加する、ユーザインタフェースユーティリティとを
    を含み、又はリンクしており、
    前記関係は階層的又は多階層的であり、
    前記ユーザインタフェースユーティリティは多階層関係を解消するルールを含み、前記ルールは、より多くのビジュアルプロパティを有するより大きなデータエンティティが、階層のより高いレベルを定めることを含む
    ことを特徴とする、システム。
17. 前記データエンティティは、文脈上の又はグラフィカルなラベルを含むインタフェースコンポーネントにより表されることを特徴とする、請求項１６に記載のシステム。
18. 前記ビジュアルプロパティはサイズを含み、他の特定のデータエンティティに対して最も近い大きなサイズのデータエンティティは前記データエンティティ間の階層関係を表すことを特徴とする、請求項１７に記載のシステム。
19. データエンティティ間の階層関係は、少なくとも１つのデータエンティティのサイズの変更により操作できる、請求項１８に記載のシステム。
20. データエンティティ間の階層関係は、少なくとも２つのデータエンティティ間の距離の変更により操作できる、請求項１８に記載のシステム。
21. 前記ユーザインタフェースユーティリティは、前記ユーザインタフェース上にデータエンティティのネットワークを生成し、前記ネットワークが前記１つ以上のコンピュータデバイスにリンクされた記憶手段に記憶されることを特徴とする、請求項１６に記載のシステム。
22. 前記記憶手段に記憶されたデータエンティティは関連ネットワークとして読み出せることを特徴とする、請求項２１に記載のシステム。
23. 前記ユーザが、前記ユーザインタフェースにより表示されたアイコンをクリックした後、データエンティティのノートとグラフィクスを追加及び編集できるように動作可能であることを特徴とする、請求項１６に記載のシステム。
24. 多階層関係は、少なくとも２つの等距離かつ等サイズのデータエンティティを有するデータエンティティにより前記ユーザインタフェース上に表されることを特徴とする、請求項１８に記載のシステム。
25. 前記ルールは、より高い信頼値を有するより大きなデータエンティティが、階層のより高いレベルを定め、それにより、前記ユーザインタフェースユーティリティの動作により、前記多階層関係を解消することを含む、請求項２４に記載のシステム。
26. 前記ルールは、前記ユーザインタフェースユーティリティが、前記ユーザに、前記より大きなデータエンティティを選択し、階層のより高いレベルを定めることにより、前記多階層関係を解消させることを含む、請求項２４に記載のシステム。
27. 前記ユーザインタフェースユーティリティにより、前記ユーザは、前記データエンティティの一部のズーム・イン及びズーム・アウトをできる、請求項１６に記載のシステム。
28. ディスプレイを有するコンピュータにより実行された時、データ構造に対応するユーザインタフェースを表示し、前記データ構造を生成することにより、ユーザに前記データ構造とインターラクションさせる、実行可能なコンピュータプログラム命令を含むコンピュータプログラムであって、前記データ構造はデータエンティティと、前記データエンティティ間の関係を含み、
    ユーザインタフェースにおける前記データ構造とのインターラクションは、
    前記ユーザに前記ユーザインタフェースのビジュアルプロパティを前記データ構造と関連付けさせ、それにより前記ユーザに前記ユーザインタフェースにより前記データ構造とインターラクションさせることにより、前記ユーザインタフェースに前記データ構造からのデータエンティティを追加することを有し、
    前記関係は階層的又は多階層的であり、
    前記ユーザインタフェースは多階層関係を解消するルールを含み、前記ルールは、より多くのビジュアルプロパティを有するより大きなデータエンティティが、階層のより高いレベルを定めることを含む
    ことを特徴とする、コンピュータプログラム。
29. データエンティティ間の階層関係はデータエンティティのサイズの変更により、前記ユーザインタフェースを用いて操作できる、請求項２８に記載のコンピュータプログラム。
30. データエンティティ間の階層関係は２つのデータエンティティ間の距離の変更により、前記ユーザインタフェースを用いて操作できる、請求項２８に記載のコンピュータプログラム。
31. 前記ユーザが、前記ユーザインタフェースを用いて、前記ユーザインタフェース上にデータエンティティのネットワークを生成し、前記コンピュータにリンクされた記憶手段への前記ネットワークの記憶を開始することを可能にする、請求項２８に記載のコンピュータプログラム。
32. 前記ユーザインタフェースにおいて、サイズが同じで小さなデータエンティティと等距離の少なくとも２つの大きなデータエンティティは、前記データエンティティ間の多階層関係を表すことを特徴とする、請求項２８に記載のコンピュータプログラム。
33. 前記ルールは、前記ユーザインタフェースにおいて、より高い信頼値を有するより大きなデータエンティティが、階層のより高いレベルを定め、前記多階層関係を解消することを含む、請求項２８に記載のコンピュータプログラム。
34. 前記ルールは、前記ユーザインタフェースにおいて、前記ユーザが、前記より大きなデータエンティティを選択し、階層のより高いレベルを定めることにより、前記多階層関係を解消することを含む、請求項２８に記載のコンピュータプログラム。
35. 各データエンティティはサイズを有し、他の特定のデータエンティティに最も近い、サイズがより大きいデータエンティティは、前記データエンティティ間の階層関係を表すことを特徴とする、請求項２８に記載のコンピュータプログラム。
    

Images