JP2009093647A - ワードと文書の深さの決定 - Google Patents

ワードと文書の深さの決定 Download PDF

Info

Publication number
JP2009093647A
JP2009093647A JP2008259627A JP2008259627A JP2009093647A JP 2009093647 A JP2009093647 A JP 2009093647A JP 2008259627 A JP2008259627 A JP 2008259627A JP 2008259627 A JP2008259627 A JP 2008259627A JP 2009093647 A JP2009093647 A JP 2009093647A
Authority
JP
Japan
Prior art keywords
document
depth
word
words
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008259627A
Other languages
English (en)
Other versions
JP5391632B2 (ja
Inventor
David L Marvit
エル マーヴィット デイヴィド
Jawahar Jain
ジャイン ジャワハー
Stergios Stergiou
ステルギオウ ステリオス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2009093647A publication Critical patent/JP2009093647A/ja
Application granted granted Critical
Publication of JP5391632B2 publication Critical patent/JP5391632B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】場合によっては、キーワード検索は情報の発見に効果的でない。
【解決手段】一実施形態では、文書の深さの決定には文書を説明する記録へのアクセスを含む。その記録はその文書の類似性を記録するものである。文書の深さはその類似性により決定する。文書の深さ分析をその文書の深さを用いて行うことができる。一実施形態では、ワードの深さの決定にはそのワードの類似性を記載した記録へのアクセスを含む。ワードの深さはその類似性により決定する。
【選択図】図1

Description

本発明は辞書分析に関し、より具体的にはワードと文書の深さの決定に関する。
データのコーパス(corpus)は大量の情報を保持しているが、関連する情報を見つけるのは困難である。キーワード検索が情報を見つける主な方法である。しかし、場合によっては、キーワード検索は情報の発見に効果的でないこともある。
[関連出願]
本願は、デイビッド・マービットらにより2007年10月5日に出願された米国仮出願第60/977,782号、発明の名称「ワードの深さと文書の深さの決定及びその応用」、代理人管理第073338.0547号の米国特許法第119条(e)項の利益を主張するものである。
一実施形態では、文書の深さの決定には文書を説明する記録へのアクセスを含む。その記録はその文書の類似性(affinities)を記録するものである。文書の深さはその類似性により決定する。文書の深さ分析をその文書の深さを用いて行うことができる。一実施形態では、ワードの深さの決定にはそのワードの類似性を記載した記録へのアクセスを含む。ワードの深さはその類似性により決定する。
実施形態では、ドメイン・オントロジー(domain ontology)の生成と問い合わせには次のものを含む:
1. ドメイン内の文書の収集実施形態では、文書はターム(collection of terms)の集まりである。文書とは、例えば新約聖書などの可読テキストである。文書は、必ずしも物語形式のテキストでなくてもよく、例えば画像コンテンツを個別かつ集合的に記述する一組のユーザ入力タグであってもよい。文書の集まりは「ドメイン・コーパス(domain corpus)」と呼ぶ。
2. ドメイン内の関心ターム(「辞書ターム」)の特定ターム(terms)の例には、ワード(「木」など)、フレーズ(「グラフ・アルゴリズム」など)、ネームド・エンティティ(named entity)(「ニューヨーク」など)が含まれる。ターム(または概念)は違った形式を取りうる。場合によっては、同じ概念を表すのに異なるワード(words)を使用する。例えば、「kidney stones」と「kidney calculi」は両方とも同じ概念、すなわち「腎臓結石」を指す。また、場合によっては、語幹から多数の派生語(inflected variants)が生じる。例えば、語幹「tree」からは「木」や「木々」などの派生語がある。実施形態によっては、同じターム(term)の複数の形態(forms)を、同じタームにマッピングしたものとして取り扱う。適切な形態の辞書タームが文書に出てくるかも知れないが、その辞書タームがどの文書にも出てこなくてもよい。
辞書タームの特定方法の例には、医学用語辞典等である、人が作成した特定分野の辞書を用いる段階が含まれる。実施形態によっては、辞書タームのリストをコーパス(corpus)中の一連のテキスト(a set of strings of text)から自動的に作成してもよい。テキストを頻度によりインデックスまたはソートしてもよいし、ある閾値より頻度が高いテキストを選択してもよい。その他の適切な統計的方法を用いてターム(terms)を決定してもよい。実施形態によっては、「ワード(word)」は「ターム(term)」や「辞書ターム(dictionary term)」と読み替えてもよい。
3. 辞書タームが共起する場合に、その出現数を計算する。2つのタームは、各タームが同じ共起コンテキスト(the same co-occurrence context)内に少なくとも1回出現するとき、共起したものとする。コンテキストの例としては文書や段落がある。
4. ドメイン・オントロジーとなる有向重みつきグラフを作成する。その有向重みつきグラフは、ノードとして辞書タームを含み、エッジ(edges)の重みとして類似性を含む。マトリックス、バイナリ・ディシジョン・ダイアグラム、またはバイナリ・ディシジョン・ダイアグラムの集合等の適切なデータ構造で表しうる情報を、実際的な表示として「有向重みつきグラフ」を用いて表すことができる。
5. 有向重みつきグラフを問い合わせる手順を適用する。辞書タームを入力されると、その入力された辞書タームに関係する辞書タームがその手順により出力される。例えば、この手順により、入力されたタームに対して、差分有向類似性(以下に説明する)(differential directional affinity)を有するタームがソートされたリストとして出力される。この場合、その出力には、オントロジーが取り扱う領域に関して、入力されたタームにより密接に関係するタームが含まれている。
類似性の定義はどんなものを用いてもよい。実施形態によっては、次の定義を用いてもよい:
1. 基本類似性
a) タームAとタームBとの間の基本類似性(A)を、タームAまたはBのいずれかを含むコンテキスト数に対する、タームA及びBを両方とも含むコンテキスト数の比として定義する。
Figure 2009093647
b) タームAとタームBとの間の基本類似性(A)を、タームAまたはBのいずれかを含むコンテキスト数の大きい方に対する、タームA及びBを両方とも含むコンテキスト数の比として定義してもよい。
Figure 2009093647
2. 有向類似性
タームAとタームBとの間の有向類似性(DAff)を、コンテキスト中にタームAが出現することを条件として、タームBが出現する条件付き確立として定義してもよい。
Figure 2009093647
すなわち、有向類似性は、タームAを含むコンテキストに対する、タームAとBを両方とも含む共起コンテキストの数である。一般的にDAff(A,B)とDAff(B,A)とは異なる。
3. 差分有向類似性
タームAとタームBとの間の差分有向類似性(DiffDAff)は、タームAとBとの間の有向類似性から、コーパスにおけるタームBの一般性(common-ness)を示すファクタを引いたものとして定義してもよい。コーパスにおけるタームBの一般性は、そのコーパス中の他のタームに対するタームBの基本類似性または有向類似性の統計値である。一実施形態では、コーパスにおけるタームBの一般性(common-ness)は、タームBの平均類似性(AA)である。その場合、差分有向類似性の定義は次のようになる:
Figure 2009093647
タームBの平均類似性(AA)すなわち平均有向類似性は次式で定義される:
Figure 2009093647
すなわち、平均類似性は共起コンテキストにおける他のタームに対するタームBの有向類似性の平均である。
図1は、ワードや文書の深さを決定するシステム10の一実施形態を示す。実施形態によっては、システム10はワードの類似性(例えば、そのワードの平均類似性)からそのワードの深さ(word depth)を決定する。実施形態によっては、システム10は文書の類似性(例えば、その文書のワードの平均類似性やその文書の平均類似性)からその文書の深さ(document depth)を決定する。実施形態では、システム10は深さ分析を行う。深さ分析の例としては、要求された深さ(文書深さ)を満たす文書の検索、文書の深さを示すグラフィカル要素の表示、ユーザ文書に基づくユーザ深さ(user depth)の決定がある。
実施形態によっては、有向類似性はワードのサブセット(subset)が与えられた時にその逆インデックスIIに対して計算することもできる。ここで、インデックスIIには例えばワードwとwのエントリーI(w)とI(w)が含まれる。一般的に、逆インデックスはターム(term)から、その記憶位置へのマッピング、すなわちタームが現れる共起コンテキストへのマッピングを格納したインデックスデータ構造である。D中のワードwとwの各ペアに対して、II中のエントリーI(w)とI(w)の結合の値の数をI(w)中の値の数で割った値としてDA(i,j)を定義する。一般的に、DA(i,j)はDA(j,i)に必ずしも等しいとは限らない。その結果は任意の適切な方法で格納できる。例えば、D(1,i)を格納し、次にD(2,j)を格納し、以下同様に格納するように行ごとに格納できる。各行iについて、|I(w)|を格納し、その後にwとの結合(conjunction)の濃度を格納する。
実施形態によっては、有向類似性は3段階で計算できる。実施形態では、各辞書タームには位置的な整数識別子が付与される。逆インデックスのエントリーは整数識別子に対応する。段階0では、Dに対応するIIのエントリーを読み出す。パラメータ(s,o)に対して、その形式がks+oである要素識別子を保存する。値ks+oにより、調べるべきIIエントリーのサブセットが決まる。このように、有向類似性を平行して計算できる。一例として、パラメータs,o(1,0)からの結果はパラメータ(3,0)、(3,1)、(3,2)で計算したものから得られる結果と同じである。この段階により逆インデックスの非常に大きなDAテーブルの計算も可能となる。
段階1では、DA(i,j)のみに対して行ごとに結合を計算する。段階2では、計算された上部三角領域のUT DA配列を読み出す。下部三角領域は、上記三角領域からその転置として求められる。実施形態では、同じ次元の複数のDA配列をひとつの配列に結合してもよい。大きなIIのDA配列は、パラメータを(s,i)としてi=0..(s−1)にわたるDAの和として計算できる。有向類似性(directional affinities)を算出できるように、付加的な情報を計算した結合とともに記憶してもよい。実施形態によっては、IIエントリーの濃度を記憶してもよい。
実施形態では、DAを行ごとに記憶し、AAエントリーの計算をDAエントリーの計算と並行して進めることができる。特に、DAの行をディスクから読み出しつつ加算し、最後に辞書エントリーの数で規格化することによってAAを生成する。
図示した実施形態において、システム10はクライアント20、サーバ22、及びメモリ24を含む。ユーザは、クライアント20によりサーバ22と通信して、言語のオントロジーを生成する。クライアント20は、ユーザ入力をサーバ22に送信し、サーバ出力をユーザに提供(例えば、表示や印刷)する。サーバシステム24は言語のオントロジーを生成するアプリケーションを管理する。メモリ24はサーバシステム24が使うデータを記憶する。
図示した実施形態において、メモリ24はページ50とレコード54とを記憶している。ページ50(すなわち文書または共起コンテキスト)はワード(word)の集まりである。ページ50の例としては、文書のページや、文書や、ブックや、ウェブページや、通信(例えば電子メールやインスタントメッセージ)その他がある。ページ50はページ識別子により識別できる。ページ50は有体のコンピュータ読み取り可能媒体に電子的に記憶されていてもよい。ページ50には任意の適切なコンテンツが関連していてもよい。例えば、テキスト(文字、ワード、数字等)、画像(グラフィックス、写真、ビデオ等)、オーディオ(録音、コンピュータ生成サウンド等)、ソフトウェアプログラムが関連していてもよい。実施形態では、一組のページ50がコーパス(corpus)に属している。コーパスは特定の主題、コミュニティ、組織、エンティティ(entity)に関連している。
レコード54はページ50を記述する。上記実施形態では、レコード54は、インデックス58、逆インデックス62、オントロジー66、クラスター67を含む。インデックス58はインデックスリストを含み、ページ50のインデックスリストはページ50のワードを示す。逆インデックス62は逆インデックスリストを含み、あるワード(または一組のワード)の逆インデックスリストはそのワード(または一組のワード)を含むページ50を示す。一実施例では、リストWはワードwを含むページ50のページ識別子を含む。リストW&Wはワードwとwを両方とも含む結合ページ(conjunction pages)50のページ識別子を含む。リストW+Wはワードwまたはwのいずれかを含む分離ページ(disjunction pages)50のページ識別子を含む。P(W)はWのページ50の数、すなわちワードwを含むページ50の数である。
一実施形態では、リスト(インデックスリスト、逆インデックスリスト等)はバイナリ・ディシジョン・ダイアグラム(BDD)として記憶される。一実施例では、集合Wのバイナリ・ディシジョン・ダイアグラムBDD(W)はワードwを有するページ50を表す。BDD(W)の十分割当カウント(satisfying assignment count)Satisf(BDD(W))によりワードwを有するページ50の数P(W)が求まる。
Figure 2009093647
したがって、
Figure 2009093647
オントロジー66は言語のワードとそのワード間の関係を表すものである。一実施形態では、オントロジー66はワード間の類似性(affinities)を表す。図示した実施例では、オントロジー66は類似性マトリックスと類似性グラフを含む。類似性マトリックスの例を図3乃至図5を参照して説明する。類似性グラフの例を図6を参照して説明する。クラスター67は互いに関係するワードのクラスターを記録している。クラスターは図7を参照してより詳細に説明する。
図示した実施形態では、サーバ22は類似性モジュール30、クラスターリングモジュール31、及びオントロジー特性モジュール32を含む。類似性モジュール30はワードのペアの類似性を計算し、その類似性を類似性マトリックスに記録し、及び/または類似性マトリックスをレポートする。類似性モジュール30は類似性グラフも生成できる。類似性モジュール30は図2を参照してより詳細に説明する。
実施形態では、クラスターリングモジュール31は、データセット中の関係のある要素のクラスターを特定することにより、そのデータセット中のパターンを発見する。実施形態では、クラスターリングモジュール31は一組のワード(例えば、言語や一組のページ50等)のクラスターを特定できる。一般的に、クラスターのワードは互いに強く関係しているが、クラスター外のワードとは関係していない。ワードのクラスターはその一組のワードのテーマ(すなわちトピック)を指定する。実施形態では、クラスターリングモジュール31は、関係するワード間の類似性によりそのクラスターを特定する。その実施形態では、クラスターのワードは互いに強く類似しているが、クラスター外のワードとは類似していない。クラスターリングモジュール31は図7を参照してより詳細に説明する。
実施形態では、オントロジー特性モジュール32は一組のワード(例えば、ワードやそのワードを含む文書)のオントロジー特性(ontology features)を決定し、そのオントロジー特性を様々な場合に適用する。オントロジー特性はワードセットの特徴であり、言語のオントロジー空間にそのワードセットを配置するものである。オントロジー特性の例としては深さ(depth)と具体性(specificity)がある。実施形態では、深さ(depth)はワードセットのテキストとしての精巧さ(textual sophistication)を示す。深さがより大きい(深い)ワードセットは、より技術的かつ専門的であり、深さがより小さい(浅い)ワードセットは、より一般的なものである。実施形態では、ワードセットの具体性はそのワードセットのテーマの数に関係する。具体性が高いワードセットが有するテーマはより少なく、具体性が低いワードセットが有するテーマはより多い。
オントロジー特性モジュール32はオントロジー特性を任意の適切な場合に適用する。適切な場合とは、例えば、オントロジー特性による文書の検索、ソート、選択や、文書のオントロジー特性のレポートや、ユーザの文書のオントロジー特性の決定などである。オントロジー特性モジュール32は図8を参照してより詳細に説明する。
システム10の構成要素は、インターフェイス、ロジック、メモリ、その他の適切な要素を含む。インターフェイスは入力を受信し、出力を送信し、入力や出力を処理し、その他の適当な動作を行う。インターフェイスはハードウェア及び/またはソフトウェアを含む。
ロジックは、これらの構成要素の動作を行い、例えば、入力から出力を生成する命令を実行する。ロジックはハードウェア、ソフトウェア及び/またはその他のロジックを含む。ロジックは有体媒体にエンコードされ、コンピュータにより実行された時に動作するものであってもよい。プロセッサ等のある種のロジックが構成要素の動作を管理してもよい。プロセッサの例としては、例えば、コンピュータ、マイクロプロセッサ、アプリケーションその他のロジックがある。
メモリは情報を記憶する。メモリは有体の、コンピュータ読み取り可能な、及び/またはコンピュータ実行可能な記憶媒体である。メモリの例には、コンピュータのメモリ(RAM、ROM等)、大規模記憶媒体(ハードディスク等)、リムーバブル記憶媒体(CD、DVD等)、データベースやネットワーク記憶装置(サーバ等)、その他のコンピュータ読み取り可能な媒体が含まれる。
本発明の範囲から逸脱することなく、システム10に修正、追加、または削除をすることができる。システム10の構成要素は一体であっても分かれていてもよい。さらに、システム10の動作を実行する構成要素は、これより多くても少なくてもよいし、他の構成要素であってもよい。例えば、生成器42、46の動作を1つの構成要素により行ってもよいし、類似性計算器34の動作を2つ以上の構成要素でおこなってもよい。また、システム10の動作の実行は、ソフトウェア、ハードウェア、及び/またはその他のロジックを含む任意の適切なロジックを用いて行ってもよい。本明細書では、「各」とは、集合の各要素、または集合の部分集合の各要素を指す。
本発明の範囲から逸脱することなく、マトリックスの例に修正、追加、または削除をすることができる。マトリックスに含まれる値はこれより多くても少なくてもよく、他の値が含まれてもよい。また、マトリックスの値を任意の適切な順序で構成してもよい。
図2は、図1のシステム10で使用できる類似性モジュール30の一実施形態を示す図である。類似性モジュール30はワードのペアの類似性を計算し、その類似性を類似性マトリックスに記録し、及び/またはその類似性マトリックスをレポートする。類似性モジュール30は類似性グラフも生成できる。
図示した実施形態では、類似性モジュール30は類似性計算器34、オントロジー生成器38、及びワード推奨器48を含む。類似性計算器34は、ワードwの、または第1のワードwと第2のワードwを含むワードペアの任意の適切なタイプの類似性を計算する。類似性の例には基本類似性、有向類似性、平均類似性、差分類似性、その他の類似性が含まれる。
一実施形態では、ワード推奨器48は、シード・ワード(seed word)を受け取り、そのシード・ワードとの類似性が類似性閾値より高いワードを特定する。類似性閾値は任意の適切な値であり、0.25、0.5、0.75、0.95やこれらより大きな値であってもよい。類似性閾値は予めプログラムしても、ユーザが指定してもよい。
基本類似性はワードw及び/またはwを含むページ50の量(例えば数)に基づき計算できる。結合ページ量(conjunction page amount)はワードwとwを両方とも含むページ50の量を表し、分離ページ量(disjunction page amount)はワードwまたはwのいずれか一方を含むページ50の量を表す。基本類似性は結合ページ量を分離ページ量で割って求められる。一実施例では、結合ページ数はワードwとワードwを含むページ数を示し、分離ページ数はワードwまたはワードwのいずれかを含むページ数を示す。基本類似性は結合ページ数を分離ページ数で割って求めることができる。
Figure 2009093647
図3は、基本類似性を記録した類似性マトリックス110の一例を示す図である。図示した例では、類似性マトリックス110はワードw,...,wのペアごとの類似性を記録している。類似性マトリックス110によると、ワードwとwの間の類似性は0.003であり、ワードwとwの間の類似性は0.005であり、以下同様である。
図1に戻り、類似性グループは相互に類似性が高いワードのペアを含み、この類似性グループを用いてページのコンテンツに対するワードw、w間の関係を捉える。類似性が類似性グループ閾値よりも高いことを、類似性が高いという。閾値は任意の適切な値であり、0.50、0.60、0.75、0.90、0.95より大きな値であってもよい。1つのワードは2つ以上の類似性グループに属してもよい。一実施形態では、類似性グループはBDDとして表すことができる。逆インデックス62に、BDDのポインタをそのグループの各ワードとともに格納してもよい。
有向類似性を用いてワードwに対するワードwの重要性を測ることができる。類似性計算器34は、ワードwが与えられたときのワードwの有向類似性を、ワードwとwを含むページ50の量(例えば数)から計算する。ワードwページ量は、ワードwを含むページ50の量を表す。ワードwが与えられたときのワードwの有向類似性は、結合ページ量をワードwページ量で割ったものである。例えば、ワードwページの数はワードwを含むページ50の数を示す。ワードwが与えられたときのワードwの有向類似性は、結合ページ50の数をワードwページ50の数で割ったものである。
Figure 2009093647
DAffinity(w,w)はDAffinity(w,w)と同じではない。ワードwとwの間の有向類似性DAffinity(w,w)が高いということは、ページ50がワードwを含むときにそのページ50がワードwを含む確率が高いということを示す。一例では、ページ[1 2 3 4 5 6]がワードwを含み、ページ[4 2]がワードwを含む。ワードwを含むページがワードwも含むということは、ワードwの観点からは、ワードwの重要性が高いということである。ワードwを含むページの1/3のみがワードwを含むということは、ワードwの観点からは、ワードwの重要性が低いということである。
図4は、ワードw,...wの基本類似性を記録した類似性マトリックス120の一例を示す図である。上記の例では、ワード124はAワード、ワード128はBワードである。マトリックス120の行はAワードが与えられたときのBワードの類似性を記録し、類似性マトリックス120の列はBワードが与えられたときの類似性を記録する。
図1に戻り、他のワードwに対するワードwの平均類似性を計算する。一実施形態では、平均類似性は、ワードwとその他のすべてのワードwとの間の類似性の平均である。N個のワードに対するワードwの平均類似性は次式で表される。
Figure 2009093647
図5は、平均類似性を記録した類似性マトリックス140の一例を示す図である。行142はワード1乃至ワード50,000の基本類似性を記録している。行144はワード1乃至ワード50,000の平均類似性を記録している。
図1に戻り、ワードの平均類似性はそのワードの深さを示す。平均類似性が低いワードは深いワードであると考えられ、平均類似性が高いワードは浅いワードであると考えられる。深いワードは技術的であり、具体的であり、精密であるという傾向がある。深いワードの割合が高いページ50は深いページであると考えられ、深いワードの割合が低いページ50は浅いページであると考えられる。一実施形態では、ユーザは検索するワード及び/またはページ50の深さを指定することができる。
ページ50の深いワードは関係性が高いワードのクラスターを形成する。クラスターは共通のアイデアやテーマを表す。ページ50のテーマ数はそのページ50の具体性(specificity)を示す。テーマが少ないページ50はより具体的であると考えられ、テーマが多いページ50はあまり具体的でないと考えられる。
ワードwに対するワードwの差分類似性は、ワードwとwの間の有向類似性からワードwのその他すべてのワードとの平均類似性を引いたものである。差分類似性は次式で表せる:
Figure 2009093647
差分類似性は、ページ50にワードwが出現する一般的な傾向によるバイアスを除去したものである。場合によっては、差分類似性は、ページがワードwを含むときにそのページがワードwを含む確率をより正確に示すものである。
差分類似性を様々に応用できる。一例では、人の名前の間の差分類似性を用いて社会的ネットワークを研究できる。他の例では、言語要素間の差分類似性を用いて自然言語処理を研究できる。他の例では、製品間の差分類似性を用いてマーケティングを研究できる。
類似性計算器34は、任意の適切な方法を用いて逆インデックスリストを検索し類似性を計算する。例えば、ワードwとワードwを両方とも含むページを特定するため、類似性計算器34は、ワードwのリストWとワードwのリストWを検索して共通の要素(すなわち共通のページ識別子)を探す。
実施形態では、オントロジー生成器38は、類似性マトリックスや類似性グラフなどの、言語のオントロジー66を生成する。オントロジーは、基本類似性、有向類似性、平均類似性、差分類似性その他の任意の適切な類似性から生成できる。オントロジー66は、任意の適切な方法で、言語から選択されたワードから生成できる。例えば、その言語の一般的に使用されている部分のワードや、主題領域に関係するワードを選択する。
図示した実施例では、オントロジー生成器38は類似性マトリックス生成器42と類似性グラフ生成器46を含む。類似性マトリックス生成器42は、ワード間の類似性を記録する類似性マトリックスを生成する。類似性グラフ生成器46は、ワード間の類似性を表す類似性グラフを生成する。類似性グラフでは、ノードはワードを表し、ノード間の有向辺の重みはそのノードが表すワード間の類似性を表す。類似性グラフは任意の適切な次元数を有する。
図6は、類似性グラフ150の一例を示す図である。類似性グラフ150はノード154とリンク158を含む。ノード154はワードを表す。この例では、ノード154aはワード「バイナリ(binary)」を表している。ノード154間の有向辺の重みは、ノード154が表すワード間の類似性を表す。例えば、重みが大きければ類似性が大きい。ノード間のリンク158は、そのノード154が表すワード間の類似性がある類似性閾値より大きいことを示している。類似性閾値は任意の適切な値であり、例えば、0.25、0.5、0.75、0.95であっても、これらより大きな値であってもよい。
図7は、図1のシステム10で使用できるクラスターリングモジュール31の一実施形態を示す図である。実施形態では、クラスターリングモジュール31は、データセット中の関係のある要素のクラスターを特定することにより、そのデータセット中のパターンを発見する。実施形態では、クラスターリングモジュール31は一組のワード(例えば、言語や一組のページ50等)のクラスターを特定できる。一般的に、クラスターのワードは互いに強く関係しているが、クラスター外のワードとは関係していない。ワードのクラスターはその一組のワードのテーマ(すなわちトピック)を指定する。
実施形態では、クラスターリングモジュール31は、関係するワード間の類似性によりそのクラスターを特定する。その実施形態では、クラスターのワードは互いに強く類似しているが、クラスター外のワードとは類似していない。一実施形態では、ワードは、十分類似(sufficiently affine)していれば類似性が高い(highly affine)と考える。ワードは、類似性規準(例えば閾値)を満たせば十分類似している。以下に類似性規準の例を示す。
任意の適切な類似性を用いてクラスターを特定できる。実施形態では、クラスターリングモジュール31は有向類似性を用いる。あるワードの他のワードに対する有向類似性はそのワードの共起性(co-occurrence)を特徴づける。クラスターは同様の共起性を有するワードを含んでいる。実施形態では、クラスターリングモジュール31は差分類似性を用いる。差分類似性は、ページ50にあるワードが出現する一般的な傾向によるバイアスを除去する傾向がある。
図示した実施形態では、クラスターリングモジュール31はクラスターリングエンジン210とクラスターリング分析器214とを含む。クラスターリングエンジン210は類似性によりワードのクラスターを特定し、クラスターリング分析器214は類似性によるクラスターリングを用いて様々な分析を行う。
クラスターリングエンジン210は任意の適切な方法で、類似性によるワードのクラスターを特定する。クラスターの特定方法の3つの例を説明する:一組のワードからのクラスターの構成と、ワードのクラスターへのソーティングと、ワードの類似性ベクトルの比較である。一実施形態では、クラスターリングエンジン210は一組のワードからクラスターを構成する。一例では、クラスターリングエンジン210は、類似性*Aff(w,w)を有するワード{w}の集合WからクラスターSを構成する。類似性値*Aff(w,w)はワードwのワードwに対する、有向類似性DAffinity(w,w)や差分類似性DiffAff(w,w)等の任意の適切な類似性を表す。ここで挙げる類似性値の例は規格化した値であってもよい。上記の例では、Afffor(w,w)は前方類似性を表し、Affback(w,w)は後方類似性を表す。
上記の例では、クラスターSはシード・ワードwで始まる。カレントワード(current word)wは、その時の繰り返し(current iteration)において集合Wのワードと比較される、クラスターSのワードを表す。カレントワードは、最初にシード・ワードwqに設定される。
1回の繰り返しにおいて、カレントワードwxはクラスターSのワードに設定される。集合Wのワードwは、カレントワードwxとの前方類似性Afffor(w,w)に応じてソートされる。ソートされた集合Wの始めから開始して、類似性規準を満たす候補ワードwを特定する。類似性規準は次の規準を含む。すなわち、カレントワードwとの前方類似性規準(a forward affinity with the current word wx criterion):
Figure 2009093647
及び、シード・ワードwとの後方類似性規準(a backward affinity with the seed word wq criterion):
Figure 2009093647
ここで、Thcfは候補ワードの前方閾値を表し、Thcbは後方ワードの後方閾値を表す。候補ワード{w}の順序付き集合の最初のワードをクラスターSに加える。加えたワードの数はパラメータSizeで与えられる。閾値ThcfとThcbは、最小値と最大値の間にある任意の適切な値を有する浮動小数点パラメータである。例としては、ThcfとThcbの適切な値は実際の類似性の序列リスト(rank-ordered list)から決定される。例えば、リストの200番目の値を使用する。パラメータSizeは任意の適切な値を有する整数パラメータである。適切な値の例として、デフォルト値を1,2,3または4にしてもよい。実施形態では、上記のパラメータは繰り返しによって変化してもよい。
繰り返し回数は任意の適切なものであればよい。一例では、繰り返し回数をこの方法の開始前に指定できる。他の例では、回数をこの方法の実行中に計算できる。例えば、その回数をクラスターSの大きさの増大率から計算できる。
他の実施形態では、クラスターリングエンジン210は、一組のワードをクラスターにソーティングすることにより、クラスターを特定する。一例では、集合Wのワード{w}を、差分類似性や有向類似性などの類似性*Aff(w,w)に応じてソートする。他の例では、ワード{w}を、別のワード集合Qの各メンバーに対するワードwの類似性の累積関数(合計等)によりソートする。集合Wは任意の適切な方法で選択することができる。例えば、集合Wはクエリーに最も関係するX個のワードである。Xは任意の適切な値である。例えば、10乃至100、100乃至200、または200以上の値である。
上記の例ではクラスターは最初、空である。集合Wの最初のワードwをクラスターに入れる。各繰り返しにおいて、集合Wからカレントワードwを選択する。*Aff(w,w)が類似性閾値Thにより与えられる類似性規準を満たせば、カレントワードwをクラスターに入れる。ここで、wはそのクラスターに入れられた最初のワードを表す。閾値Thの値は任意の適切なものである。例えば、最小値が0.0で最大値が1.0のとき、0.1乃至0.5の範囲にある値である。*Aff(w,w)が閾値Thを満たさないとき、カレントワードwは空のクラスターに入れられる。集合Wの各ワードに対して繰り返す。
集合Wのワードを処理してから、小さいクラスターを削除してもよい。例えば、ワード数がYに満たないクラスターを削除してもよい。Yは任意の適切な値であり、例えば、3乃至5、5乃至10、10乃至25、25乃至50、または50以上の範囲の値である。
クラスター数が満足のいく範囲になければ、閾値Thを変えて上記プロセスを繰り返す。閾値Thを変えることによりクラスターに入れる規準が厳しくなったりゆるくなったりする。上記の満足のいく範囲は、任意の適切な値であるクラスター数の最小値と最大値により決めてもよい。適切な値の例としては、最小値については1乃至5、5乃至10、または10以上の範囲の値であり、最大値については10乃至15、15乃至20、または20以上の範囲の値である。閾値Thを大きくしてクラスター数を大きくしてもよいし、小さくしてクラスター数を小さくしてもよい。
他の実施形態では、クラスターリングエンジン210は、ワードの類似性ベクトルを比較することによりクラスターを特定する。実施形態では、類似性マトリックスの行と列により類似性ベクトル<w,*Aff(w,w),...,*Aff(w,w),...,*Aff(w,w)>ができる。これはワードwのワードw(j=1,...,n)に対する類似性を表す。類似性値*Aff(w,w)はワードwのワードwに対する、有向類似性や差分類似性等の任意の適切な類似性を表す。
実施形態では、類似性値が近い(similar)類似性ベクトルはクラスターを示す。説明のためだけに、類似性ベクトルを類似性空間におけるワードの類似性の座標とみなしてもよい。すなわち、各類似性値*Aff(w,w)をある次元の座標とみなす。類似性値が近い(similar)類似性ベクトルは、そのベクトルが付随するワードが類似性空間において互いに近いことを示している。すなわち、そのベクトルは、そのワードが他のワードと有する類似性関係が近いことを示し、同じクラスターに含めることが適当であることを示す。
類似性ベクトルは、適切な距離関数により、1つの類似性ベクトルが他の類似性ベクトルの近傍にあるとき、類似性ベクトルは近い。距離関数は、類似性ベクトルに対して、その大きさのベクトルの標準的なユークリッド距離として、またはその大きさのベクトルの余弦(cosine)として定義することができる。距離関数は、クラスターリングエンジン210やユーザによって指定することもできる。
実施形態では、クラスターリングエンジン210はクラスターリング・アルゴリズムを用いて、互いに近い値を有する類似性ベクトルを特定する。クラスターリング・アルゴリズムの例には、ダイレクト(direct)・アルゴリズム、反復二分(repeated bisection)・アルゴリズム、集積(agglomerative)・アルゴリズム、バイアス集積(biased agglomerative)・アルゴリズムその他の適切なアルゴリズムなどがある。一例では、クラスターリングエンジン210は「CLUTO」などのクラスターリングソフトウェアを含む。
クラスターリング分析器214は、任意の適切なアプリケーションにおいて分析のために類似性クラスターリングを用いる。一実施形態では、クラスターリング分析器214は類似性クラスターリングを用いてページをカテゴリー分けする。カテゴリーはクラスター識別子またはクラスターのメンバーと関連する。一例では、ページ50のクラスターを特定し、そのページ50をそのクラスターに応じてカテゴリー分けする。他の例では、ページ50の重要なワードを選択し、そのワードを含むクラスターを見つける。ページ50を見つけたクラスターに応じてカテゴリー分けしてもよい。
一実施形態では、クラスターリング分析器214は類似性クラスターリングを用いてページ50のコーパスを分析する。コーパスは特定の主題、個人のコミュニティ、組織、その他のエンティティ(entity)に関連している。一例では、クラスターリング分析器214はコーパスのクラスターを特定し、そのクラスターからそのコーパスのコーパスキャラクタ(corpus character)を決定する。コーパスキャラクタはそのコーパスに付随するエンティティ(entity)に関連するワードを示す。ページ50は、コーパスキャラクタのクラスターを有するとき、そのエンティティに関連している。
一実施形態では、クラスターリング分析器214は類似性クラスターリングを用いて、クエリーの曖昧性を除去し拡張する(query disambiguation and expansion)。上記の実施形態では、クラスターリング分析器214は、検索クエリーの検索タームを含むクラスターを特定する。クラスターによりその検索クエリーに関連する代替的なワードやカテゴリーが提供される。一例では、クラスターからのワードを検索者にレポートして、次の検索クエリーの支援をする。他の例では、クラスターリング分析器214は、クラスターからワードを選択して、新しい検索クエリーを自動的に形成する。クラスターリング分析器214はその新しいクエリーを順番に、または並行して実行する。
一実施形態では、クラスターリング分析器214は類似性クラスターリングを用いてソーシャルネットワークを調査(study)する。一例では、ページ50はソーシャルネットワークに関する情報(insight)を提供する。かかるページの例としては、通信(手紙、電子メール、インスタントメッセージなど)、メモ、記事、議事録などがある。こうしたページ50は、ソーシャルネットワークを形成する人々のユーザ識別子(名前など)であるワードを含む。名前のクラスターを特定して、そのネットワークを形成する人々の間の関係を分析する。一例では、別の類似性クラスターリングを用いて、システム管理者の名前など、情報を提供しないがほとんどのページ50に現れる名前をフィルタ除去する。
実施形態では、クラスターリング分析器214は、データセットのクラスターを結合及び/または比較することにより、そのデータセットを分析する。一実施形態では、オーバーラップするデータセットのクラスターを比較する。1つのデータセットのクラスターを他のデータセットのクラスターにマッピングすると、そのデータセット間の関係についての情報(insight)が得られる。例えば、データセットは、職場のグループの文書の分析や、そのグループのソーシャルネットワークの調査(study)によるものである。ソーシャルネットワークのクラスターを文書の主題のクラスターにマッピングして、ソーシャルネットワークと主題の間の関係を分析する。
図8はオントロジー特性モジュール32の一実施形態を示す図である。オントロジー特性モジュール32は、一組のワード(例えば、ワードそのものやワードを含む文書)のオントロジー特性(ontology features)を決定し、そのオントロジー特性を様々な場合に適用する。その一組のワードには文書の基本的ターム(essential terms)が含まれているかも知れない。タームtは、それに類似したk個のタームの少なくとも1つも文書に現れる場合、基本的タームである。現れなければそのタームtはその文書にとっては基本的ではない。
オントロジー特性は、ある分野においてある文書を他の文書から意味的に区別する特性(feature)軸に沿って、その文書を特徴づける数量化可能な尺度である。例えば、文書の深さは理解可能性に関してその文書を区別し、文書の具体性はフォーカスに関してその文書を区別し、文書のテーマは記載されたトピックスの範囲(addressed range of topics)に関してその文書を区別する。オントロジー特性は任意の適切な方法で定義することができる。例えば、計算言語学における独立したアルゴリズムを用いて文書の可読性(readability)または深さ(depth)を特徴づけることができる。
図示した実施形態では、オントロジー特性モジュール32は、深さエンジン230、テーマエンジン240、具体性エンジン244、オントロジー特性(OF)アプリケーションエンジン250を含む。深さエンジン230はワード(例えばワードそのものやワードを含む文書)の深さ(depth)を決定する。一般的に、深さはワードのテキスト的な精巧さ(textual sophistication)を示す。深さがより大きい(深い)ワードは、より技術的かつ専門的であり、深さがより小さい(浅い)ワードは、より一般的なものである。実施形態では、深さモジュール32は文書のワードの深さを計算し、そのワードの深さに基づきその文書の深さを計算する。実施形態では、深さエンジン230は深さ値及び/または深さランキングを文書及び/またはワードに割り当てる。より深い文書またはワードにはより高い深さ値または深さランキングが割り当てられ、より浅い文書またはワードにはより低い深さ値または深さランキングが割り当てられる。
深さエンジン230はワードの深さを任意の適切な方法で計算する。実施形態では、深さエンジン230は平均類似性によりワードの深さを計算する。上記の実施形態では、ワードの深さはそのワードの平均類似性の関数である。より深いワードはより低い平均類似性を有し、より浅いワードはより高い平均類似性を有する。具体例では、深さエンジン230はワードをその平均類似性によりランキングすることによりそのワードの深さを計算する。平均類似性が低いワードには高い深さランキングが与えられ、平均類似性が高いワードには低い深さランキングが与えられる。
実施形態では、深さエンジン230はクラスターリング分析を用いてワードの深さを計算する。上記の実施形態では、クラスター内のワードは互いに強く類似しているが、クラスター外のワードとはそれほど類似していない。クラスター空間における距離を類似性により測るが、これは深さのインジケータである。実施形態では、属するクラスター数が少ないワード、小さいクラスターに属するワード、及び/または他のクラスターから遠いクラスターに属するワードは深いものとみなされる。一方、属するクラスター数が多いワード、大きいクラスターに属するワード、及び/または他のクラスターに近いクラスターに属するワードは浅いものとみなされる。
他の実施形態では、深さエンジン230は類似性グラフ150のリンク分析をしてワードの深さを計算する。リンク分析は、PAGERANKなどの任意の適切なリンク分析アルゴリズムで行うことができる。便宜的に、図6の類似性グラフ150を利用してワードの深さを計算することもできる。類似性グラフ150はノード154とリンク158を含む。ノード154はワードを表す。ノード154間のリンク158は、そのノード154が表すワード間の類似性が、ある類似性閾値より大きいこと、すなわちそのワードが十分類似していることを示している。
実施形態では、深さエンジン230はノード154の人気度(popularity)を計算する。人気のあるノード154は浅いワードを表し、人気のないノード154は深いワードを表す。第1のノード154から第2のノード154へのリンク136は、第1のノード154による第2のノード154への人気度投票(popularity vote)であると考えられる。また、人気のあるノード154からの投票(vote)は人気のないノード154からの投票よりも重みが大きい。さらに、第1のノード154の第2のノード154に対する類似性はその投票に重みづけする。深さエンジン230はノード154への重みつき投票から、そのノード154の人気度を計算する。人気のないワードは深いものと考えられ、人気のあるワードは浅いものと考えられる。
深さエンジン230は文書の深さを任意の適切な方法で計算する。実施形態では、深さエンジン230は文書の少なくとも1つのワード、一部のワード、またはすべてのワードの深さにより、その文書の深さを計算する。実施形態では、ワードの深さは平均類似性で与えられ、文書の深さをその文書のワードの平均類似性から計算してもよい。例えば、文書の浅さ(shallowness)はその文書のワードの平均類似性の平均、すなわち、その文書中の各ワードの平均類似性の合計をその文書中のワードの総数で割ったものである。文書の深さは、その文書の浅さの逆数として計算できる。
実施形態では、深さは文書中の選択された一組のワードの平均深さから計算できる。選択された一組のワードには、その文書の基本的ワードが含まれる。例えば、(深さが)トップX%のワードが含まれる。ここで、Xは10より小さくても、10乃至20でも、20乃至30でも、30乃至40でも、40乃至50でも、50乃至60でも、60乃至70で、70より大きくてもよい。選択された一組のワードには、P%の標準的な文法ワードや、Q%のストップワードが含まれない。ここで、PとQは任意の適切な値であり、10より小さくても、10乃至20でも、20乃至30でも、30乃至40でも、40乃至50でも、50乃至60でも、60乃至70で、70より大きくてもよい。
実施形態では、深さエンジン230は文書におけるワードの深さの分布により、その文書の深さを計算する。実施形態では、深い文書は、深いワードを有する割合が高い。ワードの深さ分布の一例を、図9を参照して詳しく説明する。
図9は、ワードの深さの分布例を示すグラフ240である。グラフ240はある文書中のある深さを有するワードの割合を示す。実施形態では、深さエンジン230は最大閾値Thmaxを越える深さを有するワードを破棄してもよい。実施形態では、深さエンジン230は、深さが処理閾値Thprocより高く、(もしあれば)最大閾値Thmaxより低い処理範囲にあるワードに基づき文書の深さを計算する。割合X%は処理されないワードの割合を表し、割合Y%は処理されるワードの割合を表す。割合Y%は任意の適切な値を有し、例えば、2%乃至5%、5%乃至10%、または10%以上である。実施形態では、深さエンジン230は、一定のワード(selected words)から文書の深さを計算する。例えば、深さエンジン230は言語中のある頻度レベル、例えば頻度がトップのワードからZ個までのワード内にあるワードを選択する。ここでZは、例えば10,000乃至50,000、または50,000以上の範囲の値である。
図8に戻り、実施形態では、深さエンジン230は文書の類似性(affinity)によりその文書の深さを計算する。文書間の類似性はその文書間の関係を示す。実施形態では、平均ワード類似性がそのワードの深さを示すのと同様に、平均文書類似性はその文書の深さを示す。文書の類似性は任意の適切な方法で定義することができる。一例では、共通ワード数P(D&D)は文書DとDの両方にあるワードの数を示し、個別ワード数P(D+D)は文書DまたはDのいずれかにあるワードの数を示す。文書DとDの間の文書類似性DocAffは次式で定義できる:
Figure 2009093647
深さエンジン230は、平均ワード類似性の計算と同様に平均文書類似性を計算する。平均類似性が低い文書は深いものであると考えられ、平均類似性が高い文書は浅いものであると考えられる。
実施形態では、深さエンジン230は、文書類似性グラフのリンク分析をして文書の深さを計算する。文書類似性グラフは類似性グラフ150と同様だが、文書類似性グラフのノードはワードではなく文書を表す。深さエンジン230は、第1の文書を表す第1のノードから第2の文書を表す第2のノードへのリンクを、第1の文書が与えられたときの第2の文書の文書類似性で重み付けする。出て行くリンクの重みを規格化してもよい。
実施形態では、深さグラフをユーザインターフェースに表示して文書の深さを表示する。深さレベルを選択できる深さスライダーを併せて表示してもよい。実施形態では、文書がより大きな文書のセクションであるとき、深さグラフはそのセクションを示す。
実施形態では、深さエンジン230は文書深さを任意の適切な方法で計算できる。例えば、文書の類似性のヒストグラムを処理し、及び/または深さに基づき異なるワードの割合をトランケート(truncate)してからヒストグラムを処理することができる。他の方法には、Gunning−Fog法、Flesch法、またはFry法がある。
実施形態では、深さエンジン230は深さ値をある深さレベルにマッピングして、深さを較正してもよい。実施形態では、範囲Rの深さ値をレベルLにマッピングする。例えば、R={r:r<c}をレベルLにマッピングし、R={r:c<r<c}をレベルLにマッピングし、...、R={r:c<r}をレベルLにマッピングする。これらの範囲は任意の適切な深さ値を含み、同じ大きさである必要はない。レベルの数は任意の適切なものであればよく、5より少なくても、5から7であっても、7または8であっても、8から10であっても、10から20であっても、20から50であっても、50から100であっても、100より多くてもよい。
テーマエンジン240は文書のテーマ(すなわちトピックス)を決定する。実施形態では、クラスターリングモジュール31が特定した文書中のワードのクラスターから、テーマエンジン240がテーマを決定する。上記の通り、ワードのクラスターはその一組のワードのテーマ(すなわちトピック)を指定する。文書のテーマはその文書の内容に関して有用な情報を提供する。例えば、クラスター{腎臓、肝臓、タンパク質、問題}を含む文書は、おそらく腎臓の機能低下による肝臓からのタンパク質のもれに関するものであり、インゲン豆のタンパク質成分に関するものではない。
実施形態では、テーマエンジン240はテーママップからテーマを決定する。上記の実施形態では、例えば、ターム頻度−逆文書頻度(TF−IDF)(term frequency-inverse document frequency)法など任意の適切な方法を用いて文書からキーワードを抽出する。キーワードを用いてテーママップからテーマの候補を選択する。テーマ候補を文書と比較して、そのテーマがその文書に合致するか決定する。例として、テーマ候補のヒストグラムを文書のヒストグラムと比較する。テーマ候補が文書と合致したら、そのテーマにより、その文書のテーマのタイプや数を推定する。
具体性エンジン244は文書の具体性(specificity)を計算する。実施形態では、具体性エンジン244は、具体性値及び/または具体性ランキングを文書に割り当てる。より具体的な文書にはより高い具体性値または具体性ランキングが割り当てられ、より具体的でない文書にはより低い具体性値または具体性ランキングが割り当てられる。
実施形態では、具体性エンジン240は文書のテーマの数から具体性を計算する。例として、具体的な文書のテーマは少なく、具体的でない文書のテーマは多い。 実施形態では、具体性エンジン240は文書のテーマの数と、そのテーマ間の類似性から具体性を計算する。例として、具体的な文書のテーマは、テーマ間の類似性が高くて少ない。一方、具体的でない文書のテーマは、テーマ間の類似性が低くて多い。
実施形態では、テーマの数は深さ(またはレベル)に依存する。例えば、深さが小さい1つのテーマは深さが大きい複数のテーマを表す。実施形態では、深さはユーザが深さスライダーを用いて選択するか、予め決まっている。実施形態では、レベルはユーザが選択するか、予め決まっている。例えば、任意の適切な数のレベルを決めて、そのレベルに対して深さを計算する。例えば、レベルは、ドメインベース(例えば、エンジニアリング、医療、ニュース、スポーツ、金融などのドメイン)、専門ベース(例えば、心臓科、眼科、腎臓科などの専門)、トピックベース(例えば、高血圧、コレステロール、バイパス手術、動脈硬化などのトピックス)、詳細ベース(例えば、立ちくらみ、慢性高血圧、急性高血圧などの詳細)、解決策ベース(例えば、老人性病因、医薬、遺伝子などの解決策)、人ベース(例えば、ユーザクエリーレベルなど)などがある。
オントロジー特性アプリケーションエンジン250は、(深さ、テーマ、具体性などの)オントロジー特性を用いて、任意の適切な状況でオントロジー特性分析を行う。適切な場合とは、例えば、オントロジー特性による文書の検索、ソート、推奨、選択や、文書のオントロジー特性のレポートや、ユーザの文書(または複数組みの文書)のオントロジー特性の決定などである。実施形態では、オントロジー特性アプリケーションエンジン250はオントロジー特性に関する情報を含むインデックスを使用する。一例では、オントロジー特性アプリケーションエンジン250は、深さランキングにより生成及び/または維持された文書深さ(DD)逆インデックス62を使用する。DD逆インデックス62は、DD逆インデックスリストを含む。ワードのDD逆インデックスリストは、そのワードを含む文書(またはページ50)の文書識別子をリストする。文書の文書識別子はその文書の深さを示す。例えば、文書識別子のエンコードに用いるバイナリエンコーディングは、深さを示す。場合によっては、DD逆インデックスリストは十分な深さを有する文書のみをリストしたものである。他の例では、オントロジー特性アプリケーションエンジン250は、逆インデックス62に加えてランキングテーブルと深さテーブルを利用する。深さテーブルは文書の深さを示すものである。
実施形態では、オントロジー特性アプリケーションエンジン250は、指定された文書深さや具体性の値などの指定されたオントロジー特性値を有する文書を検索する。指定地は予め決められていても、計算してもユーザが選択してもよい。実施形態では、深さスライダーや具体性スライダーを用いて値を選択してもよい。
実施形態では、オントロジー特性アプリケーションエンジン250は、文書をソートするソート規準としてオントロジー特性を利用する。例えば、オントロジー特性アプリケーションエンジン250は、ソート規準だけでなく、テーマに関して文書深さ及び/または具体性により文書をソートする。例として、オントロジー特性アプリケーションエンジン250は、DD逆インデックス62を検索して、文書深さによりソートされた文書を求める。例として、オントロジー特性アプリケーションエンジン250は、非DD逆インデックス62を用いて文書を検索して、深さにより文書をソートする。
実施形態では、オントロジー特性アプリケーションエンジン250は、オントロジー特性の値をクライアント20にグラフィカルに表示する。例えば、検索結果のトップX%の文書など、文書の一部または全部をグラフィカルに表示してもよい。オントロジー特性値を任意の適切な方法で表示できる。例として、数字、言葉、アイコンなどのグラフィカルインジケータにより値を示すことができる。例えば、検索結果のリスト中のアイテムや、オンラインニュースペーパーのヘッドラインや、文書アイコンなどの隣にグラフィカルインジケータを配置してもよい。例として、既存の図象(iconography)を修正して値を表示できる。例えば、テキストのサイズ、フォント、スタイル、カラーやグラフィカルインジケータにより値を示すことができる。他の例では、グラフにより値を示すことができる。オントロジー特性ヒストグラムは、文書量軸とオントロジー特性軸を含み、あるオントロジー特性値を有する文書の量を示す。例えば、文書量軸と文書深さ軸とを含む文書深さヒストグラムは、文書深さごとの文書量を示している。
実施形態では、ユーザは、オントロジー特性アプリケーションエンジン250により、特定のオントロジー特性値を有する文書の検索をすることができる。ユーザは、クエリーで用いる複数のワードのそれぞれにオントロジー特性値を指定することができる。例として、ユーザは、オントロジー特性アプリケーションエンジン250により深さを選択するオプションを提供され、深さを選択して入力することができる。そのオプションは任意の適切な方法で提供することができる。例えば:(i)絶対的ターム(深さを表す数字や数字の範囲など);(ii)相対的ターム(深さに関する検索結果の一部で、例えば「最も深いX%」など);(iii)意味的ターム(「入門的」、「浅い」、「深い」、「極めて深い」、「非常に技術的」など);(iv)グラフィカルターム(スライダー、ボタン、その他のグラフィカル要素など);(v)任意の適切なタームの組み合わせ(意味的ラベルを伴うスライダーなど)である。場合によっては、スライダーの端は「浅い」と「深い」である。ユーザはスライダーを一端または他端に向けて動かして深さを選択できる。検索結果が求まると、スライダーの横に文書深さヒストグラムが表示され、スライダーを文書深さの軸として使用できる。
実施形態では、オントロジー特性アプリケーションエンジン250はユーザのオントロジー特性キャラクタを計算できる。オントロジー特性キャラクタには、テーマとの関連でユーザ深さとユーザ具体性が含まれる。オントロジー特性キャラクタはそのユーザの文書のオントロジー特性を記述する。例えば、科学者は、第三者である評価者(third grader)が使うものより深い文書を使う。オントロジー特性キャラクタはテーマに対して与えられる。例えば、遺伝学者は、詩の分野で使うものよりも深い文書を遺伝学の分野では使う。オントロジー特性キャラクタを用いてユーザの専門を決定し、その人の経歴を構成しても、ソーシャルネットワークを分析してもよい。
ユーザの通信(電子メールやインスタントメッセージなど)や、ウェブページや、検索履歴(検索クエリーや選択したページなど)などの任意の適切な文書を分析してオントロジー特性キャラクタを推定する。実施形態では、オントロジー特性アプリケーションエンジン250はオントロジー特性キャラクタ(ontology feature character)を時間的に追跡して、過去のキャラクタを使って将来のキャラクタを予測できる。例として、オントロジー特性アプリケーションエンジン250では、一般的にユーザ深さ及び/または具体性は時間及び/またはある分野における活動とともに増大することを仮定してもよい。
実施形態では、オントロジー特性アプリケーションエンジン250では複数の動作を組み合わせてもよい。例えば、オントロジー特性アプリケーションエンジン250はユーザの深さをモニターし、そのユーザ深さに応じた文書を検索する。一例では、ユーザ深さをモニターし、ニュースをその深さに応じて提供する。将来のユーザ深さを予測して、予測されたユーザ深さに合ったニュースを提供する。
本発明の実施形態により以下の技術的有利性がもたらされる。一実施形態の技術的優位性として、ワードのワード深さ(word depth)をそのワードの類似性から決定できる。一実施形態の他の技術的優位性として、文書の文書深さ(document depth)をその文書の類似性から決定できる。一実施形態の他の技術的優位性として、深さ分析を行うことができる。深さ分析の例としては、要求された深さ(文書深さ)を満たす文書の検索、文書の深さを示すグラフィカル要素の表示、ユーザ文書に基づくユーザ深さ(user depth)の決定がある。 本発明の実施形態には、上記の技術的な優位性を含まないもの、一部を含むもの、すべてを含むものがある。図面、詳細な説明、及び特許請求の範囲に基づき、当業者には容易に1つ以上の技術的な優位性が明らかとなるであろう。
本開示を実施形態に関して説明したが、これらの実施形態の変形や置き換えは当業者には明らかであろう。従って、上記の実施形態の説明は本開示を限定するものではない。特許請求の範囲に記載した本開示の精神と範囲から逸脱せずに、その他の変更、置き換え、改変も可能である。
上記の実施形態について以下の付記を記載する。
(付記1) 複数のワードを含む複数の文書を記述する、前記複数の文書の複数の類似性を記録した、有体の媒体に記憶された記録にアクセスする段階と、
前記複数の類似性に応じて前記複数の文書の少なくとも一部に含まれる各文書の文書深さを決定する段階と、
前記文書深さにより文書深さ分析を行いその結果を得る段階と、
前記文書深さ分析の結果をレポートする段階とを含む方法。
(付記2) 前記複数の類似性は前記複数のワードの複数の平均類似性をさらに含む、付記1に記載の方法。
(付記3)
前記記録は前記複数の類似性を含む文書類似性グラフをさらに含み、前記文書類似性グラフは複数のノードを含み、各ノードは1つの文書を表し、
各文書の文書深さを決定する段階は、
前記文書類似性グラフにリンク分析を適用して前記複数のノードの少なくとも一部の人気度を決定する段階と、
各文書が、人気度が低いノードで表されているときその文書は深いと決定する段階と、
各文書が、人気度が高いノードで表されているときその文書は浅いと決定する段階とを含む、付記1に記載の方法。
(付記4) 前記文書深さにより文書深さ分析を行いその結果を生成する段階は、
文書深さ要求を含む検索クエリーを受け取る段階と、
前記検索クエリーと前記文書深さ要求とを満たす前記複数の文書のうちの一組の文書を検索する段階とを含む、付記1に記載の方法。
(付記5) 前記文書深さにより文書深さ分析を行いその結果を生成する段階は、
各文書の文書深さのグラフィカル表示を行い、前記グラフィカル表示はグラフィカルインジケータとグラフィカルな修正と深さスライダーと深さグラフとよりなる集合から選択した要素を含む段階を含む、付記1に記載の方法。
(付記6) 前記文書深さにより文書深さ分析を行いその結果を生成する段階は、
検索クエリーを受け取る段階と、
前記検索クエリーを満たす前記複数の文書のうちの一組の文書を検索する段階と、
前記一組の文書をソートする段階とを含む、付記1に記載の方法。
(付記7) 前記複数の文書はユーザに関連し、
各文書の文書深さを決定する段階は、
前記複数の文書から前記ユーザのユーザ深さを決定する段階を含む、付記1に記載の方法。
(付記8) 前記複数の文書はユーザに関連し、
各文書の文書深さを決定する段階は、
前記複数の文書からテーマに応じて前記ユーザのユーザ深さを決定する段階を含む、付記1に記載の方法。
(付記9) ソフトウェアをエンコードしたコンピュータ読み取り可能有体媒体であって、実行したとき、
複数のワードを含む複数の文書を記述する、前記複数の文書の複数の類似性を記録した、有体の媒体に記憶された記録にアクセスする段階と、
前記複数の類似性に応じて前記複数の文書の少なくとも一部に含まれる各文書の文書深さを決定する段階と、
前記文書深さにより文書深さ分析を行いその結果を生成する段階と、
前記文書深さ分析の結果をレポートする段階とを実行する媒体。
(付記10) 前記複数の類似性は前記複数のワードの複数の平均類似性をさらに含む、付記9に記載のコンピュータ読み取り可能有体媒体。
(付記11) 前記記録は前記複数の類似性を含む文書類似性グラフをさらに含み、前記文書類似性グラフは複数のノードを含み、各ノードは1つの文書を表し、
前記コンピュータ読み取り可能有体媒体は、
前記文書類似性グラフにリンク分析を適用して前記複数のノードの少なくとも一部の人気度を決定する段階と、
各文書が、人気度が低いノードで表されているときその文書は深いと決定する段階と、
各文書が、人気度が高いノードで表されているときその文書は浅いと決定する段階とにより各文書の文書深さを決定できる、付記9に記載のコンピュータ読み取り可能有体媒体。
(付記12) 文書深さ要求を含む検索クエリーを受け取る段階と、
前記検索クエリーと前記文書深さ要求とを満たす前記複数の文書のうちの一組の文書を検索する段階と
により前記文書深さにより文書深さ分析を行いその結果を生成できる、付記9に記載のコンピュータ読み取り可能有体媒体。
(付記13) 各文書の文書深さのグラフィカル表示を行い、前記グラフィカル表示はグラフィカルインジケータとグラフィカルな修正と深さスライダーと深さグラフとよりなる集合から選択した要素を含む段階により前記文書深さにより文書深さ分析を行いその結果を生成できる、付記9に記載のコンピュータ読み取り可能有体媒体。
(付記14) 検索クエリーを受け取る段階と、
前記検索クエリーを満たす前記複数の文書のうちの一組の文書を検索する段階と、
前記一組の文書をソートする段階と
により前記文書深さにより文書深さ分析を行いその結果を生成できる、付記9に記載のコンピュータ読み取り可能有体媒体。
(付記15) 前記複数の文書はユーザに関連し、
前記コンピュータ読み取り可能有体媒体は、
前記複数の文書から前記ユーザのユーザ深さを決定する段階により各文書の文書深さを決定できる、付記9に記載のコンピュータ読み取り可能有体媒体。
(付記16) 前記複数の文書はユーザに関連し、
前記コンピュータ読み取り可能有体媒体は、
前記複数の文書からテーマに応じて前記ユーザのユーザ深さを決定する段階により各文書の文書深さを決定できる、付記9に記載のコンピュータ読み取り可能有体媒体。
(付記17) 有体媒体に格納された記録にアクセスする段階であって、前記記録は複数のワードで記載され、前記記録は前記複数のワードの複数の類似性を含む段階と、
前記複数の類似性に応じて前記複数のワードのうちの各ワードのワード深さを決定する段階と、
前記複数のワード深さをレポートする段階とを含む方法。
(付記18) 前記複数の類似性は複数の平均類似性をさらに含み、平均類似性はワードの深さを示し、
前記複数のワードの各ワードのワード深さを決定する段階は、さらに、
各ワードの平均類似性が低いときそのワードは深いと決定する段階と、
各ワードの平均類似性が高いときそのワードは浅いと決定する段階とを含む、
付記17に記載の方法。
(付記19) 前記記録は前記複数の類似性から生成した複数のクラスターを含み、前記複数のクラスターは前記複数のワードを含み、
前記複数のワードの各ワードのワード深さを決定する段階は、さらに、
各ワードが属するクラスター数が少ないときそのワードは深いと決定する段階と、
各ワードが属するクラスター数が多いときそのワードは浅いと決定する段階とを含む、
付記17に記載の方法。
(付記20) 前記記録は前記複数の類似性を含む類似性グラフを含み、前記類似性グラフは複数のノードを含み、各ノードは1つのワードを表し、
前記複数のワードの各ワードのワード深さを決定する段階は、さらに、
前記類似性グラフにリンク分析を適用して、前記類似性グラフの各ノードの人気度を決定する段階と、
各ワードが、人気度が低いノードで表されているときそのワードは深いと決定する段階と、
各ワードが、人気度が高いノードで表されているときそのワードは浅いと決定する段階とを含む、
付記17に記載の方法。
(付記21) ソフトウェアをエンコードしたコンピュータ読み取り可能有体媒体であって、実行したとき、
有体媒体に格納された記録にアクセスする段階であって、前記記録は複数のワードで記載され、前記記録は前記複数のワードの複数の類似性を含む段階と、
前記複数の類似性に応じて前記複数のワードのうちの各ワードのワード深さを決定する段階と、
前記複数のワード深さをレポートする段階とを実行する媒体。
(付記22) 前記複数の類似性は複数の平均類似性をさらに含み、平均類似性はワードの深さを示し、
前記コンピュータ読み取り可能有体媒体は、
各ワードの平均類似性が低いときそのワードは深いと決定する段階と、
各ワードの平均類似性が高いときそのワードは浅いと決定する段階と
により前記複数のワードのうちの各ワードのワード深さを決定できる、付記21に記載のコンピュータ読み取り可能有体媒体。
(付記23) 前記記録は前記複数の類似性から生成した複数のクラスターを含み、前記複数のクラスターは前記複数のワードを含み、
前記コンピュータ読み取り可能有体媒体は、
各ワードが属するクラスター数が少ないときそのワードは深いと決定する段階と、
各ワードが属するクラスター数が多いときそのワードは浅いと決定する段階と
により前記複数のワードのうちの各ワードのワード深さを決定できる、付記21に記載のコンピュータ読み取り可能有体媒体。
(付記24) 前記記録は前記複数の類似性を含む類似性グラフを含み、前記類似性グラフは複数のノードを含み、各ノードは1つのワードを表し、
前記コンピュータ読み取り可能有体媒体は、
前記類似性グラフにリンク分析を適用して、前記類似性グラフの各ノードの人気度を決定する段階と、
各ワードが、人気度が低いノードで表されているときそのワードは深いと決定する段階と、
各ワードが、人気度が高いノードで表されているときそのワードは浅いと決定する段階と
により前記複数のワードのうちの各ワードのワード深さを決定できる、付記21に記載のコンピュータ読み取り可能有体媒体。
(付記25) 有体媒体に格納された記録にアクセスする段階であって、前記記録は複数のワードを含む文書を記述する段階と、
前記文書の前記複数のワードのうちの2つ以上のワードの組みの平均ワード深さを決定する段階と、
前記平均ワード深さから前記文書の文書深さを計算する段階とを含む方法。
(付記26) 前記2つ以上のワードの組みは前記文書の2つ以上の基本ワードを含む、付記25に記載の方法。
(付記27) 前記2つ以上のワードの組みは最も深いX%のワードを含み、Xは50以上である、付記25に記載の方法。
(付記28) 前記2つ以上のワードの組みは最も深いX%のワードを含み、Xは50以下である、付記25に記載の方法。
(付記29) 前記2つ以上のワードの組みは前記文書の標準的文法ワードをP%除いたものであり、Pは50以上である、付記25に記載の方法。
(付記30) 前記2つ以上のワードの組みは前記文書の標準的文法ワードをP%除いたものであり、Pは50以下である、付記25に記載の方法。
(付記31) 前記2つ以上のワードの組みは前記文書のストップワードのQ%を除いたものであり、Qは50以上である、付記25に記載の方法。
(付記32) 前記2つ以上のワードの組みは前記文書のストップワードのQ%を除いたものであり、Qは50以下である、付記25に記載の方法。
(付記33) ソフトウェアをエンコードしたコンピュータ読み取り可能有体媒体であって、実行したとき、
有体媒体に格納された記録にアクセスする段階であって、前記記録は複数のワードを含む文書を記述する段階と、
前記文書の前記複数のワードのうちの2つ以上のワードの組みの平均ワード深さを決定する段階と、
前記平均ワード深さから前記文書の文書深さを計算する段階と、
を実行する媒体。
(付記34) 前記2つ以上のワードの組みは前記文書の2つ以上の基本ワードを含む、付記33に記載のコンピュータ読み取り可能有体媒体。
(付記35) 前記2つ以上のワードの組みは最も深いX%のワードを含み、Xは50以上である、付記33に記載のコンピュータ読み取り可能有体媒体。
(付記36) 前記2つ以上のワードの組みは最も深いX%のワードを含み、Xは50以下である、付記33に記載のコンピュータ読み取り可能有体媒体。
(付記37) 前記2つ以上のワードの組みは前記文書の標準的文法ワードをP%除いたものである、付記33に記載のコンピュータ読み取り可能有体媒体。
(付記38) 前記2つ以上のワードの組みは前記文書の標準的文法ワードをP%除いたものであり、Pは50以下である、付記33に記載のコンピュータ読み取り可能有体媒体。
(付記39) 前記2つ以上のワードの組みは前記文書のストップワードのQ%を除いたものであり、Qは50以上である、付記33に記載のコンピュータ読み取り可能有体媒体。
(付記40) 前記2つ以上のワードの組みは前記文書のストップワードのQ%を除いたものであり、Qは50以下である、付記33に記載のコンピュータ読み取り可能有体媒体。
ワードや文書の深さを決定するシステム10の一実施形態を示すブロック図である。 図1のシステムで利用できる類似性モジュールの一実施形態を示すブロック図である。 基本類似性を記録した類似性マトリックスの一例を示す図である。 基本類似性を記録した類似性マトリックスの一例を示す図である。 平均類似性を記録した類似性マトリックスの一例を示す図である。 類似性グラフの一例を示す図である。 図1のシステムで使用できるクラスターモジュールの一実施形態を示す図である。 図1のシステムで利用できるオントロジー特性モジュールの一実施形態を示すブロック図である。 ワードの深さの分布例を示すグラフである。
符号の説明
20 クライアント
22 サーバ
24 メモリ
26 ディシジョン・ダイアグラム・エンジン
30 類似性モジュール
31 クラスタリングモジュール
32 オントロジー特性モジュール
34 類似性計算器
38 オントロジー生成器
42 類似性マトリックス生成器
46 類似性グラフ生成器
48 ワード推奨器
50 ページ
54 レコード
58 インデックス
62 逆インデックス
66 オントロジー
67 クラスター
210 クラスタリングエンジン
214 クラスタ分析器
230 深さエンジン
240 テーマエンジン
244 具体性エンジン
250 オントロジー特性アプリケーションモジュール

Claims (6)

  1. 複数のワードを含む複数の文書を記述する、前記複数の文書の複数の類似性を記録した、有体の媒体に記憶された記録にアクセスする段階と、
    前記複数の類似性に応じて前記複数の文書の少なくとも一部に含まれる各文書の文書深さを決定する段階と、
    前記文書深さにより文書深さ分析を行いその結果を得る段階と、
    前記文書深さ分析の結果をレポートする段階とを含む方法。
  2. ソフトウェアをエンコードしたコンピュータ読み取り可能有体媒体であって、実行したとき、
    複数のワードを含む複数の文書を記述する、前記複数の文書の複数の類似性を記録した、有体の媒体に記憶された記録にアクセスする段階と、
    前記複数の類似性に応じて前記複数の文書の少なくとも一部に含まれる各文書の文書深さを決定する段階と、
    前記文書深さにより文書深さ分析を行いその結果を生成する段階と、
    前記文書深さ分析の結果をレポートする段階とを実行する媒体。
  3. 有体媒体に格納された記録にアクセスする段階であって、前記記録は複数のワードで記載され、前記記録は前記複数のワードの複数の類似性を含む段階と、
    前記複数の類似性に応じて前記複数のワードのうちの各ワードのワード深さを決定する段階と、
    前記複数のワード深さをレポートする段階とを含む方法。
  4. ソフトウェアをエンコードしたコンピュータ読み取り可能有体媒体であって、実行したとき、
    有体媒体に格納された記録にアクセスする段階であって、前記記録は複数のワードで記載され、前記記録は前記複数のワードの複数の類似性を含む段階と、
    前記複数の類似性に応じて前記複数のワードのうちの各ワードのワード深さを決定する段階と、
    前記複数のワード深さをレポートする段階とを実行する媒体。
  5. 有体媒体に格納された記録にアクセスする段階であって、前記記録は複数のワードを含む文書を記述する段階と、
    前記文書の前記複数のワードのうちの2つ以上のワードの組みの平均ワード深さを決定する段階と、
    前記平均ワード深さから前記文書の文書深さを計算する段階とを含む方法。
  6. ソフトウェアをエンコードしたコンピュータ読み取り可能有体媒体であって、実行したとき、
    有体媒体に格納された記録にアクセスする段階であって、前記記録は複数のワードを含む文書を記述する段階と、
    前記文書の前記複数のワードのうちの2つ以上のワードの組みの平均ワード深さを決定する段階と、
    前記平均ワード深さから前記文書の文書深さを計算する段階と、
    を実行する媒体。
JP2008259627A 2007-10-05 2008-10-06 ワードと文書の深さの決定 Expired - Fee Related JP5391632B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US97778207P 2007-10-05 2007-10-05
US60/977,782 2007-10-05
US12/243,012 US20090094209A1 (en) 2007-10-05 2008-10-01 Determining The Depths Of Words And Documents
US12/243,012 2008-10-01

Publications (2)

Publication Number Publication Date
JP2009093647A true JP2009093647A (ja) 2009-04-30
JP5391632B2 JP5391632B2 (ja) 2014-01-15

Family

ID=40282348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008259627A Expired - Fee Related JP5391632B2 (ja) 2007-10-05 2008-10-06 ワードと文書の深さの決定

Country Status (3)

Country Link
US (1) US20090094209A1 (ja)
EP (1) EP2045732A3 (ja)
JP (1) JP5391632B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181390A (ja) * 2019-04-25 2020-11-05 株式会社アナリティクスデザインラボ 分析方法、分析装置及び分析プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8543380B2 (en) * 2007-10-05 2013-09-24 Fujitsu Limited Determining a document specificity
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US9367607B2 (en) 2012-12-31 2016-06-14 Facebook, Inc. Natural-language rendering of structured search queries
US9703844B2 (en) 2012-12-31 2017-07-11 Facebook, Inc. Search result snippets for structured search queries
US9361363B2 (en) 2012-12-31 2016-06-07 Facebook, Inc. Modifying structured search queries on online social networks
US10162820B2 (en) * 2014-05-16 2018-12-25 Microsoft Technology Licensing, Llc Suggested keywords
US9727654B2 (en) 2014-05-16 2017-08-08 Linkedin Corporation Suggested keywords
CN106575418B (zh) * 2014-05-16 2021-06-08 微软技术许可有限责任公司 建议的关键词
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
CN106802918A (zh) * 2016-12-13 2017-06-06 成都数联铭品科技有限公司 用于自然语言处理的领域词典生成系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322244A (ja) * 2004-04-30 2005-11-17 Microsoft Corp 情報の多様性および豊富さを向上させるよう検索結果のドキュメントを順位付ける方法およびシステム
WO2007102657A1 (en) * 2006-03-06 2007-09-13 Nhn Corporation Method for computing index of expert classified by keyword and system for executing the method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488725A (en) * 1991-10-08 1996-01-30 West Publishing Company System of document representation retrieval by successive iterated probability sampling
US6996572B1 (en) * 1997-10-08 2006-02-07 International Business Machines Corporation Method and system for filtering of information entities
US6446061B1 (en) * 1998-07-31 2002-09-03 International Business Machines Corporation Taxonomy generation for document collections
US6353825B1 (en) * 1999-07-30 2002-03-05 Verizon Laboratories Inc. Method and device for classification using iterative information retrieval techniques
US6421668B1 (en) * 1999-08-05 2002-07-16 Agilent Technologies, Inc. Method and system for partitioning data into subsets of related data
US6587848B1 (en) * 2000-03-08 2003-07-01 International Business Machines Corporation Methods and apparatus for performing an affinity based similarity search
WO2002069202A2 (en) * 2001-02-28 2002-09-06 The Johns Hopkins University Method for determining synthetic term senses using reference text
US20030135499A1 (en) * 2002-01-14 2003-07-17 Schirmer Andrew Lewis System and method for mining a user's electronic mail messages to determine the user's affinities
US7617176B2 (en) * 2004-07-13 2009-11-10 Microsoft Corporation Query-based snippet clustering for search result grouping
GB2456369A (en) * 2008-01-11 2009-07-15 Ibm String pattern analysis for word or genome analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322244A (ja) * 2004-04-30 2005-11-17 Microsoft Corp 情報の多様性および豊富さを向上させるよう検索結果のドキュメントを順位付ける方法およびシステム
WO2007102657A1 (en) * 2006-03-06 2007-09-13 Nhn Corporation Method for computing index of expert classified by keyword and system for executing the method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181390A (ja) * 2019-04-25 2020-11-05 株式会社アナリティクスデザインラボ 分析方法、分析装置及び分析プログラム
JP7221527B2 (ja) 2019-04-25 2023-02-14 株式会社アナリティクスデザインラボ 分析方法、分析装置及び分析プログラム

Also Published As

Publication number Publication date
US20090094209A1 (en) 2009-04-09
JP5391632B2 (ja) 2014-01-15
EP2045732A3 (en) 2009-05-13
EP2045732A2 (en) 2009-04-08

Similar Documents

Publication Publication Date Title
JP5353173B2 (ja) 文書の具体性の決定
JP5332477B2 (ja) ターム階層の自動生成
JP5391634B2 (ja) 文書の段落分析によるその文書のタグの選択
JP5423030B2 (ja) ワードセットに関係するワードの決定
JP5391633B2 (ja) オントロジー空間を規定するタームの推奨
JP5391632B2 (ja) ワードと文書の深さの決定
US9317593B2 (en) Modeling topics using statistical distributions
US8108405B2 (en) Refining a search space in response to user input
Deveaud et al. Accurate and effective latent concept modeling for ad hoc information retrieval
US8108392B2 (en) Identifying clusters of words according to word affinities
Kaptein et al. Exploiting the category structure of Wikipedia for entity ranking
EP2090992A2 (en) Determining words related to a given set of words
Jain et al. A theoretical study of text document clustering
Heydari et al. Analysis of Persian News Agencies on Instagram, A Words Co-occurrence Graph-based Approach
Steinmetz et al. About the influence of negative context
Gedam et al. Study of Existing Method of Finding Aliases and Improve Method of Finding Aliases from Web [J]
EP2045736A1 (en) Identifying clusters of words according to word affinities
Font Corbera et al. Folksonomy-based tag recommendation for collaborative tagging systems
Miyanishi Time-Aware Information Retrieval in Social Networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130930

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees