JP2017162190A - 類似文書検索プログラム、類似文書検索装置、及び類似文書検索方法 - Google Patents

類似文書検索プログラム、類似文書検索装置、及び類似文書検索方法 Download PDF

Info

Publication number
JP2017162190A
JP2017162190A JP2016046088A JP2016046088A JP2017162190A JP 2017162190 A JP2017162190 A JP 2017162190A JP 2016046088 A JP2016046088 A JP 2016046088A JP 2016046088 A JP2016046088 A JP 2016046088A JP 2017162190 A JP2017162190 A JP 2017162190A
Authority
JP
Japan
Prior art keywords
semantic
search
context information
symbols
similar document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016046088A
Other languages
English (en)
Other versions
JP6638480B2 (ja
Inventor
清司 大倉
Seiji Okura
清司 大倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016046088A priority Critical patent/JP6638480B2/ja
Priority to US15/452,381 priority patent/US10467271B2/en
Publication of JP2017162190A publication Critical patent/JP2017162190A/ja
Application granted granted Critical
Publication of JP6638480B2 publication Critical patent/JP6638480B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

【課題】3個以上の意味記号を含む適切な意味構造を用いて類似文書検索を行う。【解決手段】コンピュータは、検索文から単語又は意味記号の出現頻度を表す検索文脈情報を生成し(ステップ301)、意味構造と文脈情報との対応関係を参照する(ステップ302)。複数の文書に含まれる複数の文に対する意味解析を行うことで、複数個の意味構造が生成され、各意味構造は、3個以上の意味記号と、意味記号の間の関係種別とを含む。また、複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報が生成され、各意味構造を各文脈情報に対応付けることで対応関係が生成される。コンピュータは、検索文脈情報と複数の文脈情報とに基づいて、複数個の意味構造のうち1個の意味構造を特定し、特定した意味構造を用いて検索文に類似する類似文書を検索し(ステップ303)、検索結果を出力する(ステップ304)。【選択図】図3

Description

本発明は、類似文書検索プログラム、類似文書検索装置、及び類似文書検索方法に関する。
近年、インターネット上の情報が爆発的に増大しており、ビッグデータを使用するビジネスが増加している。ビッグデータが増加する中で高速な検索技術が望まれており、特に、テキスト文書における意味構造の検索が重要になってきている。
テキスト検索で用いられる自然文の解析には、形態素解析、意味解析等が利用されている。形態素解析は、文字列を形態素に分割し、各形態素に対して品詞、属性等の情報を付与する処理である。形態素解析により得られる形態素は、単語として扱われることもある。
意味解析は、自然文の形態素解析結果を用いて、その自然文の意味構造を求める処理である。意味解析結果である意味構造を用いることで、自然文が何を意味するかを、コンピュータが扱うデータとして表現することができる。
意味構造は、形態素解析結果に含まれる複数の単語の意味をそれぞれ表す複数の意味記号と、2つの意味記号の間の関係種別を表す情報とを含む。1つの意味記号が複数の単語に対応する場合もある。意味構造は、例えば、複数の意味記号を表す複数のノードと、2つのノード間の関係種別を表すアークとからなる、有向グラフにより表すことができる。意味構造の最小の部分構造は、意味最小単位と呼ばれ、2つのノードとそれらのノードの間のアークとからなる。
複数の文書に含まれるテキストデータに対して形態素解析及び意味解析を行うことで、自然文の検索要求である検索文の意味構造を用いて、検索文と意味が類似する複数の文書を検索する、類似文書検索が実現される。
類似文書検索において、検索キーとマッチした文書の数に基づいて、ノイズとなる検索キーを判定し、その検索キーに対応する文書の評価値を再計算する技術も知られている(例えば、特許文献1を参照)。検索ワードと検索対象文書との間における特徴ベクトルの類似度又は語彙の関連度に基づいて、類似する文書を検索する技術も知られている(例えば、特許文献2及び特許文献3を参照)。
特開2015−138351号公報 特開2014−153744号公報 特開2012−3603号公報
類似文書検索において、意味最小単位の代わりに、検索文に含まれる3個の意味記号の組を検索キーとして用いる場合、検索キーの意味構造によって検索結果が異なると考えられる。
なお、かかる問題は、3個の意味記号の組を検索キーとして用いる場合に限らず、4個以上の意味記号の組を検索キーとして用いる場合においても生ずるものである。
1つの側面において、本発明は、3個以上の意味記号を含む適切な意味構造を用いて類似文書検索を行うことを目的とする。
1つの案では、類似文書検索プログラムは、以下の処理をコンピュータに実行させる。
(1)コンピュータは、検索文から、検索文における単語又は意味記号の出現頻度を表す検索文脈情報を生成する。
(2)コンピュータは、複数個の意味構造と複数の文脈情報との対応関係を参照する。複数の文書に含まれる複数の文に対する意味解析を行うことで、各文に含まれる複数の意味記号の間の関係種別に基づいて、複数個の意味構造が生成され、各意味構造は、3個以上の意味記号と、それらの意味記号の間の関係種別とを含む。また、複数の文書のうち複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報が生成され、複数個の意味構造を複数の文脈情報にそれぞれ対応付けることで、対応関係が生成される。
(3)コンピュータは、複数の文脈情報と検索文脈情報とに基づいて、複数個の意味構造のうち1個の意味構造を特定する。
(4)コンピュータは、特定した意味構造を用いて、複数の文書の中から検索文に類似する類似文書を検索する。
(5)コンピュータは、類似文書を示す検索結果を出力する。
1つの実施形態によれば、3個以上の意味記号を含む適切な意味構造を用いて類似文書検索を行うことができる。
3つ組を含む意味構造を示す図である。 類似文書検索装置の機能的構成図である。 類似文書検索処理のフローチャートである。 類似文書検索装置の具体例を示す機能的構成図である。 対応関係生成処理を示す図である。 対応関係を示す図である。 検索インデックスを示す図である。 3つ組に対する意味構造のバリエーションを示す図である。 データベース生成処理のフローチャートである。 類似文書検索処理の具体例を示すフローチャートである。 差異度を用いる類似文書検索装置の機能的構成図である。 アークの向きのバリエーションを示す図である。 差異度が小さな3つ組を示す図である。 差異度を用いる類似文書検索処理のフローチャートである。 差異度を用いるデータベース生成処理のフローチャートである。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
意味構造を用いた類似文書検索では、事前に検索対象文書に含まれる各文の意味構造が意味最小単位に分解され、生成された意味最小単位がデータベースに格納される。そして、自然文の検索要求である検索文を入力として、検索文の意味構造から意味最小単位が計算され、それぞれの意味最小単位を検索キーとしてデータベースが検索される。このとき、意味最小単位毎にスコアが設定され、各文書のスコアは、マッチした意味最小単位のスコアの総計に基づいて計算される。
特許文献1の情報検索装置では、意味最小単位の代わりに、検索文に含まれる2個の意味記号を任意に組み合わせて、意味記号の間の関係種別を指定しない検索キーが生成される。そして、検索キーとマッチした文書の数に基づいて、ノイズとなる検索キーが判定され、その検索キーの重みを低くして文書のスコアが計算される。これにより、所望の文書を見落としてしまう検索もれを防止することができる。
しかし、2個の意味記号の組は意味最小単位よりも多くの文書にマッチするため、所望の文書以外のノイズとなる文書が検索結果に多く含まれる。また、検索キー数が大幅に増加するため、計算量が多くなる。
そこで、2個の意味記号の組(2つ組)の代わりに、3個の意味記号の組(3つ組)を検索キーとして用いる場合について考察する。
例えば、1つの意味記号当たりの検索対象文書の絞り込み効果を1/10とすると、2つ組の検索キーでは、(1/10)*(1/10)=1/100の絞り込み効果が期待できる。一方、3つ組の検索キーでは、(1/10)*(1/10)*(1/10)=1/1000の絞り込み効果が期待できる。したがって、検索対象文書の絞り込み効果は、3つ組の方が2つ組よりも10倍程度高くなると考えられる。
検索文から検索キーを生成する際、単純に3個の意味記号の組を生成すると、膨大な数の組み合わせになる。しかし、「意味構造を検索するための3つ組」という制約があるため、単純に生成した3つ組のうちかなりの割合は、データベースにマッチしないと考えられる。したがって、検索キーとして実際に用いられる3つ組の個数は、それほど増大しない。
例えば、名詞と副詞はつながらないため、「速く、装置、画像」、「速く、装置、処理」等の3個の単語に対応する3つ組は、検索キーから除外することができる。また、形容詞と動詞はつながらないため、「速い、動く、止まる」等に対応する3つ組も、検索キーから除外することができる。実際に約1万個の自然文を対象に解析したところ、以下のような結果が得られた。
意味記号数:35442
2つ組の種類の数:123896
3つ組の種類の数:63059
また、文書中に高頻度で出現する2つ組及び3つ組の出現頻度を計算したところ、平均して、3つ組の方が2つ組よりも絞り込み効果が10倍以上高いことが分かった。このように、3つ組の種類の数は、2つ組と比較して増大することはなく、3つ組の方が2つ組よりも絞り込み効果が高いため、3つ組を検索キーとして用いることで、計算量を抑えて検索を高速化できると考えられる。
一方、検索結果に含まれるノイズ文書に関しては、必ずしも削減できるとは限らない。2つ組の場合は、マッチする文書が少ない検索キーのみで検索しても、検索結果に所望の文書がすべて含まれるが、3つ組の場合は、マッチする文書が少ない検索キーで検索すると、所望の文書を見落としてしまう。
例えば、「日本と比べると米国や中国の制度が違ったりするが、国による違いの具体例は?」という検索文Q1から、「0xK0,0xKU,0xS8」のような3つ組が生成された場合について検討する。ここで、“0xK0”、“0xKU”、及び“0xS8”は、「違う」、「国」、及び「制度」にそれぞれ対応する意味記号を表す。
図1は、3つ組「0xK0,0xKU,0xS8」を含む意味構造の例を示している。SS1は、「国により制度が異なる」という意味を表す意味構造であり、“0xK0”、“0xKU”、及び“0xS8”に対応する3個のノードを含む。アーク101は「対象」を表し、アーク102は「応じて」を表す。一方、SS2は、「異なる国の制度」という意味を表す意味構造であり、“0xK0”、“0xKU”、及び“0xS8”に対応する3個のノードを含む。アーク103は「場所」を表し、アーク104は「対象」を表す。
この場合、意味構造SS1の方が検索文Q1の意味に近いため、クエリの意図に即した検索キーであると言える。したがって、検索文Q1と意味が類似する文書を検索する類似文書検索では、SS1を含む文書が所望の文書となる。しかし、SS1にマッチする文書は多く、SS2にマッチする文書は少ない。このため、特許文献1と同様に、文書中における意味構造の出現頻度のみに基づいて検索キーのノイズ判定を行うと、SS1はノイズと判定されてしまい、文書のスコアにおけるSS1の重みが低下する。
このように、3つ組の場合は、2つ組とは異なり、意味記号の間の関係種別に応じた意味構造のバリエーションがあるため、2つ組のノイズ判定方法をそのまま適用すると、所望の文書の検索もれが発生する可能性がある。
また、3つ組の場合は、意味記号の同じ組み合わせであっても、どの意味構造が所望の文書の意味構造と相性がよいかは、クエリによって異なり、この相性問題が2つ組よりも明確に現れる。特に、文書中に高頻度で出現する3つ組において、検索結果に対する意味構造の影響が大きい。
図2は、実施形態の類似文書検索装置の機能的構成例を示している。類似文書検索装置201は、記憶部211、特定部212、検索部213、及び出力部214を含む。記憶部211は、複数個の意味構造と複数の文脈情報との対応関係221を記憶する。複数の文書に含まれる複数の文に対する意味解析を行うことで、各文に含まれる複数の意味記号の間の関係種別に基づいて、複数個の意味構造が生成され、各意味構造は、3個以上の意味記号と、それらの意味記号の間の関係種別とを含む。また、複数の文書のうち複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報が生成され、複数個の意味構造を複数の文脈情報にそれぞれ対応付けることで、対応関係221が生成される。
特定部212は、記憶部211が記憶する対応関係221を参照して、検索文に対応する意味構造を特定し、検索部213は、特定部212が特定した意味構造を用いて類似文書を検索し、出力部214は、検索結果を出力する。
図3は、図2の類似文書検索装置201が行う類似文書検索処理の例を示すフローチャートである。まず、特定部212は、検索文から、検索文における単語又は意味記号の出現頻度を表す検索文脈情報を生成する(ステップ301)。次に、特定部212は、生成した検索文脈情報と、対応関係221に含まれる複数の文脈情報とに基づいて、対応関係221に含まれる複数個の意味構造のうち1個の意味構造を特定する(ステップ302)。次に、検索部213は、特定部212が特定した意味構造を用いて、複数の文書の中から検索文に類似する類似文書を検索する(ステップ303)。そして、出力部214は、検索部213が検索した類似文書を示す検索結果を出力する(ステップ304)。
図1の類似文書検索装置201によれば、3個以上の意味記号を含む適切な意味構造を用いて類似文書検索を行うことができる。
図4は、図2の類似文書検索装置201の具体例を示している。図4の類似文書検索装置201は、記憶部211、特定部212、検索部213、出力部214、対応関係生成部401、及びインデックス生成部402を含み、特定部212は、記号決定部411、文脈生成部412、及び構造決定部413を含む。
対応関係生成部401は、検索対象の複数の文書から対応関係221を生成して、記憶部211に格納する。インデックス生成部402は、それらの文書に対する検索インデックス421を生成して、記憶部211に格納する。対応関係221及び検索インデックス421は、類似文書検索処理のためのデータベースとして用いられる。
記号決定部411は、検索文に含まれる複数の意味記号から意味記号の3つ組を生成し、文脈生成部412は、3つ組が所定の条件を満たす場合に、検索文から検索文脈情報を生成する。構造決定部413は、文脈生成部412が生成した検索文脈情報と、対応関係221に含まれる複数の文脈情報とに基づいて、対応関係221に含まれる複数個の意味構造のうち1個の意味構造を特定する。そして、構造決定部413は、特定した意味構造を、検索キー422として記憶部211に格納する。
検索部213は、検索キー422を用いて検索インデックス421を参照することで、類似文書を検索し、検索結果423を記憶部211に格納し、出力部214は、検索結果423を出力する。
図5は、対応関係生成部401が行う対応関係生成処理の例を示している。対応関係生成部401は、類似文書検索処理が行われる前に、文書に含まれる3つ組の意味構造毎に、複数の文書における単語、意味記号、意味最小単位等の出現頻度を表す文脈情報を生成する。出現頻度としては、例えば、出現回数又は出現文書数が用いられる。例えば、単語の出現回数は、全文書中にその単語が出現する回数を表し、単語の出現文書数は、その単語が出現する文書の数を表す。
対応関係生成部401は、検索対象の複数の文書に含まれる複数の文に対する意味解析を行うことで、3つ組「0xK0,0xKU,0xS8」に対するN通り(Nは1以上の整数)の意味構造であるSS1〜SSNを生成する。
次に、対応関係生成部401は、それらの文書の中から、SSi(i=1〜N)にマッチする文を含む文書を検索し、検索した文書の集合である文書群501−iを求める。そして、対応関係生成部401は、文書群501−iからSSiに対応する文脈情報502−iを生成し、SS1〜SSNを文脈情報502−1〜文脈情報502−Nにそれぞれ対応付けることで、対応関係221を生成する。
図6は、SS1〜SSNに対する対応関係221の例を示している。図6の文脈情報502−1〜文脈情報502−Nは、SS1〜SSNにそれぞれ対応する単語の出現回数を、ベクトル形式で表している。例えば、SS1に対応する文脈情報502−1は、SS1にマッチする文書群501−1に、「異」が75023回出現し、「制度」が72002回出現することを表す。文脈情報502−1は、さらに、文書群501−1に「日本」が18374回出現し、「米国」が18901回出現し、「中国」が8023回出現することを表す。
このように、同じ3つ組であっても、意味構造が異なるとマッチする文書群も異なるため、文脈情報も変化する。したがって、意味構造毎に、対応する文脈情報を生成することができる。
図7は、インデックス生成部402が生成する検索インデックス421の例を示している。図7の検索インデックス421の各エントリは、3つ組及び文書IDのリストを含む。3つ組は、類似文書検索処理で用いられる各検索キーに含まれる3個の意味記号の組を表し、高頻度の3つ組の場合は、さらに意味構造の識別情報を含む。例えば、「0xK0,0xKU,0xS8−1」の“−1”は、図6のSS1に対応し、「0xK0,0xKU,0xS8−2」の“−2”は、SS2に対応する。文書IDのリストは、3つ組が表す検索キーにマッチする複数の文書の文書IDを表す。
図8は、3つ組「A,B,C」に対する意味構造のバリエーションの例を示している。この例では、A、B、及びCの各意味記号を文字列コードに基づいてソートした結果が、A、B、及びCの順序であるものと仮定している。各意味構造の番号“1”〜“12”は、検索インデックス421における意味構造の識別情報として用いられる。例えば、番号“7”の意味構造は、「A,B,C−7」のように表記される。
類似文書検索処理において、記号決定部411は、クエリとして入力された検索文から3つ組を生成する。検索文としては、文脈情報が生成できる十分な長さの文が用いられる。例えば、上述した「日本と比べると米国や中国の制度が違ったりするが、国による違いの具体例は?」という検索文Q1が入力された場合、記号決定部411は、3つ組「0xK0,0xKU,0xS8」を生成することができる。
次に、文脈生成部412は、検索文Q1における単語、意味記号、意味最小単位等の出現頻度を表す検索文脈情報を生成する。出現頻度としては、例えば、出現回数が用いられる。例えば、検索文Q1における単語の出現回数を表す検索文脈情報は、「違う:1,制度:1,日本:1,米国:1,中国:1,比べ:1,国:1,違い:1,具体例:1」のように表される。
次に、構造決定部413は、対応関係221に含まれる複数の文脈情報のうち、検索文から生成した3つ組を含む複数個の意味構造にそれぞれ対応付けられた複数の文脈情報各々と、検索文脈情報との類似度を求める。そして、構造決定部413は、最も大きな類似度を有する文脈情報に対応付けられた意味構造を選択し、検索キー422として記憶部211に格納する。
このような類似文書検索装置201によれば、データベースを生成する際に、同じ3つ組に対してそれぞれ異なる意味構造に対応する文脈情報が生成され、各意味構造の出現頻度が学習される。そして、類似文書検索処理を行う際に、検索文の文脈情報をデータベースの各文脈情報と比較することで、検索文に含まれる3つ組の適切な意味構造を推定することができる。
図9は、対応関係生成部401及びインデックス生成部402が行うデータベース生成処理の例を示すフローチャートである。まず、対応関係生成部401は、検索対象の各文書について、文書に含まれる各文に対する形態素解析を行って形態素解析結果を生成し(ステップ901)、各文に対する意味解析を行って意味解析結果を生成する(ステップ902)。各文書を対象としてステップ901及びステップ902の処理を繰り返すことで、全文書の形態素解析結果及び意味解析結果が生成される。
次に、対応関係生成部401は、全文書の意味解析結果に含まれる意味記号のリストを生成し、全文書における3つ組の出現頻度を計算する(ステップ903)。出現頻度としては、例えば、出現回数又は出現文書数が用いられる。
例えば、「0xK0,0xKU,0xS8,0xKR,0xN3,0xAM,0xC1,0xP7,0xKS,0xHA,...」のような意味記号のリストから、任意の3個の意味記号を抽出することで、以下のような3つ組が生成される。
「0xK0,0xKU,0xS8」
「0xK0,0xKU,0xKR」
「0xK0,0xKU,0xN3」
「0xK0,0xKU,0xAM」
「0xK0,0xKU,0xC1」
「0xK0,0xS8,0xKR」
「0xK0,0xS8,0xN3」
「0xHA,0xKS,0xP7」
・・・
各意味記号が表す単語は、以下の通りである。
0xK0:「異なる」、「違う」
0xKU:「国」
0xS8:「制度」
0xKR:「比べ」
0xN3:「日本」
0xAM:「米国」、「アメリカ」
0xC1:「中国」
0xP7:「社長」
0xKS:「決算」
0xHA:「発表」
生成された各々の3つ組の出現文書数の例は、以下のようになる。
「0xK0,0xKU,0xS8」:60000
「0xK0,0xKU,0xKR」:3981
「0xK0,0xKU,0xN3」:2359
「0xK0,0xKU,0xAM」:1090
「0xK0,0xKU,0xC1」:2733
「0xHA,0xKS,0xP7」:78370
・・・
次に、対応関係生成部401は、生成された3つ組のうち高頻度の3つ組を対象として、ステップ904〜ステップ906の処理を行う。高頻度の3つ組は、出現頻度が所定値以上である3つ組を表す。例えば、文書総数Mに対する出現文書数の割合がK以上である3つ組を高頻度の3つ組として扱う場合、所定値はM*Kとなる。M=100000、K=0.6の場合、M*K=60000となり、出現文書数が60000以上である「0xK0,0xKU,0xS8」と「0xHA,0xKS,0xP7」が高頻度の3つ組に該当する。
対応関係生成部401は、各々の高頻度の3つ組に対して、3個の意味記号の間の関係種別がそれぞれ異なる複数の意味構造を生成する(ステップ904)。そして、対応関係生成部401は、全文書の中から、各意味構造にマッチする文を含む文書を検索し、検索した文書の集合である文書群を求める。次に、対応関係生成部401は、求めた文書群から文脈情報を生成し(ステップ905)、意味構造を文脈情報に対応付けて、記憶部211内の対応関係221に格納する(ステップ906)。
各意味構造を対象としてステップ904〜ステップ906の処理を繰り返すことで、1個の高頻度の3つ組に対する対応関係221が生成される。また、各々の高頻度の3つ組を対象として同様の処理を繰り返すことで、すべての高頻度の3つ組に対する対応関係221が生成される。
次に、インデックス生成部402は、ステップ903で生成された各々の3つ組に対して、その3つ組にマッチする文書の文書IDを対応付けて、検索インデックス421を生成し、記憶部211に格納する(ステップ907)。このとき、インデックス生成部402は、高頻度の3つ組については、意味構造毎に区別して、マッチする文書の文書IDを対応付け、それ以外の3つ組については、意味構造を区別せずに、マッチする文書の文書IDを対応付ける。
図10は、特定部212、検索部213、及び出力部214が行う類似文書検索処理の例を示すフローチャートである。まず、記号決定部411は、検索文に対する形態素解析を行って形態素解析結果を生成し(ステップ1001)、検索文に対する意味解析を行って意味解析結果を生成する(ステップ1002)。次に、記号決定部411は、検索文の意味解析結果から3個の意味記号を抽出することで、3つ組を生成する(ステップ1003)。
次に、文脈生成部412は、対応関係221を参照して、検索文から生成された3つ組が高頻度の3つ組であるか否かをチェックする(ステップ1004)。検索文から生成された3つ組を含む意味構造が対応関係221に含まれている場合、その3つ組は高頻度の3つ組であると判定される。
例えば、上述した検索文Q1から3つ組「0xN3,0xKR,0xAM」が生成され、「0xN3,0xKR,0xAM」を含む意味構造が対応関係221に含まれていない場合、この3つ組は高頻度の3つ組ではないと判定される。
また、検索文Q1から3つ組「0xN3,0xKR,0xC1」が生成され、「0xN3,0xKR,0xC1」を含む意味構造が対応関係221に含まれていない場合、この3つ組は高頻度の3つ組ではないと判定される。
一方、検索文Q1から3つ組「0xKU,0xS8,0xK0」が生成され、「0xKU,0xS8,0xK0」を含む意味構造が対応関係221に含まれている場合、この3つ組は高頻度の3つ組であると判定される。
検索文から生成された3つ組が高頻度の3つ組である場合(ステップ1004,YES)、文脈生成部412は、検索文から検索文脈情報を生成する(ステップ1005)。そして、構造決定部413は、検索文脈情報に基づいて、対応関係221から意味構造を選択し、検索キー422として記憶部211に格納する(ステップ1006)。
このとき、構造決定部413は、対応関係221において、検索文から生成された高頻度の3つ組を含む各意味構造に対応付けられた文脈情報と、検索文脈情報との類似度を計算する。例えば、検索文Q1から3つ組「0xKU,0xS8,0xK0」が生成された場合、図6に示した文脈情報502−1〜文脈情報502−Nの各々と、検索文Q1の検索文脈情報との類似度が計算される。
類似度としては、例えば、ベクトル空間モデルの類似度を用いることができる。ベクトル空間モデルにおいて、ある文書Dにおける単語Wの重要度Val(W,D)は、次式により計算される。
Val(W,D)=tf(W,D)*idf(W) (1)
idf(W)=log(L/dfreq(W))+1 (2)
式(1)のtf(W,D)は、文書Dにおける単語Wの出現回数を表し、式(2)のLは、文書の総数を表し、dfreq(W)は、単語Wを含む文書の数を表す。このとき、単語W1〜単語Wnを含む文書Dは、次式のベクトルdを用いて表すことができる。
d=(Val(W1,D),Val(W2,D),...,
Val(Wn,D)) (3)
ベクトルd1で表される文書D1とベクトルd2で表される文書D2との類似度S(D1,D2)は、ベクトルd1とベクトルd2とが成す角の余弦値によって表され、次式により計算される。
S(D1,D2)=(d1・d2)/(|d1|*|d2|) (4)
式(4)の|dj|(j=1,2)は、ベクトルdjの大きさを表し、d1・d2は、ベクトルd1とベクトルd2の内積を表す。S(D1,D2)は、0以上1以下の実数であり、S(D1,D2)が大きいほど2つの文書の類似度が高いと言える。
式(1)〜式(4)における文書を文脈情報に置き換え、tf(W,D)として各文脈情報に含まれる単語の出現回数を用いることで、文脈情報502−iと検索文脈情報との類似度を計算することができる。
そして、構造決定部413は、最も大きな類似度を有する文脈情報に対応付けられた意味構造を、検索キー422として選択する。例えば、文脈情報502−1と検索文脈情報との類似度が0.46であり、他の文脈情報502−iと検索文脈情報との類似度が0.46よりも小さい場合、文脈情報502−1に対応付けられたSS1が検索キー422として選択される。
次に、検索部213は、検索インデックス421から検索キー422の意味構造に対応する文書IDのリストを検索し、その文書IDのリストを、検索結果423として記憶部211に格納する(ステップ1007)。そして、出力部214は、検索結果423を出力する。
一方、検索文から生成された3つ組が高頻度の3つ組ではない場合(ステップ1004,NO)、構造決定部413は、その3つ組を検索キー422として記憶部211に格納する(ステップ1008)。
そして、検索部213は、検索インデックス421から検索キー422の3つ組に対応する文書IDのリストを検索し、その文書IDのリストを、検索結果423として記憶部211に格納する(ステップ1007)。この場合、3つ組の意味構造を区別せずに検索が行われるため、すべての意味構造のバリエーションに対応する検索結果423が得られる。
このような類似文書検索処理によれば、検索結果に対する影響が大きい高頻度の3つ組を検索キー422として用いる場合、クエリの意図に即した適切な意味構造を選択することができる。したがって、類似文書を効果的に絞り込みながら、所望の文書の検索もれを防止することができる。
ところで、高頻度の3つ組であっても、意味構造によってあまり意味が異ならない場合は、意味構造の検索結果に対する影響が小さいため、意味構造を特定して検索キー422を生成する必要性が小さいと考えられる。そこで、高頻度の3つ組を含む複数の意味構造の間における意味の差異を示す差異度を計算し、差異度に基づいて、その3つ組の意味構造を特定するか否かを選択することも可能である。
図11は、差異度を用いる類似文書検索装置201の機能的構成例を示している。図11の類似文書検索装置201は、図4の類似文書検索装置201に差異度計算部1101を追加した構成を有する。差異度計算部1101は、各々の高頻度の3つ組に対する差異度を計算し、構造決定部413は、差異度が大きい場合に、その3つ組の意味構造を特定して検索キー422を生成する。
図12は、3つ組の意味構造に含まれるアークの向きのバリエーションの例を示している。3つ組の意味構造は、2本のアークの向きによって3種類に分類される。図12(a)は、2本のアークがともに同じ向きを指す並列型の意味構造を表す。図12(b)は、2本のアークが両端のノードから中央のノードへ向かう集中型の意味構造を表す。図12(c)は、2本のアークが中央のノードから両端のノードへ向かう拡散型の意味構造を表す。
図8の番号“1”、“4”、“5”、“8”、“9”、及び“12”の意味構造は、並列型の意味構造である。また、番号“2”、“6”、及び“10”の意味構造は、拡散型の意味構造であり、番号“3”、“7”、及び“11”の意味構造は、集中型の意味構造である。
差異度計算部1101は、3つ組の意味構造のバリエーションから、2個の意味構造の組み合わせをすべて抽出し、各組み合わせに対して、2個の意味構造の間における意味の差異を示す差異スコアPを計算する。そして、差異度計算部1101は、得られた差異スコアPのうち最も大きな値を、3つ組の差異度に決定する。構造決定部413は、3つ組の差異度が所定値以上である場合、差異度が大きいと判定し、差異度が所定値よりも小さい場合、差異度が小さいと判定する。
例えば、所定値が1.5である場合、差異度計算部1101は、各意味構造の中央のノードを基点ノードとして用いて、以下の手順で2個の意味構造の差異スコアPを計算する。
1.差異度計算部1101は、Pを0に設定する。
2.2個の意味構造の間で基点ノードの意味記号が異なる場合、差異度計算部1101は、Pに1.5を加算する。この場合、P=1.5となり、Pが所定値に達したため、他の組み合わせに対する差異スコアPをさらに計算しても、差異度の判定結果は変化しない。そこで、差異度計算部1101は、差異スコアPの計算を終了して、3つ組の差異度を1.5に決定する。
3.2個の意味構造の間で基点ノードの意味記号が同じである場合、差異度計算部1101は、各意味構造を2つ組の意味構造に分解し、同じ2つ組を含む意味構造同士を比較して、Pに値を加算する。
2つ組の意味構造は、(アークの起点ノード,アークの到達ノード,アークの種類)のように表される。差異度計算部1101は、2つの意味構造の間で起点ノード及び到達ノードの順序が異なる場合、Pに1.0を加算し、アークの種類が異なる場合、Pに0.75を加算する。
例えば、図1の3つ組「0xK0,0xKU,0xS8」の差異度を計算する場合、まず、差異度計算部1101は、SS1とSS2の差異スコアPを計算する。SS1の基点ノードは“0xK0”であり、SS2の基点ノードは“0xS8”であるため、基点ノードの意味記号が異なっている。したがって、Pに1.5が加算される。この時点でPが1.5に達したため、差異度計算部1101は、他の組み合わせに対する差異スコアPを計算することなく、「0xK0,0xKU,0xS8」の差異度を1.5に決定する。
図13は、差異度が小さな3つ組の例を示している。上述したように、図13の3つ組「0xHA,0xKS,0xP7」の出現文書数は78370であり、60000以上であるため、この3つ組は、高頻度の3つ組に該当する。「0xHA,0xKS,0xP7」の意味構造のバリエーションが図13のSS1とSS2の2個である場合、差異度計算部1101は、SS1とSS2の差異スコアPを計算する。
SS1とSS2の基点ノードはともに“0xHA”であるため、差異度計算部1101は、SS1とSS2を、それぞれ、次のような2つ組の意味構造(部分構造)に分解する。
SS1:(0xHA,0xP7,動作主)、(0xHA,0xKS,対象)
SS2:(0xHA,0xP7,動作主)、(0xHA,0xKS,関する)
2つ組「0xHA,0xP7」を含むSS1の部分構造(0xHA,0xP7,動作主)と、SS2の部分構造(0xHA,0xP7,動作主)を比較すると、起点ノード及び到達ノードの順序が同じであり、アークの種類も同じである。したがって、この比較によってPは増加しない。
一方、2つ組「0xHA,0xKS」を含むSS1の部分構造(0xHA,0xKS,対象)と、SS2の部分構造(0xHA,0xKS,関する)を比較すると、起点ノード及び到達ノードの順序は同じであるが、アークの種類が異なっている。したがって、この比較によって、Pに0.75が加算される。2個の意味構造の組み合わせは他に存在しないため、差異度計算部1101は、「0xHA,0xKS,0xP7」の差異度を0.75に決定する。
図14は、差異度を用いる類似文書検索処理の例を示すフローチャートである。図14のステップ1401〜ステップ1404及びステップ1407〜ステップ1410の処理は、図10のステップ1001〜ステップ1008の処理と同様である。
検索文から生成された3つ組が高頻度の3つ組である場合(ステップ1404,YES)、差異度計算部1101は、その3つ組の差異度を計算し(ステップ1405)、構造決定部413は、差異度を所定値と比較する(ステップ1406)。類似文書検索装置201は、差異度が所定値以上である場合(ステップ1406,YES)、ステップ1407以降の処理を行い、差異度が所定値よりも小さい場合(ステップ1406,NO)、ステップ1410以降の処理を行う。
例えば、所定値が1.5である場合、図1の「0xK0,0xKU,0xS8」の差異度は1.5であるため、差異度が所定値以上であると判定される。一方、図13の「0xHA,0xKS,0xP7」の差異度は0.75であるため、差異度が所定値よりも小さいと判定される。
このような類似文書検索処理によれば、高頻度の3つ組の意味構造によって意味が大きく異なる場合のみ、検索文脈情報に基づいて特定の意味構造が選択され、選択された意味構造に対応する検索結果423が得られる。一方、意味構造によってあまり意味が異ならない場合は、すべての意味構造のバリエーションに対応する検索結果423が得られる。この場合、検索文から検索文脈情報を生成する処理を省略することができる。
図11の類似文書検索装置201は、データベース生成時に高頻度の3つ組の差異度を計算し、差異度に基づいて、その3つ組に対する対応関係221を生成するか否かを選択することも可能である。
図15は、差異度を用いるデータベース生成処理の例を示すフローチャートである。図15のステップ1501〜ステップ1503及びステップ1506〜ステップ1509の処理は、図9のステップ901〜ステップ907の処理と同様である。
差異度計算部1101は、ステップ1503で生成された3つ組のうち、高頻度の3つ組の差異度を計算し(ステップ1504)、対応関係生成部401は、差異度を所定値と比較する(ステップ1505)。類似文書検索装置201は、差異度が所定値以上である場合(ステップ1505,YES)、ステップ1506以降の処理を行い、差異度が所定値よりも小さい場合(ステップ1505,NO)、次の高頻度の3つ組についてステップ1504以降の処理を行う。
このようなデータベース生成処理によれば、高頻度の3つ組の意味構造によって意味が大きく異なる場合のみ、その3つ組に対する対応関係221が生成される。一方、意味構造によってあまり意味が異ならない場合は、対応関係221が生成されないため、対応関係生成処理を省略することができる。
図15のデータベース生成処理によって生成された対応関係221を用いて、図10の類似文書検索処理を行う場合、ステップ1004において、対応関係221に含まれていない3つ組は高頻度の3つ組ではないと判定される。したがって、3つ組の意味構造を区別せずに検索が行われ、すべての意味構造のバリエーションに対応する検索結果423が得られる。
例えば、図13の「0xHA,0xKS,0xP7」の差異度は0.75であるため、差異度が所定値よりも小さいと判定され、この3つ組に対する対応関係221は生成されない。したがって、類似文書検索処理において、「0xHA,0xKS,0xP7」は高頻度の3つ組ではないと判定され、意味構造を区別せずに検索が行われる。
なお、ステップ1505において差異度が所定値よりも小さい場合、対応関係生成部401は、その3つ組を低頻度の3つ組とみなす情報を記憶部211に格納してもよい。この場合、ステップ1004において、記憶部211に格納された情報に基づき、その3つ組は高頻度の3つ組ではないと判定される。
図2、図4、及び図11の類似文書検索装置201の構成は一例に過ぎず、類似文書検索装置201の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、データベース生成処理が外部の装置で行われる場合は、図4及び図11の対応関係生成部401及びインデックス生成部402を省略することができる。
図3、図9、図10、図14、及び図15のフローチャートは一例に過ぎず、類似文書検索装置201の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図9及び図15のデータベース生成処理において、文書に対する形態素解析及び意味解析が外部の装置で行われる場合は、ステップ901、ステップ902、ステップ1501、及びステップ1502の処理を省略することができる。検索インデックス421が外部の装置で生成される場合は、ステップ907及びステップ1509の処理を省略することができる。
図9のデータベース生成処理において、高頻度の3つ組であるか否かに関わらず、対応関係221を生成する場合は、ステップ903において、3つ組の出現頻度の計算を省略することができる。この場合、ステップ904〜ステップ906の処理は、意味記号のリストから生成されたすべての3つ組に対して行われる。
図15のデータベース生成処理において、高頻度の3つ組であるか否かに関わらず、3つ組の差異度のみに基づいて、対応関係221を生成する場合は、ステップ1503において、3つ組の出現頻度の計算を省略することができる。この場合、ステップ1504〜ステップ1508の処理は、意味記号のリストから生成されたすべての3つ組に対して行われる。
図10及び図14の類似文書検索処理において、検索文に対する形態素解析及び意味解析が外部の装置で行われる場合は、ステップ1001、ステップ1002、ステップ1401、及びステップ1402の処理を省略することができる。
図10の類似文書検索処理において、高頻度の3つ組であるか否かに関わらず、意味構造を特定して検索を行う場合は、ステップ1004及びステップ1008の処理を省略することができる。
図14の類似文書検索処理において、高頻度の3つ組であるか否かに関わらず、3つ組の差異度のみに基づいて、意味構造を特定して検索を行う場合は、ステップ1404の処理を省略することができる。
図1、図5、図6、図8、図12、及び図13の意味構造は一例に過ぎず、類似文書検索装置201の構成又は条件に応じて、別の意味構造を用いてもよい。例えば、3つ組の意味構造の代わりに、4個以上の意味記号を含む意味構造を用いても構わない。図7の検索インデックスは一例に過ぎず、類似文書検索装置201の構成又は条件に応じて、別のデータ構造の検索インデックスを用いてもよい。
式(1)〜式(4)は一例に過ぎず、別の計算式により、対応関係221に含まれる文脈情報と検索文脈情報との類似度を計算してもよい。
図2、図4、及び図11の類似文書検索装置201は、例えば、図16に示すような情報処理装置(コンピュータ)を用いて実現可能である。図16の情報処理装置は、Central Processing Unit(CPU)1601、メモリ1602、入力装置1603、出力装置1604、補助記憶装置1605、媒体駆動装置1606、及びネットワーク接続装置1607を備える。これらの構成要素はバス1608により互いに接続されている。
メモリ1602は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ1602は、図2、図4、及び図11の記憶部211として用いることができる。
CPU1601(プロセッサ)は、例えば、メモリ1602を利用してプログラムを実行することにより、図2、図4、及び図11の特定部212、検索部213、対応関係生成部401、インデックス生成部402、及び差異度計算部1101として動作する。CPU1601は、プログラムを実行することにより、記号決定部411、文脈生成部412、及び構造決定部413としても動作する。
入力装置1603は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。オペレータ又はユーザからの指示は、検索文を含むクエリであってもよい。
出力装置1604は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置1604は、図2、図4、及び図11の出力部214として用いることができる。処理結果は、検索結果423であってもよい。
補助記憶装置1605は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置1605は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置1605にプログラム及びデータを格納しておき、それらをメモリ1602にロードして使用することができる。補助記憶装置1605は、図2、図4、及び図11の記憶部211として用いることができる。
媒体駆動装置1606は、可搬型記録媒体1609を駆動し、その記録内容にアクセスする。可搬型記録媒体1609は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体1609は、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、Universal Serial Bus(USB)メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体1609にプログラム及びデータを格納しておき、それらをメモリ1602にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ1602、補助記憶装置1605、又は可搬型記録媒体1609のような、物理的な(非一時的な)記録媒体である。
ネットワーク接続装置1607は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置1607を介して受け取り、それらをメモリ1602にロードして使用することができる。
情報処理装置は、ネットワーク接続装置1607を介して、ユーザ端末からクエリを受信し、検索結果423をユーザ端末へ送信することができる。この場合、ネットワーク接続装置1607は、図2、図4、及び図11の出力部214として用いられる。
なお、情報処理装置が図16のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由でクエリを受信する場合は、入力装置1603及び出力装置1604を省略してもよい。また、可搬型記録媒体1609又は通信ネットワークを利用しない場合は、媒体駆動装置1606又はネットワーク接続装置1607を省略してもよい。
情報処理装置がスマートフォンのような通話機能を有する携帯端末である場合、マイク及びスピーカのような通話用の装置を含んでいてもよく、カメラのような撮像装置を含んでいてもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図1乃至図16を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
検索文から、前記検索文における単語又は意味記号の出現頻度を表す検索文脈情報を生成し、
複数の文書に含まれる複数の文に対する意味解析を行って、前記複数の文各々に含まれる複数の意味記号の間の関係種別に基づき、3個以上の意味記号と前記3個以上の意味記号の間の関係種別とを含む意味構造を複数個生成し、前記複数の文書のうち前記複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報を生成し、前記複数個の意味構造を前記複数の文脈情報にそれぞれ対応付けることで生成される、前記複数個の意味構造と前記複数の文脈情報との対応関係を参照し、
前記複数の文脈情報と前記検索文脈情報とに基づいて、前記複数個の意味構造のうち1個の意味構造を特定し、
特定した前記意味構造を用いて、前記複数の文書の中から前記検索文に類似する類似文書を検索し、
前記類似文書を示す検索結果を出力する、
処理をコンピュータに実行させる類似文書検索プログラム。
(付記2)
前記コンピュータは、前記検索文に含まれる複数の意味記号から3個以上の意味記号の組を生成し、前記複数の文脈情報のうち、前記検索文から生成した前記3個以上の意味記号の組を含む複数個の意味構造にそれぞれ対応付けられた複数の文脈情報各々と、前記検索文脈情報との類似度を求め、最も大きな類似度を有する文脈情報に対応付けられた意味構造を、前記1個の意味構造として特定することを特徴とする付記1記載の類似文書検索プログラム。
(付記3)
前記コンピュータは、前記検索文から生成した前記3個以上の意味記号の組の前記複数の文書における出現頻度が第1所定値よりも大きい場合、前記検索文から前記検索文脈情報を生成し、前記類似度を求め、前記1個の意味構造を特定することを特徴とする付記2記載の類似文書検索プログラム。
(付記4)
前記コンピュータは、前記検索文から生成した前記3個以上の意味記号の組を含む複数の意味構造の間における意味の差異を示す差異度が、第2所定値よりも大きい場合、前記検索文から前記検索文脈情報を生成し、前記類似度を求め、前記1個の意味構造を特定することを特徴とする付記2又は3記載の類似文書検索プログラム。
(付記5)
前記類似文書検索プログラムは、
前記複数の文に対する前記意味解析を行って、前記複数個の意味構造を生成し、
前記複数個の意味構造それぞれに対する前記複数の文脈情報を生成し、
前記複数個の意味構造と前記複数の文脈情報との前記対応関係を生成する、
処理をさらに前記コンピュータに実行させる付記1乃至4のいずれか1項に記載の類似文書検索プログラム。
(付記6)
複数の文書に含まれる複数の文に対する意味解析を行って、前記複数の文各々に含まれる複数の意味記号の間の関係種別に基づき、3個以上の意味記号と前記3個以上の意味記号の間の関係種別とを含む意味構造を複数個生成し、前記複数の文書のうち前記複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報を生成し、前記複数個の意味構造を前記複数の文脈情報にそれぞれ対応付けることで生成される、前記複数個の意味構造と前記複数の文脈情報との対応関係を記憶する記憶部と、
検索文から、前記検索文における単語又は意味記号の出現頻度を表す検索文脈情報を生成し、前記複数の文脈情報と前記検索文脈情報とに基づいて、前記複数個の意味構造のうち1個の意味構造を特定する特定部と、
前記特定部が特定した前記意味構造を用いて、前記複数の文書の中から前記検索文に類似する類似文書を検索する検索部と、
前記類似文書を示す検索結果を出力する出力部と、
を備えることを特徴とする類似文書検索装置。
(付記7)
前記特定部は、前記検索文に含まれる複数の意味記号から3個以上の意味記号の組を生成し、前記複数の文脈情報のうち、前記検索文から生成した前記3個以上の意味記号の組を含む複数個の意味構造にそれぞれ対応付けられた複数の文脈情報各々と、前記検索文脈情報との類似度を求め、最も大きな類似度を有する文脈情報に対応付けられた意味構造を、前記1個の意味構造として特定することを特徴とする付記6記載の類似文書検索装置。
(付記8)
前記特定部は、前記検索文から生成した前記3個以上の意味記号の組の前記複数の文書における出現頻度が第1所定値よりも大きい場合、前記検索文から前記検索文脈情報を生成し、前記類似度を求め、前記1個の意味構造を特定することを特徴とする付記7記載の類似文書検索装置。
(付記9)
前記特定部は、前記検索文から生成した前記3個以上の意味記号の組を含む複数の意味構造の間における意味の差異を示す差異度が、第2所定値よりも大きい場合、前記検索文から前記検索文脈情報を生成し、前記類似度を求め、前記1個の意味構造を特定することを特徴とする付記7又は8記載の類似文書検索装置。
(付記10)
前記複数の文に対する前記意味解析を行って、前記複数個の意味構造を生成し、前記複数個の意味構造それぞれに対する前記複数の文脈情報を生成し、前記複数個の意味構造と前記複数の文脈情報との前記対応関係を生成する対応関係生成部をさらに備えることを特徴とする付記6乃至9のいずれか1項に記載の類似文書検索装置。
(付記11)
コンピュータが、
検索文から、前記検索文における単語又は意味記号の出現頻度を表す検索文脈情報を生成し、
複数の文書に含まれる複数の文に対する意味解析を行って、前記複数の文各々に含まれる複数の意味記号の間の関係種別に基づき、3個以上の意味記号と前記3個以上の意味記号の間の関係種別とを含む意味構造を複数個生成し、前記複数の文書のうち前記複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報を生成し、前記複数個の意味構造を前記複数の文脈情報にそれぞれ対応付けることで生成される、前記複数個の意味構造と前記複数の文脈情報との対応関係を参照し、
前記複数の文脈情報と前記検索文脈情報とに基づいて、前記複数個の意味構造のうち1個の意味構造を特定し、
特定した前記意味構造を用いて、前記複数の文書の中から前記検索文に類似する類似文書を検索し、
前記類似文書を示す検索結果を出力する、
ことを特徴とする類似文書検索方法。
(付記12)
前記コンピュータは、前記検索文に含まれる複数の意味記号から3個以上の意味記号の組を生成し、前記複数の文脈情報のうち、前記検索文から生成した前記3個以上の意味記号の組を含む複数個の意味構造にそれぞれ対応付けられた複数の文脈情報各々と、前記検索文脈情報との類似度を求め、最も大きな類似度を有する文脈情報に対応付けられた意味構造を、前記1個の意味構造として特定することを特徴とする付記11記載の類似文書検索方法。
(付記13)
前記コンピュータは、前記検索文から生成した前記3個以上の意味記号の組の前記複数の文書における出現頻度が第1所定値よりも大きい場合、前記検索文から前記検索文脈情報を生成し、前記類似度を求め、前記1個の意味構造を特定することを特徴とする付記12記載の類似文書検索方法。
(付記14)
前記コンピュータは、前記検索文から生成した前記3個以上の意味記号の組を含む複数の意味構造の間における意味の差異を示す差異度が、第2所定値よりも大きい場合、前記検索文から前記検索文脈情報を生成し、前記類似度を求め、前記1個の意味構造を特定することを特徴とする付記12又は13記載の類似文書検索方法。
(付記15)
前記コンピュータは、
前記複数の文に対する前記意味解析を行って、前記複数個の意味構造を生成し、
前記複数個の意味構造それぞれに対する前記複数の文脈情報を生成し、
前記複数個の意味構造と前記複数の文脈情報との前記対応関係を生成する、
ことを特徴とする付記11乃至14のいずれか1項に記載の類似文書検索方法。
101〜104 アーク
201 類似文書検索装置
211 記憶部
212 特定部
213 検索部
214 出力部
221 対応関係
401 対応関係生成部
402 インデックス生成部
411 記号決定部
412 文脈生成部
413 構造決定部
421 検索インデックス
422 検索キー
423 検索結果
501−1〜501−N 文書群
502−1〜502−N 文脈情報
1101 差異度計算部
1601 CPU
1602 メモリ
1603 入力装置
1604 出力装置
1605 補助記憶装置
1606 媒体駆動装置
1607 ネットワーク接続装置
1608 バス
1609 可搬型記録媒体

Claims (6)

  1. 検索文から、前記検索文における単語又は意味記号の出現頻度を表す検索文脈情報を生成し、
    複数の文書に含まれる複数の文に対する意味解析を行って、前記複数の文各々に含まれる複数の意味記号の間の関係種別に基づき、3個以上の意味記号と前記3個以上の意味記号の間の関係種別とを含む意味構造を複数個生成し、前記複数の文書のうち前記複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報を生成し、前記複数個の意味構造を前記複数の文脈情報にそれぞれ対応付けることで生成される、前記複数個の意味構造と前記複数の文脈情報との対応関係を参照し、
    前記複数の文脈情報と前記検索文脈情報とに基づいて、前記複数個の意味構造のうち1個の意味構造を特定し、
    特定した前記意味構造を用いて、前記複数の文書の中から前記検索文に類似する類似文書を検索し、
    前記類似文書を示す検索結果を出力する、
    処理をコンピュータに実行させる類似文書検索プログラム。
  2. 前記コンピュータは、前記検索文に含まれる複数の意味記号から3個以上の意味記号の組を生成し、前記複数の文脈情報のうち、前記検索文から生成した前記3個以上の意味記号の組を含む複数個の意味構造にそれぞれ対応付けられた複数の文脈情報各々と、前記検索文脈情報との類似度を求め、最も大きな類似度を有する文脈情報に対応付けられた意味構造を、前記1個の意味構造として特定することを特徴とする請求項1記載の類似文書検索プログラム。
  3. 前記コンピュータは、前記検索文から生成した前記3個以上の意味記号の組の前記複数の文書における出現頻度が第1所定値よりも大きい場合、前記検索文から前記検索文脈情報を生成し、前記類似度を求め、前記1個の意味構造を特定することを特徴とする請求項2記載の類似文書検索プログラム。
  4. 前記コンピュータは、前記検索文から生成した前記3個以上の意味記号の組を含む複数の意味構造の間における意味の差異を示す差異度が、第2所定値よりも大きい場合、前記検索文から前記検索文脈情報を生成し、前記類似度を求め、前記1個の意味構造を特定することを特徴とする請求項2又は3記載の類似文書検索プログラム。
  5. 複数の文書に含まれる複数の文に対する意味解析を行って、前記複数の文各々に含まれる複数の意味記号の間の関係種別に基づき、3個以上の意味記号と前記3個以上の意味記号の間の関係種別とを含む意味構造を複数個生成し、前記複数の文書のうち前記複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報を生成し、前記複数個の意味構造を前記複数の文脈情報にそれぞれ対応付けることで生成される、前記複数個の意味構造と前記複数の文脈情報との対応関係を記憶する記憶部と、
    検索文から、前記検索文における単語又は意味記号の出現頻度を表す検索文脈情報を生成し、前記複数の文脈情報と前記検索文脈情報とに基づいて、前記複数個の意味構造のうち1個の意味構造を特定する特定部と、
    前記特定部が特定した前記意味構造を用いて、前記複数の文書の中から前記検索文に類似する類似文書を検索する検索部と、
    前記類似文書を示す検索結果を出力する出力部と、
    を備えることを特徴とする類似文書検索装置。
  6. コンピュータが、
    検索文から、前記検索文における単語又は意味記号の出現頻度を表す検索文脈情報を生成し、
    複数の文書に含まれる複数の文に対する意味解析を行って、前記複数の文各々に含まれる複数の意味記号の間の関係種別に基づき、3個以上の意味記号と前記3個以上の意味記号の間の関係種別とを含む意味構造を複数個生成し、前記複数の文書のうち前記複数個の意味構造それぞれにマッチする文書群における単語又は意味記号の出現頻度を表す複数の文脈情報を生成し、前記複数個の意味構造を前記複数の文脈情報にそれぞれ対応付けることで生成される、前記複数個の意味構造と前記複数の文脈情報との対応関係を参照し、
    前記複数の文脈情報と前記検索文脈情報とに基づいて、前記複数個の意味構造のうち1個の意味構造を特定し、
    特定した前記意味構造を用いて、前記複数の文書の中から前記検索文に類似する類似文書を検索し、
    前記類似文書を示す検索結果を出力する、
    ことを特徴とする類似文書検索方法。
JP2016046088A 2016-03-09 2016-03-09 類似文書検索プログラム、類似文書検索装置、及び類似文書検索方法 Active JP6638480B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016046088A JP6638480B2 (ja) 2016-03-09 2016-03-09 類似文書検索プログラム、類似文書検索装置、及び類似文書検索方法
US15/452,381 US10467271B2 (en) 2016-03-09 2017-03-07 Search apparatus and search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016046088A JP6638480B2 (ja) 2016-03-09 2016-03-09 類似文書検索プログラム、類似文書検索装置、及び類似文書検索方法

Publications (2)

Publication Number Publication Date
JP2017162190A true JP2017162190A (ja) 2017-09-14
JP6638480B2 JP6638480B2 (ja) 2020-01-29

Family

ID=59787912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016046088A Active JP6638480B2 (ja) 2016-03-09 2016-03-09 類似文書検索プログラム、類似文書検索装置、及び類似文書検索方法

Country Status (2)

Country Link
US (1) US10467271B2 (ja)
JP (1) JP6638480B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815312A (zh) * 2018-12-27 2019-05-28 达闼科技(北京)有限公司 一种文档查询的方法、装置、计算设备及计算机存储介质
JP2020057105A (ja) * 2018-09-28 2020-04-09 株式会社リコー 言語処理方法、言語処理プログラム及び言語処理装置
US11574003B2 (en) 2020-02-19 2023-02-07 Alibaba Group Holding Limited Image search method, apparatus, and device

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475488B2 (en) 2017-09-11 2022-10-18 Accenture Global Solutions Limited Dynamic scripts for tele-agents
US11853930B2 (en) 2017-12-15 2023-12-26 Accenture Global Solutions Limited Dynamic lead generation
US11531673B2 (en) 2018-05-24 2022-12-20 Sap Se Ambiguity resolution in digital paper-based interaction
US11468882B2 (en) * 2018-10-09 2022-10-11 Accenture Global Solutions Limited Semantic call notes
US10923114B2 (en) 2018-10-10 2021-02-16 N3, Llc Semantic jargon
US11132695B2 (en) 2018-11-07 2021-09-28 N3, Llc Semantic CRM mobile communications sessions
US10972608B2 (en) 2018-11-08 2021-04-06 N3, Llc Asynchronous multi-dimensional platform for customer and tele-agent communications
US10742813B2 (en) 2018-11-08 2020-08-11 N3, Llc Semantic artificial intelligence agent
CN110737751B (zh) * 2019-09-06 2023-10-20 平安科技(深圳)有限公司 基于相似度值的搜索方法、装置、计算机设备和存储介质
US20230026321A1 (en) * 2019-10-25 2023-01-26 Semiconductor Energy Laboratory Co., Ltd. Document retrieval system
US11443264B2 (en) 2020-01-29 2022-09-13 Accenture Global Solutions Limited Agnostic augmentation of a customer relationship management application
US11392960B2 (en) 2020-04-24 2022-07-19 Accenture Global Solutions Limited Agnostic customer relationship management with agent hub and browser overlay
US11481785B2 (en) 2020-04-24 2022-10-25 Accenture Global Solutions Limited Agnostic customer relationship management with browser overlay and campaign management portal
US11507903B2 (en) 2020-10-01 2022-11-22 Accenture Global Solutions Limited Dynamic formation of inside sales team or expert support team
US11797586B2 (en) 2021-01-19 2023-10-24 Accenture Global Solutions Limited Product presentation for customer relationship management
US11816677B2 (en) 2021-05-03 2023-11-14 Accenture Global Solutions Limited Call preparation engine for customer relationship management

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001511565A (ja) * 1997-07-22 2001-08-14 マイクロソフト コーポレイション 自然言語処理技法を用いたテキスト入力処理システム
JP2004110200A (ja) * 2002-09-13 2004-04-08 Fuji Xerox Co Ltd テキスト文比較装置
JP2006039811A (ja) * 2004-07-26 2006-02-09 Fuji Xerox Co Ltd ドキュメント管理プログラム、ドキュメント管理方法、及びドキュメント管理装置
JP2007293685A (ja) * 2006-04-26 2007-11-08 Mitsubishi Electric Corp テキストマイニング装置、テキストマイニングプログラム、及びテキストマイニング方法
JP2013186766A (ja) * 2012-03-09 2013-09-19 Fujitsu Ltd 情報検索方法、プログラムおよび情報検索装置
JP2014235664A (ja) * 2013-06-04 2014-12-15 富士通株式会社 情報検索装置および情報検索方法
JP2015060243A (ja) * 2013-09-17 2015-03-30 富士通株式会社 検索装置、検索方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556983B1 (en) * 2000-01-12 2003-04-29 Microsoft Corporation Methods and apparatus for finding semantic information, such as usage logs, similar to a query using a pattern lattice data space
WO2002063493A1 (en) * 2001-02-08 2002-08-15 2028, Inc. Methods and systems for automated semantic knowledge leveraging graph theoretic analysis and the inherent structure of communication
US20080294599A1 (en) * 2007-05-23 2008-11-27 International Business Machines Corporation Apparatus and method of semantic tuplespace system
JP2012003603A (ja) 2010-06-18 2012-01-05 Hitachi Systems & Services Ltd 情報検索システム
US9798732B2 (en) * 2011-01-06 2017-10-24 Micro Focus Software Inc. Semantic associations in data
JP6093200B2 (ja) 2013-02-05 2017-03-08 日本放送協会 情報検索装置及び情報検索プログラム
US10424016B2 (en) * 2013-12-19 2019-09-24 International Business Machines Corporation Modeling asset transfer flow relationships discovered in unstructured data
JP6260294B2 (ja) 2014-01-21 2018-01-17 富士通株式会社 情報検索装置、情報検索方法および情報検索プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001511565A (ja) * 1997-07-22 2001-08-14 マイクロソフト コーポレイション 自然言語処理技法を用いたテキスト入力処理システム
JP2004110200A (ja) * 2002-09-13 2004-04-08 Fuji Xerox Co Ltd テキスト文比較装置
JP2006039811A (ja) * 2004-07-26 2006-02-09 Fuji Xerox Co Ltd ドキュメント管理プログラム、ドキュメント管理方法、及びドキュメント管理装置
JP2007293685A (ja) * 2006-04-26 2007-11-08 Mitsubishi Electric Corp テキストマイニング装置、テキストマイニングプログラム、及びテキストマイニング方法
JP2013186766A (ja) * 2012-03-09 2013-09-19 Fujitsu Ltd 情報検索方法、プログラムおよび情報検索装置
JP2014235664A (ja) * 2013-06-04 2014-12-15 富士通株式会社 情報検索装置および情報検索方法
JP2015060243A (ja) * 2013-09-17 2015-03-30 富士通株式会社 検索装置、検索方法、およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020057105A (ja) * 2018-09-28 2020-04-09 株式会社リコー 言語処理方法、言語処理プログラム及び言語処理装置
JP7147439B2 (ja) 2018-09-28 2022-10-05 株式会社リコー 言語処理方法、言語処理プログラム及び言語処理装置
CN109815312A (zh) * 2018-12-27 2019-05-28 达闼科技(北京)有限公司 一种文档查询的方法、装置、计算设备及计算机存储介质
US11574003B2 (en) 2020-02-19 2023-02-07 Alibaba Group Holding Limited Image search method, apparatus, and device

Also Published As

Publication number Publication date
US20170262530A1 (en) 2017-09-14
JP6638480B2 (ja) 2020-01-29
US10467271B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
JP6638480B2 (ja) 類似文書検索プログラム、類似文書検索装置、及び類似文書検索方法
US11334609B2 (en) Semantic structure search device and semantic structure search method
WO2021189951A1 (zh) 文本搜索方法、装置、计算机设备和存储介质
CN110704743A (zh) 一种基于知识图谱的语义搜索方法及装置
CN107885717B (zh) 一种关键词提取方法及装置
JP2018045537A (ja) 検索プログラム、検索装置および検索方法
JPWO2007069762A1 (ja) 類似文検索方法、類似文検索システム及び類似文検索用プログラム
CN113326420B (zh) 问题检索方法、装置、电子设备和介质
JP6563350B2 (ja) データ分類装置、データ分類方法、及びプログラム
CN117076636A (zh) 一种智能客服的信息查询方法、系统和设备
US20220318318A1 (en) Systems and methods for automated information retrieval
JP6495206B2 (ja) 文書概念ベース生成装置、文書概念検索装置、方法、及びプログラム
US20210342534A1 (en) Sentence structure vectorization device, sentence structure vectorization method, and storage medium storing sentence structure vectorization program
JP6173958B2 (ja) 複数のハッシュテーブルを用いて検索するプログラム、装置及び方法
JP6805927B2 (ja) インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法
JP2006285419A (ja) 情報処理装置および方法、並びにプログラム
KR101544639B1 (ko) 입력되는 문자열로부터 사용자의 감정을 판단하는 방법
US20210271990A1 (en) Answer sentence selection device, method, and program
JP2001101184A (ja) 構造化文書生成方法及び装置及び構造化文書生成プログラムを格納した記憶媒体
JP2009181183A (ja) 人名表現同定装置、その方法、プログラム及び記録媒体
CN113220841B (zh) 确定鉴别信息的方法、装置、电子设备和存储介质
JP7490670B2 (ja) 検索装置
US20240143638A1 (en) Information processing apparatus, information processing method, and information processing computer program product
WO2023245869A1 (zh) 语音识别模型的训练方法、装置、电子设备及存储介质
WO2021186501A1 (ja) 音声認識装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R150 Certificate of patent or registration of utility model

Ref document number: 6638480

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150