JP2007233446A

JP2007233446A - 同義語対抽出装置及び同義語対抽出方法

Info

Publication number: JP2007233446A
Application number: JP2006050694A
Authority: JP
Inventors: Keiji Ikada; 恵志伊加田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2006-02-27
Filing date: 2006-02-27
Publication date: 2007-09-13
Anticipated expiration: 2026-02-27
Also published as: JP5028823B2

Abstract

【課題】同義語を多数抽出すると共に、抽出精度及び処理速度の向上を図る。
【解決手段】本発明の同義語対抽出装置は、同義語を複数含む同意テキストから文単位で文字列を切り出す文区切り処理部１０２と、単語に品詞情報を付与する形態素解析処理部１０３と、前記複数の同意テキストから同意文対を作成する同意文対生成部１０４と、前記同意文対生成部１０４で生成された同意文対を、その同意文対を構成する各単語の文字列と品詞を含めて互いに比較し、同意文対間において共通する複数の単語列と、当該共通する複数の単語列のうちの任意の二つの単語列に挟まれた、同意文対間において互いに異なる単語列からなる単語列対を、同意文対からそれぞれ同義語対候補として抽出するための同義語対候補抽出部１０５と、抽出された同義語対候補を編集して同義語対として出力する同義語対出力手段とを備えた。
【選択図】図１

Description

本発明は、同じ内容が記載されている複数の文書から同義語対を獲得する同義語対抽出装置及び同義語対抽出方法に関するものである。

発音や表記は異なるが、意味の同じである語のことを同義語と呼ぶ。この同義語は、日本語に限らずさまざまな言語において存在する。

同義語が存在するため、人は、概念や事象、事物を１つの単語だけでなく、異なる単語で書き分けることができる反面、表記上の不一致のため、自然言語処理の効率を低下させるという問題がある。

特に、文書検索、文書分類、機械翻訳、文書要約のような自然言語処理において、この問題は重要である。

例えば、「ＰＣモニター」と「ＰＣディスプレイ」は同義語である。これらが同義語であることが分かれば、文書検索において検索語として「ＰＣモニター」が入力された場合に、「ＰＣディスプレイ」を含む文書も併せて出力することができる。逆に考えると、同義語を考慮しないと、検索漏れが発生して精度が低下する。

日本語に関する同義語の自動獲得に関連する技術としては、特許文献１と非特許文献１とがある。

特許文献１では、文書中の括弧に着目し、丸括弧で囲まれた単語と、その丸括弧直前の単語との間に生じる共起単語の統計量に基づき、同義語対を抽出している。

また、非特許文献１では、「単元語パラレルテキスト」と呼ぶ、単一の言語で書かれた同一内容を記述した２つの文書間において、文書間で共通する単語に挟まれた、異なる単語を同義語対として抽出している。
特開平１１−３２８２０５号公報下畑光夫、隅田英一郎："単言語パラレルテキストからの同義語獲得"言語処理学会第１１回年次大会，２００５

しかしながら、特許文献１に示す装置では、括弧内に現れる語の同義語しか抽出できないという問題がある。また、あらかじめ、単語間の共起の統計量を用意しておく必要があり、あらかじめ大量のテキストデータを処理しなければならないという問題がある。

また、非特許文献１では、同義語の前後１単語というごく近接の文脈しか考慮しないため、日本語の助詞や助動詞といった、文脈にあまり依存せずに使用される語が共通した単語となる場合、その間に挟まれた語を誤って同義語対として抽出してしまうという問題がある。

本発明は前記問題に鑑みてなされたもので、単一の言語で記述された複数の同意テキストを含む文書群から同義語対を抽出するための同義語対抽出装置であって、互いに同じ意味を表す同義語を複数含む前記同意テキストから文単位で文字列を切り出す文区切り処理手段と、前記同意テキストを構成する単語に対応する品詞情報を付与するための形態素解析処理手段と、前記複数の同意テキストから、同意テキストに含まれる同意文の対からなる同意文対を作成するための同意文対生成手段と、前記同意文対生成手段によって、相違する前記同意テキストから生成された同意文対を、その同意文対を構成する各単語の文字列と品詞を含めて互いに比較し、同意文対間において共通する複数の単語列と、当該共通する複数の単語列のうちの任意の二つの単語列に挟まれた、同意文対間において互いに異なる単語列からなる単語列対を、同意文対からそれぞれ同義語対候補として抽出するための同義語対候補抽出手段と、前記同義語対候補抽出手段によって抽出される同義語対候補のうち、所定の条件を満たすものに対し、所定の規則に従った編集を行って同義語対として出力するための同義語対出力手段とを備えて構成されたことを特徴とする。

二つ以上の同意テキストを用意することで、同義語を多数抽出することができ、抽出精度が向上する。

［第１実施形態］
本発明に係る同義語対抽出装置の第１の実施形態を添付図面を参照しながら詳述する。図１は本発明の第１の実施形態に係る同義語対抽出装置の機能的構成を示すブロック図である。

本実施形態の同義語対抽出装置１０１は、単一の言語で記述された複数の同意テキスト１００を含む文書群から同義語対を抽出するための装置である。同義語対抽出装置１０１は、文区切り処理部１０２と、形態素解析処理部１０３と、同意文対生成部１０４と、同義語対候補抽出部１０５と、同義語対出力部１０８とから構成されている。

前記同意テキスト１００は、同じ言語で記述された、同じ内容を含むような文書で、機械可読なものである。

文区切り処理部１０２は、互いに同じ意味を表す同義語を複数含む前記同意テキスト１００から文単位で文字列を切り出す文区切り処理手段である。文区切り処理部１０２は、句点や文字列などの情報により、複数の文からなる同意テキスト１００を各文単位に切り分ける。

形態素解析処理部１０３は、前記同意テキスト１００を構成する単語に対応する品詞情報を付与するための形態素解析処理手段である。形態素解析処理部１０３は、文書に対して形態素解析し、品詞に関する情報が付与された形態素列（単語列）を出力する。この形態素解析処理部１０３での形態素解析処理は、周知の技術を用いることができる。周知の形態素解析処理として容易に入手できるプログラムにより実現することができる。

同意文対生成部１０４は、前記複数の同意テキスト１００から、同意テキスト１００に含まれる同意文の対からなる同意文対を作成するための同意文対生成手段である。同意文対生成部１０４は、後に述べる、文対作成部４０１、文対類似度計算部４０２及び同意文対出力部４０３で構成される同意文対生成部２０４と同じ構成を有している。この同意文対生成部１０４は、前記文区切り処理部１０２によって切り分けた文と文とを単純な順列組み合わせで選択し、それぞれの組み合わせで類似度を計算し、あらかじめ定めておいた値以上の類似度を持つものを同意文対として出力する。

同義語対候補抽出部１０５は、前記同意文対生成部１０４によって、相違する前記同意テキスト１００から生成された同意文対を、その同意文対を構成する各単語の文字列と品詞を含めて互いに比較し、同意文対間において共通する複数の単語列と、当該共通する複数の単語列のうちの任意の二つの単語列に挟まれた、同意文対間において互いに異なる単語列からなる単語列対を、前記同意文対からそれぞれ同義語対候補として抽出するための同義語対候補抽出手段である。この同義語対候補抽出部１０５は、前記手段によって、同意テキスト１００に含まれる二つの文の単語列を互いに比較し、相互に異なる部分を、その前後の単語を含めて同義語対候補として抽出する。

同義語対出力部１０８は、前記同義語対候補抽出部１０５によって抽出された同義語対候補を編集して同義語対として出力するための同義語対出力手段である。この同義語対出力部１０８は、前記同義語対候補抽出部１０５が出力する同義語対候補のうち、所定の条件を満たすもののみを選択し、出力する処理を行うための同義語対出力手段である。同義語対出力部１０８は、前記同義語対候補抽出手段１０５によって抽出される同義語対候補のうち、所定の条件を満たすものに対し、所定の規則に従った編集を行って、同義語対として出力する。

［同義語対抽出方法］
次に、以上の構成の同義語対抽出装置１０１を用いた同義語対抽出方法について説明する。

まず、文区切り処理工程を行う。同意テキスト１００は、文区切り処理部１０２に入力され、テキストから各文が切り出される。文の切り出しは、例えば、文書中に現れる句点（“。”や“、”など）や改行で判定する。

次に、形態素解析処理工程を行う。前記文区切り処理工程で切り出された文は、各文毎に形態素解析処理部１０３に入力されて形態素解析され、それぞれ品詞情報が付与された単語列の形で出力される。

そして、この形態素解析処理部１０３で形態素解析された各文毎に、形態素結果とともに同意文対生成部１０４に入力される。

次に、同意文対生成工程を行う。同意文対生成部１０４では、１つの同意テキスト１００の各文と、それとは別のもう１つの同意テキスト１００の各文とを組み合わせて、同意文対を作成する。組み合わせは、単純な順列組み合わせで行う。

前記同意文対生成部１０４で生成された同意文対は、同義語対候補抽出部１０５に入力される。

次に、同義語対候補抽出工程を行う。ここでは、同意文対のそれぞれに対し、同意文対に含まれる同意文同士を互いに比較し、以下の３つの条件を全て充足する、互いに異なる単語列対をその前後に存在する１つ以上の単語を含めて同義語対候補として出力する。

１．単語列対の前に存在する所定の条件を満たす単語列が互いに等しく、
２．単語列対の後に存在する所定の条件を満たす単語列が互いに等しく、かつ、
３．単語列対の品詞に関する所定の条件を満たす。

ここで、前記条件１と２に現れる「所定の条件を満たす単語列」とは、例えば、「３つで構成される」、あるいは、「自立語を１つ含む」などのような条件を満たすように構成された単語列である。また、前記条件１と２で別々の条件を適用しても良い。

また、前記条件３に現れる「品詞に関する所定の条件」とは、例えば、「全て名詞から構成される単語列」、あるいは、「動詞１語からなる単語（列）」など、同義語対として収集する対象に併せて設定される条件のことをいう。

前記同義語対候補抽出部１０５で抽出された同義語対候補は、同義語対出力部１０８に入力される。

最後に、同義語対出力工程を行う。同義語対出力部１０８は、同義語対候補に含まれる共通の単語を削除し、同義語対として出力する。即ち、同義語対出力部１０８は、前記同義語対候補抽出手段１０５によって抽出される同義語対候補のうち、所定の条件を満たすものに対し、所定の規則に従った編集を行って、同義語対として出力する。ここでは、前記同義語対候補抽出部１０５から出力された同義語対候補に対し、その前後の単語列に現れる共通する単語を削除する編集を行って、同義語対として出力する。

［具体例］
次に、以上の同義語対抽出方法を具体例を用いて説明する。

例えば、同意テキストとして、「建築士が構造計算書を偽造したことが発覚した。偽造が行われたのは、東京都内のマンションなどである。」と、「構造計算書を改ざんした建築士が、発覚することをおそれて証拠を処分しようとしたことが捜査した警察の調べで明らかになった。改ざんは１９９８年頃から行われていたという。」というものを考える。

これが、同義語対抽出装置１０１に入力され、まず、文区切り処理部１０２により、１つ目のテキストが「建築士が構造計算書を偽造したことが発覚した。」と「偽造が行われたのは、東京都内のマンションなどである。」の２つの文に、もう１つのテキストが「構造計算書を改ざんした建築士が、発覚することをおそれて証拠を処分しようとしたことが捜査した警察の調べで明らかになった。」と、「改ざんは１９９８年頃から行われていたという。」の２つの文に切り出される。

次に、切り出された文がそれぞれ、形態素解析処理部１０３に入力され、形態素解析される。

そして、形態素解析された各文が、同意文対生成部１０４に入力される。ここで、図２のような単純な順列組み合わせによる４つの同意文対が作成され、出力される。

次に、前記同意文対が同義語対候補抽出部１０５に入力される。

図３は、同義語対候補抽出部１０５による同義語対候補の抽出を示す。図３を参照して、例えば同義文対１２１を互いに比較すると、前記同義語対候補抽出部１０５が調べる条件を満たす単語列対は２つ存在する。それが、単語列対１３１、１３２である。

例えば単語列対１３１の場合、同義文対１２１の二つの単語列対のうち、「書／を」という自立語「書」を１つ含んだ単語列が互いに等しく、また、「し」という単語（列）が互いに等しい。そして、その間の単語（列）「偽造」と「改ざん」とは互いに異なっている。従って、「書／を／［偽造］／し」と「書／を／［改ざん］／し」の対が同義語対候補として抽出される。また、単語列対１３２の場合も前記単語列対１３１の場合と同様にして、「こと／が／［発覚］／し」と「こと／が／［捜査］／し」の対が同義語対候補として抽出される。抽出された同義語対候補は、同義語対出力部１０８に入力される。ここで「／」は、単語の区切りを表し、［］で囲まれた部分が互いに異なる単語列を表す。

残りの３つの同意文対に対しても同じ処理が適用される。残りの３つからは同義語対候補は抽出されない。

最後に、同義語対出力部１０８において、前記同義語対候補抽出部１０５から出力された同義語対候補に対し、その前後の単語列に現れる共通する単語を削除するという編集処理を行う。図４に削除の例を示す。同義語対候補１６１の場合、「偽造」と「改ざん」が相違部分であり、その前後の単語列が共通する単語列部分である。その共通する部分を削除して、「偽造」と「改ざん」が同義語対として出力される。

単語列対１３２も同様に、「発覚」と「捜査」が同義語対として出力される。

［効果］
以上のように、この第１の実施形態にかかる同義語対抽出装置１０１によれば、二つ以上の同意テキストさえ用意すれば、同義語を多数抽出することができるようになる。さらに、データ処理量を減少させることができるようになる。

また、共通単語として、自立語を少なくとも１つ入れることで、助詞や助動詞のみが共通となることを防ぐことができ、特に日本語テキストに対して適用する場合に、抽出精度が向上する。

［第２実施形態］
次に、本発明の第２実施形態に係る同義語対抽出装置を添付図面を参照しながら詳述する。図５は、本発明の第２の実施形態に係る同義語対抽出装置の機能的構成を示すブロック図である。

本実施形態の同義語対抽出装置２０１は、単一の言語で記述された複数の同意テキスト２００を含む文書群から同義語対を抽出するための装置である。同義語対抽出装置２０１は、文区切り処理部２０２と、形態素解析処理部２０３と、同意文対生成部２０４と、同義語対候補抽出部２０５と、同義語対出力部２０８とから構成されている。

前記同意テキスト２００は、第１実施形態の同意テキスト１００と同様に、同じ言語で記述された、同じ内容を含むような文書で、機械可読なものである。

文区切り処理部２０２は、第１実施形態の文区切り処理部１０２と同様に、互いに同じ意味を表す同義語を複数含む前記同意テキスト２００から文単位で文字列を切り出す文区切り処理手段である。文区切り処理部２０２は、句点や文字列などの情報により、複数の文からなる同意テキスト２００を各文単位に切り分ける。

形態素解析処理部２０３は、第１実施形態の形態素解析処理部１０３と同様に、前記同意テキスト２００を構成する単語に対応する品詞情報を付与するための形態素解析処理手段である。形態素解析処理部２０３は、文書に対して形態素解析し、品詞に関する情報が付与された形態素列（単語列）を出力する。

同意文対生成部２０４は、前記複数の同意テキスト２００から、同意テキスト２００に含まれる同意文の対からなる同意文対を作成するための同意文対生成手段である。同意文対生成部２０４は、図６に示すように、文対作成部４０１と、文対類似度計算部４０２と、同意文対出力部４０３とで構成され、前記文区切り処理部２０２によって切り分けた文と文とを単純な順列組み合わせで選択し、それぞれの組み合わせで類似度を計算し、あらかじめ定めておいた値以上の類似度を持つものを同意文対として出力する。

前記文対作成部４０１は、相違する同意テキスト２００から、前記文区切り処理部２０２により切り出された各文を順番に取り出して対を作成する文対作成手段である。文対作成部４０１は、同意テキスト２００の各文を組み合わせて、文対を作成する。

前記文対類似度計算部４０２は、前記文対作成部４０１で作成した文対に対し、類似度を計算する文対類似度計算手段である。文対類似度計算部４０２は、各文対について類似度を計算する。類似度を計算する手段として、例えば、文献（Ｇ．ｓａｌｔｏｎ，Ｍ．ＭｃＧｉｌｌ，“ＩｎｔｒｏｄｕｃｔｉｏｎｔｏＭｏｄｅｒｎＩｎｆｏｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ”，ＮｅｗＹｏｒｋ，ＭｃＧｒａｗ−Ｈｉｌｌ。１９８３）に記載されているように文書における単語の出現頻度を基に、文間の類似度を計算する方法が知られている。また、単純に、一致する単語数がいくつあるかにより類似度としても良い。

前記同意文対出力部４０３は、前記文対類似度計算部４０２で計算された所定の類似度を持つ文対を同意文対として出力する同意文対出力手段である。同意文対出力部４０３は、所定の値以上の類似度を持つ文対を同意文対として出力する。

同義語対候補抽出部２０５は、図５に示すように、第１実施形態の同義語対候補抽出部１０５と同様に、前記同意文対生成部２０４によって、相違する前記同意テキスト２００から生成された同意文対を、その同意文対を構成する各単語の文字列と品詞を含めて互いに比較し、同意文対間において共通する複数の単語列と、当該共通する複数の単語列のうちの任意の二つの単語列に挟まれた、同意文対間において互いに異なる単語列からなる単語列対を、前記同意文対からそれぞれ同義語対候補として抽出するための同義語対候補抽出手段である。この同義語対候補抽出部２０５は、前記手段によって、同意テキスト２００に含まれる二つの文の単語列を互いに比較し、相互に異なる部分を、その前後の単語を含めて同義語対候補として抽出する。

同義語対出力部２０８は、前記同義語対候補抽出部２０５によって抽出された同義語対候補を編集して同義語対として出力するための同義語対出力手段である。同義語対出力部２０８は、同義語対候補抽出部２０５が出力する同義語対候補のうち、所定の条件を満たすもののみを選択し、出力する処理を行う部分である。同義語対出力部２０８は、同義語対選択部２０６及び編集部２０７を備えている。

同義語対選択部２０６は、前記同義語対候補抽出部２０５で出力された同義語対候補のうち、所定の条件を満たすもののみを選択する処理部分である。この所定の条件としては「同義語対候補の一方の単語列の中にある単語が、他方の単語列の外のいずれの領域にも存在しない」こととする。

編集部２０７は、編集規則群２０９に記憶された規則を用いて、同義語対選択部２０６により選択された同義語対候補のそれぞれに対し、その前後の単語列を削除する処理を行う処理部分である。編集部２０７は、各単語の品詞に基づいて不要な単語を削除する。

編集規則群２０９に含まれる単語削除規則としては、例えば以下のものがある。

１．共通の単語は一律削除、
２、共通の単語のうち共通の単語以外の単語と一致しない品詞の共通単語は除外する、または、
３．他の単語列対の一部分となる単語列対は除外する。

これらの規則のうち、処理に適切な規則を１つ以上組み合わせて適用する。

［同義語対抽出方法］
次に、以上の構成の同義語対抽出装置２０１を用いた同義語対抽出方法について説明する。

まず、文区切り処理工程を行う。同意テキスト２００は、文区切り処理部２０２に入力され、テキストから各文が切り出される。文の切り出しは、例えば、文書中に現れる句点（“。”や“、”など）や改行で判定する。

次に、形態素解析処理工程を行う。切り出された各文毎に、形態素解析処理部２０３に入力され、各文を形態素解析し、それぞれ品詞情報が付与された単語列の形で出力される。なお、形態素解析自体は、上述のように、周知の技術であり、容易に入手できるプログラムにより実現できる。

そして、文毎に、形態素結果とともに同意文対生成部２０４に入力される。

次いで、同意文対生成工程を行う。ここでは、まず文対作成工程を行う。同意文対生成部２０４の文対作成部４０１において、１つの同意テキストの各文と、それとは別のもう１つの同意テキストの各文とを組み合わせて、文対を作成する。組み合わせは、単純な順列組み合わせで行う。

次いで、文対類似度計算工程を行う。文対類似度計算部４０２において、各文対について類似度を計算する。類似度を計算する手段として、前記文献に記載の文書における単語の出現頻度を基に、文間の類似度を計算する方法や、一致する単語数がいくつあるか等を用いる。

次いで、同意文対出力工程を行う。同意文対出力部４０３で、所定の値以上（例えば、後述する０．６以上）の類似度を持つ文対を同意文対として出力する。

そして、前記同意文対生成部２０４の意文対出力部４０３で出力された同意文対は同義語対候補抽出部２０５に入力される。

次いで、同義語対候補抽出工程を行う。ここでは、同意文対のそれぞれに対し、同意文対に含まれる同意文同士を互いに比較し、以下の３つの条件を全て充足する、互いに異なる単語列対をその前後に存在する１つ以上の単語を含めて同義語対候補として出力する。

ここで、前記条件１と２に現れる「所定の条件を満たす単語列」とは、例えば、「３つで構成される」、あるいは、「自立語を１つ含む」などのような条件を満たすように構成された単語列である。また、前記条件１と２で別々のものを適用しても良い。

前記同義語対候補抽出部２０５で抽出された同義語対候補は、同義語対出力部２０８に入力される。

同義語対出力部２０８では、まず同義語対選択工程を行う。同義語対選択部２０６は、前記同義語対候補抽出部２０５で出力された同義語対候補のうち、「同義語対候補の一方の単語列の中にある単語が、他方の単語列の外のいずれの領域にも存在しない」ようなもののみを選択する。

次いで、編集工程を行う。編集部２０７で編集規則群２０９に記憶された規則を用いて、同義語対選択部２０６により選択された同義語対候補のそれぞれに対し、その前後の単語列を削除する処理を行う。二つの単語列から抽出された同義語対候補に含まれる共通の単語には、同義語として不要なものが含まれることが多い。従って、編集部２０７は、各単語の品詞に基づいて不要な単語を削除する。

最後に、同義語対出力部２０８で、不要な単語を削除した同義語対を出力する。

これが、同義語対抽出装置２０１に入力され、まず、文区切り処理部２０２により、１つ目のテキストが「建築士が構造計算書を偽造したことが発覚した。」と「偽造が行われたのは、東京都内のマンションなどである。」の２つの文に、もう１つのテキストが「構造計算書を改ざんした建築士が、発覚することをおそれて証拠を処分しようとしたことが捜査した警察の調べで明らかになった。」と、「改ざんは１９９８年頃から行われていたという。」の２つの文に切り出される。

次に、切り出された文がそれぞれ、形態素解析処理部２０３に入力され、形態素解析される。

そして、形態素解析された各文が、同意文対生成部２０４に入力される。ここでは、まず、文対作成部４０１で、図８のような単純な順列組み合わせによる４つの文対が作成される。

次に、文対類似度計算部４０２により、各文対の類似度が計算される。これにより、例えば、図８の（ａ）が類似度０．７、（ｂ）が類似度０、（ｃ）が類似度０、（ｄ）が類似度０と計算される。

以上の計算値より、同意文対出力部４０３において、あらかじめ、例えば、「類似度０．６以上の値を持つ文対を同意分対としてする」としておくと、図８の（ａ）の文対が、同意文対として出力される。

次に、前記同意文対生成部２０４から出力された同意文対が同義語対候補抽出部２０５に入力される。

図３は、同義語対候補抽出部２０５による同義語対候補の抽出を示す。図３を参照して、例えば同義文対１２１を互いに比較すると、前記同義語対候補抽出部２０５が調べる条件を満たす単語列対は２つ存在する。それが、単語列対１３１、１３２である。例えば単語列対１３１の場合、同義文対１２１の二つの単語列対のうち、「書／を」という自立語「書」を１つ含んだ単語列が互いに等しく、また、「し」という単語（列）が互いに等しい。そして、その間の単語（列）「偽造」と「改ざん」とは互いに異なっている。従って、「書／を／［偽造］／し」と「書／を／［改ざん］／し」の対が同義語対候補として抽出される。また、同様に、「こと／が／［発覚］／し」と「こと／が／［捜査］／し」の対が同義語対候補として抽出される。ここで「／」は、単語の区切りを表し、［］で囲まれた部分が互いに異なる単語列を表す。

次に、前記同義語対候補抽出部２０５で出力された同義語対候補は、同義語対選択部２０６に入力される。ここで、前記同義語対候補から「同義語対候補の一方の単語列の中にある単語が、他方の単語列の外のいずれの領域にも存在しない」ような対のみを選択する。図７を参照して説明すると、まず同義語対候補１４２の共通単語列は、「ことが」と「し」である。この二つの単語列を先頭及び末尾とする同義語対候補の単語（列）を図７では四角で囲っており、相違部分１５１と呼ぶ。

相違部分１５１に含まれる単語１５３「発覚」は、他方の相違部分相違部分１５２に含まれておらず、その外部の単語として存在している。従ってこの同義語対候補１４２は、同義語対選択部２０６により削除される。

そして、編集部２０７は、編集規則群２０９に記憶された所定の規則を用いて、前記同義語対選択部２０６から出力された同義語対候補に対し、その前後の単語列の削除処理を行う。図４に削除処理の例を示す。同義語対候補１６１の場合、「偽造」と「改ざん」が相違部分である。前記編集規則群２０９の単語削除規則（１）により、共通単語は一律除外するので、「偽造」と「改ざん」が同義語対候補として残される。

最後に、同義語対出力部２０８において、残った全ての同義語対候補である「偽造」と「改ざん」が同義語対として出力される。

［効果］
以上のように、この第２の実施形態にかかる同義語対抽出装置２０１によれば、第１の実施の形態の効果の他に、さらに、同意文を同意文対生成部２０４において類似度が高いものに制限することで、後の処理を行う対象を絞り込むことができ、抽出精度の面と、処理速度の面で向上する。さらに、同義語対選択部２０６を追加したことにより、同義語対候補から、同義語対としてふさわしくない条件の同義語対候補を除外することができ、同義語の抽出精度が向上する。また、編集部２０７により、同義語対から不必要な単語を規則により削除でき、必要な部分だけを残すことができるという効果がある。

［変形例］
前記第２実施形態では、同義語対選択部２０６において、前記同義語対候補抽出部２０５により抽出された同義語対候補のそれぞれに対し、互いに異なる単語列のうち、同義語対候補の一方に属する単語が、同義語対候補の他方が属する同意表現の、前記互いに異なる単語列以外の領域のいずれにも存在しないという条件を満たしているものを選択することとしたが、他の条件を用いても良い。

具体的には、前記同義語対選択部２０６で、前記同義語対候補抽出部２０５により抽出された同義語対候補のそれぞれに対し、前記互いに異なる単語列のうち、同義語対候補の一方に属する単語が、同義語対候補の他方に属する同意表現の、前記互いに異なる単語列の前後に隣接する所定長の領域のいずれにも存在しないという条件を満たしているもののみを選択するようにしても良い。前記互いに異なる単語列の前後に隣接する所定長の領域は、適宜設定する。例えば、異なる単語列の前に２つの単語列、後に１つの単語列とする。なお、他の個数の単語列でもよい。この場合も、前記第２実施形態と同様の作用、効果を奏することができる。

前記各実施形態では、各工程及び予め用意しておくデータの具体的な態様について特に言及しなかったが、コンピュータが処理し得るコードで記述しても、他の態様で記述してもよい。この場合も、前記各実施形態と同様の作用、効果を奏することができる。

また、同義語対抽出装置をコンピュータによって実現するようにしても良い。即ち、同義語対抽出装置を、コンピュータのハードウエアと、そのハードウエアにより実現されるプログラムと、ハードウエアに格納されるデータとによって実現するようにしても良い。具体的には、前記同義語対抽出処理を実現するためのプログラムやその他のデータを格納するハードディスク等の記録手段と、データを処理するＣＰＵ等の処理手段と、キーボードやマウス等の入力手段と、処理結果等のデータを表示するモニター等の表示手段等からなるコンピュータシステムによって同義語対抽出装置を実現しても良い。

また、単語の文字列一致の比較で表層形で比較をしていたが、形態素解析で出力される原形を用いて比較をしても良い。

また、コンピュータシステムをネットワーク上に配設して、前記記録手段や処理手段等を複数箇所や一箇所に設けてもよい。ネットワーク上の既存の機能を利用して、同義語対抽出処理機能を組み込んでも良い。

これらの場合も、前記各実施形態と同様の作用、効果を奏することができる。

本発明の第１の実施形態に係る同義語対抽出装置の機能的構成を示すブロック図である。同意文対生成部での同意文対の生成例を示す模式図である。同義語対候補抽出部による同義語対候補の抽出例を示す模式図である。不要単語の削除処理例を示す模式図である。本発明の第２の実施形態に係る同義語対抽出装置の機能的構成を示すブロック図である。同意文対生成部の機能的構成を示すブロック図である。同義語対選択部での同義語対の選択例を示す模式図である。文対作成部での単純な順列組み合わせによる文対作成例を示す模式図である。

符号の説明

１００：同意テキスト、１０１：同義語対抽出装置、１０２：文区切り処理部、１０３：形態素解析処理部、１０４：同意文対生成部、１０５：同義語対候補抽出部、１０８：同義語対出力部、２００：同意テキスト、２０１：同義語対抽出装置、２０２：文区切り処理部、２０３：形態素解析処理部、２０４：同意文対生成部、２０５：同義語対候補抽出部、２０６：同義語対選択部、２０７：編集部、２０８：同義語対出力部、２０９：編集規則群、４０１：文対作成部、４０２：文対類似度計算部、４０３：同意文対出力部。

Claims

単一の言語で記述された複数の同意テキストを含む文書群から同義語対を抽出するための同義語対抽出装置であって、
前記同意テキストから生成された同意文対を、その同意文対を構成する各単語の文字列と品詞を含めて互いに比較し、同意文対間において共通する複数の単語列と、当該共通する複数の単語列のうちの任意の二つの単語列に挟まれた、同意文対間において互いに異なる単語列からなる単語列対を、同意文対からそれぞれ同義語対候補として抽出するための同義語対候補抽出手段と、
前記同義語対候補抽出手段によって抽出された同義語対候補を編集して同義語対として出力するための同義語対出力手段と
を備えて構成されたことを特徴とする同義語対抽出装置。
単一の言語で記述された複数の同意テキストを含む文書群から同義語対を抽出するための同義語対抽出装置であって、
互いに同じ意味を表す同義語を複数含む前記同意テキストから文単位で文字列を切り出す文区切り処理手段と、
前記同意テキストを構成する単語に対応する品詞情報を付与するための形態素解析処理手段と、
前記複数の同意テキストから、同意テキストに含まれる同意文の対からなる同意文対を作成するための同意文対生成手段と、
前記同意文対生成手段によって、相違する前記同意テキストから生成された同意文対を、その同意文対を構成する各単語の文字列と品詞を含めて互いに比較し、同意文対間において共通する複数の単語列と、当該共通する複数の単語列のうちの任意の二つの単語列に挟まれた、同意文対間において互いに異なる単語列からなる単語列対を、同意文対からそれぞれ同義語対候補として抽出するための同義語対候補抽出手段と、
前記同義語対候補抽出手段によって抽出された同義語対候補を編集して同義語対として出力するための同義語対出力手段と
を備えて構成されたことを特徴とする同義語対抽出装置。
前記同義語対候補抽出手段は、少なくとも一方の単語列に、１つ以上の自立語を含めて比較することを特徴とする請求項１又は２に記載の同義語対抽出装置。
前記同義語対出力手段は、前記同義語対候補揃出手段により抽出された同義語対候補のそれぞれに対し、前記互いに異なる単語列のうち、同義語対候補の一方に属する単語が、同義語対候補の他方が属する単語列の、前記互いに異なる単語列以外の所定の領域に存在しないという条件を満たすもののみを選択するための同義語対選択手段を含むことを特徴とする請求項１ないし３のいずれか１項に記載の同義語対抽出装置。
前記同義語対出力手段は、前記同義語対選択手段により選択した同義語対候補のうち、所定の編集規則により規定される条件に合うものに対し、その条件により指定される編集処理を実行して同義語対を出力するための編集手段を含むことを特徴とする請求項４に記載の同義語対抽出装置。
前記所定の編集規則は所定の単語削除規則を含み、
前記編集手段は、前記同義語対選択手段により選択された同義語対候補のうち、前記単語削除規則のいずれかによって規定される条件に合うものに該当した単語削除規則により指定される処理に従い、
前記同義語対候補のうち少なくとも一方の先頭または末尾に位置する単語または単語列を削除することを特徴とする請求項５に記載の同義語対抽出装置。
前記同義語対選択手段は、前記同義語対候補抽出手段により抽出された同義語対候補のそれぞれに対し、前記互いに異なる単語列のうち、同義語対候補の一方に属する単語が、同義語対候補の他方が属する同意表現の、前記互いに異なる単語列以外の領域のいずれにも存在しないという条件を満たしているものを選択することを特徴とする請求項４ないし６のいずれか１項に記載の同義語対抽出装置。
前記同義語対選択手段は、前記同義語対候補抽出手段により抽出された同義語対候補のそれぞれに対し、前記互いに異なる単語列のうち、同義語対候補の一方に属する単語が、同義語対候補の他方に属する同意表現の、前記互いに異なる単語列の前後に隣接する所定長の領域のいずれにも存在しないという条件を満たしているもののみを選択することを特徴とする請求項４ないし６のいずれか１項に記載の同義語対抽出装置。
前記同意文対生成手段は、相違する同意テキストから、前記文区切り処理手段により切り出された各文を順番に取り出して対を作成する文対作成手段と、
前記文対作成手段で作成した文対に対し、類似度を計算する文対類似度計算手段と、
前記文対類似度計算手段で計算された所定の類似度を持つ文対を同意文対として出力する同意文対出力手段と、
を含むことを特徴とする請求項２ないし８のいずれか１項に記載の同義語対抽出装置。
単一の言語で記述された複数の同意テキストを含む文書群から同義語対を抽出するための同義語対抽出方法であって、
前記同意テキストから生成された同意文対を、その同意文対を構成する各単語の文字列と品詞を含めて互いに比較し、同意文対間において共通する複数の単語列と、当該共通する複数の単語列のうちの任意の二つの単語列に挟まれた、同意文対間において互いに異なる単語列からなる単語列対を、同意文対からそれぞれ同義語対候補として抽出するための同義語対候補抽出工程と、
前記同義語対候補抽出手段によって抽出された同義語対候補を編集して同義語対として出力するための同義語対出力工程と
を備えて構成されたことを特徴とする同義語対抽出方法。
単一の言語で記述された複数の同意テキストを含む文書群から同義語対を抽出するための同義語対抽出方法であって、
互いに同じ意味を表す同義語を複数含む前記同意テキストから文単位で文字列を切り出す文区切り処理工程と、
前記同意テキストを構成する単語に対応する品詞情報を付与するための形態素解析処理工程と、
前記複数の同意テキストから、同意テキストに含まれる同意文の対からなる同意文対を作成するための同意文対生成工程と、
前記同意文対生成手段によって、相違する前記同意テキストから生成された同意文対を、その同意文対を構成する各単語の文字列と品詞を含めて互いに比較し、同意文対間において共通する複数の単語列と、当該共通する複数の単語列のうちの任意の二つの単語列に挟まれた、同意文対間において互いに異なる単語列からなる単語列対を、同意文対からそれぞれ同義語対候補として抽出するための同義語対候補抽出工程と、
前記同義語対候補抽出手段によって抽出された同義語対候補を編集して同義語対として出力するための同義語対出力工程と
を備えて構成されたことを特徴とする同義語対抽出方法。
前記同義語対候補抽出工程は、少なくとも一方の単語列に、１つ以上の自立語を含めて比較することを特徴とする請求項１０又は１１に記載の同義語対抽出方法。
前記同義語対出力工程は、前記同義語対候補揃出工程により抽出された同義語対候補のそれぞれに対し、前記互いに異なる単語列のうち、同義語対候補の一方に属する単語が、同義語対候補の他方が属する単語列の、前記互いに異なる単語列以外の所定の領域に存在しないという条件を満たすもののみを選択するための同義語対選択工程を含むことを特徴とする請求項１０ないし１２のいずれか１項に記載の同義語対抽出方法。
前記同義語対出力工程は、前記同義語対選択工程により選択した同義語対候補のうち、所定の編集規則により規定される条件に合うものに対し、その条件により指定される編集処理を実行して同義語対を出力するための編集工程を含むことを特徴とする請求項１３に記載の同義語対抽出方法。
前記所定の編集規則は所定の単語削除規則を含み、
前記編集工程は、前記同義語対選択工程により選択された同義語対候補のうち、前記単語削除規則のいずれかによって規定される条件に合うものに該当した単語削除規則により指定される処理に従い、
前記同義語対候補のうち少なくとも一方の先頭または末尾に位置する単語または単語列を削除することを特徴とする請求項１４に記載の同義語対抽出方法。
前記同義語対選択工程は、前記同義語対候補抽出工程により抽出された同義語対候補のそれぞれに対し、前記互いに異なる単語列のうち、同義語対候補の一方に属する単語が、同義語対候補の他方が属する同意表現の、前記互いに異なる単語列以外の領域のいずれにも存在しないという条件を満たしているものを選択することを特徴とする請求項１３ないし１５のいずれか１項に記載の同義語対抽出方法。
前記同義語対選択工程は、前記同義語対候補抽出工程により抽出された同義語対候補のそれぞれに対し、前記互いに異なる単語列のうち、同義語対候補の一方に属する単語が、同義語対候補の他方に属する同意表現の、前記互いに異なる単語列の前後に隣接する所定長の領域のいずれにも存在しないという条件を満たしているもののみを選択することを特徴とする請求項１３ないし１５のいずれか１項に記載の同義語対抽出方法。
前記同意文対生成工程は、相違する同意テキストから、前記文区切り処理工程により切り出された各文を順番に取り出して対を作成する文対作成工程と、
前記文対作成工程で作成した文対に対し、類似度を計算する文対類似度計算工程と、
前記文対類似度計算工程で計算された所定の類似度を持つ文対を同意文対として出力する同意文対出力工程と、
を含むことを特徴とする請求項１１ないし１７のいずれか１項に記載の同義語対抽出方法。
前記各工程及び予め用意しておくデータを、コンピュータが処理し得るコードで記述したことを特徴とする請求項１０から１８のいずれかに記載の同義語対抽出方法。