JP2006178671A - 同義語対抽出方法、同義語対抽出装置、同義語対抽出プログラム、及び同義語対抽出プログラム記録媒体 - Google Patents

Abstract

【課題】日本語文書中に含まれる括弧内の単語と括弧直前の単語による単語対を同義語対と判定する場合において、同義語対を精度高く抽出することができる。
【解決手段】同義語対抽出装置１は、形態素解析部１２において、形態素解析を行い、固有表現解析部１４において、形態素解析の結果から固有表現解析を行い、固有表現を有する単語を抽出し、該単語に固有表現カテゴリを付与する。次に、同義語対候補抽出処理部１５において、括弧で囲われた複合名詞と、該括弧の直前に位置する複合名詞の対が存在するか否かを判定し、複合名詞の対が存在するときは、この対を同義語対候補として同義語対候補記憶部１６に格納し、同義語判定処理部１７において、同義語対候補記憶部１６に格納された同義語対候補を取得し、同義語対候補の固有名詞カテゴリが一致するか否かを検証し、一致するときは、同義語対として同義語対記憶部１８に出力する。
【選択図】図１

Description

本発明は、日本語文書に含まれる同義語対を抽出する技術に関し、詳しくは、括弧内の単語と括弧直前の単語による単語対を同義語対と判定する同義語対抽出方法、同義語対抽出装置、同義語対抽出プログラム、及び同義語対抽出プログラム記録媒体に関する。

日本語文章においては、文章中の丸括弧内の単語と、丸括弧直前の単語とは同義語である場合が多い。この丸括弧内の単語と、丸括弧直前の単語で構成される単語対が同義語であるか否かを判定する技術としては、例えば、非特許文献１に示すような技術がある。非特許文献１は、単語を構成する文字種（平仮名や数字の存在）や特徴的な表現（例えば、平成〜、〜年、〜社長など）をもとに同義語になりにくい単語対を同義語対から除く技術を開示している。

また、特許文献１は、丸括弧内の単語と、丸括弧直前の単語で構成される単語対において、丸括弧内の単語が予め定めた数詞や地名であるときは、これを同義語対から除くという技術を開示している。
湯村武、外４名，「テキストデータベースからの同意表現の抽出」，情報処理学会，情報処理学会47回（平成５年後期）全国大会予稿集，3-79−3-80 特許第３３５０５５６号公報

しかしながら、上述した従来技術には、以下のような問題がある。

特許文献１に示すように、同義語対の候補に地名が含まれる場合に、これを除くというのは、「新広島空港（豊田郡本郷町）」のような場合には、有効であるが、「カフカス（コーカサス）」、「ミャンマー（旧ビルマ）」及び「ハンガリー侵攻（ハンガリー動乱）」のようなケースも存在するため、普遍的な規則とはならず、有効に機能しない場合がある。

また、非特許文献１に示すように、同義語対となりにくい特徴的な表現の場合においても、この規則が有効に機能しない場合がある。例えば、「〜会長」の場合を例に挙げると、「政府税制調査会（加藤寛会長）」や「宮沢元蔵相（宮沢派会長）」などがあるが、この場合、前者は同義語候補から除外しても構わないが、後者は同義語対となるべき単語対であるため、除外してはならないものである。

本発明は上記の問題を解決するためになされたものであり、日本語文書中に含まれる括弧内の単語と括弧直前の単語による単語対を同義語対と判定する場合において、同義語対を精度高く抽出することができる同義語対抽出方法、同義語対抽出装置、同義語対抽出プログラム、及び同義語対抽出プログラム記録媒体を提供することを目的とする。

上記目的を達成するため、請求項１記載の本発明は、日本語文書を入力する入力ステップと、入力された日本語文書を単語単位に分割し、各々の単語に品詞属性を与える形態素解析ステップと、前記形態素解析ステップにより与えられた品詞属性に基づいて、各々の単語から固有表現を抽出し、抽出された固有表現を有する単語に固有表現属性を与える固有表現解析ステップと、入力された日本語文書中に現れる括弧内の単語と、該括弧直前の単語の対を同語語対候補として抽出する同語語対候補抽出ステップと、抽出された同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性に基づいて、２つの単語が同義語対であるか否かを判定する同義語判定ステップと、前記同義語判定ステップで判定された同義語対を出力する出力ステップと、をコンピュータが実行する同義語対抽出方法であることを特徴とする。

請求項２記載の本発明は、請求項１記載の発明において、前記同義語判定ステップは、同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性が一致するときは、同義語対であると判定することを特徴とする。

請求項３記載の本発明は、請求項１又は２記載の発明において、前記同語語対候補抽出ステップで抽出される前記括弧内の単語及び前記括弧直前の単語は、複合名詞であることを特徴とする。

請求項４記載の本発明は、日本語文書を入力する入力手段と、入力された日本語文書を単語単位に分割し、各々の単語に品詞属性を与える形態素解析手段と、形態素解析手段により与えられた品詞属性に基づいて、各々の単語から固有表現を抽出し、抽出された固有表現を有する単語に固有表現属性を与える固有表現解析手段と、入力された日本語文書中に現れる括弧内の単語と、該括弧直前の単語を同語語対候補として抽出する同語語対候補抽出手段と、抽出された同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性に基づいて、２つの単語が同義語対であるか否かを判定する同義語判定手段と、前記同義語判定手段で判定された同義語対を出力する出力手段と、を有する同義語対抽出装置であることを特徴とする。

請求項５記載の本発明は、請求項４記載の発明において、前記同義語判定手段は、同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性が一致するときは、同義語対であると判定することを特徴とする。

請求項６記載の本発明は、請求項４又は５記載の発明において、前記同語語対候補抽出手段で抽出される前記括弧内の単語及び前記括弧直前の単語は、複合名詞であることを特徴とする。

請求項７記載の本発明は、コンピュータが読み取り可能な同義語対抽出プログラムであって、日本語文書を入力する入力ステップと、入力された日本語文書を単語単位に分割し、各々の単語に品詞属性を与える形態素解析ステップと、前記形態素解析ステップにより与えられた品詞属性に基づいて、各々の単語から固有表現を抽出し、抽出された固有表現を有する単語に固有表現属性を与える固有表現解析ステップと、入力された日本語文書中に現れる括弧内の単語と、該括弧直前の単語の対を同語語対候補として抽出する同語語対候補抽出ステップと、抽出された同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性に基づいて、２つの単語が同義語対であるか否かを判定する同義語判定ステップと、前記同義語判定ステップで判定された同義語対を出力する出力ステップと、を前記コンピュータに実行させることを特徴とする。

請求項８記載の本発明は、請求項７記載の発明において、前記同義語判定ステップは、同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性が一致するときは、同義語対であると判定することを特徴とする。

請求項９記載の本発明は、請求項７又は８記載の発明において、前記同語語対候補抽出ステップで抽出される前記括弧内の単語及び前記括弧直前の単語は、複合名詞であることを特徴とする。

請求項１０記載の本発明は、請求項７乃至９のいずれか１項に記載の同義語対抽出プログラムをコンピュータが読み取り可能な記録媒体に記録する同義語対抽出プログラム記録媒体であることを特徴とする。

本発明によれば、日本語文書中に含まれる括弧内の単語と括弧直前の単語による単語対を同義語対と判定する場合において、同義語対の候補である単語対の品詞属性及び固有表現属性に基づいて同義語対であるか否かを判定するので、同義語対を精度高く抽出することができる。

以下、本発明の実施の形態を図面を用いて説明する。

図１は本発明の実施の形態に係る同義語対抽出装置１の概略構成図である。図１に示す同義語対抽出装置１は、文書データ記憶部１１、形態素解析部１２、形態素辞書１３、固有表現解析部１４、同義語対候補抽出処理部１５、同義語対候補記憶部１６、同義語判定処理部１７、及び同義語対記憶部１８を備えている。

同義語対抽出装置１は、少なくとも演算機能及び制御機能を備えた中央演算装置（ＣＰＵ）、プログラムやデータを格納する機能を有するＲＡＭ等からなる主記憶装置（メモリ）を有する電子的な装置から構成されているものである。また、同義語対抽出装置１は、主記憶装置の他、ハードディスクなどの補助記憶装置を具備していてもよい。

このうち、形態素解析部１２、固有表現解析部１４、同義語対候補抽出部１５、及び同語語判定処理部１７は、上記ＣＰＵによる演算制御機能を具体的に示したものに他ならない。また、文書データ記憶部１１、形態素辞書１３、同義語対候補記憶部１６、及び同義語対記憶部１８は、上記主記憶装置及び補助記憶装置の機能を備えたものである。

また、本実施の形態に係る各種処理を実行するプログラムは、前述した主記憶装置またはハードディスクに格納されているものである。そして、このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。

さらに、同義語対抽出装置１は、物理的に一つからなる装置の他、複数の装置がネットワーク接続されたシステムなどのいずれの構成であってもよい。

文書データ記憶部１１は、電子化された日本語文書のデータを記憶している文書データベースであり、本実施形態においては、この日本語文書の中から同義語対が抽出されるようになっている。

形態素解析部１２は、文書データ記憶部１１に記憶された日本語文書の形態素解析を行うもので、文書データ記憶部１１から入力された日本語文書を単語単位に分割し、それぞれの単語に品詞情報を与えるようになっている。また、形態素辞書１３は、上述した形態素解析を行う際に、参照される辞書データベースであり、形態素情報としては、品詞、読み、接続情報などを備えている。 尚、本実施の形態における形態素解析方式は、公開されている既存技術を採用するもので、例えば、最長一致法、字種切り法、文節数最小法、接続規則法などのいずれかを用いてもよい。

固有表現解析部１４は、形態素解析部１２において形態素解析された形態素解析済みデータをもとに、該形態素解析済みデータに含まれている固有表現を抽出し、さらに、この固有表現にカテゴリ（以下、固有表現カテゴリという）を付与するようになっている。ここで、抽出対象となる固有表現は、大別して固有名詞的表現（組織名、人名、地名、固有物名）、時間表現（日付表現、時間表現）、数量表現（金額表現、割合表現）などがある。本実施形態においては、固有表現のカテゴリを人名、場所、組織名、日時、一般の５つに分類しており、このうちのいずれかのカテゴリが固有表現に対して与えられる。尚、本実施の形態における固有表現解析方式は、公開されている既存技術を採用するもので、例えば、ＩＲＥＸ（Information Retrieval and Extraction Exercise）などを用いてもよい。

上述した形態素解析及び固有表現解析を、具体例を用いて説明する。例えば、“空から北朝鮮民主主義人民共和国（北朝鮮）の海岸が見える”という文を形態素解析により単語に分割し、品詞情報を与え、さらに、固有表現解析により固有表現カテゴリが与えられると、解析結果は、図２（ａ）のようになる。

同義語対候補抽出処理部１５は、形態素解析と固有表現解析によって得られた単語列の中に、括弧で囲われた複合名詞と、該括弧の直前に位置する複合名詞の対が存在すれば、この対を同義語対候補として抽出し、同義語対候補記憶部１６に記憶するようになっている。ここで、複合名詞とは、名詞及び名詞相当の接辞が結合して一つの名詞になるものをいい、例えば、「自然」「言語」「処理」というような単語をつなげて「自然言語処理」という一つの名詞として扱うものである。

図２（ａ）に示す具体例を用いると、括弧で囲われた複合名詞「北朝鮮」及び、括弧直前に複合名詞「北朝鮮民主主義人民共和国」が存在するので、この単語対を抽出し、固有名詞カテゴリとともに同義語対候補記憶部１６に格納する。尚、図２（ｂ）は、同義語対候補記憶部１６に格納された同義語対候補の一例である。

同義語判定処理部１７は、同義語対候補抽出処理部１５において抽出された同義語対候補を同義語対候補記憶部１６から取得し、固有表現カテゴリを用いて同義語対でないものを除外し、同義語対だけを同義語対記憶部１８に記憶するようになっている。ここで、同義語対の判定は、同義語対候補に含まれる２つの複合名詞の固有表現カテゴリを比較し、一致するときは、同義語対、一致しないときは同義語対でないと判定するものである。

図２（ａ）に示す具体例を用いると、「北朝鮮民主主義人民共和国」の品詞は名詞、固有表現カテゴリは場所、「北朝鮮」の品詞は名詞、固有表現カテゴリは場所であるので（双方の複合名詞が固有表現カテゴリを備え、かつ固有表現カテゴリが一致している）、この同語語対候補を同語語対と判定し、同語語対記憶部１８に記憶する。尚、図２（ｃ）は、同義語対記憶部１８に格納された同義語対の一例である。

また、別の具体例として、“新広島空港（豊田郡本郷町）”を挙げて説明する。この場合、「新広島空港」の品詞は名詞、固有表現カテゴリは一般、「豊田郡本郷町」の品詞は名詞、固有表現カテゴリは場所であるので（双方の複合名詞が固有表現カテゴリを備えているが、固有表現カテゴリは一致していない）、この同語語対候補を除外する。

次に、本実施の形態に係る同義語対抽出装置１の動作を図３を用いて説明する。ここで、図３は、同義語対抽出装置１の動作を示すフローチャートである。

まず、同義語対抽出装置１は、文書データ記憶部１１から日本語文書を読み込み、形態素辞書１３を用いて、形態素解析をする（ステップＳ１０）。

次いで、同義語対抽出装置１は、形態素解析の結果から固有表現解析を行い、固有表現を有する単語を抽出し、該単語に固有表現カテゴリを付与する（ステップＳ２０）。

次いで、同義語対抽出装置１は、括弧で囲われた複合名詞と、該括弧の直前に位置する複合名詞の対が存在するか否かを判定し、複合名詞の対が存在するときは、この対を同義語対候補として同義語対候補記憶部１６に格納する（ステップＳ３０，Ｓ４０）。

次いで、同義語対抽出装置１は、同義語対候補記憶部１６に格納された同義語対候補を取得し、同義語対候補の固有名詞カテゴリが一致するか否かを検証し、一致するときは、同義語対として同義語対記憶部１８に出力する（ステップＳ５０，Ｓ６０，Ｓ７０）。

従って、本実施の形態によれば、日本語文書中に含まれる括弧内の単語と括弧直前の単語による単語対を同義語対と判定する場合において、同義語対の候補である単語対の品詞属性及び固有表現属性に基づいて同義語対であるか否かを判定するので、同義語対を精度高く抽出することができる。

以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。例えば、上記実施の形態においては、括弧内及び括弧直前に存在する複合名詞を対象に同義語対を抽出したが、固有表現部分を有するのであれば、複合名詞の他、単名詞であってもよいものである。

本発明の実施の形態に係る同語語対抽出装置の概略構成図である。 本発明の実施の形態に係る同語語対抽出装置の処理結果の一例である。 本発明の実施の形態に係る同語語対抽出装置の動作を示すフローチャートである。

符号の説明

１…同語語対抽出装置
１１…文書データ記憶部
１２…形態素解析部
１３…形態素辞書
１４…固有表現解析部
１５…同語語対候補抽出処理部
１６…同語語対候補記憶部
１７…同語語判定処理部
１８…同語語対記憶部

Claims (10)

1. 日本語文書を入力する入力ステップと、
   入力された日本語文書を単語単位に分割し、各々の単語に品詞属性を与える形態素解析ステップと、
   前記形態素解析ステップにより与えられた品詞属性に基づいて、各々の単語から固有表現を抽出し、抽出された固有表現を有する単語に固有表現属性を与える固有表現解析ステップと、
   入力された日本語文書中に現れる括弧内の単語と、該括弧直前の単語の対を同語語対候補として抽出する同語語対候補抽出ステップと、
   抽出された同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性に基づいて、２つの単語が同義語対であるか否かを判定する同義語判定ステップと、
   前記同義語判定ステップで判定された同義語対を出力する出力ステップと、
   をコンピュータが実行することを特徴とする同義語対抽出方法。
2. 前記同義語判定ステップは、
   同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性が一致するときは、同義語対であると判定することを特徴とする請求項１記載の同義語対抽出方法。
3. 前記同語語対候補抽出ステップで抽出される前記括弧内の単語及び前記括弧直前の単語は、複合名詞であることを特徴とする請求項１又は２記載の同義語対抽出方法。
4. 日本語文書を入力する入力手段と、
   入力された日本語文書を単語単位に分割し、各々の単語に品詞属性を与える形態素解析手段と、
   形態素解析手段により与えられた品詞属性に基づいて、各々の単語から固有表現を抽出し、抽出された固有表現を有する単語に固有表現属性を与える固有表現解析手段と、
   入力された日本語文書中に現れる括弧内の単語と、該括弧直前の単語を同語語対候補として抽出する同語語対候補抽出手段と、
   抽出された同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性に基づいて、２つの単語が同義語対であるか否かを判定する同義語判定手段と、
   前記同義語判定手段で判定された同義語対を出力する出力手段と、
   を有することを特徴とする同義語対抽出装置。
5. 前記同義語判定手段は、
   同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性が一致するときは、同義語対であると判定することを特徴とする請求項４記載の同義語対抽出装置。
6. 前記同語語対候補抽出手段で抽出される前記括弧内の単語及び前記括弧直前の単語は、複合名詞であることを特徴とする請求項４又は５記載の同義語対抽出装置。
7. コンピュータが読み取り可能な同義語対抽出プログラムであって、
   日本語文書を入力する入力ステップと、
   入力された日本語文書を単語単位に分割し、各々の単語に品詞属性を与える形態素解析ステップと、
   前記形態素解析ステップにより与えられた品詞属性に基づいて、各々の単語から固有表現を抽出し、抽出された固有表現を有する単語に固有表現属性を与える固有表現解析ステップと、
   入力された日本語文書中に現れる括弧内の単語と、該括弧直前の単語の対を同語語対候補として抽出する同語語対候補抽出ステップと、
   抽出された同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性に基づいて、２つの単語が同義語対であるか否かを判定する同義語判定ステップと、
   前記同義語判定ステップで判定された同義語対を出力する出力ステップと、
   を前記コンピュータに実行させることを特徴とする同義語対抽出プログラム。
8. 前記同義語判定ステップは、
   同義語対候補に含まれる２つの単語の品詞属性及び固有表現属性が一致するときは、同義語対であると判定することを特徴とする請求項７記載の同義語対抽出プログラム。
9. 前記同語語対候補抽出ステップで抽出される前記括弧内の単語及び前記括弧直前の単語は、複合名詞であることを特徴とする請求項７又は８記載の同義語対抽出プログラム。
10. 請求項７乃至９のいずれか１項に記載の同義語対抽出プログラムをコンピュータが読み取り可能な記録媒体に記録することを特徴とする同義語対抽出プログラム記録媒体。
    
    

Images