JP2002163291A - 類似文書検索装置、類似文書検索方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】複数の部分単語から構成される単語を辞書に登
録した場合でも、その単語の部分単語による複合語の抽
出を可能とし、また、意味のない単語生成を抑制する。 【解決手段】形態素解析辞書に登録された単語にどのよ
うな部分単語から構成されているのかを示す単語構成情
報および上記部分単語からの特定の単語の生成を抑制す
る抑制情報を付与しておく。この形態素解析辞書を参照
して検索キー文書および検索対象文書から単語を抽出し
た際に（Ｄ１１，Ｄ１２）、その部分単語を単語構成情
報に基づいて取得し、上記部分単語から所定数以下の単
語の組み合わせからなる複合語を生成する（Ｄ１３〜１
５）。また、この複合語の中から上記抑制情報に基づい
て上記特定の単語を除外する（Ｄ１６）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、検索キーとして与
えられた文書の内容に類似している文書を予めカテゴリ
ー分けされた検索対象文書データベースから抽出する類
似文書検索装置と、類似文書を検索するための類似文書
検索方法及び記録媒体に関する。

【０００２】

【従来の技術】例えば、特許の引用文献等として用いら
れる各種文書をデータベース化しておき、その中から検
索キーとして与えられた文書（以下、検索キー文書と称
す）に類似する文書を自動検索するシステムがある。こ
のようなシステムでは、検索キー文書に含まれている単
語と検索対象となる文書（以下、検索対象文書と称す）
に含まれている単語とを比較し、共通する単語の種類、
出現場所、出現回数などからベクトル空間法などにより
類似度を算出して、類似度の高い文書を検索結果として
出力している。

【０００３】このようなシステムにおいて、類似文書の
検索精度を向上させるには、検索キー文書と検索対象文
書との間で共通な単語を如何にして正しく抽出するかが
ポイントになってくる。文書からの単語抽出には形態素
解析を用いる場合が多いが、その形態素解析の解析ミス
を防ぐためには辞書（形態素解析辞書）の拡充が必要に
なってくる。

【０００４】例えば、「相加平均」という文字列を正し
く単語切りするためには、「相加平均」という単語その
ものを辞書に登録しておくことで「相加平均」という単
語を抽出するか、あるいは、「相加」及び「平均」とい
う２つの単語を辞書に登録しておくことで「相加」及び
「平均」の２単語に分けて抽出する。

【０００５】前者の方法は、様々な分野の様々な文章中
に出てくる単語総てを網羅した辞書を作成する必要があ
るが、１つの意味を表す単位で単語を抽出できるという
利点がある。後者の方法は、単語を構成する部品を登録
しておけば、それらを組み合わせて作成される単語につ
いては辞書登録の必要がなくなるが、単語抽出結果が１
つの意味を表す単位ではなく、単語の部品毎にばらばら
に分かれてしまうという問題がある。この問題を解決す
るために、後者の方法に加えて、複合語を生成する技術
が併用して用いられている。複合語生成技術を用いれ
ば、「相加」と「平均」を結合して「相加平均」といっ
た単語を抽出できる。

【０００６】このように、複合語生成技術は、辞書への
登録数増加を抑えつつ、新たな専門用語等にも対応でき
るといった特徴を持つが、類似文書検索に応用した場合
には、以下のような問題点がある。

【０００７】例えば、検索キー文書に、「筆文字宛名印
刷機能を中心とするソフトウェア」といった文章が含ま
れており、検索対象文書に、「筆文字で宛名印刷をする
機能を加えたソフトウェア」といった文章が含まれてい
たとする。

【０００８】これらの文章から複合語生成技術を用いて
単語抽出を行うと、検索キー文書からは「筆文字宛名印
刷機能」、「中心」、「ソフトウェア」といった単語が
抽出され、検索対象文書からは「筆文字」、「宛名印
刷」、「機能」、「加える」、「ソフトウェア」といっ
た単語が抽出される。このため、両者から抽出された単
語に共通部分が少ないため両者の類似度は低くなってし
まう。これは、検索キー文書からは「筆」、「文字」、
「宛名」、「印刷」、「機能」を結合した「筆文字宛名
印刷機能」のみが抽出されたことによる。

【０００９】このような問題に対し、特開平１１−２５
９４８７号公報では、予め指定された上限値以下の単語
から構成されるすべての複合語を抽出するといった方法
を提案している。例えば上限値を２とすると、検索キー
文書からは「筆」、「筆文字」、「文字」、「文字宛
名」、「宛名」、「宛名印刷」、「印刷」、「印刷機
能」、「機能」、「中心」、「ソフトウェア」といった
単語が抽出され、検索対象文書からは「筆文字」、
「筆」、「文字」、「宛名印刷」、「宛名」、「印
刷」、「機能」、「加える」、「ソフトウェア」という
単語が抽出されることになり、両者の共通単語を増やす
ことができる。

【００１０】

【発明が解決しようとする課題】上述したように複合語
生成技術を用いれば、効果的に機能することがある反
面、場合によっては問題が生じることもある。そのうち
の最も大きな問題として、辞書の語彙拡充の影響を受け
やすいという問題が挙げられる。

【００１１】すなわち、上記の例で、「筆文字宛名印刷
機能」といった単語を辞書に追加登録したとする。この
ような場合、形態素解析のルールでは文字数の多い単語
を優先するように定められているため、上記検索キー文
書からは、「筆文字宛名印刷機能」、「中心」、「ソフ
トウェア」といった単語しか抽出されない。つまり、辞
書に「筆文字宛名印刷機能」を登録したことで、今まで
出力されていた部分単語による複合語が出力されなくな
り、検索対象文書との共通単語が減ってしまうことにな
る。このように、辞書に新たな単語を追加しただけで単
語抽出に影響が生じるため、辞書への単語の拡充は慎重
に行わなければならないといった問題があった。

【００１２】また、上記公報のように指定の単語数の範
囲内で複数の複合語を作成する方法では、すべての組み
合わせからなる複合語が抽出されるため、例えば「文字
宛名」のような意味不明な単語までも抽出されることに
なり、類似文書の検索精度に影響を与えるといった問題
があった。

【００１３】本発明は上記の問題を解決するためになさ
れたものであり、複数の部分単語から構成される単語を
辞書に登録した場合でも、その単語の部分単語による複
合語の抽出を可能とし、また、意味のない単語生成を抑
制することのできる類似文書検索装置、類似文書検索方
法及び記録媒体を提供することを目的とする。

【００１４】

【課題を解決するための手段】本発明は、検索キーとし
て与えられた文書に類似する文書を複数の検索対象文書
の中から検索する類似文書検索装置において、複数の部
分単語から構成された単語がその単語の構成を示す単語
構成情報と共に登録された形態素解析辞書と、この形態
素解析辞書を参照して上記検索キー文書及び上記検索対
象文書から単語を抽出する単語抽出手段と、この単語抽
出手段によって抽出された単語の部分単語を上記単語構
成情報に基づいて取得する部分単語取得手段と、この部
分単語取得手段によって得られた部分単語から所定数以
下の単語の組み合わせからなる複合語を生成する複合語
生成手段と、この複合語生成手段によって生成された複
合語を上記単語抽出手段による単語抽出結果に加え、こ
れらの単語の情報に基づいて上記検索キー文書と上記検
索対象文書情報との類似度を算出する類似度算出手段
と、この類似度算出手段によって算出された類似度に基
づいて上記複数の検索対象文書の中から上記検索キー文
書と類似する文書を検索する文書検索手段とを具備して
構成される。

【００１５】このような構成によれば、形態素解析辞書
に登録された単語にどのような部分単語から構成されて
いるのかを示す単語構成情報を付与しておくことで、検
索キー文書及び検索対象文書から単語を抽出する際に、
その単語の部分単語による複合語も合わせて抽出するこ
とができる。

【００１６】また、上記部分単語からの特定の単語の生
成を抑制する抑制情報を上記形態素解析辞書に登録され
た単語に付与しておくことで、複合語を生成する際に意
味不明な単語の生成を抑制して類似文書の検索精度を高
めることができる。

【００１７】

【発明の実施の形態】以下、図面を参照しながら本実施
形態を説明する。

【００１８】図１は本発明の一実施形態に係る類似文書
検索装置のハードウェア構成を示す図である。なお、本
装置は、例えば磁気ディスク等の記録媒体に記録された
プログラムを読み込み、このプログラムによって動作が
制御されるコンピュータによって実現される。

【００１９】図１に示すように、本実施形態である類似
文書検索装置は、制御装置１１、入力装置１２、表示装
置１３、メモリ１４、外部記憶装置１５から構成され、
各装置は互いにバスを介して結合されている。

【００２０】制御装置１１は中央演算処理装置（ＣＰ
Ｕ）からなり、メモリ１４に予め記録されたプログラム
あるいは外部記憶装置１５を介して記録媒体に記録され
たプログラムを読み込むことで本装置に関わる各種の処
理を実行する。

【００２１】入力装置１２はキーボード、ペン、マウ
ス、タブレットあるいはタッチパネル等からなり、文字
列、各種データの入力や指示を行う。

【００２２】表示装置１３はＣＲＴ（Cathode-ray tub
e）やＬＣＤ（Liquid Crystal Display）などのディス
プレイと表示コントローラからなり、検索結果やシステ
ムからユーザへの指示を表示する。

【００２３】メモリ１４はＲＯＭ、ＲＡＭ等からなり、
図２に示すように制御装置１１が各種制御や処理を実行
するためのプログラム部２１と、処理の際に必要なデー
タを格納するためのバッファ部２２とからなる。

【００２４】外部記憶装置１５はハードディスク装置、
光磁気ディスク装置、フラッシュメモリ等の記憶装置と
そのコントローラからなり、装置の電源断の後に永続的
保存が必要なデータを格納する。具体的には図５に示す
ように、複数の検索対象文書をデータベース化した検索
対象文書データベース１５ａと、不要語とするパターン
を指定した不要語情報１５ｂと、抽出対象となる品詞を
指定した抽出品詞情報１５ｃと、文を形態素解析するた
めに必要な各単語の情報を収容した形態素解析辞書１５
ｄと、複合語を生成するときの単語の最大接続数を示す
合成語最大接続数１５ｅとを含む。

【００２５】また、図３に示すように、メモリ１４のプ
ログラム部２１は、類似文献を検索するための検索キー
となる文書（検索キー文書）を入力するための検索キー
入力手段２１ａと、検索結果等を表示装置１３に表示す
るための表示手段２１ｂと、検索キー文書と検索対象文
書との類似度を算出する類似度算出手段２１ｃと、不要
語情報１５ｂを読み込むための不要語情報読み込み手段
２１ｄと、抽出品詞情報１５ｃを読み込むための抽出品
詞情報読み込み手段２１ｅと、検索キー文書から単語情
報を抽出すると共に検索対象文書から単語情報を抽出す
る単語抽出手段２１ｆと、検索キー文書と検索対象文書
との類似度に基づいて類似文書を選択するための類似文
書選択手段２１ｇからなっている。

【００２６】また、図４に示すように、メモリ１４のバ
ッファ部２２は、検索キー文書から得られた単語情報と
検索対象文書から得られた単語情報との類似度算出結果
を複数格納するための類似度格納バッファ２２ａと、外
部記憶装置１５上に格納された不要語情報１５ｂを読み
込むための不要語情報格納バッファ２２ｂと、外部記憶
装置１５上に格納された抽出品詞情報５ｄを読み込むた
めの抽出品詞情報格納バッファ２２ｃと、形態素解析辞
書１５ｄに収容された構成単語情報を読み込むための構
成単語情報格納バッファ２２ｄと、形態素解析辞書１５
ｄに収容された生成単語抑制情報を読み込むための生成
単語抑制情報格納バッファ２２ｅと、検索キー文書を格
納するための検索キー格納バッファ２２ｆと、検索キー
文書から抽出された単語情報を格納するための検索キー
抽出単語情報格納バッファ２２ｇと、検索対象文書から
抽出された単語情報を格納するための検索対象文書抽出
単語情報格納バッファ２２ｉと、各処理に必要なローカ
ル変数などを格納するための一時変数格納バッファ２２
ｊと、合成語最大接続数を格納するための合成語最大接
続数格納バッファ２２ｋとからなる。

【００２７】また、図５に示す外部記憶装置１５におい
て、検索対象文書データベース１５ａには検索対象とな
る各種の文書が分類分けされて格納されている。例えば
特許引用文献の調査であれば、各種の引用文献がその技
術分野毎にデータベース化されて登録されている。

【００２８】不要語情報１５ｂは、複合語の生成結果の
中で不要語として除去するものを指定した情報であり、
図６に示すようにワイルドカード「＊」を用いて表現さ
れている。図６における「上記＊」は「上記」という文
字列で始まる語はすべて不要語として扱うという意味で
あり、「本＊」は「本」という文字列で始まる語はすべ
て不要語として扱うという意味である。

【００２９】抽出品詞情報１５ｃは、図７に示すように
複合語を合成する際に抽出対象とする品詞を指定した情
報である。図７の例は、名詞のみを抽出するという意味
である。

【００３０】形態素解析辞書１５ｄは、図８に示すよう
な構造を有しており、１レコードは「単語」、「品
詞」、「構成単語情報」、「生成単語抑制情報」の４項
目からなる。「単語」項目は単語の表記、「品詞」項目
は単語の品詞を示す。「構成単語情報」項目および「生
成単語抑制情報」項目は本発明の特徴部分であり、「構
成単語情報」項目は単語がどのような部分単語から構成
されているのかを示し、「生成単語抑制情報」は構成単
語情報を用いて複合語の合成をした際に生成を抑制する
単語を示す。

【００３１】１レコード中、「単語」および「品詞」の
２項目は必須項目であり省略はできないが、「構成単語
情報」および「生成単語抑制情報」の２項目は記述の省
略ができる。図８の例で１レコード目の「本」という単
語の品詞は「名詞」であり、その単語に関する構成単語
情報および単語生成抑制情報は省略されている。また、
８レコード目の「筆文字宛名印刷機能」という単語の品
詞は「名詞」であって、この単語は「筆」、「文字」、
「宛名」、「印刷」、「機能」の５つの部分単語から構
成され、それぞれの単語の品詞はすべて名詞であり、
「文字宛名」という複合語は抑制するということを意味
している。本実施形態では、上記「筆文字宛名印刷機
能」を新たに辞書登録された単語（複数の部分単語から
なる単語）としている。

【００３２】図９は検索キー文書の内容を示す図、図１
０は検索対象文書１の内容を示す図であり、検索キー文
書には「筆文字宛名印刷機能」といった単語が含まれて
いるものとする。

【００３３】図１１は図９の検索キー文書から単語を抽
出した場合の結果を示す図であり、「筆文字宛名印刷機
能」といった単語が辞書登録される前の単語抽出結果
と、辞書登録後の従来方式の単語抽出結果と本発明の方
式の単語抽出結果とを比較して示してある。

【００３４】図１２は図１０の検索対象文書１から単語
を抽出した場合の結果を示す図であり、「筆文字宛名印
刷機能」といった単語が辞書登録される前の単語抽出結
果と、辞書登録後の単語抽出結果とを比較して示してあ
る。

【００３５】図１３は図９の検索キー文書と図１０の検
索対象文書１との共通単語を示す図であり、「筆文字宛
名印刷機能」といった単語が辞書登録される前の共通単
語と、辞書登録後の従来方式の共通単語と本発明の方式
の共通単語とを比較して示してある。

【００３６】図１４は検索キー文書の形態素解析結果を
示す図であり、右側が「筆文字宛名印刷機能」を登録す
る前の形態素解析結果、左側が「筆文字宛名印刷機能」
を登録した後の形態素解析結果を示している。

【００３７】図１５は単語構成情報の読み込み結果を示
す図である。この例では、図９に示す検索キー文書から
抽出された「筆文字宛名印刷機能」の単語構成情報が示
されており、「筆」、「文字」、「宛名」、「印刷」、
「機能」といった部分単語とそれらの品詞（名詞）が単
語構成情報格納バッファ２２ｄに格納されている。

【００３８】図１６は生成単語抑制情報の読み込み結果
を示す図である。この例では、図９に示す検索キー文書
から抽出された「筆文字宛名印刷機能」の生成単語抑制
情報が示されており、「文字宛名」といった単語が生成
単語抑制情報格納バッファ２２ｅに格納されている。

【００３９】図１７は単語生成処理の過程を説明するた
めの図であり、図中のＩとＪは単語生成時に参照される
ローカル変数を示している。なお、詳しい説明は後に図
２２を参照して行う。

【００４０】次に、本装置の動作を図１８乃至２３に示
すフローチャートを参照して説明する。

【００４１】図１８は本装置の類似文書処理の動作を示
すフローチャートである。

【００４２】本実施形態における類似文献検索装置の電
源が投入されると、ブートストラップ等の起動処理を経
て図１８に示す処理を記述したプログラムがメモリ１４
中のプログラム部２１にロードされた後、実行される。

【００４３】この処理では、まず、各バッファを初期化
するなどの初期化処理が行われた後（ステップＡ１
１）、外部記憶装置１５から不要語情報１５ｂおよび抽
出品詞情報１５ｃが読み出されて、それぞれ不要語情報
格納バッファ２２ｂおよび抽出品詞情報格納バッファ２
２ｃに格納される（ステップＡ１２，Ａ１３）。不要語
情報１５ｂは不要語として扱う単語を示す情報であり、
ここでは図６に示すように、「上記」という文字列で始
まる語と「本」という文字列で始まる語をすべて不要語
として扱うものとする。また、抽出品詞情報１５ｃは抽
出対象とする品詞を示す情報であり、ここでは図７に示
すように「名詞」を対象とする。

【００４４】続いて、外部記憶装置１５に保存されてい
る合成語最大接続数１５ｅが合成語最大接続数格納バッ
ファ２２ｋに読み込まれる（ステップＡ１４）。ここで
は、合成語最大接続数を２とする。これは、最大で２単
語を組み合わせた複合語を生成することを意味する。

【００４５】このような処理を終えた後、制御装置１１
は入力装置１２を介して検索キーとして指定された文書
（検索キー文書）の入力処理を行い（ステップＡ１
５）、終了かどうかを判定し（ステップＡ１６）、終了
でなければ類似文書検索処理を実行した後（ステップＡ
１７）、再び検索キー入力処理に戻る。終了であれば、
終了処理を行って（ステップＡ１８）、装置の動作は終
了する。

【００４６】上記ステップＡ１５で実行される検索キー
入力処理について図１９を用いて説明する。

【００４７】図１９は本装置の検索キー入力処理の動作
を示すフローチャートである。

【００４８】まず、制御装置１１は検索キー入力手段２
１ａを用いて入力装置１２から検索キー文書を取得する
（ステップＢ１１）。ここで、制御装置１１は入力装置
１２から終了ボタン等の押下による終了指示が送られた
かどうかを判定する（ステップＢ１２）。終了指示がな
ければ（ステップＢ１２のＮｏ）、制御装置１１は上記
検索キー文書を検索キー格納バッファ２２ｆに格納した
後（ステップＢ１３）、その内容を表示手段１ｂを通じ
て表示装置１３に表示する（ステップＢ１４）。

【００４９】一方、終了指示があれば（ステップＢ１２
のＹｅｓ）、制御装置１１は終了であることを表す値を
検索キー格納バッファ２２ｆに格納し（ステップＢ１
５）、コール元にリターンする。本実施形態では、図９
に示すように、「本報告書は、筆文字宛名印刷機能を中
心とするソフトウェアに関するものである。」といった
文書が検索キーとして入力されたものとする。

【００５０】なお、検索キー文書の入力は、予め検索キ
ーとして用意されている各種文書の中でユーザが選択し
た文書を入力する方法などがあるが、その入力方法につ
いては限定されるものではない。

【００５１】次に、上記ステップＡ１７で実行される類
似文書検索処理について図２０を用いて説明する。

【００５２】図２０は本装置の類似文書検索処理の動作
を示すフローチャートである。

【００５３】制御装置１１は、まず、単語抽出手段２１
ｆを用いて検索キー格納バッファ２２ｆに格納された検
索キー文書から単語情報の抽出を行い、その単語抽出結
果を検索キー単語情報格納バッファ２２ｇに入れる（ス
テップＣ１１）。

【００５４】ここで、制御装置１１は、ローカル変数Ｉ
に初期値の１をセットすると共に、ローカル変数Ｎに検
索対象文書数をセットして（ステップＣ１２）、Ｉ≦＜
Ｎ（Ｉの値がＮ以下）という条件が満たされている間、
ステップＣ１４〜Ｃ１７の処理を繰り返す（ステップＣ
１３）。

【００５５】すなわち、制御装置１１は、まず、予め検
索時に指定されている分類を対象として、検索対象文書
データベース１５ａの中からＩ番目の検索対象文書を検
索対象文書格納バッファ２２ｈに読み込み（ステップＣ
１４）、単語抽出手段２１ｆを用いて検索対象文書格納
バッファ２２ｈに格納した検索対象文書から単語情報の
抽出を行い、その単語抽出結果を検索対象文書単語情報
格納バッファ２２ｉに格納する（ステップＣ１５）。

【００５６】次に、制御装置１１は、類似度算出手段２
１ｃを用いて検索キー単語情報格納バッファ２２ｆに格
納された検索キー文書の単語情報と検索対象文書単語情
報格納バッファ２２ｉに格納された検索対象文書の単語
情報との類似度を算出し、その結果をＩ番目の文書類似
度として類似度格納バッファ２２ａに格納する（ステッ
プＣ１６）。そして、ローカル変数Ｉの値を＋１更新し
（ステップＣ１７）、ステップＣ１３の判断処理に戻
る。

【００５７】このようにして、検索対象文書の数Ｎだけ
上記の処理が繰り返して実行されると、類似度格納バッ
ファ２２ａには検索キー文書に対する各検索対象文書毎
の類似度がセットされる。そこで、制御装置１１は類似
文書選択手段２１ｇを用いて類似度格納バッファ２２ａ
に格納されたＮ個の検索対象文書との類似度から最も類
似の高い文書を類似文書として選択し（ステップＣ１
８）、その選択した文書を検索結果として表示手段２１
ｂを用いて所定の形式で表示装置１３に表示し（ステッ
プＣ１９）、コール元にリターンする。

【００５８】なお、類似文書の検索結果の表示は、例え
ば該当する文書の識別番号等を一覧形式で表示する方法
などがあるが、その表示方法については特に限定される
ものではない。

【００５９】次に、上記ステップＣ１１およびステップ
Ｃ１５で実行される単語抽出処理について図２１を用い
て説明する。

【００６０】図２１は本装置の単語抽出処理の動作を示
すフローチャートである。

【００６１】制御装置１１は、まず、形態素解析辞書１
５ｄに格納されている情報を用いて、文書の中から単語
を抽出するための形態素解析処理を行う。その際、形態
素解析した結果、抽出された単語に構成単語情報および
生成単語抑制情報が付与されていれば、それらの情報を
構成単語情報格納バッファ２２ｄおよび生成単語抑制情
報格納バッファ２２ｅにそれぞれ格納しておく（ステッ
プＤ１１）。

【００６２】ここでは例として、図９に示す検索キー文
書を図８に示す形態素解析辞書１５ｄを用いて形態素解
析した結果を図１４に示す。本発明の効果を確認するた
めに「筆文字宛名印刷機能」という単語を形態素解析辞
書１５ｄに登録しない状態と登録した状態の両方の結果
を対比させて示してある。また、「筆文字宛名印刷機
能」といった単語が形態素解析辞書１５ｄに登録されて
いる場合において、この単語には単語構成情報および生
成単語抑制情報が付与されているため、その情報が構成
単語情報格納バッファ２２ｄおよび生成単語抑制情報格
納バッファ２２ｅにそれぞれ読み込まれる。その様子を
図１５および図１６に示す。

【００６３】次に、制御装置１１は、上記形態素解析処
理によって得られた各単語を対象として単語抽出手段２
１ｆを用いて単語生成処理を行う（ステップＤ１２）。

【００６４】また、制御装置１１は、構成単語情報の総
数をローカル変数ｎにセットすると共にローカル変数Ｉ
に初期値の１をセットした後（ステップＤ１３）、Ｉ≦
Ｎの条件が成立する間、ステップＤ１５〜ステップＤ１
８の処理を繰り返し行う（ステップＤ１４）。ここでは
構成単語情報は「筆文字宛名印刷機能」のみについてい
るのでは構成単語情報の総数ｎ＝１であり、１回のルー
プでここでの処理を抜けることになる。

【００６５】すなわち、Ｉ≦Ｎであるとき、制御装置１
１は構成単語情報（つまり、構成単語情報で示される部
分単語）に対して単語抽出手段２１ｆを用いて単語生成
処理を行い（ステップＤ１５）、その単語生成結果の中
に生成単語抑制情報で示された抑制単語が存在する場合
には（ステップＤ１６のＹｅｓ）、該当する単語を除外
する（ステップＤ１７）。

【００６６】このような処理を行った後、ローカル変数
Ｉの値を＋１更新して、ステップＤ１４に戻る。ｎ回分
のループ処理を終えた後、コール元にリターンする。

【００６７】次に、上記ステップＤ１２およびステップ
Ｄ１５で実行される単語生成処理について図２２を用い
て説明する。

【００６８】図２２は本装置の単語生成処理の動作を示
すフローチャートである。

【００６９】制御装置１１は、まず、図１８のステップ
Ａ１４で合成語最大接続数格納バッファ２２ｋに読み込
んでおいた合成語最大接続数１５ｅをローカル変数Ｍに
セットすると共に、処理対象となる単語の数をローカル
変数Ｐにセットする（ステップＥ１１）。本実施形態で
は、合成語最大接続数１５ｅを２としているので、ロー
カル変数Ｍには２がセットされる。処理対象単語の数Ｐ
は形態素解析の結果により得られた単語数であり、図１
４の右側の例（「筆文字宛名印刷機能」を登録した後の
解析結果）の場合には、ローカル変数Ｐには１５がセッ
トされる。また、図２１のステップＤ１５の構成単語情
報からの単語生成時には図１５に示すようにＰ＝５とな
る。

【００７０】ここで、制御装置１１はローカル変数Ｉに
初期値の１をセットした後（ステップＥ１２）、Ｉ≦Ｐ
の条件が成立する間、ステップＥ１３〜Ｅ２０の処理を
繰り返し行う（ステップＥ１３）。

【００７１】すなわち、制御装置１１は、形態素解析結
果のＩ番目の単語の品詞が図１８のステップＡ１３ｃで
抽出品詞情報格納バッファ２２ｂに読み込んだ抽出品詞
か否かを調べる（ステップＥ１４）。本実施形態では、
図７に示すように抽出品詞は名詞のみなので、名詞であ
れば真となる。Ｉ番目の単語が抽出品詞であった場合に
は（ステップＥ１４のＹｅｓ）、制御装置１１はローカ
ル変数Ｊに初期値の０をセットした後（ステップＥ１
５）、形態素解析結果により得られたＩ＋Ｊ番目の単語
が抽出品詞Ｉ＋Ｊ番目が抽出品詞が否かを調べ（ステッ
プＥ１６）、抽出品詞であればステップＥ１７の処理に
進み、抽出品詞でなければステップＥ２０の処理に進
む。

【００７２】Ｉ＋Ｊ番目の単語が抽出品詞であった場合
（ステップＥ１６のＹｅｓ）、制御装置１１はＩ番目か
らＩ＋Ｊ番目までの単語を合成したものを作成し、それ
が不要語情報格納バッファ２２ｂに格納されている不要
語情報に示される単語にマッチしない場合に単語抽出結
果に加え（ステップＥ１７）、ローカル変数Ｊの値を＋
１更新する（ステップＥ１８）。本実施形態では、図６
に示すように、「上記」という文字列で始まる語と、
「本」という文字列で始まる語はすべて不要語として扱
われる。

【００７３】ここで、ローカル変数Ｊの値を＋１更新し
たとき、Ｊ＜ＭかつＩ＋Ｊ≦Ｐの条件を満たす場合には
（ステップＥ１９のＹｅｓ）、制御装置１１は上記ステ
ップＥ１６からの処理に戻って上記同様の処理を繰り返
す。一方、Ｊ＜ＭかつＩ＋Ｊ≦Ｐの条件を満たさない場
合には（ステップＥ１９のＹｅｓ）、ローカル変数Ｉの
値を＋１更新して次の単語の処理に移る。また、上記ス
テップＥ１４でＩ番目の単語が抽出品詞でなかった場合
または上記ステップＥ１６でＩ＋Ｊ番目の単語が抽出品
詞でなかった場合には、ローカル変数Ｉの値を＋１更新
して次の単語の処理に移る。

【００７４】ここで、図１４の右側の形態素解析結果を
単語生成処理にかけた場合には、図１７に示すような順
番で単語が生成されることになる。

【００７５】すなわち、図１７に示すように、まず、Ｉ
＝１、Ｊ＝０のとき、「本」といった単語が得られる
が、これは図７に示す抽出品詞（名詞）に該当するが、
図６に示す不要語に該当するため棄却される。また、Ｉ
＝１、Ｊ＝１のとき、「本報告書」といった単語が得ら
れるが、これも不要語に該当するため棄却される。ここ
で、Ｊ＝２のときに、合成語最大接続数Ｍ＝２（最大２
単語以下で複合語を生成する）の条件に一致するため、
次の単語生成に移る（Ｉ＝Ｉ＋１）。

【００７６】Ｉ＝２、Ｊ＝０のとき、「報告書」が生成
される。この単語は抽出品詞と不要語の条件を満たすた
め、抽出単語として検索対象文書抽出単語情報格納バッ
ファ２２ｉに格納される。次に、Ｉ＝２、Ｊ＝１のと
き、「報告書は」といった単語が得られるが、「報告書
は」の「は」は抽出品詞でないので次の単語生成に移る
（Ｉ＝Ｉ＋１）。

【００７７】以下、同様にして、合成語最大接続数Ｍ＝
２の範囲内で各単語を結合した複合語が生成されるが、
その際に抽出品詞でないものや、不要語であるものに関
しては除外されることになる。

【００７８】その結果、図９に示す検索キー文書からは
「報告書」、「筆文字宛名印刷機能」、「中心」、「ソ
フトウェア」といった４つの単語が生成される。この場
合、「筆文字宛名印刷機能」には図１５に示すような構
成単語情報があるので、これも単語生成処理にかけら
れ、この「筆文字宛名印刷機能」を構成する部分単語か
ら「筆」、「筆文字」、「文字」、「文字宛名」、「宛
名」、「宛名印刷」、「印刷」、「印刷機能」、「機
能」といった単語が生成される。ただし、このうちの
「文字宛名」といった単語については、生成単語抑制情
報で示された単語（意味不明な単語）に該当するため、
図２１のステップＤ１７の処理で除外される。

【００７９】以上の処理をまとめると、図９の検索キー
文書からは図１１に示すような単語が抽出され、図１０
に示す検索対象文書１からは図１２に示すような単語が
抽出されることになる。また、検索キー文書と検索対象
文書１との共通単語は図１３に示すようになる。ここ
で、「登録前」とは「筆文字宛名印刷機能」を形態素解
析辞書１５ｄに登録する前であり、「登録後」とは「筆
文字宛名印刷機能」を形態素解析辞書１５ｄに登録した
後である。「登録後（旧）」とあるのは単語構成情報お
よび生成単語抑制情報を持たない従来方式による単語抽
出結果であり、「登録後（新）」とあるのは単語構成情
報および生成単語抑制情報を持った本方式による単語抽
出結果である。

【００８０】次に、上記図２０のステップＣ１６で実行
される類似度算出処理について図２３を用いて説明す
る。

【００８１】図２３は本装置の類似度算出処理の動作を
示すフローチャートである。

【００８２】類似度算出処理には、一般的に単語ベクト
ル空間法等を用いることもできるが、ここでは簡便のた
めに単純な方法を使用する。

【００８３】図２３に示すように、検索キー文書と検索
対象文書の両者から抽出された単語種数をＱ、両者の共
通単語数をＲとした場合に（ステップＦ１１）、Ｒ／Ｑ
を検索キー文書と検索対象文書との類似度として計算す
る（ステップＦ１２）。

【００８４】ここで、図９に示した検索キー文書と図１
０に示した検索対象文書１との類似度を従来方式と本方
式とで比較すると、以下のようになる。

【００８５】「筆文字宛名印刷機能」を形態素解析辞書
１５ｄに登録する前は本方式を適用した場合としない場
合とで差異はない。この場合、検索キー文書からは図１
１の１段目に示すような単語が抽出され、検索対象文書
１からは図１２の１段目に示すような単語が抽出され
る。

【００８６】したがって、検索キー文書と検索対象文書
１との共通単語は図１３の１段目のようになり、登録前
における両者の類似度は以下のようになる。

【００８７】単語種数Ｑは「報告書」、「筆文字」、
「文字宛名」、「宛名印刷」、「印刷機能」、「筆」、
「文字」、「宛名」、「印刷」、「機能」、「中心」、
「ソフトウェア」の１２個であり、共通単語数Ｒは「筆
文字」、「筆」、「文字」、「宛名印刷」、「宛名」、
「印刷」、「機能」、「ソフトウェア」の８個である。
よって、類似度Ｒ／Ｑ＝８／１２＝０．６７となる。

【００８８】一方、「筆文字宛名印刷機能」を形態素解
析辞書１５ｄに登録した場合において、検索キー文書か
らの抽出単語は従来方式では図１１の２段目のようにな
り、本方式では図１１の３段目のようになる。また、検
索対象文書１からの抽出単語については、従来方式と本
方式共に、図１２の２段目のようになる（検索対象文書
１には「筆文字宛名印刷機能」が存在しないため）。し
たがって、検索キー文書と検索対象文書１との共通単語
は図１３の１段目のようになる。

【００８９】したがって、従来方式では、検索キー文書
と検索対象文書１との共通単語は図１３の２段目のよう
になり、両者の類似度は以下のようになる。

【００９０】単語種数Ｑは「報告書」、「筆文字宛名印
刷機能」、「中心」、「ソフトウェア」、「筆文字」、
「筆」、「文字」、「宛名印刷」、「宛名」、「印
刷」、「機能」の１１個であり、共通単語数Ｒは「ソフ
トウェア」のみで１である。よって、類似度Ｒ／Ｑ＝１
／１１＝０．０９となり、従来方式では大幅に下がって
しまうことが分かる。

【００９１】また、本方式を適用した場合には、検索キ
ー文書と検索対象文書１との共通単語は図１３の３段目
のようになり、両者の類似度は以下のようになる。

【００９２】単語種数Ｑは「報告書」、「筆文字宛名印
刷機能」、「中心」、「ソフトウェア」、「筆文字」、
「筆」、「文字」、「宛名印刷」、「宛名」、「印
刷」、「印刷機能」、「機能」の１２となり、共通単語
数は「筆文字」、「筆」、「文字」、「宛名」、「印
刷」、「機能」、「ソフトウェア」の８となる。よっ
て、類似度Ｒ／Ｑ＝８／１２＝０．６７となり、両者の
類似度を高くすることができる。

【００９３】さらに、本方式では、「筆文字宛名印刷機
能」といった単語から最大接続数以下の単語数からなる
複合語を生成する際に、図１１の３段目に示すように、
「文字宛名」といった意味不明の単語は排除される。し
たがって、このような意味不明の単語によって類似度の
値が乱れることもない。

【００９４】以上のように本方式の適用することで、複
数の部分単語から構成される単語を辞書に登録した場合
でもその部分単語による複合語を抽出できる。これによ
り、従来困難であった形態素解析辞書への単語拡充が可
能となり、また、生成単語抑制情報を利用して意味不明
な単語生成を抑制することにより生成単語の品質を向上
させて類似文書の検索精度を高めることが可能となる。

【００９５】なお、上述した実施形態において記載した
手法は、コンピュータに実行させることのできるプログ
ラムとして、例えば磁気ディスク（フロッピー（登録商
標）ディスク、ハードディスク等）、光ディスク（ＣＤ
−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に
書き込んで各種装置に適用したり、通信媒体により伝送
して各種装置に適用することも可能である。本装置を実
現するコンピュータは、記録媒体に記録されたプログラ
ムを読み込み、このプログラムによって動作が制御され
ることにより、上述した処理を実行する。

【００９６】

【発明の効果】以上詳記したように本発明によれば、形
態素解析辞書に登録された単語にどのような部分単語か
ら構成されているのかを示す単語構成情報を付与してお
くようにしたため、検索キー文書および検索対象文書か
ら単語を抽出する際に、その単語の部分単語による複合
語も合わせて抽出し、その複合語を単語抽出結果に加え
て類似文書を検索することができる。

【００９７】また、上記部分単語からの特定の単語の生
成を抑制する抑制情報を上記形態素解析辞書に登録され
た単語に付与しておくことで、複合語を生成する際に意
味不明な単語の生成を抑制して類似文書の検索精度を高
めることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る類似文書検索装置の
ハードウェア構成を示す図。

【図２】上記類似文書検索装置に設けられたメモリの構
成を示す図。

【図３】上記メモリのプログラム部の構成を示す図。

【図４】上記メモリのバッファ部の構成を示す図。

【図５】上記類似文書検索装置に設けられた外部記憶装
置の構成を示す図。

【図６】不要語情報の内容を示す図。

【図７】抽出品詞情報の内容を示す図。

【図８】形態素解析辞書の構成を示す図。

【図９】検索キー文書の内容を示す図。

【図１０】検索対象文書１の内容を示す図。

【図１１】上記検索キー文書から単語を抽出した場合の
結果を示す図。

【図１２】上記検索対象文書１から単語を抽出した場合
の結果を示す図。

【図１３】上記検索キー文書と上記検索対象文書１との
共通単語を示す図。

【図１４】上記検索キー文書の形態素解析結果を示す
図。

【図１５】単語構成情報の読み込み結果を示す図。

【図１６】生成単語抑制情報の読み込み結果を示す図。

【図１７】単語生成処理の過程を説明するための図。

【図１８】本装置の類似文書処理の動作を示すフローチ
ャート。

【図１９】本装置の検索キー入力処理の動作を示すフロ
ーチャート。

【図２０】本装置の類似文書検索処理の動作を示すフロ
ーチャート。

【図２１】本装置の単語抽出処理の動作を示すフローチ
ャート。

【図２２】本装置の単語生成処理の動作を示すフローチ
ャート。

【図２３】本装置の類似度算出処理の動作を示すフロー
チャート。

【符号の説明】

１１…制御装置 １２…入力装置 １３…表示装置 １４…メモリ １５…外部記憶装置 １５ａ…検索対象文書データベース １５ｂ…不要語情報 １５ｃ…抽出品詞情報 １５ｄ…形態素解析辞書 １５ｅ…合成語最大接続数

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中本 幸夫 東京都青梅市新町３丁目３番地の１ 東芝 デジタルメディアエンジニアリング株式会 社内 (72)発明者 山崎 弘 東京都青梅市新町３丁目３番地の１ 東芝 デジタルメディアエンジニアリング株式会 社内 (72)発明者 坂本 国博 東京都青梅市新町３丁目３番地の１ 東芝 デジタルメディアエンジニアリング株式会 社内 Ｆターム(参考） 5B075 ND03 NK31 PP02 PP03 PQ02 PR06 QM08

Claims (8)

【特許請求の範囲】
1. 【請求項１】 検索キーとして与えられた文書に類似す
   る文書を複数の検索対象文書の中から検索する類似文書
   検索装置において、 複数の部分単語から構成された単語がその単語の構成を
   示す単語構成情報と共に登録された形態素解析辞書と、 この形態素解析辞書を参照して上記検索キー文書および
   上記検索対象文書から単語を抽出する単語抽出手段と、 この単語抽出手段によって抽出された単語の部分単語を
   上記単語構成情報に基づいて取得する部分単語取得手段
   と、 この部分単語取得手段によって得られた部分単語から所
   定数以下の単語の組み合わせからなる複合語を生成する
   複合語生成手段と、 この複合語生成手段によって生成された複合語を上記単
   語抽出手段による単語抽出結果に加え、これらの単語の
   情報に基づいて上記検索キー文書と上記検索対象文書情
   報との類似度を算出する類似度算出手段と、 この類似度算出手段によって算出された類似度に基づい
   て上記複数の検索対象文書の中から上記検索キー文書と
   類似する文書を検索する文書検索手段とを具備したこと
   を特徴とする類似文書検索装置。
2. 【請求項２】 検索キーとして与えられた文書に類似す
   る文書を複数の検索対象文書の中から検索する類似文書
   検索装置において、 複数の部分単語から構成された単語がその単語の構成を
   示す単語構成情報および上記部分単語からの特定の単語
   の生成を抑制する抑制情報と共に登録された形態素解析
   辞書と、 この形態素解析辞書を参照して上記検索キー文書および
   上記検索対象文書から単語を抽出する単語抽出手段と、 この単語抽出手段によって抽出された単語の部分単語を
   上記単語構成情報に基づいて取得する部分単語取得手段
   と、 この部分単語取得手段によって得られた部分単語から所
   定数以下の単語の組み合わせからなる複合語を生成する
   複合語生成手段と、 この複合語生成手段によって生成された複合語の中から
   上記抑制情報に基づいて上記特定の単語を除外する特定
   単語除外手段と、 この特定単語除外手段によって上記特定の単語が除外さ
   れた複合語を上記単語抽出手段による単語抽出結果に加
   え、これらの単語の情報に基づいて上記検索キー文書と
   上記検索対象文書情報との類似度を算出する類似度算出
   手段と、 この類似度算出手段によって算出された類似度に基づい
   て上記複数の検索対象文書の中から上記検索キー文書と
   類似する文書を検索する文書検索手段とを具備したこと
   を特徴とする類似文書検索装置。
3. 【請求項３】 抽出対象となる品詞を指定する品詞指定
   手段を有し、 上記単語抽出手段は、上記品詞指定手段によって指定さ
   れた品詞の条件を満足する単語を上記検索キー文書およ
   び上記検索対象文書から抽出することを特徴とする請求
   項１または請求項２記載の類似文書検索装置。
4. 【請求項４】 不要語を指定する不要語指定手段と、 上記単語抽出手段は、上記不要語指定手段によって指定
   された不要語を除いた単語を抽出することを特徴とする
   請求項１または請求項２記載の類似文書検索装置。
5. 【請求項５】 検索キーとして与えられた文書と検索対
   象文書から形態素解析辞書を参照して単語の抽出を行
   い、その単語抽出結果から上記検索キー文書と上記検索
   対象文書との類似度を計算する類似文書検索方法であっ
   て、 上記形態素解析辞書に登録された単語にどのような部分
   単語から構成されているのかを示す単語構成情報を付与
   しておき、 上記形態素解析辞書を参照して上記検索キー文書および
   上記検索対象文書から単語を抽出した際に、その部分単
   語を上記単語構成情報に基づいて取得し、 上記部分単語から所定数以下の単語の組み合わせからな
   る複合語を生成し、 この生成された複合語を単語抽出結果に加え、これらの
   単語の情報に基づいて上記検索キー文書と上記検索対象
   文書情報との類似度を算出し、 この算出された類似度に基づいて上記複数の検索対象文
   書の中から上記検索キー文書と類似する文書を検索する
   ことを特徴とする類似文書検索方法。
6. 【請求項６】 検索キーとして与えられた文書と検索対
   象文書から形態素解析辞書を参照して単語の抽出を行
   い、その単語抽出結果から上記検索キー文書と上記検索
   対象文書との類似度を計算する類似文書検索方法であっ
   て、 上記形態素解析辞書に登録された単語にどのような部分
   単語から構成されているのかを示す単語構成情報および
   上記部分単語からの特定の単語の生成を抑制する抑制情
   報を付与しておき、 上記形態素解析辞書を参照して上記検索キー文書および
   上記検索対象文書から単語を抽出した際に、その部分単
   語を上記単語構成情報に基づいて取得し、 上記部分単語から所定数以下の単語の組み合わせからな
   る複合語を生成し、 この生成された複合語の中から上記抑制情報に基づいて
   上記特定の単語を除外し、 上記特定の単語を除外した複合語を単語抽出結果に加
   え、これらの単語の情報に基づいて上記検索キー文書と
   上記検索対象文書情報との類似度を算出し、 この算出された類似度に基づいて上記複数の検索対象文
   書の中から上記検索キー文書と類似する文書を検索する
   ことを特徴とする類似文書検索方法。
7. 【請求項７】 検索キーとして与えられた文書に類似す
   る文書を複数の検索対象文書の中から検索する類似文書
   検索機能を備えたコンピュータに、 複数の部分単語から構成された単語がその単語の構成を
   示す単語構成情報と共に登録された形態素解析辞書を参
   照して上記検索キー文書および上記検索対象文書から単
   語を抽出する単語抽出処理と、 この単語抽出処理によって抽出された単語の部分単語を
   上記単語構成情報に基づいて取得する部分単語取得処理
   と、 この部分単語取得処理によって得られた部分単語から所
   定数以下の単語の組み合わせからなる複合語を生成する
   複合語生成処理と、 この複合語生成処理によって生成された複合語を上記単
   語抽出手段による単語抽出結果に加え、これらの単語の
   情報に基づいて上記検索キー文書と上記検索対象文書情
   報との類似度を算出する類似度算出処理と、 この類似度算出処理によって算出された類似度に基づい
   て上記複数の検索対象文書の中から上記検索キー文書と
   類似する文書を検索する文書検索処理とを実行させるプ
   ログラムを記録したコンピュータ読み取り可能な記録媒
   体。
8. 【請求項８】 検索キーとして与えられた文書に類似す
   る文書を複数の検索対象文書の中から検索する類似文書
   検索機能を備えたコンピュータに、 複数の部分単語から構成された単語がその単語の構成を
   示す単語構成情報および上記部分単語からの特定の単語
   の生成を抑制する抑制情報と共に登録された形態素解析
   辞書を参照して上記検索キー文書および上記検索対象文
   書から単語を抽出する単語抽出処理と、 この単語抽出処理によって抽出された単語の部分単語を
   上記単語構成情報に基づいて取得する部分単語取得処理
   と、 この部分単語取得処理によって得られた部分単語から所
   定数以下の単語の組み合わせからなる複合語を生成する
   複合語生成処理と、 この複合語生成処理によって生成された複合語の中から
   上記抑制情報に基づいて上記特定の単語を除外する特定
   単語除外処理と、 この特定単語除外処理によって上記特定の単語が除外さ
   れた複合語を上記単語抽出手段による単語抽出結果に加
   え、これらの単語の情報に基づいて上記検索キー文書と
   上記検索対象文書情報との類似度を算出する類似度算出
   処理と、 この類似度算出処理によって算出された類似度に基づい
   て上記複数の検索対象文書の中から上記検索キー文書と
   類似する文書を検索する文書検索処理とを実行させるプ
   ログラムを記録したコンピュータ読み取り可能な記録媒
   体。