JP2003016092A - 類似文書検索方法及びその実施システム並びにその処理プログラム - Google Patents

Abstract

(57)【要約】 【課題】 検索漏れの無い高精度な類似文書検索を実現
し、内容が特に関連した文書を精度良く検索することが
可能な技術を提供する。 【解決手段】 指定された文書と類似する文書を検索す
る類似文書検索方法において、所望の検索内容を含んだ
種文書から特徴語の候補となる特徴語候補を抽出するス
テップと、前記抽出された特徴語候補が複数の特徴語で
構成された複合特徴語である場合に当該特徴語候補から
複合特徴語及びその複合特徴語を構成する構成特徴語を
当該種文書の特徴語として抽出するステップと、前記抽
出された種文書の特徴語と登録文書の特徴語との間の類
似度を算出するステップと、前記算出された類似度算出
結果を検索結果として出力するステップとを有するもの
である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は指定された文書と類
似する文書を検索する類似文書検索技術に関し、特にユ
ーザから指定された文書に記述されている特徴語を含む
文書を類似文書として文書データベースの中から検索す
る類似文書検索システムに適用して有効な技術に関する
ものである。

【０００２】

【従来の技術】近年、組織内での業務の効率化や、業務
の質を向上させる為に、組織内の個人の知識を共有し、
再利用することを目的とする知識管理システムへの要求
が高まってきている。

【０００３】特に企業内で活用する知識管理システムに
対しては、有識者の経験やノウハウ等を文書化し、知識
として共有、活用することへの要望が高まっており、組
織内で非定型に蓄えられた大量の知識の中から、ユーザ
が所望するものを簡単にかつ適切に取得する高精度な検
索機能が重要になってきている。

【０００４】この様な要求に応える技術として、ユーザ
が自分の所望する内容を含んだ文書（以下、種文書と呼
ぶ）を例示し、その文書と類似する文書を検索する類似
文書検索技術が注目されている。

【０００５】類似文書検索の方法としては、例えば、文
書内に出現する単語（以下、特徴語と呼ぶ）の出現頻度
を要素とするベクトル（以下、特徴ベクトルと呼ぶ）を
用いて文書間の類似度を算出する技術（以下、従来技術
１と呼ぶ）が、“Information Retrieval”(William B.
Frakes、 Prentice Hall PTR、 pp.363〜376）に開示され
ている。

【０００６】従来技術１の概要は次の通りである。文書
データベースに文書を登録する際に、登録対象となる文
書中に含まれる特徴語の出現頻度を登録文書の特徴ベク
トル（以下、登録文書特徴ベクトルと呼ぶ）として作成
しておく。

【０００７】類似文書の検索時は、検索条件として指定
された種文書の特徴ベクトル（以下、種文書特徴ベクト
ルと呼ぶ）と各登録文書特徴ベクトルとのベクトル空間
内においてなす角度の余弦を、文書間の類似度として算
出する。

【０００８】図２０は従来技術１の処理手順の一例を示
す図である。以下、従来技術１の処理手順を図２０のＰ
ＡＤ(Problem Analysis Diagram）図を用いて説明す
る。

【０００９】まずステップ２００において、文書の登録
処理か類似文書の検索処理かを判定する。そして、文書
の登録処理と判定された場合には登録文書特徴ベクトル
生成ステップ２１０を実行し、登録対象文書に対する登
録文書特徴ベクトルを生成する。

【００１０】また、ステップ２００において類似文書の
検索処理と判定された場合には、種文書特徴ベクトル生
成ステップ２２０を実行し、検索条件として指定された
種文書に対する種文書特徴ベクトルを作成する。

【００１１】次にステップ２２１を実行し、全登録文書
に対して類似度算出ステップ２２２を繰り返し実行す
る。類似度算出ステップ２２２では、前記種文書特徴ベ
クトルと登録文書特徴ベクトルが、ベクトル空間内にお
いてなす角度の余弦を文書間の類似度として算出する。

【００１２】図２１は従来技術１における特徴ベクトル
生成処理の一例を示す図である。以下、図２０に示した
登録文書特徴ベクトル生成ステップ２１０及び種文書特
徴ベクトル生成ステップ２２０として実行される従来技
術１における特徴ベクトル生成処理について、図２１に
示したＰＡＤ図を用いて説明する。

【００１３】特徴ベクトル生成処理では、まずステップ
３０１において、特徴ベクトルの生成処理対象となる文
書を読み込む。次にステップ３０２において、上記ステ
ップ３０１で読み込まれた処理対象文書から特徴語を抽
出する。

【００１４】そしてステップ３０３において、上記ステ
ップ３０２で抽出された各特徴語の出現頻度を計数す
る。最後にステップ３０４において、上記ステップ３０
２で抽出された各特徴語と、上記ステップ３０３で計数
した各特徴語の出現頻度を特徴ベクトルの要素として格
納する。以上が、従来技術１の処理手順である。

【００１５】図２２は従来技術１の概要を示す図であ
る。以下、図２２を用いて従来技術１の処理例を説明す
る。

【００１６】従来技術１では、まず処理要求判定ステッ
プ４１０において、入力された処理要求が登録処理であ
るか、或いは検索処理であるかを判定する。そして、入
力された処理要求が登録処理である場合には、ステップ
２１０が実行される。

【００１７】ステップ２１０では、登録用文書１及び文
書２中に含まれる特徴語を抽出すると共に各文書内での
出現頻度を計数し、各文書に対応する登録文書特徴ベク
トル４０３及び４０４を生成する。

【００１８】ここで、登録文書特徴ベクトル４０３“文
書１（"ＬＡＮ"、１）（"構築"、
１）…”は、「文書１」の特徴ベクトルであり、特徴語
“ＬＡＮ”が１回、特徴語“構築”が１回出現している
ことを表している。

【００１９】また、前記処理要求判定ステップ４１０で
類似文書の検索処理と判定された場合には、検索条件で
指定された種文書４０６から特徴語を抽出し、ステップ
２２０で該種文書に対応する種文書特徴ベクトル４０７
を生成する。

【００２０】次に、種文書特徴ベクトル４０７と前記ス
テップ２１０で生成された各登録文書の登録文書特徴ベ
クトルとのなす角の余弦を類似度として算出する。

【００２１】一般に、２つのベクトルＡ及びベクトルＢ
のなす角の余弦は、数１の様に算出される。ここで“Ａ
・Ｂ”は、ベクトルＡとベクトルＢの内積を表し、“｜
Ａ｜”は、ベクトルＡの大きさを表す。

【００２２】

【数１】

【００２３】図２２に示した種文書特徴ベクトル４０７
と登録文書特徴ベクトル４０３及び登録文書特徴ベクト
ル４０４のなす角の余弦は、ベクトルＡを種文書特徴ベ
クトル４０７、ベクトルＢを登録文書特徴ベクトル４０
３または登録文書特徴ベクトル４０４として、それぞれ
数２、数３の様に算出される。

【００２４】

【数２】

【００２５】

【数３】

【００２６】この結果として、種文書に対する各登録文
書の類似度算出結果４０８が出力される。以上が、従来
技術１の処理例である。

【００２７】以上説明した様に従来技術１によれば、登
録文書中に含まれる特徴語を抽出した登録文書特徴ベク
トルを予め作成しておき、検索条件として指定された種
文書に対応する種文書特徴ベクトルとの余弦を類似度と
して算出することで、文書データベース中から内容の類
似する文書を検索することができる。

【００２８】

【発明が解決しようとする課題】しかし従来技術１で
は、特徴ベクトルの要素である特徴語が複数の単語で構
成されている場合に、検索漏れが発生するという問題が
ある。

【００２９】図２３は従来技術１の問題点を示す図であ
る。以下、図２３を用いて、従来技術１の問題点を説明
する。本図では、文書３「地図情報閲覧ソフトを開発、
発売したＡ社は、・・・」及び文書４「多くの地図閲覧
ソフトが発売されているが、・・・」が登録された文書
データベースに対して、種文書「最新の地図閲覧ソフト
について」が入力された場合の例を表している。

【００３０】まず文書の登録処理として、ステップ２１
０が実行され、各文書に対応する登録文書特徴ベクトル
４０３ａ及び４０４ａが生成される。本図に示した例で
は、文書３に対応する特徴ベクトル４０３ａとして“文
書３（"地図"、1）（"閲覧"、1）
（"ソフト"、1）（"発売"、1）”
が生成され、文書４に対応する特徴ベクトル４０４ａと
して“文書４（"地図閲覧ソフト"、1）（&qu
ot;発売"、1）”が生成される。

【００３１】次に類似文書の検索処理として、種文書特
徴ベクトル生成処理ステップ２２０が実行され、種文書
に対応する種文書特徴ベクトル４０７ａが生成される。
本図に示した例では、種文書特徴ベクトル４０７ａとし
て、“種文書（"地図閲覧ソフト"、1）”が
生成される。

【００３２】そして類似度算出ステップ２２２におい
て、種文書に対する各登録文書の類似度を算出する。こ
の結果、類似度算出結果４０８ａが出力される。本図に
示した例では、数４及び数５に示す様に、文書３の類似
度０．０００及び文書４の類似度０．７１０と算出され
る。

【００３３】

【数４】

【００３４】

【数５】

【００３５】この結果、文書３の内容は種文書に対して
関連があるにも関わらず、従来技術１では文書３の内容
は種文書に対して全く類似していないものと算出されて
しまう。

【００３６】これは、種文書の特徴ベクトルの要素とし
て抽出される特徴語が複数の単語で構成されているにも
かかわらず、最長一致の特徴語「地図閲覧ソフト」のみ
を特徴ベクトルの要素として類似度算出に用いた為に、
特徴語を構成する各単語の持つ個々の概念が類似度に反
映されないことによるものである。すなわち、特徴語を
構成する各単語それぞれを含む登録文書に対して類似度
が付与されず、検索漏れが発生してしまうことになる。

【００３７】一方、前記の最長一致の特徴語「地図閲覧
ソフト」の代わりに、「地図閲覧ソフト」を構成する各
単語「地図」「閲覧」「ソフト」を用いることで前記の
様な検索漏れを防止することができるが、この場合には
「地図閲覧ソフト」とは類似度の低い文書がノイズとし
て検索される可能性が高くなる。以上が従来技術１の問
題点である。

【００３８】本発明の目的は上記問題を解決し、検索漏
れの少ない類似文書検索を実現し、内容が関連した文書
を精度良く検索することが可能な技術を提供することに
ある。本発明の他の目的は検索漏れが少なくノイズの少
ない類似文書検索を実現することが可能な技術を提供す
ることにある。

【００３９】

【課題を解決するための手段】本発明は、指定された文
書と類似する文書を検索する類似文書検索システムにお
いて、複合特徴語及びその複合特徴語を構成する構成特
徴語を含む文書を類似文書として検索するものである。

【００４０】本発明の類似文書検索システムでは、処理
対象文書から抽出された特徴語候補が複数の特徴語から
構成されている複合特徴語であるか、単一の単語から構
成されている単独特徴語であるかを判定し、複合特徴語
と判定された場合には複合特徴語及びその複合特徴語を
構成する構成特徴語を特徴語として抽出し、単独特徴語
と判定された場合には該特徴語そのものを抽出する。

【００４１】すなわち、複合特徴語とその複合特徴語を
構成する構成特徴語を抽出し、その抽出した複合特徴語
及び構成特徴語を類似度算出に使用することにより、検
索漏れの無い高精度な類似文書検索を実現することが可
能となる。

【００４２】以上の様に本発明の類似文書検索システム
によれば、複合特徴語及びその複合特徴語を構成する構
成特徴語を含む文書を類似文書として検索するので、検
索漏れの無い高精度な類似文書検索を実現し、内容が特
に関連した文書を精度良く検索することが可能である。

【００４３】

【発明の実施の形態】（実施形態１）以下に指定された
種文書中の複合特徴語及びその複合特徴語を構成する構
成特徴語を含む文書を類似文書として検索する実施形態
１の類似文書検索システムについて説明する。

【００４４】図１は本実施形態の類似文書検索システム
の概略構成を示す図である。図１に示す様に本実施形態
の類似文書検索システムは、システム制御処理部１１０
と、登録制御処理部１１１と、検索制御処理部１１２
と、登録文書取得処理部１２０と、登録文書特徴ベクト
ル登録処理部１２１と、検索条件解析処理部１３０と、
種文書類似度算出処理部１３１と、検索結果出力処理部
１３２と、登録文書特徴ベクトル読込処理部１６０と、
類似度算出処理部１６１と、特徴ベクトル生成処理部１
７０と、特徴語抽出処理部１７１と、文書解析処理部１
７２と、複合特徴語判定処理部１７３と、出現頻度計数
処理部１７４とを有している。

【００４５】システム制御処理部１１０は、キーボード
１０１から入力されたコマンドを解析し、登録制御処理
部１１１または検索制御処理部１１２を起動する処理部
である。登録制御処理部１１１は、登録文書取得処理部
１２０を起動し、登録対象として指定された文書の特徴
ベクトルの磁気ディスク装置１０３への格納を制御する
処理部である。

【００４６】検索制御処理部１１２は、検索条件解析処
理部１３０、種文書類似度算出処理部１３１、検索結果
出力処理部１３２を起動し、検索条件で指定された種文
書に類似する文書の検索を制御する処理部である。

【００４７】登録文書取得処理部１２０は、登録対象の
文書を取得する処理部である。登録文書特徴ベクトル登
録処理部１２１は、登録対象の文書の特徴ベクトルを磁
気ディスク装置１０３へ格納する処理部である。検索条
件解析処理部１３０は、検索条件で指定された種文書を
取得する処理部である。

【００４８】種文書類似度算出処理部１３１は、登録文
書特徴ベクトル読込処理部１６０及び類似度算出処理部
１６１を起動し、種文書から抽出された特徴語と各登録
文書との間の類似度を算出する処理部である。検索結果
出力処理部１３２は、前記算出された類似度算出結果を
検索結果として出力する処理部である。

【００４９】登録文書特徴ベクトル読込処理部１６０
は、磁気ディスク装置１０３に格納された登録文書特徴
ベクトルファイル１８０を読み込む処理部である。類似
度算出処理部１６１は、種文書特徴ベクトルに対する登
録文書特徴ベクトルのなす角度の余弦を算出し、種文書
に対する登録文書の類似度を算出する処理部である。

【００５０】特徴ベクトル生成処理部１７０は、特徴語
抽出処理部１７１及び出現頻度計数処理部１７４を起動
し、処理対象文書の特徴語候補が複数の特徴語で構成さ
れた複合特徴語である場合に当該特徴語候補から複合特
徴語及びその複合特徴語を構成する構成特徴語を当該処
理対象文書の特徴語として抽出して処理対象文書の特徴
ベクトルを生成する処理部である。

【００５１】特徴語抽出処理部１７１は、文書解析処理
部１７２及び複合特徴語判定処理部１７３を起動し、処
理対象文書から特徴語または複合特徴語及び構成特徴語
を抽出する処理部である。文書解析処理部１７２は、登
録対象の文書である登録文書や所望の検索内容を含んだ
種文書等の処理対象文書から特徴語の候補となる特徴語
候補を抽出する処理部である。

【００５２】複合特徴語判定処理部１７３は、前記抽出
された特徴語候補に対応する特徴語にその構成特徴語を
示す構成特徴語情報としてそれらの構成特徴語のポイン
タ情報が登録されている場合に、当該特徴語候補が複合
特徴語であると判定する処理部である。出現頻度計数処
理部１７４は、処理対象文書から抽出された各特徴語の
当該処理対象文書における出現頻度を計数する処理部で
ある。

【００５３】類似文書検索システムをシステム制御処理
部１１０、登録制御処理部１１１、検索制御処理部１１
２、登録文書取得処理部１２０、登録文書特徴ベクトル
登録処理部１２１、検索条件解析処理部１３０、種文書
類似度算出処理部１３１、検索結果出力処理部１３２、
登録文書特徴ベクトル読込処理部１６０、類似度算出処
理部１６１、特徴ベクトル生成処理部１７０、特徴語抽
出処理部１７１、文書解析処理部１７２、複合特徴語判
定処理部１７３及び出現頻度計数処理部１７４として機
能させる為のプログラムは、ＣＤ−ＲＯＭ等の記録媒体
に記録され磁気ディスク等に格納された後、メモリにロ
ードされて実行されるものとする。なお前記プログラム
を記録する記録媒体はＣＤ−ＲＯＭ以外の他の記録媒体
でも良い。また前記プログラムを当該記録媒体から情報
処理装置にインストールして使用しても良いし、ネット
ワークを通じて当該記録媒体にアクセスして前記プログ
ラムを使用するものとしても良い。

【００５４】本実施形態の類似文書検索システムは、デ
ィスプレイ１００、キーボード１０１、中央演算処理装
置であるＣＰＵ１０２、磁気ディスク装置１０３、フロ
ッピディスクドライブであるＦＤＤ１０４、主メモリ１
０５、これらを結ぶバス１０６及び他の機器と本システ
ムを接続するネットワーク１０８から構成される。

【００５５】磁気ディスク装置１０３は二次記憶装置の
一つであり、登録文書特徴ベクトルファイル１８０及び
特徴語辞書ファイル１８１が格納される。ＦＤＤ１０４
を介してフロッピディスク１０７に格納されている情報
が、主メモリ１０５或いは磁気ディスク装置１０３へ読
み込まれる。

【００５６】主メモリ１０５には、システム制御処理部
１１０、登録制御処理部１１１、検索制御処理部１１
２、登録文書取得処理部１２０、登録文書特徴ベクトル
登録処理部１２１、検索条件解析処理部１３０、種文書
類似度算出処理部１３１、検索結果出力処理部１３２及
び共有ライブラリ１４０が格納されると共にワークエリ
ア１４１が確保される。共有ライブラリ１４０には、特
徴ベクトル生成処理部１７０、特徴語抽出処理部１７１
及び出現頻度計数処理部１７４が格納される。

【００５７】種文書類似度算出処理部１３１は、登録文
書特徴ベクトル読込処理部１６０及び類似度算出処理部
１６１で構成される。特徴ベクトル生成処理部１７０
は、特徴語抽出処理部１７１及び出現頻度計数処理部１
７４を呼び出す構成をとる。特徴語抽出処理部１７１
は、文書解析処理部１７２及び複合特徴語判定処理部１
７３で構成される。

【００５８】登録制御処理部１１１及び検索制御処理部
１１２は、キーボード１０１からのユーザによる指示に
応じてシステム制御処理部１１０によって起動され、そ
れぞれ登録文書取得処理部１２０、特徴ベクトル生成処
理部１７０及び登録文書特徴ベクトル登録処理部１２１
の制御と、検索条件解析処理部１３０、特徴ベクトル生
成処理部１７０、種文書類似度算出処理部１３１及び検
索結果出力処理部１３２の制御を行なう。

【００５９】なお本実施形態では、キーボード１０１か
ら入力されたコマンドにより、登録制御処理部１１１や
検索制御処理部１１２が起動されるものとしたが、他の
入力装置を介して入力されたコマンド或いはイベントに
より起動されるものであっても構わない。

【００６０】また、本実施形態の類似文書検索システム
をこれらの処理部として機能させる為のプログラムは、
磁気ディスク装置１０３、フロッピディスク１０７、或
いはＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体（図１に
は示していない）に格納され、駆動装置を介して主メモ
リ１０５に読み込まれ、ＣＰＵ１０２によって実行され
るものとするが、これらのプログラムをネットワーク１
０８を介して主メモリ１０５に読み込み、ＣＰＵ１０２
によって実行することも同様に可能である。

【００６１】更に、本実施形態では登録文書特徴ベクト
ルファイル１８０及び特徴語辞書ファイル１８１を磁気
ディスク装置１０３に格納するものとしたが、フロッピ
ディスク１０７、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ等の記録
媒体（図１には示していない）に格納し、駆動装置を介
して主メモリ１０５に読み込み利用することも可能であ
る。また、これらのファイルはネットワーク１０８を介
して、他のシステムに接続された記録媒体（図１には示
していない）に格納されるものとしても良いし、或いは
ネットワーク１０８に直接接続された記録媒体に格納さ
れるものとしても構わない。

【００６２】以下、本実施形態における類似文書検索シ
ステムの処理手順について説明する。図本実施形態のシ
ステム制御処理部１１０の処理内容を示す図である。ま
ず、システム制御処理部１１０の処理手順について図２
のＰＡＤ図を用いて説明する。

【００６３】システム制御処理部１１０は、まずステッ
プ８００で、キーボード１０１から入力されたコマンド
を解析する。そしてステップ８０１で、この結果が登録
実行のコマンドであると解析された場合には、ステップ
８０２で登録制御処理部１１１を起動して文書の登録を
行なう。またステップ８０１で、検索実行のコマンドで
あると解析された場合には、ステップ８０３で検索制御
処理部１１２を起動して、類似文書の検索を行なう。以
上が、システム制御処理部１１０の処理手順である。

【００６４】図３は本実施形態の登録制御処理部１１１
の処理内容を示す図である。図２に示したシステム制御
処理部１１０のステップ８０２で起動される登録制御処
理部１１１の処理手順について、図３のＰＡＤ図を用い
て説明する。

【００６５】登録制御処理部１１１では、まずステップ
９００において登録文書取得処理部１２０を起動し、登
録対象として指定された文書（以下、登録対象文書と呼
ぶ）を読み込み、ワークエリア１４１に格納する。

【００６６】次に、ステップ９０１において、共有ライ
ブラリ１４０に格納されている特徴ベクトル生成処理部
１７０を起動し、登録対象文書に対する特徴ベクトルを
生成し、ワークエリア１４１に格納する。

【００６７】そして、ステップ９０２において、登録文
書特徴ベクトル登録処理部１２１を起動し、ワークエリ
ア１４１に格納されている登録文書特徴ベクトルを磁気
ディスク装置１０３へ格納する。以上が、登録制御処理
部１１１の処理手順である。

【００６８】図４は本実施形態の特徴ベクトル生成処理
部１７０の処理内容を示す図である。図３に示した登録
制御処理部１１１のステップ９０１で起動される特徴ベ
クトル生成処理部１７０の処理手順について、図４のＰ
ＡＤ図を用いて説明する。

【００６９】特徴ベクトル生成処理部１７０では、まず
ステップ１０００において特徴語抽出処理部１７１を起
動し、ワークエリア１４１に格納された処理対象文書か
ら特徴語を抽出する。次に、ステップ１００１におい
て、出現頻度計数処理部１７４を起動し、ワークエリア
１４１に格納された各特徴語の処理対象文書における出
現頻度を計数する。以上が、特徴ベクトル生成処理部１
７０の処理手順である。なお、本特徴ベクトル生成処理
部１７０は共有ライブラリ１４０に格納されており、後
述する文書検索処理における検索制御処理部１１２から
も実行され、種文書に対する特徴ベクトルの生成におい
ても使用される。

【００７０】図５は本実施形態の特徴語抽出処理部１７
１の処理内容を示す図である。図４に示した特徴ベクト
ル生成処理部１７０のステップ１０００で起動される特
徴語抽出処理部１７１の処理手順について、図５のＰＡ
Ｄ図を用いて説明する。

【００７１】特徴語抽出処理部１７１は、まずステップ
１４００において文書解析処理部１７２を起動し、ワー
クエリア１４１に格納された処理対象文書中の文字列と
特徴語辞書ファイル１８１中の特徴語とを比較し、特徴
語辞書ファイル１８１中の特徴語と一致する文字列を特
徴語候補として処理対象文書から抽出する。

【００７２】次にステップ１４０１において、複合特徴
語判定処理部１７３を起動し、上記ステップ１４００に
おいて抽出された特徴語候補に対応する特徴語辞書ファ
イル１８１中の特徴語に構成特徴語の格納位置を示すポ
インタ情報が登録されているかどうかを調べ、特徴語辞
書ファイル１８１中の特徴語に前記ポインタ情報が登録
されている場合には、当該特徴語候補が複合特徴語であ
ると判定する。

【００７３】そして、特徴語候補が複合特徴語であると
判定された場合には、ステップ１４０２を実行し、前記
ポインタ情報で示された特徴語をその複合特徴語の構成
特徴語として読み出して、それらの複合特徴語及び構成
特徴語を処理対象文書の特徴語として抽出する。

【００７４】前記の様に本実施形態では、抽出された特
徴語候補に対応する特徴語辞書ファイル１８１中の特徴
語に構成特徴語の格納位置を示すポインタ情報が登録さ
れているかどうかを調べることにより、当該特徴語候補
が複合特徴語であるかを判定し、前記ポインタ情報を用
いて構成特徴語の読み出しを行なうので、特徴語候補が
複合特徴語であるかの判定及び構成特徴語の読み出しを
高速に行なうことが可能である。なお、本実施形態では
複合特徴語に構成特徴語を示すポインタ情報を格納する
ものとしたが、複合特徴語内に分割位置を格納しておく
ものとしても良いし、構成特徴語そのものを格納してお
くものとしても良い。

【００７５】また、ステップ１４０１において、特徴語
候補が複合特徴語でないと判定された場合にはステップ
１４０３を実行し、特徴語候補そのものを処理対象文書
の特徴語として抽出する。以上が、特徴語抽出処理部１
７１の処理手順である。

【００７６】図６は本実施形態の検索制御処理部１１２
の処理内容を示す図である。図２に示したシステム制御
処理部１１０のステップ８０３で起動される検索制御処
理部１１２の処理手順について、図６のＰＡＤ図を用い
て説明する。

【００７７】検索制御処理部１１２は、まずステップ１
１００において、検索条件解析処理部１３０を起動し、
検索条件で指定された種文書を取得する。そしてステッ
プ１１０１において、共有ライブラリ１４０に格納され
た特徴ベクトル生成処理部１７０を起動し、上記ステッ
プ１１００で取得された種文書に対する種文書特徴ベク
トルを生成する。

【００７８】次にステップ１１０２において、種文書類
似度算出処理部１３１を起動し、種文書に対する各登録
文書の類似度を算出する。そしてステップ１１０３にお
いて、検索結果出力処理部１３２を起動し、上記ステッ
プ１１０１で算出された類似度算出結果を検索結果とし
て出力する。

【００７９】ここで、検索結果の出力先は、ディスプレ
イ１００に表示するものとしても良いし、ワークエリア
１４１や磁気ディスク装置１０３上に格納するものとし
ても良い。また、類似度算出結果をディスプレイ１００
に出力する場合には、類似度の降順に出力するものとし
ても良いし、文書に付与された管理番号の昇順或いは降
順に出力するものとしても良い。以上が検索制御処理部
１１２の処理手順である。

【００８０】図７は本実施形態の種文書類似度算出処理
部１３１の処理内容を示す図である。図６に示した検索
制御処理部１１２のステップ１１０２で起動される種文
書類似度算出処理部１３１の処理手順について、図７の
ＰＡＤ図を用いて説明する。

【００８１】種文書類似度算出処理部１３１は、まずス
テップ１３００において、登録文書特徴ベクトル読込処
理部１６０を起動し、磁気ディスク装置１０３に格納さ
れた登録文書特徴ベクトルファイル１８０を読み込み、
ワークエリア１４１に格納する。

【００８２】そしてステップ１３０１において、ワーク
エリア１４１に格納された全ての登録文書特徴ベクトル
に対して、ステップ１３０２を繰り返し実行する。ステ
ップ１３０２では、類似度算出処理部１６１を起動し、
種文書特徴ベクトルに対する登録文書特徴ベクトルのな
す角度の余弦を算出し、種文書に対する登録文書の類似
度としてワークエリア１４１に格納する。以上が種文書
類似度算出処理部１３１の処理手順である。

【００８３】以下、本実施形態における類似文書検索シ
ステムの具体的な処理手順を図８〜図１１を用いて説明
する。まず、本実施形態における類似文書検索システム
における文書の登録処理について、図８を用いて説明す
る。

【００８４】図８は本実施形態の文書の登録処理の処理
内容を示す図である。図８では、文書３「地図情報閲覧
ソフトを開発、発売したＡ社は、・・・」及び文書４
「多くの地図閲覧ソフトが発売されているが、・・・」
が文書データベースに登録される場合の処理の流れを表
している。

【００８５】まず、本実施形態の類似文書検索システム
において、登録文書取得処理部１２０は、登録対象の文
書３及び文書４を読み込み、ワークエリア１４１に格納
する。次に特徴ベクトル生成処理部１７０は、登録対象
の文書３及び文書４に対応する登録文書特徴ベクトル４
０３ａ及び４０４ｂを作成し、ワークエリア１４１に格
納する。そして、登録文書特徴ベクトル登録処理部１２
１は、ワークエリア１４１上の登録文書特徴ベクトルを
登録文書特徴ベクトルファイル１８０に格納する。以上
が、本実施形態に示した類似文書検索システムにおける
文書の登録処理である。

【００８６】次に、本実施形態における類似文書検索シ
ステムにおける類似文書の検索処理について、図９を用
いて説明する。

【００８７】図９は本実施形態の類似文書の検索処理の
処理内容を示す図である。図９では、種文書「最新の地
図閲覧ソフトについて」が入力された場合の例を表して
いる。まず、検索条件解析処理部１３０は、検索条件で
指定された種文書を取得し、ワークエリア１４１に格納
する。

【００８８】そして、特徴ベクトル生成処理部１７０
は、ワークエリア１４１に格納された種文書に対応する
種文書特徴ベクトル４０７ｂを生成し、ワークエリア１
４１に格納する。

【００８９】次に、登録文書特徴ベクトル読込処理部１
６０は、前記文書の登録処理で作成された登録文書特徴
ベクトルファイル１８０を読み込み、登録文書特徴ベク
トル４０３ａ及び４０４ｂをワークエリア１４１に格納
する。

【００９０】

【数６】

【００９１】

【数７】

【００９２】そして、類似度算出処理部１６１は、前記
ステップ１７０で生成された種文書特徴ベクトル４０７
ｂと登録文書特徴ベクトル４０３ａ及び４０４ｂのなす
角度の余弦を数６及び数７の様に算出し、種文書に対す
る登録文書の類似度算出結果４０８ｂを出力する。以上
が、本実施形態における類似文書検索システムにおける
類似文書の検索処理手順である。

【００９３】次に、本実施形態における類似文書検索シ
ステムにおける特徴ベクトルの生成処理手順について図
１０を用いて説明する。

【００９４】図１０は本実施形態の特徴ベクトルの生成
処理の処理内容を示す図である。図１０では、種文書
「最新の地図閲覧ソフトについて」が入力された場合に
その特徴ベクトルが作成される手順を表している。

【００９５】まず、文書解析処理部１７２は、ワークエ
リア１４１に格納された処理対象文書である種文書１６
０１“最新の地図閲覧ソフトについて”中の文字列と特
徴語辞書ファイル１８１中の特徴語とを比較し、特徴語
辞書ファイル１８１中の特徴語と一致する文字列“地図
閲覧ソフト”を特徴語候補１６０２として種文書１６０
１から抽出する。

【００９６】そして、複合特徴語判定処理部１７３は、
特徴語辞書ファイル１８１中の特徴語“地図閲覧ソフ
ト”に構成特徴語の格納位置を示すポインタ情報が登録
されているかどうかを調べ、特徴語候補１６０２“地図
閲覧ソフト”が複数の特徴語で構成される複合特徴語で
あるかを判定する。この結果、特徴語候補１６０２“地
図閲覧ソフト”は複数の特徴語“地図”、“閲覧”、
“ソフト”から構成されるものと判定され、複合特徴語
と判定される。

【００９７】次に、特徴語抽出処理部１７１は、上記複
合特徴語判定処理部１７３の結果、複合特徴語と判定さ
れた“地図閲覧ソフト”から、これを構成する特徴語１
６０４“地図”“閲覧”“ソフト”を前記ポインタ情報
により抽出する。そして、出現頻度計数処理部１７４
は、上記特徴語抽出処理部１７１で抽出された各特徴語
について、種文書１６０１内での出現頻度を計数し、特
徴語とその出現頻度を特徴ベクトル１６０５として出力
する。以上が、本実施形態における類似文書検索システ
ムにおける特徴ベクトルの生成処理手順である。

【００９８】以上説明した様に本実施形態によれば、複
合特徴語だけでなく、複合特徴語を構成する構成特徴語
を特徴ベクトルの要素として類似度算出に使用する。こ
の結果として、最長一致の様に“地図閲覧ソフト”を含
むノイズの少ない類似文書検索を行なうと共に検索漏れ
の無い高精度な類似文書検索を実現することができる。

【００９９】なお本実施形態では、登録対象文書や種文
書を文書としたが、文章或いは文字列であっても構わな
い。また、本実施形態における特徴ベクトル生成処理で
は、処理対象中に出現する複合特徴語から複合特徴語及
び複合特徴語に含まれる構成特徴語を全て抽出するもの
として説明したが、全ての構成特徴語を抽出するのでは
なく一部を抽出するものとしても構わない。この場合、
抽出する構成特徴語の指定方法としては、従来技術１の
参照文献等に記載されているＩＤＦ(InvertedDocument
Frequency）が予め定められた閾値を越えるものだけを
抽出するものとしても良いし、複合特徴語の中で先頭或
いは末尾等の予め定められた位置を構成する特徴語だけ
を抽出するものとしても良い。

【０１００】また本実施形態では、登録対象文書に対す
る特徴ベクトルを予め作成しておくものとしたが、文書
の登録時には全文検索用インデクスを作成しておき、検
索時に該当する全文検索用インデクスを参照することに
より各登録対象文書に出現頻度を求め、類似度の算出を
行なうものとしても良い。更に本実施形態では、特徴語
の抽出に特徴語辞書を参照するものとして説明したが、
辞書を用いずに特徴語を抽出する技術等を用いることも
可能である。

【０１０１】辞書を用いずに特徴語を抽出する技術とし
ては、例えば「特開平１１−３３８８８３」に、単語の
境界となりうる確率（以下、単語境界確率と呼ぶ）を用
いて特徴語の抽出を行なう技術（以下、従来技術２と呼
ぶ）が開示されている。

【０１０２】本従来技術２では、文書を登録する際に、
登録文書中に出現する文字列の単語境界確率を計数し、
蓄積しておく。

【０１０３】そして、類似文書の検索時には、まず種文
書のテキストから単一の文字種だけで構成される文字列
（以下、単一文字種文字列）を抽出する。次に、単一文
字種文字列の先頭から i文字目までが単語として存在す
る確率と(i+1)文字目までが単語として存在する確率を
比較し、確率の高い文字列を特徴語として抽出する。そ
して、種文書から抽出された特徴語を用いて、登録文書
との類似度を算出し、類似度の高い登録文書を種文書に
対する類似文書として出力する。

【０１０４】以下、図２４を用いて従来技術２における
特徴語抽出処理の手順を、単一文字種文字列「携帯電
話」を例に具体的に説明する。

【０１０５】なお、本図に示す例では、出現確率ファイ
ル２４００に格納されている最大n-gram長を 2とし、分
割確率を算出する i文字目を 1文字目とする。すなわ
ち、 1文字目での分割確率P(1)および 2文字目での分割
確率P(2)を算出するものとして、以下の説明を行なう。

【０１０６】まず、分割確率の算出位置である 1文字目
までの文字列の単独確率が出現確率ファイル２４００に
格納されているかどうかを確認するために、出現確率フ
ァイル２４００に格納されている最大n-gram長 2と分割
確率算出位置 1を比較する。その結果、格納されている
最大n-gram長の方が大きいので、 1文字目までの文字列
「携」の単独確率0.01を出現確率ファイル２４００より
取得する。

【０１０７】次に、分割確率の算出位置の後方に何文字
存在するかを確認するために、単一文字種文字列「携帯
電話」の文字列長 4と分割確率算出位置 1を比較する。
その結果、 2文字以上の文字列「帯電話」が存在するた
め、「帯」の先頭確率0.11を出現確率ファイル２４００
から取得する。そして、「携」の単独確率0.01と「帯」
の先頭確率0.11の積を算出し、 1文字目での分割確率P
(1)=0.001を得る。

【０１０８】同様に、分割確率の算出位置である 2文字
目までの文字列の単独確率が出現確率ファイル２４００
に格納されているかを確認するために、出現確率ファイ
ル２４００に格納されている最大n-gram長 2と分割確率
算出位置 2を比較する。その結果、格納されている最大
n-gram長と算出位置が等しいので、 2文字目までの文字
列「携帯」の単独確率0.10を出現確率ファイル２４００
より取得する。

【０１０９】次に、分割確率の算出位置の後方に何文字
存在するかを確認するために、単一文字種文字列「携帯
電話」の文字列長 4と分割確率算出位置 2を比較する。
その結果、 2文字以上の文字列「電話」が存在するた
め、「電」の先頭確率0.36を出現確率ファイル２４００
から取得する。そして、「携帯」の単独確率0.10と
「電」の先頭確率0.36の積を算出し、2文字目での分割
確率P(2)=0.036を得る。

【０１１０】次に、算出された 1文字目での分割確率P
(1)と 2文字目での分割確率P(2)を比較し、値の大きい
方で単一文字種文字列を分割する。この結果、単一文字
種文字列「携帯電話」から２つの特徴語「携帯」と「電
話」を抽出することができる。

【０１１１】以上が、従来技術２における特徴語抽出処
理の手順である。

【０１１２】以上説明したように従来技術２を用いるこ
とにより、文書の登録時に蓄積された単語境界確率を参
照することにより、辞書を用いずに特徴語を抽出し、こ
れを用いて類似文書を検索することができるようにな
る。

【０１１３】以下、従来技術２を用いた特徴ベクトル生
成手順について図２５を用いて具体的に説明する。図２
５では、種文書「最新の地図閲覧ソフトについて」が入
力された場合の例に、検索特徴ベクトルが作成される手
順を示す。

【０１１４】まず単一文字種文字列抽出処理２５０１が
実行され、ワークエリア１４１に格納された処理対象文
書である種文書１７０１“最新の地図閲覧ソフトについ
て”から単一文字種文字列２５１０“最新”、“地図閲
覧”、“ソフト”が抽出される。

【０１１５】そして、複合特徴語判定処理２５０２が実
行され、単一文字種文字列２５１０が複数の特徴語で構
成される複合特徴語であるかを判定する。

【０１１６】次に、特徴語抽出処理２５０３が実行さ
れ、上記複合特徴語判定処理２５０２の結果、複合特徴
語と判定された“地図閲覧”から、これを構成する特徴
語“地図”“閲覧”が抽出され、単独特徴語と判定され
た“最新”および“ソフト”からは特徴語“最新”およ
び“ソフト”が抽出される。

【０１１７】そして、出現頻度計数処理１７４が実行さ
れ、上記特徴語抽出処理２５０３で抽出された各特徴語
について、処理対象文書１７０１内での出現頻度が計数
され、特徴ベクトル２５１３として出力される。

【０１１８】以上が、辞書を用いずに特徴語を抽出する
従来技術２を本発明に適用した場合の特徴ベクトル生成
処理手順である。

【０１１９】なお、特徴語の分割判定処理２５０２で使
用する各文字列の単語境界確率としては、従来技術２に
開示されるように登録文書中に含まれる各文字列の文字
種境界確率を使用してもよいし、他の文書データベース
に登録された文書に含まれる各文字列の文字種境界確率
を使用してもよい。

【０１２０】また、出現確率ファイル２４００における
各n-gramの文字種境界確率の保持形式としては、図２４
に示したように確率そのものを保持するものとしたが、
保持形式に影響されるものではなく、n-gramの出現回
数、単語の先頭出現回数、末尾出現回数および単独出現
回数を保持しておき、文字種境界確率の算出時に該出現
回数情報を用いて該文字種境界確率を算出するものとし
てもよい。

【０１２１】さらに、出現回数ファイル２４００では表
形式で各n-gramの文字種境界確率を保持するものとした
が、同様に保持形式に影響を受けるものではなく、例え
ばトライ構造で保持するものとしてもよい。

【０１２２】また、従来技術２では種文書から単一文字
種文字列を抽出し、該単一文字種文字列に対して複合特
徴語かを判定していたが、種文書から抽出するのは単一
文字種文字列だけでなく複数の文字種で構成される文字
列（以下、複数文字種文字列と呼ぶ）を抽出するもので
あってもよい。

【０１２３】この複数文字種文字列の抽出方法として、
所定の文字種の組合せを抽出するものとすれば、単語辞
書を参照することなく特徴語を抽出することができる。
例えば、漢字とカタカナで構成される文字列を抽出する
という規則を作成しておくことにより、前述の種文書
「最新の地図閲覧ソフトについて」から特徴語候補文字
列として“地図閲覧ソフト”を抽出することができるよ
うになる。

【０１２４】また、本実施形態では日本語における類似
文書検索システムの例を説明したが、日本語に限らず他
言語であっても構わない。すなわち、前述の日本語にお
ける類似文書検索システムの場合には、種文書中に存在
する複合特徴語及び該複合特徴語を構成する単語を類似
度算出に使用することで検索漏れの無い類似文書検索を
実現していたが、例えば英語等の様に単語の境界が明確
な言語の場合には、複数の単語の組（一般にフレーズや
熟語と呼ばれる）を複合特徴語として取り扱い、フレー
ズや熟語を用いた検索を行なう際に、本実施形態を適用
することが可能となる。

【０１２５】これにより、他言語においても意味のつな
がりのある単語の組の内容を考慮した類似度算出を行な
うことができる様になり、検索漏れの少ない多言語対応
の類似文書検索を提供することができる様になる。

【０１２６】まず、従来技術１を英文対応類似文書検索
システムに適用した場合の問題点について図１１を用い
て説明する。

【０１２７】図１１は従来技術１を英文対応類似文書検
索システムに適用した場合の問題点を示す図である。本
図では、文書５「This juice is made of carrot...」
及び文書６「-- Carrot Juice -- 1. Cut carrot into
some pieces...」が登録された文書データベースに対し
て、種文書「How to make carrot juice 」が入力され
た場合の例を表している。

【０１２８】まず文書の登録処理として、ステップ２１
０が実行され、各文書に対応する登録文書特徴ベクトル
１７０２及び１７０３が生成される。本図に示した例で
は、文書５に対応する登録文書特徴ベクトル１７０２と
して“文書５（"carrot"、1）（"juice&
quot;、1）”が生成され、文書６に対応する登録文書特
徴ベクトル１７０３として“文書６（"carrot jui
ce"、1）（"carrot"、1）”が生成され
る。

【０１２９】次に類似文書の検索処理として、ステップ
２２０が実行され、種文書に対応する種文書特徴ベクト
ル１７０６が生成される。本図に示した例では、種文書
特徴ベクトル１７０６として、“種文書（"carrot
juice"、1）”が生成される。

【０１３０】そしてステップ２２２において、種文書に
対する各登録文書の類似度を算出する。この結果、類似
度算出結果１７０７が出力される。本図に示した例で
は、数８及び数９に示す様に、文書５の類似度０．００
０及び文書６の類似度０．７１０と算出される。

【０１３１】

【数８】

【０１３２】

【数９】

【０１３３】この結果、文書５の内容は種文書に対して
関連があるにも関わらず、従来技術１では文書５の内容
は種文書に対して全く類似していないものと算出されて
しまう。

【０１３４】これは、種文書の特徴ベクトルの要素とし
て抽出される特徴語が複数の単語の組で構成されている
にもかかわらず、該特徴語のみを特徴ベクトルの要素と
して類似度算出に用いた為に、特徴語を構成する各単語
の持つ個々の概念が類似度に反映されないことによるも
のである。

【０１３５】すなわち、ノイズ等を減らす為に複数の単
語の組である"carrot juice"等を特徴語とし
た場合には、"carrot juice"を含む文書６に
対する検索精度が向上し、"carrot juice"を
含まない登録文書は検索されなくなるが、その特徴語を
構成する各単語それぞれを含む登録文書の文書５に対し
て類似度が付与されず、検索漏れが発生してしまうこと
になる。

【０１３６】以上説明した様に従来技術１を英文対応類
似文書検索システムに適用した場合にも、日本語の場合
と同様の問題が生じてしまうことになる。上記問題に対
し、本実施形態を英文対応類似文書検索システムに適用
することにより、日本語の場合と同様に解決することが
できる様になる。

【０１３７】以下、図１２に本実施形態を適用した英文
対応類似文書検索システムの処理概要を示す。

【０１３８】図１２は本実施形態の英文対応類似文書検
索システムの処理概要を示す図である。図１２は、文書
５「This juice is made of carrot...」及び文書６「-
- Carrot juice -- 1. Cut carrot into some piece
s...」が登録された文書データベースに対して、種文書
「How to make carrot juice」が入力された場合の例を
表している。

【０１３９】まず文書の登録処理のステップ２１０で
は、各文書に対応する登録文書特徴ベクトル１７０２及
び１７０３を生成する。本図に示した例では、文書５に
対応する登録文書特徴ベクトル１７０２として“文書５
（"carrot"、1）（"juice"、1）”
を生成し、文書６に対応する登録文書特徴ベクトル１７
０３ａとして“文書６（"carrot juice"、1）
（"carrot"、2）（"juice"、1）”
を生成する。

【０１４０】次に文書の検索処理のステップ２２０で
は、種文書に対応する種文書特徴ベクトル１７０６ａを
生成する。本図に示した例では、種文書特徴ベクトル１
７０６ａとして、“種文書（"carrot juice&quo
t;、1）（"carrot"、1）（"juice"、
1）”を生成する。

【０１４１】そしてステップ２２２において、種文書に
対する各登録文書の類似度を算出する。この結果、類似
度算出結果１７０７ａを出力する。数１０及び数１１に
示す様に、本図に示した例では文書５の類似度０．８１
６及び文書６の類似度０．９４３と算出される。

【０１４２】

【数１０】

【０１４３】

【数１１】

【０１４４】以上が本実施形態を適用した英文対応類似
文書検索システムの処理概要である。前記の様に本実施
形態を適用した英文対応類似文書検索システムにおいて
も複合特徴語を考慮することにより、従来技術１では検
索することができない文書５を検索することができる様
になる。

【０１４５】以上説明した様に本実施形態の類似文書検
索システムによれば、複合特徴語及びその複合特徴語を
構成する構成特徴語を含む文書を類似文書として検索す
るので、検索漏れの無い高精度な類似文書検索を実現
し、内容が特に関連した文書を精度良く検索することが
可能である。

【０１４６】（実施形態２）以下に複合特徴語から抽出
された構成特徴語の登録文書内での出現距離を考慮した
重み付けを行なう実施形態２の類似文書検索システムに
ついて説明する。

【０１４７】本実施形態を適用した類似文書検索システ
ムでは、複合特徴語から抽出された構成特徴語の登録文
書内での出現距離を考慮した重み付けを行なうものであ
り、種文書の同一複合特徴語から抽出された関連性の高
い構成特徴語が、関連の高い出現関係にある登録文書に
対して高い類似度を付与することにより、より内容の近
い登録文書を検索し、高精度な検索結果を得ることがで
きる様になる。

【０１４８】図１３は本実施形態の特徴ベクトル生成処
理部１７０ａの構成を示す図である。図１３に示す様に
本実施形態の類似文書検索システムは出現位置取得処理
部１９００を有している。出現位置取得処理部１９００
は、特徴語抽出処理部１７１で抽出された各特徴語につ
いて、処理対象文書内での出現位置を取得する処理部で
ある。

【０１４９】類似文書検索システムを出現位置取得処理
部１９００として機能させる為のプログラムは、ＣＤ−
ＲＯＭ等の記録媒体に記録され磁気ディスク等に格納さ
れた後、メモリにロードされて実行されるものとする。
なお前記プログラムを記録する記録媒体はＣＤ−ＲＯＭ
以外の他の記録媒体でも良い。また前記プログラムを当
該記録媒体から情報処理装置にインストールして使用し
ても良いし、ネットワークを通じて当該記録媒体にアク
セスして前記プログラムを使用するものとしても良い。

【０１５０】図１４は本実施形態の種文書類似度算出処
理部１３１ａの構成を示す図である。図１４に示す様に
本実施形態の類似文書検索システムは重み係数算出処理
部２０００を有している。重み係数算出処理部２０００
は、種文書から抽出された構成特徴語に一致する登録文
書の特徴語について、同一の複合特徴語から抽出された
他の構成特徴語との間の距離に応じた重み係数を算出す
る処理部である。

【０１５１】類似文書検索システムを重み係数算出処理
部２０００として機能させる為のプログラムは、ＣＤ−
ＲＯＭ等の記録媒体に記録され磁気ディスク等に格納さ
れた後、メモリにロードされて実行されるものとする。
なお前記プログラムを記録する記録媒体はＣＤ−ＲＯＭ
以外の他の記録媒体でも良い。また前記プログラムを当
該記録媒体から情報処理装置にインストールして使用し
ても良いし、ネットワークを通じて当該記録媒体にアク
セスして前記プログラムを使用するものとしても良い。

【０１５２】本実施形態は、実施形態１（図１）とほぼ
同様の構成を取るが、特徴ベクトル生成処理部１７０及
び種文書類似度算出処理部１３１の構成が異なる。特徴
ベクトル生成処理部１７０ａでは、図１３に示す様に、
出現位置取得処理部１９００が用いられる。また、種文
書類似度算出処理部１３１ａでは、図１４に示す様に重
み係数算出処理部２０００が用いられる。

【０１５３】以下、本実施形態における処理手順の内、
まず実施形態１とは異なる特徴ベクトル生成処理部１７
０ａの処理手順について、図１５に示すＰＡＤ図を用い
て説明する。

【０１５４】図１５は本実施形態の特徴ベクトル生成処
理部１７０ａの処理内容を示す図である。ここで、実施
形態１における特徴ベクトル生成処理部１７０（図４）
と異なる点は、出現位置取得ステップ２１００が加わる
だけである。他の処理ステップの処理手順は、実施形態
１で説明した通りである。

【０１５５】出現位置取得ステップ２１００では、出現
位置取得処理部１９００を起動し、ワークエリア１４１
に格納された各単語の、処理対象文書における出現位置
を取得する。以上が、特徴ベクトル生成処理部１７０ａ
の処理手順である。

【０１５６】次に、本実施形態における種文書類似度算
出処理部１３１ａの処理手順について、図１６に示すＰ
ＡＤ図を用いて説明する。

【０１５７】図１６は本実施形態の種文書類似度算出処
理部１３１ａの処理内容を示す図である。ここで、実施
形態１における種文書類似度算出処理部１３１（図７）
と異なる点は、重み係数算出ステップ２２００が加わる
だけである。他の処理ステップの処理手順は、実施形態
１で説明した通りである。

【０１５８】重み係数算出ステップ２２００では、重み
係数算出処理部２０００を起動し、種文書特徴ベクトル
の各要素の内、同一の複合特徴語から抽出された構成特
徴語の組に対して重み係数を算出し、種文書特徴ベクト
ルの要素に乗じる。以上が、種文書類似度算出処理部１
３１ａの処理手順である。

【０１５９】以下、本実施形態における類似文書検索シ
ステムの具体的な処理手順を図１７〜図１９を用いて説
明する。まず、本実施形態における類似文書検索システ
ムにおける文書の登録処理について、図１７を用いて説
明する。

【０１６０】図１７は本実施形態の文書登録処理の概要
を示す図である。図１７では、文書３「地図情報閲覧ソ
フトを開発、発売したＡ社は、・・・」及び文書４「多
くの地図閲覧ソフトが発売されているが、・・・」が文
書データベースに登録される場合の処理の流れを表して
いる。

【０１６１】まず登録文書取得処理部１２０は、文書３
及び文書４を読み込み、ワークエリア１４１に格納す
る。次に特徴ベクトル生成処理部１７０ａは、登録対象
の文書３及び文書４に対して対応する登録文書特徴ベク
トル２３００及び２３０１を作成し、ワークエリア１４
１に格納する。

【０１６２】本図に示した例では、文書３に対応する登
録文書特徴ベクトル２３００として“文書３（"地
図"、1）[1]、（"閲覧"、1）[5]、（"
ソフト"、1）[7]、（"発売"、1）[14]”が
生成され、文書４に対応する登録文書特徴ベクトル２３
０１として“文書４（"地図閲覧ソフト"、1）
[4]、（"地図"、1）[4]、（"閲覧"、
1）[6]、（"ソフト"、1）[8]、（"発売&qu
ot;、1）[12]”が生成される。なお、ここで“（"
地図"、1）[1]”の丸括弧（）内は特徴語“地図”
が１回出現することを表し、角括弧［］内の“１”は特
徴語“地図”の文字位置が１であることを表している。

【０１６３】そして、登録文書特徴ベクトル登録処理部
１２１は、ワークエリア１４１上の登録文書特徴ベクト
ルを登録文書特徴ベクトルファイル１８０として格納す
る。以上が、本実施形態に示した類似文書検索システム
における文書の登録処理である。

【０１６４】次に、本実施形態における類似文書検索シ
ステムにおける類似文書の検索処理について、図１８を
用いて説明する。

【０１６５】図１８は本実施形態の類似文書の検索処理
の処理内容を示す図である。図１８では、種文書「最新
の地図閲覧ソフトについて」が入力された場合の例を表
している。まず、検索条件解析処理部１３０は、検索条
件で指定された種文書を取得し、ワークエリア１４１に
格納する。

【０１６６】そして、特徴ベクトル生成処理部１７０ａ
は、ワークエリア１４１に格納された種文書に対応する
種文書特徴ベクトル２４００を生成し、ワークエリア１
４１に格納する。

【０１６７】次に、登録文書特徴ベクトル読込処理部１
６０は、前記文書の登録処理で作成された登録文書特徴
ベクトルファイル１８０を読み込み、登録文書特徴ベク
トル２３００及び２３０１をワークエリア１４１に格納
する。

【０１６８】そして、重み係数算出処理部２０００は、
種文書特徴ベクトル２４００の各要素が構成特徴語であ
るかを判定し、該要素がある複合特徴語の構成特徴語で
ある場合には数１２に基づいて重みを算出し、重み係数
２４０１として出力する。

【０１６９】

【数１２】

【０１７０】本図では、数１２（定数Ｃ＝２０とした）
に基づき各要素の重みを算出した場合の例を表してい
る。すなわち、種文書特徴ベクトル２４００の要素“地
図”は複合特徴語“地図閲覧ソフト”の構成特徴語であ
るから、同じ複合特徴語“地図閲覧ソフト”から抽出さ
れた他の構成特徴語（以下、同親構成特徴語と呼ぶ）で
ある“閲覧”、“ソフト”との最短距離を取得する。本
図に示した例では文書３において、“地図”に対する
“閲覧”、“ソフト”の最短距離は“４”であるから、
重み係数“０．８０”が算出されている。

【０１７１】そして、類似度算出処理部１６１におい
て、前記ステップ１７０ａで生成された種文書特徴ベク
トル２４００と登録文書特徴ベクトル２３００及び２３
０１のなす角度の余弦が数１３及び数１４の様に算出さ
れ、種文書に対する登録文書の類似度算出結果２４０２
が出力される。

【０１７２】

【数１３】

【０１７３】

【数１４】

【０１７４】以上が、本実施形態における類似文書検索
システムにおける類似文書の検索処理手順である。

【０１７５】次に、本実施形態における類似文書検索シ
ステムにおける特徴ベクトルの生成処理手順について図
１９を用いて説明する。

【０１７６】図１９は本実施形態の特徴ベクトルの生成
処理の処理内容を示す図である。図１９では、種文書
「最新の地図閲覧ソフトについて」が入力された場合の
例に、検索特徴ベクトルが作成される手順を表してい
る。

【０１７７】まず、文書解析処理部１７２は、ワークエ
リア１４１に格納された処理対象文書である種文書１６
０１“最新の地図閲覧ソフトについて”から特徴語候補
１６０２“地図閲覧ソフト”を抽出する。

【０１７８】そして、複合特徴語判定処理部１７３は、
特徴語候補１６０２“地図閲覧ソフト”が複数の特徴語
で構成される特徴語かを判定する。この結果、特徴語候
補１６０２“地図閲覧ソフト”は複数の特徴語“地
図”、“閲覧”、“ソフト”から構成されるものと判定
され、複合特徴語と判定される。

【０１７９】次に、特徴語抽出処理部１７１では、上記
複合特徴語判定処理部１７３の結果、複合特徴語と判定
された“地図閲覧ソフト”から、これを構成する特徴語
１６０４“地図”、“閲覧”、“ソフト”を抽出する。
そして、出現頻度計数処理部１７４は、上記特徴語抽出
処理で抽出された各特徴語について、種文書１６０１内
での出現頻度を計数する。

【０１８０】そして、出現位置取得処理部１９００は、
上記特徴語抽出処理部１７１で抽出された各特徴語につ
いて、種文書１６０１内での出現位置を取得し、特徴ベ
クトル２５００として出力する。以上が、本実施形態に
おける類似文書検索システムにおける特徴ベクトルの生
成処理手順である。

【０１８１】以上説明した様に、本実施形態によれば、
種文書から抽出された複合特徴語の構成特徴語間の距離
を考慮することにより、登録文書内での単語間の関係を
考慮した高精度な類似度算出を行なうことができる。す
なわち、複合特徴語及びその複合特徴語を構成する構成
特徴語を含む文書を類似文書として検索することによ
り、検索漏れの無い高精度な類似文書検索が可能となる
が、その際に構成特徴語間の距離を考慮して重み付けを
行なことにより、種文書との関連が低い登録文書の類似
度を下げて検索時のノイズを削減することが可能であ
る。

【０１８２】なお、本実施形態における特徴ベクトル生
成処理部１７０ａでは、複合特徴語及び複合特徴語から
抽出された構成特徴語の両方を特徴語として抽出してい
たが、構成特徴語だけを抽出するものとして良い。この
場合、重み係数算出や類似度算出に使用される特徴語の
要素数が削減される為、より高速な検索を実現すること
ができる。

【０１８３】また、本実施形態における特徴ベクトル生
成処理部１７０ａでは、各特徴語の出現位置取得処理部
１９００を出現頻度計数処理部１７４の後に実施するも
のとしたが、種文書解析処理部１７２の実施時に各特徴
語候補を抽出するのに合わせて、各特徴語候補文字列の
出現位置を抽出しておくものとしても良い。

【０１８４】更に、本実施形態における特徴ベクトル２
５００では、各要素に対応して出現頻度及び出現位置を
格納するものとしたが、種文書に対する特徴ベクトル作
成処理では同親構成特徴語をまとめて一つの要素として
管理するものとしても良い。この様にすることにより、
重み係数算出処理時に各要素が構成特徴語か否かを判断
する必要がない為、より高速な検索を実現することがで
きる。

【０１８５】以上説明した様に本実施形態の類似文書検
索システムによれば、同一の複合特徴語から抽出された
他の構成特徴語との間の距離に応じた重み係数を乗じた
類似度を算出するので、検索漏れが無くノイズの少ない
高精度な類似文書検索を実現することが可能である。

【０１８６】

【発明の効果】本発明によれば複合特徴語及びその複合
特徴語を構成する構成特徴語を含む文書を類似文書とし
て検索するので、検索漏れの無い高精度な類似文書検索
を実現し、内容が関連した文書を精度良く検索すること
が可能である。

【図面の簡単な説明】

【図１】実施形態１の類似文書検索システムの概略構成
を示す図である。

【図２】実施形態１のシステム制御処理部１１０の処理
内容を示す図である。

【図３】実施形態１の登録制御処理部１１１の処理内容
を示す図である。

【図４】実施形態１の特徴ベクトル生成処理部１７０の
処理内容を示す図である。

【図５】実施形態１の特徴語抽出処理部１７１の処理内
容を示す図である。

【図６】実施形態１の検索制御処理部１１２の処理内容
を示す図である。

【図７】実施形態１の種文書類似度算出処理部１３１の
処理内容を示す図である。

【図８】実施形態１の文書の登録処理の処理内容を示す
図である。

【図９】実施形態１の類似文書の検索処理の処理内容を
示す図である。

【図１０】実施形態１の特徴ベクトルの生成処理の処理
内容を示す図である。

【図１１】従来技術１を英文対応類似文書検索システム
に適用した場合の問題点を示す図である。

【図１２】実施形態１の英文対応類似文書検索システム
の処理概要を示す図である。

【図１３】実施形態２の特徴ベクトル生成処理部１７０
ａの構成を示す図である。

【図１４】実施形態２の種文書類似度算出処理部１３１
ａの構成を示す図である。

【図１５】実施形態２の特徴ベクトル生成処理部１７０
ａの処理内容を示す図である。

【図１６】実施形態２の種文書類似度算出処理部１３１
ａの処理内容を示す図である。

【図１７】実施形態２の文書登録処理の概要を示す図で
ある。

【図１８】実施形態２の類似文書の検索処理の処理内容
を示す図である。

【図１９】実施形態２の特徴ベクトルの生成処理の処理
内容を示す図である。

【図２０】従来技術１の処理手順の一例を示す図であ
る。

【図２１】従来技術１における特徴ベクトル生成処理の
一例を示す図である。

【図２２】従来技術１の概要を示す図である。

【図２３】従来技術１の問題点を示す図である。

【図２４】従来技術２における特徴語の抽出処理手順の
概要を説明する図である。

【図２５】本発明の第一の実施例における特徴ベクトル
生成処理に従来技術２を適用した場合の処理手順を説明
する図である。

【符号の説明】

１００…ディスプレイ、１０１…キーボード、１０２…
ＣＰＵ、１０３…磁気ディスク装置、１０４…ＦＤＤ、
１０５…主メモリ、１０６…バス、１０７…フロッピデ
ィスク、１０８…ネットワーク、１４０…共有ライブラ
リ、１４１…ワークエリア、１８０…登録文書特徴ベク
トルファイル、１８１…特徴語辞書ファイル、１１０…
システム制御処理部、１１１…登録制御処理部、１１２
…検索制御処理部、１２０…登録文書取得処理部、１２
１…登録文書特徴ベクトル登録処理部、１３０…検索条
件解析処理部、１３１…種文書類似度算出処理部、１３
２…検索結果出力処理部、１６０…登録文書特徴ベクト
ル読込処理部、１６１…類似度算出処理部、１７０…特
徴ベクトル生成処理部、１７１…特徴語抽出処理部、１
７２…文書解析処理部、１７３…複合特徴語判定処理
部、１７４…出現頻度計数処理部、１６０１…種文書、
１６０２…特徴語候補、１６０２及び１６０３…登録文
書特徴ベクトル、１６０３…特徴ベクトル、１６０４…
特徴語、１６０５…特徴ベクトル、１７００及び１７０
１…登録文書、１７０２及び１７０３…登録文書特徴ベ
クトル、１７０５…種文書、１７０６…種文書特徴ベク
トル、１７０７…類似度算出結果、１９００…出現位置
取得処理部、２０００…重み係数算出処理部、２３００
及び２３０１…登録文書特徴ベクトル、２４００…種文
書特徴ベクトル、２４０１…重み係数、２４０２…類似
度算出結果、２５００…特徴ベクトル、４０１及び４０
２…登録文書、４０３及び４０４…登録文書特徴ベクト
ル、４０５…特徴語辞書、４０６…種文書、４０７…種
文書特徴ベクトル、４０８…類似度算出結果。

フロントページの続き (72)発明者 多田 勝己 神奈川県川崎市幸区鹿島田890番地 株式 会社日立製作所ビジネスソリューション事 業部内 (72)発明者 里 佳史 神奈川県川崎市幸区鹿島田890番地 株式 会社日立製作所ビジネスソリューション事 業部内 (72)発明者 稲場 靖彦 神奈川県川崎市幸区鹿島田890番地 株式 会社日立製作所ビジネスソリューション事 業部内 (72)発明者 野田 十悟 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア事業部内 Ｆターム(参考） 5B075 ND03 NK10 NK32 PP28 PQ02 PQ46 PQ74 PR06 QM08 UU06

Claims (9)

【特許請求の範囲】
1. 【請求項１】 指定された文書と類似する文書を検索す
   る類似文書検索方法において、 所望の検索内容を含んだ種文書から特徴語の候補となる
   特徴語候補を抽出するステップと、前記抽出された特徴
   語候補が複数の特徴語で構成された複合特徴語である場
   合に当該特徴語候補から複合特徴語及びその複合特徴語
   を構成する構成特徴語を当該種文書の特徴語として抽出
   するステップと、 前記抽出された種文書の特徴語と登録文書の特徴語との
   間の類似度を算出するステップと、前記算出された類似
   度算出結果を検索結果として出力するステップとを有す
   ることを特徴とする類似文書検索方法。
2. 【請求項２】 前記抽出された特徴語候補に対応する特
   徴語にその構成特徴語を示す構成特徴語情報が登録され
   ている場合に、当該特徴語候補が複合特徴語であると判
   定することを特徴とする請求項１に記載された類似文書
   検索方法。
3. 【請求項３】 前記抽出された種文書の構成特徴語に一
   致する登録文書の特徴語について、同一の複合特徴語か
   ら抽出された他の構成特徴語との間の距離に応じた重み
   係数を算出するステップを有し、前記重み係数を乗じた
   類似度を算出することを特徴とする請求項１または請求
   項２のいずれかに記載された類似文書検索方法。
4. 【請求項４】 指定された文書と類似する文書を検索す
   る類似文書検索システムにおいて、 所望の検索内容を含んだ種文書から特徴語の候補となる
   特徴語候補を抽出する文書解析処理部と、前記抽出され
   た特徴語候補が複数の特徴語で構成された複合特徴語で
   ある場合に当該特徴語候補から複合特徴語及びその複合
   特徴語を構成する構成特徴語を当該種文書の特徴語とし
   て抽出する特徴語抽出処理部と、 前記抽出された種文書の特徴語と登録文書の特徴語との
   間の類似度を算出する種文書類似度算出処理部と、前記
   算出された類似度算出結果を検索結果として出力する検
   索結果出力処理部とを備えることを特徴とする類似文書
   検索システム。
5. 【請求項５】 前記抽出された特徴語候補に対応する特
   徴語にその構成特徴語を示す構成特徴語情報が登録され
   ている場合に、当該特徴語候補が複合特徴語であると判
   定する複合特徴語判定処理部を備えることを特徴とする
   請求項４に記載された類似文書検索システム。
6. 【請求項６】 前記抽出された種文書の構成特徴語に一
   致する登録文書の特徴語について、同一の複合特徴語か
   ら抽出された他の構成特徴語との間の距離に応じた重み
   係数を算出する重み係数算出処理部を備え、前記重み係
   数を乗じた類似度を算出することを特徴とする請求項４
   または請求項５のいずれかに記載された類似文書検索シ
   ステム。
7. 【請求項７】 指定された文書と類似する文書を検索す
   る類似文書検索システムとしてコンピュータを機能させ
   る為のプログラムにおいて、 所望の検索内容を含んだ種文書から特徴語の候補となる
   特徴語候補を抽出する文書解析処理部と、前記抽出され
   た特徴語候補が複数の特徴語で構成された複合特徴語で
   ある場合に当該特徴語候補から複合特徴語及びその複合
   特徴語を構成する構成特徴語を当該種文書の特徴語とし
   て抽出する特徴語抽出処理部と、 前記抽出された種文書の特徴語と登録文書の特徴語との
   間の類似度を算出する種文書類似度算出処理部と、前記
   算出された類似度算出結果を検索結果として出力する検
   索結果出力処理部としてコンピュータを機能させること
   を特徴とするプログラム。
8. 【請求項８】 前記抽出された特徴語候補に対応する特
   徴語にその構成特徴語を示す構成特徴語情報が登録され
   ている場合に、当該特徴語候補が複合特徴語であると判
   定する複合特徴語判定処理部としてコンピュータを機能
   させることを特徴とする請求項７に記載されたプログラ
   ム。
9. 【請求項９】 前記抽出された種文書の構成特徴語に一
   致する登録文書の特徴語について、同一の複合特徴語か
   ら抽出された他の構成特徴語との間の距離に応じた重み
   係数を算出する重み係数算出処理部としてコンピュータ
   を機能させることを特徴とする請求項７または請求項８
   のいずれかに記載されたプログラム。