JP2008152454A - 類義語統合システム - Google Patents

Abstract

【課題】 検索式におけるＯＲ結合の語を行とする集合の類義語群から、類義語辞書を作成する類義語統合システムの提供
【解決手段】 検索時に入力された検索式のＯＲ結合の語を行とする新規の類義語群を各語に対応する語頻度を１として、類義語辞書に取り込む処理を行う（S110）。類義語辞書の１行を主行とし、他の１行を副行として（S150,S180,S190）、主行と副行とを比較して、所定の条件を満足するかを調べ、統合処理を行うかを決定する（S160）。
比較した結果、所定の条件が満足している場合、副行の語で主行と同一の語は、主行の対応する語の語頻度に１を加算し、副行の主行に無い語は、主行に追加して副行を主行に統合するとともに、主行の語を語頻度の順に並び換える（S170）。その後、不要な行や語は削除する(S200）。
この類義語辞書は、同じような概念をまとめ、重要度（語頻度）により概念内が順序つけられている。
【選択図】図３

Description

この発明は、テキスト・データベースに対して、検索論理式を用いて検索するに際し、論理式のＯＲ結合された語群を抽出した複数の類義語群から類義語辞書を作成・統合する、類義語辞書統合システムに関するものである。

文字即ちテキストを含む資料の集合体である「テキスト・データベース」を検索して、検索者が必要としている資料を見つけ出す検索システムが用いられている。
この検索システムの構成例を図１に示す。図１において、サーバ等に構築したテキスト・データベース・システム２０に対して、インターネットやＬＡＮ等の電気通信回線２７を介して、液晶等の表示装置２５，キーボード・マウス等の入力装置２６を備えた、検索端末２３から、検索式等を入力して、データベースから目的の文献等の検索を行う。この検索システムでは、検索者がテキスト検索式を作成・入力し、当該検索式が示す内容と一致する、文字配列を持つ資料が抽出されるのである。サーバに構築される「テキスト・データベース」としては、特許公報、新聞や雑誌記事、学会論文、インターネット上のテキスト資料、その他テキストからなる資料、これらの要約などの２次資料、或いはこれらに関連して付与してある見出し語やタグである。図、画像、動画、音、などからなる資料に付与してある、テキストによる、解説、見出し語、タグ、などの集合である。

テキストによる検索では、例えば、「銀塩フィルムを使用しないで、電子的に撮影するカメラ」の概念を表す、「デジタルカメラ」をテキスト検索式に用いると、コンピュータは「デジタルカメラ」と全く同じ文字列を含む資料しか抽出しない。しかしながら、それぞれの人が記述する文章の表現は千差万別である。そのほかに、「電子カメラ」、「ＣＣＤカメラ」、「静止画カメラ」、「電子スチルカメラ」、「デジカメ」、その他の表現が多数ある。この様な、概念が殆ど同じと見なせる語の関係を「類義語」と呼び、その語群を「類義語群」と呼び、「類義語群」を集めて使用の便利を計ったものが「類義語辞書」である。

従って、検索式に「デジタルカメラ」のみを使用すると、「デジタルカメラ」の意味で他の表現が使用された資料は抽出されないが、類義語をＯＲ結合で用いることによって、即ち、検索式を
デジタルカメラ＋電子カメラ＋ＣＣＤカメラ＋静止画カメラ＋電子スチルカメラ＋デジカメ −−（１）
とすることで抽出漏れを減らすことが可能となる。
類義語辞書の作成やその後の修正維持は、人手で行った場合膨大な労力を必要とするので、コンピュータを用いる試みが行われている。
特許文献１には、類義語辞書の作成に際して、語の収集、分類にコンピュータを用いて自動作成する試みが記載されている。検索対象文書から、形態素解析を用いて文を構造解析し、得られた単語間の関係から単語群を纏める例、連想を用いる例、意味解析を行う例、共起関係と出現頻度から閾値を超えた語を辞書登録する例が示されている。
特許文献２〜５においては、検索者が入力した検索式やログデータを解析して、類義語辞書に蓄積する構成が示されている。

特開平８−１６１３４３号公報 特開平６−３１４２９６号公報 特開平１０−３２０４１９号公報 特開平１１−３１２１６８号公報 特開平９−３１９７６７号公報

従来の技術で示した特許文献に記載されている、形態素解析、構造解析、連想、意味解析、共起関係の利用等の自然言語処理を使用することによる類義語の集積は、未だ人間が使用する言葉の多様さ、複雑さを理解するには至っておらず、そこから生成される類義語辞書は実用性において不十分なものである。
又、検索者が入力した検索式やログデータを解析して、類義語辞書に蓄積する構成のものは、語群の整理統合の問題に関して取り扱っていない。
本発明の目的は、検索式から抽出した類義語群から、類義語辞書を作成する類義語辞書統合システムを提供するものである。

上述の発明の目的を達成するために、本発明は、検索時に入力された検索式のＯＲ結合語を行とする集合の類義語群から、類義語辞書を作成する類義語統合システムであって、前記類義語群の行の各語に対応する語頻度を１とし、行を保存して類義語辞書に取り込む処理を行う類義語群取り込み手段と、類義語辞書の１行を主行とし、他の１行を副行とする主行副行決定手段と、主行と副行とを比較して、所定の条件を満足するかを調べ、統合処理を行うかを決定する行比較手段と、前記行比較手段で、比較した結果、所定の条件が満足している場合、副行の語で主行と同一の語は、主行の対応する語の語頻度に１を加算し、副行の主行に無い語は主行に追加して、副行を主行に統合するとともに、主行内の語を語頻度の順に並び換える行統合手段とを備えることを特徴とする。
さらに、類義語辞書の行統合処理が終了後、類義語辞書内の行の先頭語を用いて、一定順序で並び換えを行う行並び換え手段を備えることもできる。
前記類義語辞書に統合済みの類義語部分があった場合、類義語群取り込み手段は、取り入れた類義語部分を統合済みの類義語部分と区別し、主行副行決定手段は、前記統合済みの類義語部分から主行とし、副行は新規に取り込んだ類義語群の部分とするとよい。また、前記行比較手段の所定の条件は、主行の比較対象語数を制限し、副行との一致した語数が所定数以上とすることができる。前記行統合手段は、さらに統合した副行を削除することもできる。
前記主行副行決定手段は、予め主行の比較対象語が少なくとも２語含まれる副行のリストを作成し、そのリスト中から副行を選択するとよい。
さらに、同義語辞書を有し、前記類義語群取り込み手段で類義語辞書に取り組む前に、前記同義語辞書で、同義語同士を同じ語にまとめる同義語処理を行う同義語処理手段を備えることもできる。
上述の類義語統合システムの各機能をコンピュータ・システムに実現させるためのプログラムやこのプログラムを記録した記録媒体も本発明である。

上述の本発明の構成により、類義語群を整理することで、重複が大幅に削減され、見易く、分かりやすい類義語辞書が作成可能である。しかも、再処理を重ねることによって、辞書の質は増大していく。
本発明を用いることで、殆どの場合その場限りで捨てられている、検索者が必要とする状況毎に考え思い付いた貴重な語の組み合わせ、即ち類義語群を、有効に利用することが可能となった。

発明の実施形態

以下、図面を参照して本発明の実施形態を説明する。

検索者が入力した検索式から、ＯＲ結合された語群は、類義語とすることができると考えられるので、この類義語群を検索式から抽出して収集する。この収集した類義語群から類義語辞書を作成することを考える。さて、この抽出した類義語群には、次の様な課題を持っている。
１）行数が多い。類義語群には、収集場所や期間にもよるが例えば１０００万行以上のものが考えられる。この中には同じ概念を表した行が重複存在する。
この様に重複が多い状況下では、類義語群を表示して検索に使用する際、大変に見づらい。
また、同じ概念の行を探し出し統合していくには、多くのコンピュータ資源を必要とする。少ない計算量で目的を達成する手順の開発が求められる。

２）検索者が検索したい項目は千差万別であり、検索者の表現方法も多様であるため、同じ概念の語群と言っても各種のものがあり、どれとどれが同じ概念かを判断するのは困難が伴う。
「記憶」の類義語を例に説明する。検索式中に、この「記憶」の語を含んでＯＲ結合して使用された例は多く、このＯＲ結合を抽出した類義語群中の「記憶」の類義語群の中には統合処理のための判断を困難にする事例が存在する。それらを以下に示す。

ａ）全く同じ語の組み合わせ、語順であるもの（この場合は問題なく統合できる）
蓄積，保存，記憶，メモリ，格納，記録 −−−−（２）
蓄積，保存，記憶，メモリ，格納，記録 −−−−（３）

ｂ）語の組み合わせは語群（２）と同じだが語順が異なるもの
メモリ，保存，記録，格納，記憶，蓄積 −−−−（４）

ｃ）いくつかの語は語群（２）と同じものが含まれるがいくつかの語は異なるもの
記憶，蓄積，保存，メモリ，取り込み，書き込み−−−−（５）

ｄ）語群（２）の一部の語しか含まないもの
記憶，蓄積，保存 −−−−−（６）

ｅ）類義語と言えなくはないが、概念が僅かに離れている語を含むもの
記憶，メモリ，蓄積，格納，登録，ファイル −−−−−（７）

ｆ）常識的に考えて、いくつかの語は類義語と考えられるがいくつかの語は類義語とは考えられないものであるが、検索時の必要性からＯＲ結合で用いられたもの
記憶，蓄積，保存，ナレーション，会話，音声 −−−− （８）

ｇ）使用される場面で概念を異にし、語群を異にするもの。
（以下の例では、語順は多様であるが理解をし易くするため、「記憶」を先頭に配置してある）
記憶，メモリ、ＲＡＭ，ＲＯＭ，ＨＤ，ノンボラ， −−−−（９）
記憶，メモリ，固定長，可変長 −−−−（１０）
記憶，記念，思い出，でき事 −−−−−（１１）
記憶，レジスタ，バッファ，ラッチ −−−−−（１２）
記憶，リセット，プリセット，書き込み，読み出し −−−−（１３）

ｈ）他の概念のもの。この例はＡＤ変換の概念の行である。
記憶，ＡＤ変換，Ａ／Ｄ変換，Ａ・Ｄ変換 −−−−（１４）
ｉ）上記ｂ）〜ｈ）において、語の配列順序は多様である。
これらの例は「記憶」を含む語群を例として説明したが行の中のどの語に着目するかも又課題である。ある行とある行とが同じ概念のものであるか、否かを判断する適切な手法の開発が求められる。

３）同義語の扱い。
「ディスプレイ，デスプレイ，デイスプレイ，デスプレー，ディスプレー，デイスプレー，表示」のような語の組は、同義語又は異表記と呼ばれる。文字配列が異なるが意味的には１００％同じ概念の語である。同義語は類義語の中に含まれている特殊な例である。全く同じ概念であるにもかかわらず表示行の中で多数のセルを占め表示画面を見にくくする。
また、次の例の場合は後述する統合処理において統合されるべき行であるにもかかわらず、行間で異なる語数が多いので統合すべきでないと誤った判断がなされる。
ディスプレイ，デイスプレイ，ディスプレー，表示，掲示 −−−（１５）
デスプレイ，デスプレー，デイスプレー，表示，警告 −−−（１６）
この問題の解決も求められている。

４）統合整理処理が完了した後の類義語辞書は見やすく使用し易いものでなければならない。どの行が重要か、どの語が重要か、類義語検索式を作成するとき、どの語を使用すべきかが分かり易いことが求められる。

５）統合処理を行うには、少なくとも２行を比較して、統合すべきか否かを判定しなければならない。類義語辞書のサイズが大きくなると、２行の組み合わせ数は、類義語辞書の持つ行数の二乗に比例する。この判定に要する計算量だけでも膨大なものとなる。従って計算量を減らすことも求められる。
以下で説明する本発明の実施形態は、上述の課題を全て解決するものである。

まず、本発明の１つの実施形態を図２〜図８を用いて詳しく説明する。
図２は、本発明の「類義語統合システム」のハードウェアの構成例の概略を説明するものである。
図２において、処理装置１５は、コンピュータ・システムにおける中心的な装置で、類義語統合のための処理プログラム１６をインストールして、類義語統合システムとして機能する。記憶装置１０は、処理装置１５と情報の交換ができ、類義語辞書統合システムに使用する各種の表が格納してある、或いは格納することのできるものである。記憶装置１０には、類義語統合システムに使用する、新規の類義語群１１，統合済類義語辞書１２，その他のデータ等１４が格納されている。これらの新規の類義語群１１，統合済類義語辞書１２，その他のデータ等１４等は、後で詳しく説明する。記憶装置１０内には、このほかにも必要に応じて処理の途中で使用される各種の表やデータが格納される。なお、新規の類義語群は、技術的背景で説明した検索システムの検索端末２３で入力された検索式からＯＲ結合したものをサーバ２０で選択して蓄積したものであり、まだ類義語辞書には統合前のものである。
表示装置１７は、処理結果等を表示し、入力装置１８は処理装置１５に指示を与えるためのものであり、例えばキーボードやマウスである。
なお、上述の図２に示した類義語統合システムの構成を、図１のサーバ２０内に構成してもよい。

図３は、図２のシステムで行われる統合処理を示すフローチャートである。
図３のフローチャートでは、過去に統合処理が行われた「類義語辞書」に、新規に収集した類義語群を追加して、統合処理を行うことを前提に説明する。初回の統合処理においては、統合処理が行われた類義語辞書が存在しないとして処理を行えば良い。

さて、類義語辞書の表示を行う際に、マトリックス状の表形式を使用すると分かりやすい。ここでは、辞書等を表形式で示し説明する。以下で使用する表形式では、１つの概念の類義語群を表の１行として表し、行の中では１語を１セルの中に記載する。行が異なれば別の類義語群であるとする。
本発明において取り扱うのは、検索論理式で用いられた式から、抽出した類義語である。類義語とは言えない語群を含む場合もあるが、検索論理式においてＯＲ結合で使用された語群は、類義語として扱う。ＯＲ結合とは、ＯＲの他、＋、空白、等「又は」の意味で結合されていた語群を集めたものである。
次に検索論理式の例を示す。
カメラ＋表示＋液晶＋撮影 −−−（１７）
（カメラ＋表示＋液晶＋撮影）＊（案内＋観光）−−（１８）
（カメラ＋表示＋液晶＋撮影）＋（案内＋観光）−−−（１９）
カメラ＋表示＋液晶＋撮影＋案内＋観光−−−（２０）
（カメラ＋表示＋液晶＋撮影）近傍式記号（案内＋観光）−−−（２１）
類義語群は上記のごとき多様な表現から、１組のＯＲ結合された部分を１群の、即ち１行の類義語として集め、配列したものである。上記の検索式で、（１８）式，（１９）式，（２１）式の場合には、２行の類義語群として収集される。
図４は、ＯＲ結合の検索式から収集された類義語群である。この類義語群は、例えば、図１に示したテキスト検索システム２０において、検索端末２３から送られた検索式を収集して作成する。この統合前類義語辞書において、行内語順は検索式に使用された順である。

まず、類義語群を、類義語辞書に取り込む処理を行う（Ｓ１１０）。取り込み処理後の類義語辞書を図５Ａ，図５Ｂに示す。
図５Ａは、類義語を示す図であり、横一行が類義語群を示している。
図５に示す類義語辞書（図５Ａと図５Ｂとを一体とし表現するとき図５と記す。以降他の図番においてもＡ，Ｂがある場合は同じ）においては、各単語に対応する語頻度のデータが存在し、図５Ｂに示している。なお、ここでは、図５Ａ，図５Ｂとして、便宜的に２つの表として表現しているが、語と語頻度との対応が取られていれば、データ構造はここに示した表形式でなくてもよい。

図５の１行から９行までが、以前に統合処理を行った類義語辞書の部分で、１０行〜３４行は、類義語辞書に追加した新規の類義語辞書の部分であり、図４に示したものである。
図５Ａにおいて、Ｂ列が新旧識別タグで、統合処理が終了した類義語辞書部分では０と、まだ統合処理が終了していない、新規に取り込まれた類義語辞書部分には１とする。Ａ列は行番号、Ｆ列は行内語数，Ｊ列は先頭語頻度を格納している。Ｋ列が先頭語の位置で、それ以降に、その行の類義語が配列されている。なお、これらの列のデータ表示は、処理過程が把握できるように記載しているので、必ずしも処理に必要なものではない。
図５Ｂに示した、類義語辞書の各単語に対応している語頻度は、新規に取り込まれた類義語辞書部分には、初期値として１を設定する。この語頻度は、統合処理により書き換えられ、統合された語数を示している。

ここまでの処理が統合処理を行うための準備のための処理である。これから、行同士を統合する処理を行う。
行同士を統合する処理は、図５に示した類義語辞書の上の行から下の行へと処理を進める。さて、行同士を統合する処理は常に主行と副行の２行に対して行われ、主行とは、処理の主体となる行であり、処理相手の行（副行）とで、行同士の統合処理が行われる。
まず、主行（ｍｎ：主行番号）、副行（ｓｎ：副行番号）の初期設定を行う（Ｓ１５０）。この工程においては、最初の主行は、統合済みの類義語辞書部分の１行目（ｍｎ＝１）であり、副行はその下の新規の類義語辞書部分の１行目である１０行目（ｓｎ＝１０）である。これは、統合済みの辞書部分については統合処理を行う必要性は低いので、新規に取り入れた部分と統合済みの辞書部分との統合処理を主に行うためである。

そして、主行、副行の２行を比較し、統合する処理を行うかどうかの統合可否の判断を行う（Ｓ１６０）。
主行には「主行比較語数」を設定することができる。この主行比較語数をｍｇとする。副行の語と比較する主行の語は、先頭語からｍｇ個の語までである。これが「主行比較語」である。主行の語数がｍｇに満たない場合は全語が「主行比較語」となる。
あとで理解されるように、主行の語数は統合により増加する。このため、「主行比較語」を設定している。
この主行比較語数ｍｇの値は、統合処理の間一定値、例えばｍｇ＝６とすることができる。或いはこのｍｇの値は全語としても良く、あるいは主行の属性によって適応的に変化させても良い。適応的に変化させる例としては、行の語数の関数とする、先頭語の頻度の関数とする等である。

副行にも、主行との比較に使用する語を制限する「副行比較語数」が設定してあり、これをｓｇとする。この副行比較語数も、副行の左端の先頭語からの語数であり、副行の語数がｓｇに満たない場合は全語とする。
この副行比較語数も、一定値（例えばｓｇ＝６）、全語、副行の属性に応じて適応的に変化させる等とすることができる。
このように、副行を制限する場合は、行内の語の順が例えば、使用頻度順のように、ある種の重要度順に並んでいる必要がある。しかしながら、新旧タグが１（新規である）の副行においては、行内の語順は無秩序であり、行が持つ概念順とは言えないので、ｓｇは行内の全語とするのが良い。なお、新規の類義語群部分の行も主行となるが、このときも、行内の全語を主行比較語とするとよい。

統合後の類義語で構成する行は、１つのある概念を表現する語群であるが、本発明では、後で説明するように、語頻度を用いて行の左端の先頭語が一番当該行概念を表す度合いが大きくなる工夫をしており、順次右に行くにつれて当該行の概念を表す度合いが減少するのみならず、当該行概念でない他の概念を表す度合いが増加するように配列している。このため、あまり多くの語を統合可否の判断に使用すると判断を誤る場合が生ずることがある。これが比較の対象の語数を制限した理由である。

統合処理を行うかどうかの統合可否判断は、主行と副行の各語同士を比較して、一致する語の数を求めて行う。統合可否の条件について、以下に詳細に説明する。ここで、比較する主行・副行それぞれの、主行比較語，副行比較語の少ない方の語数を比較語数ｈｎとする。主行比較語、副行比較語を比較して一致した語の数をｉｎとする。
なお、以下の条件において、副行の先頭語頻度が１である場合は全部としているが、これは、この行が一度も統合されたことがない行であり、行内が無秩序のままであるからである。
（判断条件例１）
ｍｇ＝６、ｓｇ：先頭語頻度１は全語、先頭語頻度２以上はｓｇ＝６とする。
統合可と判断するのは、比較語数ｈｎが４語以上の場合はｉｎは３語以上、比較語数ｈｎが３語の場合はｉｎは２語以上、比較語数ｈｎが２語の場合はｉｎは２語とする。統合可と判断した場合以外は統合不可と判断する。

（判断条件例２）
ｍｇ＝３，ｓｇ：先頭語頻度１は全語，先頭語頻度２以上はｓｇ＝３
統合可と判断するのは、ｉｎが２語以上
（判断条件例３）
ｍｇ＝４，ｓｇ：先頭語頻度１は全語，先頭語頻度２以上はｓｇ＝４
統合可と判断するのは、ｉｎは２語以上

（判断条件例４）
ｍｇ＝６，ｓｇ：先頭語頻度１は全語，先頭語頻度２以上はｓｇ＝６
統合可と判断するのは、
比較語数ｈｎが５語以上の場合：ｉｎは４語以上
比較語数ｈｎが４語の場合：ｉｎは３語以上、
比較語数ｈｎが３語の場合：ｉｎは３語
比較語数ｈｎが２語の場合：ｉｎは２語
（判断条件例５）
ｍｇ＝７，ｓｇ：先頭語頻度１は全語、先頭語頻度２以上はｓｇ＝７
統合可と判断するのは、
比較語数ｈｎが５語以上の場合：ｉｎは４語以上
比較語数ｈｎが４語の場合：ｉｎは３語以上
比較語数ｈｎが３語の場合：ｉｎは２語以上
比較語数ｈｎが２語の場合：ｉｎは２語

上述の例の他、上記判断条件例を参考にして、類義語辞書の特性に応じて、ｍｇ，ｓｇ，ｉｎの値を決めることができる。
図３のフローチャートでは、上述の判断条件例１で判断した。
上述した判断条件例１による統合可否判断（Ｓ１６０）で、統合不可（＝否＝Ｎｏ）と判断された場合には、副行を更新する処理（Ｓ１８０）に移行する。統合可（＝可＝Ｙｅｓ）と判断された場合には、行の統合処理（Ｓ１７０）に移行する。

なお、統合可否判断（Ｓ１６０）では先ず、予備統合可否判断として、副行比較語に主行比較語が存在するかをまず調べてもよい。上述した条件による統合可否判断に比べて簡便な処理であるので、この処理を最初に行うことによって、可否判断の計算量を削減することができる。主行比較語と副行比較語に所定数の同一の語が存在しない場合には、すぐに統合不可（＝否）と判断する。

図３の行の統合処理（Ｓ１７０）は、主行と副行の全語を比較し、一致した語の副行の語頻度を主行の当該語の語頻度に加算し、主行に一致した語のない副行の語は、当該語をその頻度と共に主行の語列の右端に追加する（主行の語数が増加する）。統合された副行の語頻度は全て０とする。これで副行の全ての語は語頻度と共に主行に統合される。
統合後の主行に対して、行内語を行内の語頻度順に並べ換える。主行においては、同じ語の重複は存在しない。

その後、「副行更新，副行は終り？」の処理（Ｓ１８０）に移行する。副行の更新および副行は最終かの処理（Ｓ１８０）においては、まず、先頭語の語頻度が０でない行まで、副行を下げる（ｓｎ＝ｓｎ＋ｎ，ｎ：正の整数)。これは、先頭語の語頻度が０である行は、主行に統合された行であるからである。
そして、副行が類義語辞書の最後まできているか調べ、最後でなければ、行の統合可否判断処理（Ｓ１６０）に戻る。１つの主行に対する副行の統合処理が類義語辞書の最後まできていれば、主行を更新および主行は最終かの処理（Ｓ１９０）へ行く。

「主行を更新，主行は終り？等」（Ｓ１９０）の処理においては、主行を、先頭語の語頻度が０でない行まで下げる（ｍｎ＝ｍｎ＋ｍ，ｍ：正の整数）。このとき、新規の類義語辞書部分も主行となる。そして、主行が類義語辞書の最後でなければ、副行を決定する。このとき、副行は、主行より下の行で、先頭語頻度が０でない，新規の類義語部分の行にある最初の行を副行とする。そして、行の統合可否判断処理（Ｓ１６０）に戻る。
主行が類義語辞書の最後の行であれば（Ｓ１９０でＹＥＳ）、行の統合処理は全ての行に対して終了しており、不要な語・行を削除する処理（Ｓ２００）へ行く。
行の統合処理が全ての行に対して終了したとき（不要な語・行の削除処理（Ｓ２００）に行く前）の類義語辞書を、図６Ａ、図６Ｂ（併せて図６）に示す。

さて、不要な語・行の削除処理（Ｓ２００）においては、先頭語の語頻度０の行を削除する。この先頭語の語頻度０の行は、主行に統合された行である。したがって、削除する必要がある。
また、新規に取り入れた類義語辞書部分のサイズが大きいと、副行を統合した主行の行内語数が非常に大きくなる。このように１行に多くの語があると、使いやすい辞書として適切ではない場合がある。このような場合先頭語からｃｎ語迄を採用し、不要である語を切り捨てる処理を行うとよい。例えばｃｎ＝３６とし、３７語目以降は削除する。行内の語を切り捨てる語範囲ｃｎに関しても、切り捨て無し、ｃｎは一定値、属性によって適応的に変化させるとしても良い。適応的に変化させる例としては、行の語数の関数とする、先頭語の頻度や語頻度の関数とする、等がある。

上述の先頭語の語頻度０の行の削除や、不要語の削除処理は、後で説明するように、行の統合処理を行うときに行ってもよい。このときは、この不要な語・行の削除処理（Ｓ２００）を行う必要はない。
また、先頭語の使用頻度の低い行は削除することもできる。先頭語の使用頻度が例えば３以下の行は削除する等である。なお、ここで「使用頻度」とは、作成した類似語辞書内での使用頻度等である。
上述のように、「使用頻度の少ない語」や「先頭語の使用頻度の少ない行」を削除しておくと、辞書利用時使いやすくなる。

その後、各行を新しい先頭語が、例えば使用頻度順になるように、先頭語が同じ時には先頭語頻度順に、先頭語頻度も同じ時は行内語数順に、行内語数も同じ時は行内語が使用頻度順になるように並び換える（Ｓ２１０）。
なお、使用頻度順の表は類義語辞書から作成するのみならず、各種テキスト・データベースから作成しても良い。各種テキスト・データベースの例としては、特許公報データベース、新聞データベース、雑誌データベース、学会誌データベース、その他がある。また、上述では、頻度による重要度で、語の順番の表を作成したものを例示したが、他の基準による重要度順により語順表を用いることもできる。必ずしも、頻度順である必要はなく、ＪＩＳコード順等の一意の順番でもよい。
この処理が終了すると、統合処理の終了である。
図５に示した例に対して、統合処理が終了したときの類義語辞書を図７Ａ，図７Ｂに示す。図７に示すように、コンパクトに纏まった、行ごとに先頭に最重要である語（語頻度が行内で最大の語）を有する類義語辞書になる。

本発明による、類義語辞書統合の更なる特徴は、同一の先頭語であっても異なる概念の行は別行となることである。図７Ａでは、表のサイズが小さいので特徴が出にくいが、
行番号３においては、地図、ＭＡＰ、マップ、測量、測定、座標，ＧＰＳ、・・・
行番号４においては、地図、観光、目的地、コース
行番号５においては、地図、印刷、カメラ
となっており、行番号３は「測量的な地図そのもの」、行番号４は「観光案内用の地図」、行番号５は「地図の印刷関連」の概念の行となっている。
以上述べた統合処理を、類義語群が新規に作成されるごとに、類義語辞書に取り入れて繰り返し行うことによって、類義語辞書はより良いものへと進化し続ける。
また、一旦作成した類義語辞書を対象とし、全ての行を新規として、上述の統合処理を行うことにより、類義語辞書がさらに統合されることが期待できる。このときは、異なる概念の行同士を統合しないように、統合条件を設定する必要がある。例えば、主行，副行ともに、比較語数はある程度大きい同じ値として、判断条件も厳しいものとするとよい。例えば上述の判断条件５を使用するとよい。

図８は、図１の検索システムにおいて、上述の処理で作成した類義語辞書を使用して、検索を行うときの様子を説明するものである。まず、図１のテキスト検索システムのサーバ２０や検索端末２３に、上述の処理で作成された類義語辞書を格納して、検索端末２３から、検索できるようにする。
図８は、図１の検索端末２３における表示装置２５で表示されている、検索式作成をするための画面例である。検索式は、「検索式作成領域」３４に入力装置２６から文字を入力して作成される。
さて、図８に示した検索入力画面において、本発明で作成した類義語辞書を用いて検索式語を作成することを説明する。
まず、類義語辞書に対して検索を行うための検索語入力域３１に、検索語を入力する。ここに例えば「地図」という語を入力して、「語検索」ボタン３２を押すと、類義語辞書が検索されて、「類義語検索結果表示領域」３３に、検索結果が表示される。図８では、地図を先頭語とした類義語辞書の行が表示されている。先頭語の頻度の表示欄３６が３および１であることが例示されている。行内においては、語は頻度が高い語から低い語へと左から右に表示されている。先頭語の頻度の高い行が上の行に表示される。
検索を行うユーザは、この表示された類義語を参照して、カットアンドペーストで、「検索式作成領域」３４に必要な語をコピーして、適切な検索式を完成させることができる。その後、「資料検索ボタン」３５を押して、入力した検索式により資料を検索することができる。

他の実施形態

＜インデックス表＞
上述したように、本発明においては、上述の実施形態では、行の統合処理を行う対象である、主行と副行の組み合わせを一種の総当り方式で取り出して、２行を比較して統合可否判断を行う。このため、統合可否判断の回数は大きく、辞書サイズが大きくなると計算量も多くなり、処理結果を得るまでの時間が多くなる。
以下に説明する処理では、インデックス表を作成し、このインデックス表を用いて、２つの行（主行と副行）の組み合わせを取り出して、行の統合処理を行っている。これにより、総当りによる処理より、処理コストを低減することができる。

まず、インデックス表について説明する。インデックス表を図９に示す。図９に示したインデックス表は、図５に示した、新規の類義語群を取り込んだ類義語辞書に対応するインデックス表である。
「インデックス表」（図９参照）は、Ｚ列の当該語を「見出し語」に持ち、行方向に「類義語辞書」（図５）における「当該見出し語」を含む全ての行の行番号が並んだ表である。
図９のインデックス表において、Ｈ列は語番号，Ｚ列は語，Ｊ列は使用頻度である。図９のインデックス表の語番号１の「表示」に関して説明すると、Ｋ列以降に、図５Ａ「類義語辞書」の「表示」を含む行番号を全て記してある。その他の当該語に関しても、その語を含む行番号が全て記してある。これが「インデックス表」である。なお、このインデックス表は、Ｊ行に示した使用頻度順で示している。
インデックス表は統合処理ごとに１回作れば良く、これが、インデックス表を用いると処理コストが減らせる理由である。

以下に、図３に示した統合処理のフローチャートの処理において、インデックス表を用いて、主行と副行の対を決定する手順を説明する。まず、図３のフローチャートにおいて、新規の類義語群を取り込んだ後に、インデックス表も作成する。
主行が設定される処理のとき（図３：Ｓ１５０，Ｓ１９０）に、インデックス表（図９）を用いて、その主行に対する副行の範囲を示す表（図１１参照）を作成し、その副行範囲の表内で「行の統合処理」を行う副行を選択する。

図５に示す類義語辞書の第６行目を主行とする（図３のＳ１９０の処理時）場合の副行の範囲の表（図１１参照）の作成処理を例に説明する。
図５の類義語辞書の第６行目は９語から構成されているが、主行比較語数が６語（ｍｇ＝６）の場合、先頭語から６語が統合可否判断に使用される。この主行比較語が含まれている行の表（図１０参照）を、インデックス表（図９参照）からまず作成する。
図１０の表は、主行比較語を含む行の表であるので、Ｚ列に第１行の語の最初から６語を縦に語順で格納し、Ｈ列に各語の語番号（図９の語番号）を記してある。Ｋ列以降に、主行比較語各語を含む行の行番号を図９のインデックス表から求めて、図１０に示した表に格納する。主行比較語に含まれない語に関しては無視するので、６語分のみ作成する。

つぎに、図１０に示した表を用いて、主行比較語をＮ語含む副行の表（副行の範囲を示す表：図１１参照）を作成する。図１１に示した副行の範囲を示す表は、図５Ａの６行目における主行比較語（図１０：「観光」〜「名所」の６語）から、２語（Ｎ＝２）含む行の行番号を示したものである。
図３のフローチャートでは、統合可否判断（Ｓ１６０）で統合するための判断条件例での一致語数ｉｎの最低値は２語であるので、副行の範囲を定めるときでも２語一致（Ｎ＝２）とした。このＮの値は統合可否判断で使用される一致語数ｉｎの内、最も小さい値とする必要がある。これで、統合可否判断を行うべき副行を少なくすることができる。
なお、副行の範囲は必ず主行（この場合、第６行目）より下の行が副行となり、主行自身（この場合、第６行）は記入されない。

図３の副行を更新している処理（Ｓ１５０，Ｓ１８０，Ｓ１９０）において、この表内の行番号から副行を順次選択して、主行と統合処理を行うことができる。
図１１に示した副行の範囲を示す表は、行の統合処理において行を統合し、語の並べ換えが行われた等で、主行比較語の語種が変化した場合に、その都度作り直される。また、副行が主行に統合されると、その行は図１１の副行の範囲を示す表から削除される。
このように、インデックス表を用いて副行の選択範囲を予め絞ることによって、統合可否判断（Ｓ１６０）を行うべき副行を限定することができ、総当りによる処理を行う必要がなくなる。

＜統合された副行の削除＞
行の統合処理を行う（図３：Ｓ１７０）場合に、統合された副行を削除することでも処理コスト削減を実現することができる。また、不要語の削除も行の統合処理で行うことができる。
この処理を行う場合は、図３のフローチャートにおいて、行の統合処理（Ｓ１７０）で統合された副行を削除するので、副行の更新のとき（Ｓ１８０）や主行の更新のとき（Ｓ１９０）に、先頭語の語頻度が０でない行まで下げる必要はなく、次行とすればよい。また、最終行まで統合した後に不要な行や語の削除を行う必要はない（Ｓ２００参照）。
このように、統合した副行を行の統合処理で削除した場合、最終行まで統合したとき（Ｓ２１０の前）の類義語辞書を示す図６Ａ，図６Ｂは、図１２Ａ，図１２Ｂとなる。

＜同義語の処理＞
類義語の中に含まれる特殊な場合として同義語がある。類義語は概念が近い語の集合であるが、同義語はほぼ１００％概念が同じである。文字列のみ異なる語群に異表記があるが、異表記を含めて１００％近く概念が同じ語を本発明では同義語と呼ぶ。語によっては類義語か同義語か判断できない場合もあるので、本発明では同義語辞書に登録してある語群を同義語として扱い、同義語辞書に登録してない語群は類義語として扱う。

次の語群は同義語である。例えば、
ディスプレイ、デスプレイ、デイスプレイ、デスプレー、ディスプレー、デイスプレー −−（２１）
である。この６語は全く同じ概念で使用される。類義語辞書の或る行が、
ディスプレイ、デスプレイ、デイスプレイ、デスプレー、ディスプレー、デイスプレー、表示、掲示、−−−（２２）
の様な場合、主行であるとして、主行比較語数をｍｇ＝６に設定しても、この６語が同義語で占有されてしまい ｍｇ＝１と等価となり、統合可否判断に弊害が発生する場合がある。この様な行は類義語辞書を使用する際の表示においても、全く同じ概念で文字列が僅かに異なる語が、セルを同義語の数だけ占有するので表示画面を見にくくし、必要な語を捜すため多くのセルを注視せねばならず検索者の疲労を増大させる。

また、次のような２行の場合を考える。ただしカギ括弧内は当該語の頻度である。
ディスプレイ[１]、デイスプレイ[１]、ディスプレー[１]、表示[１]、掲示[１]
−−−（２３）
デスプレイ[１]、デスプレー[１]、デイスプレー[１]、表示[１]、案内[１]
−−−（２４）
この場合、図３のＳ１６０で述べたような判断基準を用いると、統合不可と判断される。この２行は統合されるべきなのにも拘わらず統合処理不可の判定となる。同義語に関してはこの様な問題があるので、この同義語を処理して、障害を取り除く必要がある。

同義語に関しては、図１３Ａに同義語辞書（語部）、図１３Ｂに同義語辞書（語相対頻度部）として例示すような同義語辞書を用意する。同義語辞書の各行において同義語代表語（先頭語）を定める。同義語代表語（先頭語）として適切なものは、各行において最も使用される頻度の高い語であり、行の最左のセルに記載する。
「同義語処理」は、この同義語辞書を用いて、図３のフローチャートにおける統合前類義語辞書を取り込む処理（Ｓ１１０）に先立って、類義語群中の同義語辞書に記載のある語は、同義語先頭語に置き換える。その結果、同じ行に複数の同じ同義語先頭語が存在する場合には、1つの同義語先頭語に纏めることができる。
語頻度は、以下に示すように、同義語の語頻度を合計する場合と、合計しない場合とを必要に応じて選択することができる。
上述の類義語群例（２３），（２４）の場合の語頻度は、この同義語処理により次のようになる。
（同義語処理後に、語頻度を加算する場合）
ディスプレイ[３]、表示[１]、掲示[１] −−（２５）
ディスプレイ[３]、表示[１]、案内[１] −−（２６）
この２行は、表示したとき見易く、統合処理においても判定基準２に照らして統合可の判定が得られる。
（同義語処理後に、語頻度を加算しない場合）
ディスプレイ[１]，表示[１]，掲示[１]−−−（２７）
ディスプレイ[１]，表示[１]，案内[１] −−（２８）

類義語辞書内の同義語を、同義語辞書を使用して同義語先頭語に置き換える処理は、類義語辞書の整理統合に役立つのみならず、同義語を含む一般類義語辞書の場合においても役立つ。統合処理を行った類義語辞書、或いは統合処理をしていない類義語辞書で上記同義語に置き換える処理をして、各同義語を同義語代表語（先頭語）で置き換えてある類義語辞書は、辞書使用時には、同義語辞書を使用して複数の同義語に展開する。この時展開される同義語は、元の置換前の語群と同じとは限らない。以下に同義語代表語（先頭語）を展開する例を示す。

１）検索論理式作成時に同義語辞書に存在する語が使用されたときには、同義語辞書を参照して論理式上で自動展開する。検索式が
ディスプレー＋表示＋掲示 −−−（２９）
の時、自動展開された検索式は、同義語辞書が図１３Ａの場合、
ディスプレー＋デスプレイ＋デイスプレイ＋デスプレー＋ディスプレー＋デイスプレー＋表示＋掲示 −−−（３０）
となる。展開する語数に例えば上位３語までの制限を設けて、
ディスプレー＋デスプレイ＋デイスプレイ＋表示＋掲示 −−−（３１）
とすることもできる。この展開する語数に関する制限としては、
ａ）頻度が高い方から所定の語数、
ｂ）頻度が同義語代表語（先頭語）に対する相対頻度が一定割合以上の語、
ｃ）その他必要に応じて設定することができる。

各語の頻度を示すために、語と頻度を並べて表示することもできる。語と頻度は横に並べても良いし、縦に並べても良い。検索者は、表示された類義語から必要な語を「検索式作成領域」にコピーして、資料検索式を構成する。検索式完成後、データベースの検索が行われる。

２）検索論理式作成時に同義語辞書に存在する語が使用されたとき、同義語辞書の当該行を、図１の検索端末の表示装置２５上に頻度と共に展開表示し、検索論理式作成者に必要な類義語を選択させるようにする。
また、図８に示すような類義語の表示と同時に同義語辞書を表示してもよい。
図１４は、上述の（２９）式のような語「ディスプレー」を含む検索式を入力した際に、自動で、または手動による指示で表示される、語「ディスプレー」の同義語とその頻度を表示する画面例である。図１４において、同義語代表語（先頭語）には使用された頻度が、それ以外の語には同義語代表語（先頭語）の頻度を１として正規化した相対頻度が示されている。検索者は、図１４の表示を見て、どこまでの同義語を使用するかを判断する。また、同義語を自動で追加する場合でも確認のために、図１４に示すような表を表示すると検索式作成者に安心感を与える。

従来のテキスト検索システムの構成を示す図である。 類義語辞書を作成するためのシステム構成例を示す図である。 統合処理のフローチャートを示す図である。 新規の類義語群を示す図である。 類義語辞書（語部）を示す図である。 類義語辞書（語頻度部）を示す図である。 最終行まで統合した（Ｓ１９０）後の類義語辞書（語部） 最終行まで統合した（Ｓ１９０）後の類義語辞書（語頻度部） 統合処理が終了した（Ｓ２１０）後の類義語辞書（語部） 統合処理が終了した（Ｓ２１０）後の類義語辞書（語頻度部） 類義語辞書の使用例を説明する図である。 インデックス表を示す図である。 主行（図５の６行目）の先頭から６語が存在する行を示す図である。 主行（図５の６行目）に対する副行の範囲を示す図である。 統合された副行を削除する場合の最終行まで統合した（Ｓ１９０）後の類義語辞書（語部） 統合された副行を削除する場合の最終行まで統合した（Ｓ１９０）後の類義語辞書（語頻度部） 同義語辞書（語部）を示す図である。 同義語辞書（語相対頻度部）を示す図である。 同義語辞書の画面表示を示す図である。

符号の説明

１０ ディスク等の記憶装置
１１ 新規の類義語群
１２ 統合済類義語辞書
１４ その他のデータ
１５ 処理装置
１６ 処理プログラム
１７ 表示装置
１８ 入力装置
２０ テキスト・データベース・システム
２３ 検索端末
２５ 表示装置
２６ 入力装置
２７ 電気通信回線
３０ 検索画面
３１ 検索語入力領域
３２ 語検索ボタン
３３ 類義語検索結果表示領域
３４ 検索式作成領域
３５ 資料検索ボタン
３６ 先頭語頻度表示領域

Claims (9)

1. 検索時に入力された検索式のＯＲ結合の語を行とする集合の類義語群から、類義語辞書を作成する類義語統合システムであって、
   前記類義語群の行の各語に対応する語頻度を１とし、行を保存して類義語辞書に取り込む処理を行う類義語群取り込み手段と、
   類義語辞書の１行を主行とし、他の１行を副行とする主行副行決定手段と、
   主行と副行とを比較して、所定の条件を満足するかを調べ、統合処理を行うかを決定する行比較手段と、
   前記行比較手段で、比較した結果、所定の条件が満足している場合、副行の語で主行と同一の語は、主行の対応する語の語頻度に１を加算し、副行の主行に無い語は主行に追加して、副行を主行に統合するとともに、主行内の語を語頻度の順に並び換える行統合手段と
   を備えることを特徴とする類義語統合システム。
2. 請求項１に記載の類義語統合システムにおいて、
   さらに、類義語辞書の行統合処理が終了後、類義語辞書内の行の先頭語を用いて、一定順序で並び換えを行う行並び換え手段
   を備えることを特徴とする類義語統合システム。
3. 請求項１又は２に記載の類義語統合システムにおいて、
   前記類義語辞書に統合済みの類義語部分があった場合、
   類義語群取り込み手段は、取り入れた類義語部分を統合済みの類義語部分と区別し、
   主行副行決定手段は、前記統合済みの類義語部分から主行とし、副行は新規に取り込んだ類義語群の部分とすることを特徴とする類義語統合システム。
4. 請求項１〜３のいずれかに記載の類義語統合システムにおいて、
   前記行比較手段の所定の条件は、主行の比較対象語数を制限し、副行との一致した語数が所定数以上とすることを特徴とする類義語統合システム。
5. 請求項１〜４のいずれかに記載の類義語統合システムにおいて、
   前記行統合手段は、さらに統合した副行を削除することを特徴とする類義語統合システム。
6. 請求項１〜４のいずれかに記載の類義語統合システムにおいて、
   前記主行副行決定手段は、予め主行の比較対象語が少なくとも２語含まれる副行のリストを作成し、そのリスト中から副行を選択することを特徴とする類義語統合システム。
7. 請求項１〜６のいずれかに記載の類義語統合システムにおいて、
   さらに、同義語辞書を有し、
   前記類義語群取り込み手段で類義語辞書に取り組む前に、前記同義語辞書で、同義語同士を同じ語にまとめる同義語処理を行う同義語処理手段を備えることを特徴とする類義語統合システム。
8. 請求項１〜７のいずれかに記載の類義語統合システムの各機能をコンピュータ・システムに実現させるためのプログラム。
9. 請求項１〜７のいずれかに記載の類義語統合システムの各機能をコンピュータ・システムに実現させるためのプログラムを記録した記録媒体。

Images