JP5384884B2

JP5384884B2 - 情報検索装置および情報検索プログラム

Info

Publication number: JP5384884B2
Application number: JP2008225424A
Authority: JP
Inventors: 俊介小長井; 光俊長浜; 良治片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-09-03
Filing date: 2008-09-03
Publication date: 2014-01-08
Anticipated expiration: 2028-09-03
Also published as: JP2010061322A

Description

本発明は、電子文書群中から任意の検索語に対応する電子文書を検索する技術に関する。

近年のインターネットの普及に伴い、インターネット上の膨大な電子文書群から利用者が必要とする情報を的確に検索するシステムおよびサービスの重要性が高まっている。一般に検索サービスにおいては、利用者が入力した検索キーワードが、検索対象の文書や、該文書にリンクしている別の文書のリンクアンカーテキスト（リンクが設定された文字列）に含まれる数に基づいた検索キーワードと文書との一致度と、該文書が別の文書からどれだけ参照されているかといった文書の重要度とを総合して、検索結果の出力順を決定している。

検索キーワードと文書との一致度としては、一般的には「ｔｆ・ｉｄｆ」（Ｔｅｒｍｆｒｅｑｕｅｎｃｙ・Ｉｎｖｅｒｓｅｄｏｃｕｍｅｎｔｆｒｅｑｕｅｎｃｙ）や非特許文献１のＢＭ２５といった単語の統計量を用いた手法が利用されている。これらの手法は、文書中に出現する頻度が平均と比較して高い単語が該文書を特徴付けるものである、という推定に基づいて、利用者が入力した検索キーワードが文書の特徴と一致する度合いが高い文書を高い出力順位としている。

しかしながら、現在のインターネットの文書数は膨大であるため、検索キーワードが比較的珍しい単語であれば前述の手法で良い検索結果が得られるものの、検索キーワードがありふれた単語である場合には、検索キーワードと文書との一致度が同程度となる文書が過多となるおそれがある。

そこで、一般的な情報検索サービスでは、検索キーワードとの一致度が同程度となった文書の順位付けのために文書の重要度を算出し、検索キーワードと文書との一致度および文書の重要度とを合わせて検索結果の出力順を決定している。文書の重要度としては、一般的には非特許文献２のＰａｇｅＲａｎｋや非特許文献３のＨＩＴＳといった手法が利用されている。
ＳＲｏｂｅｒｔｓｏｎ，ＨＺａｒａｇｏｚａ，ＭＴａｙｌｏｒ，"ＳｉｍｐｌｅＢＭ２５ＥｘｔｅｎｓｉｏｎｔｏＭｕｌｔｉｐｌｅＷｅｉｇｈｔｅｄＦｉｅｌｄｓ"，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｔｈｉｒｔｅｅｎｔｈＡＣＭｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎａｎｄｋｎｏｗｌｅｄｇｅｍａｎａｇｅｍｅｎｔ，２００４．ＬａｗｒｅｎｃｄＰａｇｅ，ＳｅｒｇｅｙＢｒｉｎ，ＲａｊｅｅｖＭｏｔｗａｉ，ＴｅｒｒｙＷｉｎｏｇｒａｄ，"ＴｈｅＰａｇｅＲａｎｋＣｉｔａｔｉｏｎＲａｎｋｉｎｇ：ＢｒｉｎｇｉｎｇＯｒｄｅｒｔｏｔｈｅＷｅｂ"，７ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｌｄＷｉｄｅＷｅｂｃｏｎｆｅｒｅｎｃｅ（ＷＷＷ９８）．ＪｏｎＭＫｌｅｉｎｂｅｒｇ，"ＡｕｔｈｏｒｉｔａｔｉｖｅＳｏｕｒｃｅｓｉｎａＨｙｐｅｒｌｉｎｋｅｄＥｎｖｉｒｏｎｍｅｎｔ"，ＪｏｕｒｎａｌｏｆｔｈｅＡＣＭ（ＪＡＣＭ），ｖ．４６ｎ．５，ｐ．６０４−６３２，Ｓｅｐｔ．１９９９．

文書の重要度の算出に用いられる非特許文献２．３の手法は、ＷＥＢページのリンク情報を用いて、ある文書が他の多くの文書からリンクされている場合にはその文書が重要であろうという推定に基づいている。

しかしながら、現在のインターネットには日々新しい文書が大量に追加されており、新しく追加された文書は他の文書からリンクされていないため、従来のＰａｇｅＲａｎｋやＨＩＴＳといったリンク構造に基づく手法では古くから存在する文書が有利になり、新しい文書が上位の検索結果に含まれにくくなっている。

そこで本発明は、このような問題に鑑み、文書の内容による重要度を反映した情報検索を実現することを解決課題としている。

本発明は、前記課題を解決するために創作された技術的思想であって、検索語の受信前に、電子文書に含まれる単語の重要度に基づいて算出した文書の重要度を算出しておき、この文書の重要度を検索結果である電子文書の出力順に反映させている。

具体的には、請求項１の発明は、電子文書群中から任意の検索語に対応する電子文書を検索し、該電子文書の重要度をパラメータとして検索結果の出力順を決定する情報検索装置であって、電子文書群中の各文書に含まれる単語の重要度が格納された記憶手段と、検索語の受信前に前記電子文書に含まれる単語の重要度を用いて前記各電子文書の文書重要度を算出する文書重要度算出手段と、前記算出された文書重要度を格納する文書重要度テーブルと、利用者から入力された検索語と検索対象の電子文書とのキーワード一致度を計算するキーワード一致度計算手段と、前記キーワード一致度と前記文書重要度とから文書の総合ランキングを算出する総合ランキング計算手段とを備えたことを特徴とする。

請求項２の情報検索装置は、請求項１の情報検索装置において、前記単語の重要度はカテゴリ毎に前記記憶手段に格納され、前記文書重要度算出手段は、前記各電子文書の文書重要度をカテゴリ毎に算出し、前記キーワード一致度計算手段は、特定のカテゴリの電子文書を検索する利用者から入力された検索語と検索対象の電子文書とのキーワード一致度を計算し、前記総合ランキング計算手段は、前記キーワード一致度と前記算出されたカテゴリ毎の文書重要度とから文書の総合ランキングを算出することを特徴とする。

請求項３の発明は、請求項１または２の情報検索装置において、あらかじめ登録した条件に該当する電子文書についてのみ、該文書の文書重要度をパラメータとして検索結果の出力順を決定する手段をさらに備えたことを特徴とする。

請求項４の発明は、請求項１から３のいずれかの情報検索装置において、前記単語の重要度を用いて算出した各文書の文書重要度と、各文書が電子文書群に登録された時点から検索実行時点または各文書の重要度算出時点までの経過時間と、をパラメータとして検索結果の出力順を決定する手段をさらに備えたことを特徴とする

請求項５の発明は、情報検索プログラムであり、請求項１から４のいずれかの情報検索装置を構成する各手段としてコンピュータを機能させることを特徴とする。

請求項１〜５の発明によれば、検索語の受信前に電子文書に含まれる単語の重要度に基づき文書の重要度を算出し、この文書の重要度をパラメータとして検索結果の出力順を決定していることから、文書の内容自体による重要度を反映した文書検索が可能になる。

特に、請求項２の発明によれば、検索語の受信前に文書の重要度がカテゴリ毎に算出されるため、利用者はカテゴリ単位での文書検索を効率良く行うことができる。

図１は、本発明の実施形態に係る情報検索装置１を示している。この情報検索装置１は、ネットワークを介して検索要求が実行される情報検索端末２と通信可能に接続されている。ここでは、前記情報検索装置１がインターネット上に存在するコンテンツなどを検索するサーバ（検索エンジン）として構成されたものとする。なお、情報検索装置１は、例えばネットワークに接続可能で情報検索の処理ロジックを実行可能な計算機などでもよく、また前記情報検索装置１を社内ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などのインターネット以外のネットワークに接続してもよい。

（１）構成例
前記情報検索装置１は、図１に示すように、電子文書に使用される単語の重要度から該文書の重要度を計算する文書重要度計算手段（機能）３と、全電子文書に含まれる単語の重要度を格納する単語重要度テーブル５と、全電子文書中での単語の使用頻度を格納する単語頻度テーブル６と、利用者からの検索要求に対して前記文書重要度計算手段（機能）３が算出した文書の重要度をパラメータとして検索結果を出力する情報検索機能７とを備えている。

前記各機能ブロック３．５．６．７は、前記情報検索装置１の制御部（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｏｒＵｎｉｔ）が情報検索プログラムを読み込んで機能している。また、前記情報検索装置１は、コンピュータの通常の構成要素、例えば図示省略のキーボードやマウスなどの入力部と、処理データなどを一時記憶する書き換え可能なメモリ（ＲＡＭ）と、前記情報検索端末２とのネットワーク接続に使用する通信デバイスと、ハードディスクドライブ装置などの記憶部と、ディスプレイなどの表示部とを備え、前記記憶部にはネットワーク上に公開されるＷＥＢ文書（ＷＥＢページ）が保存されている。

前記情報検索機能７は、利用者から入力された検索キーワードと検索対象の電子文書との一致度を計算するキーワード一致度計算部７１と、単語と該単語を使用している電子文書の情報などを格納する文書インデックステーブル７２と、前記文書重要度計算手段（機能）３が求めた文書重要度を格納する文書重要度テーブル７３と、キーワード一致度と文書重要度とから文書の総合ランキングを算出する総合ランキング計算部７４と、あらかじめ登録済みの信頼できるＷＥＢサイトの情報を格納する登録済みサイトテーブル７５とで実現されている。

また、前記各テーブル５．６．７２．７３．７５は、前記ハードディスクドライブ装置上にデータベースとして構築されている。以下、前記各テーブル５．６．７２．７３．７５について、図１に基づき詳細に説明する。

前記単語重要度テーブル５には、全電子文書に含まれる単語の重要度のデータがあらかじめ格納される。単語の重要度としては、例えば、利用者によって検索キーワードとして使用された頻度に基づいて算出可能な数値や、利用者が検索結果から閲覧することを選択した（クリックした）文書の概要文に使用された頻度に基づいて算出可能な数値、人によって採点された数値などを用いることができるが、必ずしもこれに限定されないものとする。この単語重要度を用いて、前記文書重要度計算手段（機能）３にて文書重要度が算出される。

前記単語頻度テーブル６には、全電子文書中における単語の使用頻度のデータがあらかじめ格納される。この単語頻度テーブル６は必ず設けられる必要はなく、単語頻度を用いて文書重要度を算出したい場合などに適宜設けられればよい。

前記文書インデックステーブル７２には、全電子文書中に含まれる単語と該単語を使用している電子文書のデータなどがインデックス情報としてあらかじめ格納される。このインデックス情報は、前記キーワード一致度計算部７１にて検索キーワードと文書との一致度を算出する際に用いられる。

前記文書重要度テーブル７３には、前記文書重要度計算手段（機能）３で算出された文書重要度のデータが文書ごとに格納される。図１中では、該文書重要度テーブル７３には、ＷＥＢ文書４１１．４１２．．．Ｎの文書重要度が格納されている。この文書重要度は、前記総合ランキング計算部７４にて文書の総合ランキングを算出する際に用いられる。

前記登録済みサイトテーブル７５には、信頼できるＷＥＢサイトの情報（ＵＲＬなど）が登録済みサイトとしてあらかじめ格納される。この登録済みサイトの情報は、前記総合ランキング計算部７４にて文書の総合ランキングを算出する際に参照され、検索された電子文書が登録済みサイトの文書である場合に限り、該文書の文書重要度を利用して総合ランキングが算出される。この登録済みサイトテーブル７５は必ず設けられる必要はなく、文書重要度を用いて総合ランキングを算出する文書を限定したい場合などに適宜設けられればよい。

（２）動作例
以下、前記各機能ブロック３．５．６．７１〜７５の実行する処理ステップを、図２のフローチャートに基づき説明する。

Ｓ０１：まず、前記文書重要度計算手段（機能）３は前記単語重要度テーブル５を参照し、各単語の重要度から検索対象となる電子文書の文書重要度を算出して、算出結果を前記文書重要度テーブル７３に格納する。

例えば図１の例で、ＷＥＢ文書４１１とＷＥＢ文書４１２とは、ＷＥＢ文書４１１で「シンガプーラ」という単語が使われている場所に、ＷＥＢ文書４１２では「動物」という単語が使われている点を除いて全て同一だったとする。

このとき、前記文書重要度計算手段（機能）３では前記単語重要度テーブル５を参照して、それぞれ「シンガプーラ」の単語重要度１．４０と「動物」の単語重要度０．８２を反映した文書重要度を算出するが、他の条件が全く同一なので、より重要度の高い単語「シンガプーラ」を含むＷＥＢ文書４１１の文書重要度はＷＥＢ文書４１２の文書重要度より大きな値となる。ここでは、ＷＥＢ文書４１１の文書重要度は５０．００、ＷＥＢ文書４１２の文書重要度は３９．１５と算出されている。

なお、文書重要度の算出方法としては、文書に含まれる全ての単語の単語重要度の和を該文書の文書重要度としてもよいし、それを該文書の全単語数で割った平均を文書重要度としてもよい。

また、文書重要度に反映する単語は、該文書中の全単語であってもよいし、該文書中の名詞のみ、あるいは名詞と形容詞のみといったように品詞を限定してもよい。さらには、該文書のタイトルや章題、リンクアンカーテキストに含まれる単語といったように文書の構造により限定してもよい。

また、前記単語頻度テーブル６に格納されている単語頻度を用いて文書重要度を求めてもよい。例えば、「単語重要度÷単語頻度」の和やその平均を用いて文書重要度を求めることができる。この場合には、単語重要度が同じであれば、単語頻度が低い、即ち出現回数が少ない単語を多く含む文書の文書重要度がより高くなる。

さらに、文書重要度を複数のカテゴリ毎に算出してもよい。この場合には、単語重要度をあらかじめ登録されたカテゴリ毎に求め、これを前記単語重要度テーブル５に格納する。そして、前記文書重要度計算手段（機能）３ではこのカテゴリ毎の単語重要度を用いて、文書重要度をカテゴリ毎に算出する。

これにより、利用者が特定のカテゴリの電子文書を検索するにあたって、該カテゴリとは関係が低いものの重要度が高い単語を含む文書に過剰な文書重要度が付与されるのを防ぐことができ、利用者は所望のカテゴリに適合する電子文書を効率良く検索することができる。

カテゴリ毎の単語重要度としては、例えば、あらかじめ登録されたカテゴリ情報に基づき電子文書をカテゴリに分類し、該カテゴリの文書中での単語の出現頻度と全文書中での単語の出現頻度とに基づいて算出可能な数値や、この数値に、非特許文献２のＰａｇｅＲａｎｋや非特許文献３のＨＩＴＳなどの従来手法による文書重要度やカテゴリ単位での文書重要度を加味して算出可能な数値などを用いてもよいが、ここではこれらに限定しない。

また、カテゴリ毎の文書重要度とカテゴリに関わらない文書重要度とを併せて算出してもよい。この場合には、これらの文書重要度を適宜選択して検索結果に反映させることができる。

このように単語重要度を用いて算出した文書重要度は、従来手法によるＷＥＢページのリンク構造に基づく文書重要度と対立するものではなく、それらを併用することも可能である。この場合には、電子文書がネットワーク上に公開された時期によって、どちらの文書重要度を重視するかを決定するのが好ましい。

即ち、ネットワーク上に公開された時期が古い電子文書には別の文書からのリンクが多いと想定されるため、従来手法のリンク構造に基づく文書重要度を重視する一方、公開された時期が新しい文書にはリンクが少ないと想定されるため、単語重要度に基づく文書重要度を重視する。

具体的には、電子文書が図外のＷＥＢサーバに登録された時点、または前記情報検索装置１が前記ＷＥＢサーバからＷＥＢ文書を回収するプログラム（クローラなど）により該文書の存在を始めて認知した時点と、前記情報検索装置１が前記情報検索端末２から任意の検索要求を受け付けた時点または該文書の文書重要度を算出する時点との時間差を利用する。

この時間差が大きい文書、即ちネットワーク上への公開時期が古い文書の文書重要度を算出する場合には、リンク構造に基づいて算出した文書重要度により大きい重みを付与して該文書の文書重要度を算出する。一方、この時間差が小さい文書、即ちネットワーク上への公開時期が新しい文書の場合には、単語重要度に基づいて算出した文書重要度により大きい重みを付与して文書重要度を算出すればよい。

このように文書重要度を算出するタイミングは、前記情報検索装置１のタイマなどにあらかじめ設定されていてもよく、また前記クローラなどが前記ＷＥＢサーバからＷＥＢ文書を回収し終わった時点などでもよい。

Ｓ０２：利用者が前記情報検索端末２をもって入力した検索キーワードをネットワークおよび前記通信デバイスを介して受信する。

Ｓ０３〜Ｓ０４：前記キーワード一致度計算部７１が、Ｓ０２で受信した前記検索キーワードを用いて前記文書インデックステーブル７２を参照し、該検索キーワードを含む電子文書を抽出する（Ｓ０３）。そして、抽出した電子文書と該検索キーワードとの一致の程度をキーワード一致度として文書毎に算出する（Ｓ０４）。このキーワード一致度の算出手法としては前述の「ｔｆ・ｉｄｆ」や非特許文献１のＢＭ２５などが利用可能であるが、ここではこれらに限定しない。なお、算出したキーワード一致度のデータは前記メモリ（ＲＡＭ）や前記記憶部に記憶してもよい。

Ｓ０５：前記総合ランキング計算部７４は、前記キーワード一致度計算部７１から検索キーワードを含む電子文書および各文書のキーワード一致度を受信すると、前記文書重要度テーブル７３を参照して、前記検索キーワードを含む電子文書の文書重要度を読み出す。そして、前記キーワード一致度と前記文書重要度とから、各文書の総合ランキングを算出する。算出した総合ランキングのデータは前記メモリ（ＲＡＭ）や前記記憶部に記憶してもよい。

このとき、前記登録済みサイトテーブル７５にあらかじめ登録した信頼できるＷＥＢサイトに含まれる電子文書についてのみ、文書重要度を加算して総合ランキングを算出するようにしてもよい。

即ち、Ｓ０１のような単語重要度に基づく文書重要度の算出方法は、文書中に過剰に重要度の高い単語を列挙したり、文書の内容と関係の低い重要単語を追加したりする、いわゆる「検索エンジンスパム」に影響されやすくなる。したがって、あらかじめ登録した優良なＷＥＢサイトに含まれる電子文書に限り、単語重要度に基づく文書重要度を加算するようにすることも好ましい。

この場合には、Ｓ０１で文書重要度を算出する時点で、前記文書重要度計算手段（機能）３が前記登録済みサイトテーブル７５を参照し、該テーブル５５に登録済みのＷＥＢサイトに含まれる電子文書についてのみ文書重要度を算出して、前記文書重要度テーブル７３に格納するようにしてもよい。また、登録済みのＷＥＢサイトに含まれない電子文書の文書重要度を０など特定の値とするようにしてもよい。

Ｓ０６：前記総合ランキング計算部７４は、Ｓ０５で算出した総合ランキングをパラメータとして電子文書の出力順を決定し、この出力順に基づく電子文書のランキングを検索結果として前記情報検索端末２へ返信する。

以上のように、本実施形態に係る情報検索装置１によれば、単語重要度に基づく文書重要度を用いて検索結果の出力順を決定していることから、電子文書の内容自体による重要度を反映した検索結果の生成が可能になる。これにより、ネットワーク上に公開されたばかりで他の文書からのリンクが少ない電子文書であっても、検索結果の上位に表示させることが可能となる。

また、文書重要度をカテゴリ毎に算出して利用すれば、カテゴリとは関係の低い重要単語を含む文書への過剰な文書重要度の付与を抑制できるばかりか、利用者はカテゴリ単位での文書検索を効率良く行うことができる。

また、従来のリンク構造に基づく文書重要度と、単語重要度に基づく文書重要度とを併用すれば、評価対象の文書の構造に合わせた最適な文書重要度を付与することができる。

さらに、あらかじめ登録した信頼できるＷＥＢサイトに含まれる電子文書に限定して文書重要度を用いれば、検索エンジンスパムなどの悪意のある電子文書の影響を受けることなく、信頼性の高い検索結果を出力することができる。

なお、本発明は、コンピュータを前記情報検索装置１の各機能ブロック３．５．６．７１〜７５として機能させる情報検索プログラムとしても提供することができる。このプログラムは、本実施形態の全ての処理ステップをコンピュータに実行させるものでもよく、あるいはその一部の処理ステップを実行させるものであってもよい。

このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供される。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙＤｉｓｋ（登録商標）などの記録媒体に格納してコンピュータに提供してもよい。

本発明の実施形態に係る情報検索装置の構成図。同情報検索処理の処理フロー図。

符号の説明

１…情報検索装置
２…情報検索端末
３…文書重要度計算手段（機能）
４１１．４１２…ＷＥＢ文書
５…単語重要度テーブル
６…単語頻度テーブル
７…情報検索機能
７１…キーワード一致度計算部
７２…文書インデックステーブル
７３…文書重要度テーブル
７４…総合ランキング計算部
７５…登録済みサイトテーブル

Claims

電子文書群中から任意の検索語に対応する電子文書を検索し、該電子文書の重要度をパラメータとして検索結果の出力順を決定する情報検索装置であって、
電子文書群中の各文書に含まれる単語の重要度が格納された記憶手段と、
検索語の受信前に、前記電子文書に含まれる単語の重要度を用いて前記各電子文書の文書重要度を算出する文書重要度算出手段と、
前記算出された文書重要度を格納する文書重要度テーブルと、
利用者から入力された検索語と検索対象の電子文書とのキーワード一致度を計算するキーワード一致度計算手段と、
前記キーワード一致度と前記文書重要度とから文書の総合ランキングを算出する総合ランキング計算手段と
を備えたことを特徴とする情報検索装置。
前記単語の重要度はカテゴリ毎に前記記憶手段に格納され、
前記文書重要度算出手段は、前記各電子文書の文書重要度をカテゴリ毎に算出し、
前記キーワード一致度計算手段は、特定のカテゴリの電子文書を検索する利用者から入力された検索語と検索対象の電子文書とのキーワード一致度を計算し、
前記総合ランキング計算手段は、前記キーワード一致度と前記算出されたカテゴリ毎の文書重要度とから文書の総合ランキングを算出する
ことを特徴とする請求項１に記載の情報検索装置。
あらかじめ登録した条件に該当する電子文書についてのみ、該文書の文書重要度をパラメータとして検索結果の出力順を決定する手段をさらに備えたこと
を特徴とする請求項１または２に記載の情報検索装置。
前記単語の重要度を用いて算出した各文書の文書重要度と、
各文書が電子文書群に登録された時点から検索実行時点または各文書の重要度算出時点までの経過時間と、
をパラメータとして検索結果の出力順を決定する手段をさらに備えたこと
を特徴とする請求項１から３のいずれか１項に記載の情報検索装置。
請求項１から４のいずれか１項に記載の情報検索装置を構成する各手段としてコンピュータを機能させることを特徴とする情報検索プログラム。