JP2005322098A

JP2005322098A - 情報検索装置、情報検索方法、情報検索プログラムおよび情報検索プログラムが記録された記録媒体

Info

Publication number: JP2005322098A
Application number: JP2004140571A
Authority: JP
Inventors: Akinori Fujino; 昭典藤野; Shuko Ueda; 修功上田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-05-11
Filing date: 2004-05-11
Publication date: 2005-11-17

Abstract

【課題】過去に、利用者が検索結果に対して適合または不適合と判定した判定情報を用いて、新たに対象コンテンツを検索する場合に、検索に有効な単語を選択可能な情報検索手段を提供すること。
【解決手段】利用者が入力した問い合わせ情報および、この問い合わせ情報に基づいて複数のコンテンツを記憶した大規模データベース２から検索されたコンテンツに対する判定情報を用いて、潜在的な問い合わせ情報を出力する問い合わせ抽出部４と、この潜在的な問い合わせ情報を用いて、問い合わせ情報と大規模データベース２に記憶されたコンテンツとの関連度を示す評価関数を出力する評価関数生成部５と、この評価関数を用いて、大規模データベース２に記憶されたコンテンツに順位付けを行い、検索結果として出力する検索部６とを含んで構成される情報検索装置１を前記した課題の解決手段とする。
【選択図】図１

Description

本発明は、利用者が閲覧を望む文書などのコンテンツ（以下、対象コンテンツ）を、複数の単語または熟語の組合せおよび短文のうち少なくとも１つを含んで構成される利用者からの問い合わせ情報に基づいて、検索対象となる複数のコンテンツが記憶された大規模データベースから検索する際に、利用者が検索結果に対して適合または不適合と判定した判定情報を用いて、潜在的な問い合わせ情報を抽出し、大規模データベースから検索することにより、利用者が閲覧を望む対象コンテンツを早期に提示可能な情報検索装置、情報検索方法、情報検索プログラムおよび情報検索プログラムが記録された記録媒体に関する。

非特許文献１、２および３に示すような、利用者の潜在的な問い合わせ情報を抽出する機能を有する従来技術による情報検索装置は、利用者が実行した検索結果に対して、適合または不適合と判定した各コンテンツに含まれる単語の出現頻度から、利用者が入力した問い合わせ情報を再構成することを基本的な特徴としている。これらの情報検索装置では、適合または不適合と判定した各コンテンツにおける単語出現数や、適合と判定されたコンテンツと検索対象となる複数のコンテンツが記憶された大規模データベース全体とにおける単語出現確率の比をもとに選択された複数の単語を、利用者が入力した問い合わせ情報に付加することによって、利用者が閲覧を望む対象コンテンツの検索が実現される。
J.J Rocchio, Relevance feedback in information retrieval, The SMART Retrieval System (Englewood Cliffs, N.J.: Prentice-Hall Inc., 1971), pp.313-323. D.Harman: Relevance feedback revisited, 15th Int. ACM/SIGIR Conf. on R&D in Information retrieval (SIGIR'92),1-10,1992. K.Ng: A maximum likelihood ration information retrieval model, Proceedings of the Eighth Text Retrieval Conference (TREC-8),483-492, 1999.

前記した従来の技術による情報検索装置では、利用者が適合と判定したコンテンツに含まれる単語の出現頻度を、不適合と判定されたコンテンツや大規模データベース全体における単語の出現頻度に関する統計情報と比較することで、問い合わせ情報に付加する単語を選択している。

しかしながら、過去の検索結果や、未知の大規模データベース内に存在する対象コンテンツにおいて、利用者が適合と判定し得る対象コンテンツに含まれる単語の出現頻度は対象コンテンツごとに異なる。単語の出現頻度が対象コンテンツごとに大きく異なる場合、利用者が過去に適合と判定したコンテンツに含まれる単語の出現頻度を用いて、大規模データベースから利用者が適合と判定し得る対象コンテンツを早期に提示することは困難になる。

例えば、過去に適合と判定されたコンテンツに多く含まれる複数の単語が、検索対象となる大規模データベース内に存在する対象コンテンツには含まれておらず、それらの単語が多く含まれるコンテンツが優先的に検索される。このように、利用者が適合と判定したコンテンツに多く含まれる単語が、新たに対象コンテンツを検索する場合に、必ずしも有効に機能するとは限らない。

したがって、本発明の目的は、利用者が検索結果に対して適合または不適合と判定した判定情報を用いて、対象コンテンツを検索する場合に、検索に有効な単語を選択する情報検索手段を提供することである。

前記した目的を達成するためになされた本発明に係る情報検索装置は、利用者が入力した問い合わせ情報および、この問い合わせ情報に基づいて複数のコンテンツを記憶した大規模データベースから検索されたコンテンツに対する判定情報を用いて、潜在的な問い合わせ情報を出力する問い合わせ抽出部と、この潜在的な問い合わせ情報を用いて、問い合わせ情報と大規模データベースに記憶されたコンテンツとの関連度を示す評価関数を出力する評価関数生成部と、この評価関数を用いて、大規模データベースに記憶されたコンテンツに順位付けを行い、検索結果として出力する検索部とを含んで構成されることを特徴としている。

本発明によると、利用者が適合または不適合と判定したコンテンツおよびその判定情報から構成される訓練データ集合から、一部のコンテンツを除外して得られる評価関数の統計情報を用いることで、利用者が適合と判定したコンテンツに一様に含まれる単語を潜在的な問い合わせ情報として選択して検索を実行することで、検索効率が向上する。

（情報検索装置）
以下、本発明の実施の形態を添付した図面を参照して詳しく説明する。はじめに、図１は、本実施の形態の情報検索装置１の構成を示す機能ブロック図の例である。
図１に示すように、本実施の形態の情報検索装置１は、文書ファイルやＷｅｂページファイルなどの様々なコンテンツが記憶された大規模データベースであるコンテンツＤＢ２と、後記する訓練データ集合が記憶された訓練データＤＢ３とから構成されるデータベースを有している。

また、情報検索装置１は、利用者が所望のコンテンツを検索するために入力した問い合わせ情報および、その検索結果に対する判定情報から潜在的な問い合わせ情報を出力する問い合わせ抽出部４と、潜在的な問い合わせ情報を用いて、問い合わせ情報とコンテンツの関連度を示す第２評価関数を出力する評価関数生成部５と、この第２評価関数を用いて、コンテンツに順位付けを行い、検索結果のコンテンツを出力する検索部６とを含んで構成される。
さらに、情報検索装置1は、利用者が、検索のキー情報となる問い合わせ情報や検索結果に対する判定情報などを入力する際のインターフェイスとなる入力部７と、検索結果などを画面表示や印刷出力する際のインターフェイスとなる出力部８とを含んで構成される。

なお、本実施の形態の情報検索装置１は、演算手段としてのＣＰＵ、ＲＡＭ、ハードディスクドライブ、キーボード、ディスプレイ装置などを備えたコンピュータにより具現化され、問い合わせ抽出部４、評価関数生成部５および検索部６は、情報検索装置１のハードディスクドライブに格納された各機能を実現するプログラムコードを、ＲＡＭ上に展開してＣＰＵが実行することで具現化される。また、コンテンツＤＢ２および訓練データＤＢ３は、ハードディスクドライブの区画された領域を割当てることで実現され、入力部７はキーボードからの入力を制御するキーボードドライバソフトなどに相当し、出力部８はディスプレイ装置への出力を制御するディスプレイドライバソフトなどに相当する。また、コンテンツＤＢ２は、ネットワークを介して接続された外部のデータベースとすることも可能であり、訓練データＤＢ３は、ＲＡＭなどの一時記憶装置により代用することも可能である。

（検索処理の手順）
次に、図２に示した、情報検索装置１の問い合わせ抽出部４における情報処理の手順を示す、フローチャートおよび図３に示した評価関数生成部５における情報処理の手順を示す、フローチャートを参照して、情報検索装置１における検索処理の手順を詳しく説明する（適宜、図１参照のこと）。

図２に示した、情報検索装置１の問い合わせ抽出部４における情報処理の手順を示す、フローチャートを参照すると、情報検索装置１の問い合わせ抽出部４は、はじめに、所望の対象コンテンツの検索を行うために利用者が入力した、複数の単語または熟語の組合せおよび短文のうち少なくとも１つを含んで構成される問い合わせ情報を、入力部７から取得する（ステップＳ１００）。

そして、問い合わせ抽出部４は、ステップＳ１００で取得した問い合わせ情報を用いて、従来技術のマッチング処理によりコンテンツＤＢ２から、問い合わせ情報に対する候補となるコンテンツを検索し（ステップＳ１０１）、この候補のコンテンツを見て、利用者が入力した、各コンテンツに対する適合または不適合の判定に関する判定情報を、入力部７から取得する（ステップＳ１０２）。

次に、問い合わせ抽出部４は、ステップＳ１０２において判定情報を取得すると、判定された各コンテンツに、判定情報に応じて、適合または不適合であることを示すラベルを付与した訓練データを作成する（ステップＳ１０３）。この作成された訓練データは、訓練データＤＢ３に蓄積され、訓練データ集合が作成される（ステップＳ１０４）。

次に、問い合わせ抽出部４は、この作成された訓練データ集合を、任意の１つの訓練データと、それ以外の訓練データから構成されるデータ集合とに分割する（ステップＳ１０５）。
そして、任意の１つの訓練データ以外の訓練データから構成されるデータ集合を用いて、このデータ集合の各訓練データに含まれるそれぞれの単語の適合または不適合の判定に関する評価値の集合（以下、評価ベクトル）により構成される第１評価関数を生成し（ステップＳ１０６）、ステップＳ１０５で分割された任意の１つの訓練データと評価ベクトルの対（以下、訓練データ・評価ベクトル対）を生成する（ステップＳ１０７）。なお、この評価ベクトルおよび第１評価関数の例は、後記する実施形態例において詳しく説明する。

次に、訓練データ集合からステップＳ１０５とは別の任意の１つの訓練データを分割して、この訓練データに対応する訓練データ・評価ベクトル対を生成する処理（ステップＳ１０５からステップＳ１０７）を、訓練データ集合に含まれる全ての訓練データを除外した場合について繰り返し行う（ステップＳ１０８）。

全ての訓練データを除外した場合についての、ステップＳ１０５ないしステップＳ１０７の処理の終了後（ステップ１０８でＹｅｓの場合）、ステップＳ１００ないしステップＳ１０８において作成された訓練データ・評価ベクトル対を利用して、訓練データ集合全体または不適合と判定された訓練データよりも適合と判定された訓練データにおいて統計情報として導出される出現確率が高く、かつ、適合と判定された訓練データに所定の確率で出現する単語を抽出し、利用者の潜在的な問い合わせ情報を作成する（ステップＳ１０９）。
そして、問い合わせ抽出部４は、この潜在的な問い合わせ情報と、訓練データ集合と合わせて評価関数生成部５に受け渡す。

次に、図３に示した、情報検索装置１の評価関数生成部５の情報処理の手順を示す、フローチャートを参照すると、評価関数生成部５は、問い合わせ抽出部４から、潜在的な問い合わせ情報と訓練データ集合とを取得すると（ステップＳ２００）、この訓練データ集合を用いて評価ベクトルを生成し（ステップＳ２０１）、潜在的な問い合わせ情報を用いて評価ベクトルの各単語に対応する要素の選別と、重み付けを実行する（ステップＳ２０２）。これにより、問い合わせ情報とコンテンツＤＢ２に記憶されたコンテンツとの関連度を示す第２評価関数を生成して（ステップＳ２０２）、検索部６に受け渡す。

そして、ステップＳ２０２で導出された第２評価関数を取得した情報検索装置１の検索部６は、この導出された第２評価関数に基づいてコンテンツＤＢ２内のコンテンツの順位付を実行して、出力部８より順位が上位のコンテンツを検索候補として出力する。

（実施形態例）
次に、検索要求に対して検索対象のコンテンツの関連度を順位付けするための評価関数として確率比（Probability Ratio）を用いた実施形態例を詳しく説明する（適宜、図１、図２、図３参照のこと）。

ここで、あるコンテンツｓの第１評価関数である確率比ＰＲ（ｓ）は、次のように定義される。

数式（１）において、ｉ、ＶはコンテンツＤＢ２中に含まれるコンテンツの単語の種類と、単語の種類の総数をそれぞれ表し、θ_riは単語ｉが対象コンテンツで出現する確率、θ_giは単語ｉがコンテンツＤＢ２全体で出現する確率をそれぞれ表す。また、ｘ（ｓ，ｉ）は評価するコンテンツｓに含まれる単語ｉの数を表す。また、Ｚ（ｓ）は、コンテンツの長さを正規化する項である。ここで、θ_ri、θ_giは、例えば次式を用いて計算することができる。

数式（２）において、ｃは対象コンテンツ（ｒ）か、コンテンツＤＢ２全体（ｇ）かを示すクラスを、ｎはクラスｃに含まれるコンテンツを、ｘ（ｎ，ｉ）はコンテンツｎで単語ｉが出現した回数を、ξ_iは平滑化パラメータをそれぞれ表す。

ここで、前記した情報検索装置１が、利用者が入力した問い合わせ情報を取得し（ステップＳ１００に相当）、この問い合わせ情報をもとに検索部６が検索候補のコンテンツを検索して利用者に提示し（ステップＳ１０１に相当）、その提示に対して利用者がＮ個のコンテンツを「適合」と判定して（対象コンテンツであると判定）、判定情報を取得した場合（ステップＳ１０２に相当）、訓練データ集合を作成して（ステップＳ１０３およびステップＳ１０４に相当）、ある訓練データｎを除外したＮ−１個の適合対象を用いて数式（２）を用いて、単語ｉが対象コンテンツで出現する確率である

を計算する。なお、ここで（−ｎ）は、ある訓練データｎを除外したことを示す引数である。そして、除外する訓練データを変えて計算を繰り返すことで、要素が次に示すＲ（ｎ，ｉ）のＮ×Ｖ行列Ｒを求める（ステップＳ１０５ないしステップＳ１０８に相当）。

次に、算出した行列Ｒを用いて、問い合わせ抽出部４は、単語ｉの統計情報を計算し、利用者の潜在的な問い合わせ情報として抽出する単語を選択する。例えば、

の算出時に除外したコンテンツｎの単語出現数ｘ（ｎ，ｉ）を用いて、

を満たす単語を選択する。なお、γは利用者などが定めた所定値である。

または、

をもとに、線形または非線形の単調増加関数ｆ（ｘ）を用いて、問い合わせ抽出部４は、

を満たす単語を選択する。これにより選択された単語ｉ’は、利用者の潜在的な問い合わせ情報として評価関数生成部５に受け渡す（ステップＳ１０９に相当）。

評価関数生成部５は、潜在的な問い合わせ情報に含まれる単語のみで計算される第２評価関数であるコンテンツｓの確率比ＰＲ’（ｓ）を検索部６に受け渡す（ステップＳ２００ないしステップＳ２０３に相当）。

そして、検索部６は、未検索のコンテンツの順位付けを実行することで、出力部８より順位が上位のコンテンツを検索候補として出力する。

（実験例）
次に、図４は、一般的に情報検索装置の性能検査用に用いられるデータベースＣＩＳＩ（T.Hofman: Unsupervised learning by probabilistic latent semantic analysis, Machine Learning, 42, 177-196, 2001）に、前記した実施形態例の情報検索装置１を適用した場合の結果を示す。
この性能検査に際し、利用者が入力した問い合わせ情報をもとに検索部６が１０件のコンテンツを検索して利用者に提示し、その提示に対して対象コンテンツが含まれる場合は、利用者が「適合」と入力する場合を想定する。

図４では、その入力結果をもとに潜在的な問い合わせ情報を抽出し、未検索のコンテンツを順位付けして出力した際の検索性能を表す。図４において、横軸は再現率を表し、順位が上位のｍ個のコンテンツに含まれる対象コンテンツの数を、データベース中のコンテンツの総数で割った値を示す。縦軸は適合率であり、上位ｍ個に含まれる対象コンテンツの数を、ｍで割った値を示す。再現率が同じとき適合率が高いほど、少ないコンテンツの検索数で対象コンテンツを検索可能であり、検索性能が高いことを意味している。

図４に示したグラフのうち、太い実線は、数式（４）でγ＝０として単語を選択する方法（方法１）、細い実線は、数式（１）の

の値が大きい、方法１と同数の単語ｉ’を選択して順位付けに用いる確率比ＰＲ’（ｓ）を計算する方法（方法２）、破線は、単語の選択を行わずに数式（１）をそのまま用いる方法（方法３）による結果を示している。図４に示すように、単語の選択を行わない方法３と比べて単語の選択を行う方法１、２で検索性能が高く、さらに方法１は、方法２よりさらに検索性能が高いことがわかる。これにより、本発明の検索性能が、従来技術の情報検索技術に比べ、優位性を有していることがわかる。

情報検索装置の機能ブロック図である。問い合わせ抽出部における処理手順を説明するフローチャートである。評価関数生成部における処理手順を説明するフローチャートである。本実施形態例による検索装置の検索性能を説明するグラフである。

符号の説明

１情報検索装置
２コンテンツＤＢ
３訓練データＤＢ
４問い合わせ抽出部
５評価関数生成部
６検索部

Claims

検索対象となる複数のコンテンツを記憶した大規模データベースから、複数の単語、熟語の組合せおよび短文のうち少なくとも１つを含んで構成される問い合わせ情報にもとづいて、所望のコンテンツをコンピュータにより検索する情報検索方法であって、
前記コンピュータの演算手段が、
前記問い合わせ情報および、前記問い合わせ情報に基づいて前記大規模データベースから検索されたコンテンツに対する判定情報を用いて、潜在的な問い合わせ情報を出力する手順と、
前記潜在的な問い合わせ情報を用いて、前記問い合わせ情報と前記大規模データベースに記憶されたコンテンツとの関連度を示す評価関数を出力する手順と、
前記評価関数を用いて、前記大規模データベースに記憶されたコンテンツに順位付けを行い、検索結果として出力する手順とを含むこと、
を特徴とする情報検索方法。
前記潜在的な問い合わせ情報を出力する手順は、
前記判定情報と、その対象となるコンテンツとを合わせた訓練データから構成される訓練データ集合として記憶手段に記憶し、この訓練データ集合に含まれる訓練データの一部ずつを除外した複数のデータ集合から、各データ集合に含まれるコンテンツの各単語の適合または不適合の判定に関する評価値の集合である複数の第１評価関数を生成し、これらの第１評価関数を統計処理して、適合と判定されたコンテンツに含まれる所定の出現確率を有する単語を抽出して、潜在的な問い合わせ情報として出力すること、
を特徴とする請求項１に記載の情報検索方法。
評価関数を出力する手順は、
前記訓練データ集合を用いて評価ベクトルを生成し、前記潜在的な問い合わせ情報を用いて、当該評価ベクトルの各単語に対応する要素の選別と重み付けを行うことで、問い合わせ情報とコンテンツの関連度を示す評価関数を出力すること、
を特徴とする請求項２に記載の情報検索方法。
前記評価関数および前記第１評価関数は、確率比であること、
を特徴とする請求項３に記載の情報検索方法。
検索対象となる複数のコンテンツを記憶した大規模データベースから、複数の単語、熟語の組合せおよび短文のうち少なくとも１つを含んで構成される問い合わせ情報にもとづいて、所望のコンテンツを検索する情報検索装置であって、
前記問い合わせ情報に基づいて、前記大規模データベースからコンテンツを検索して、このコンテンツに対する適合または不適合を示す判定情報と合わせた訓練データから構成される訓練データ集合を作成し、この訓練データ集合に含まれる訓練データの一部ずつを除外した複数のデータ集合から、各データ集合に含まれる訓練データの各単語の適合または不適合の判定に関する評価値の集合である複数の第１評価関数を統計処理して、適合と判定されたコンテンツに含まれる所定の出現確率を有する単語を抽出し、潜在的な問い合わせ情報として出力する問い合わせ抽出部と、
前記訓練データ集合を用いて評価ベクトルを生成し、前記潜在的な問い合わせ情報を用いて、当該評価ベクトルの各単語に対応する要素の選別と重み付けを行うことで、問い合わせ情報とコンテンツの関連度を示す第２評価関数を出力する評価関数生成部と、
前記第２評価関数に基づいて、前記大規模データベースに記憶されたコンテンツに順位付けを行い、検索結果として出力する検索部とを含んで構成されること、
を特徴とする情報検索装置。
コンピュータに、請求項１ないし請求項４のいずれか１項に記載の情報検索方法を実行させる情報検索プログラム。
請求項６に記載の情報検索プログラムを記録した記録媒体。