JP2010003266A - クエリ生成装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体 - Google Patents

Abstract

【課題】ブーリアンモデルにおいて、ユーザの入力した正解レコードリスト（適合文書集合）をもとに、精度の高い検索結果を導くクエリを自動生成する。
【解決手段】本発明は、ユーザから、適合文書集合である正解レコードリストと、クエリの詳細さを表す値の上限値である許容度上限値を受け付け、正解レコードリストに基づいて、情報検索システムから正解レコードを取得し、該正解レコードから検索条件を生成し、検索条件記憶手段に格納し、検索条件記憶手段に格納されている検索条件とブール演算子の組み合わせを探索して、クエリとして最適な組み合わせを抽出し、クエリ記憶手段に格納し、クエリ記憶手段に格納されたクエリを出力する。
【選択図】図１

Description

本発明は、クエリ生成装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に係り、特に、情報検索システムにおいて、システムがユーザの指定した正解レコードにもとづき、ユーザの代わりにクエリを自動的に生成するためのクエリ生成装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に関する。

情報検索システムにおいて、ユーザが自分の検索要求を表すクエリを作成し、そのクエリに適合する検索対象が出力される。そして、ユーザがその検索結果に満足できない場合には、ユーザは新たにクエリを作成しなおすか、または、前のクエリを一部修正するなどして再検索するのが一般的である。しかし、検索に不慣れなユーザにとってはクエリの作成は困難であり、検索をやり直しても求める検索結果を得られないことが多い。

この問題を解決するため、ユーザの検索結果に対する適合判定をクエリに反映してクエリを修正、あるいは、再度作成する適合性フィードバック（Relevance Feedback）という手法が提案されており、一般的にはクエリに新たな検索語を追加するクエリ拡張（Query Expansion）や、クエリに含まれる検索語の再重み付け（Term Reweighting）によりクエリの修正を行う方法がある（例えば、特許文献１、非特許文献２参照）。

また、ユーザの作成したクエリに適合する文書や情報を見つけ出し、ユーザに返却する情報検索のモデルとして、ベクトル空間モデルとブーリアンモデルがよく知られている（例えば、非特許文献１参照）。

また、ブーリアンモデルに対して適合性フィードバックにより検索語拡張を行う手法もある（例えば、非特許文献２参照）。
特開平８−３２０８７９号公報 徳永健伸、「情報検索後言語処理」東京大学出版会 (1999). Daniel Boley, Maria Gini, Robert Gross, Eui-Hong (Sam) Han, Kyle Hastings, George Karypis, Vipin Kumar, Bamshad Mobasher, Herome Moore, "Document Categorization and Query Generation on the World Wide Web Using WebACE" Artificial Intelligence review, Volume 13, Numbers 5-6 (1999)

しかしながら、従来の適合性フィードバックによるクエリ拡張、検索語再重み付けはベクトル空間モデルなどの検索語に対する重み付けが可能な検索モデルを前提としており、ブーリアンモデルに適用しようとする場合、クエリの再重み付けを行うことができない、クエリを拡張する際に用いるブール演算子が自明ではないなどの問題がある。当該ブーリアンモデルに対して適合性フィードバックにより検索語拡張を行う例もあるが（非特許文献２）、この例では、ＡＮＤまたはＯＲで検索語を追加するのみの検索語拡張であるため、精度の高い検索結果を導くクエリを生成するのが困難であるという問題がある。

本発明は、上記の点に鑑みなされたもので、ブーリアンモデルにおいて、ユーザの入力した正解レコードリスト（適合文書集合）をもとに、精度の高い検索結果を導くクエリを自動生成することが可能なクエリ生成装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、対象とする情報検索システムで用いるためのクエリを生成するクエリ生成装置であって、
ユーザから、適合文書集合である正解レコードリストと、クエリの詳細さを表す値の上限値である許容度上限値を受け付ける入力手段１０と、
正解レコードリストに基づいて、情報検索システムから正解レコードを取得し、該正解レコードから検索条件を生成し、検索条件記憶手段２５に格納する検索条件生成手段２０と、
検索条件記憶手段２５に格納されている検索条件とブール演算子の組み合わせを探索して、クエリとして最適な組み合わせを抽出し、クエリ記憶手段３５に格納するクエリ生成手段３０と、
クエリ記憶手段３５に格納されたクエリを出力する出力手段４０と、
を有し、
クエリ生成手段３０は、
検索条件とブール演算子の組み合わせの中から、ヒューリスティックにより、許容度が許容度上限値を超えないクエリを生成する手段を含む。

また、本発明（請求項２）は、検索条件生成手段２０において、
情報検索システム７０として、検索対象のデータを１レコードとして保持する検索対象テーブルを格納したリレーショナルデータベースを対象とし、検索条件として該検索対象テーブルの検索対象レコードを検索するためのＳＱＬのWHERE節を生成する手段を含み、
クエリ生成手段３０において、
クエリとして、検索条件記憶手段２５に格納されている検索条件を読み出して、論理演算子で接続したものをWHERE節とするＳＱＬを生成する手段を含む。

また、本発明（請求項３）は、クエリ生成手段３０において、
検索条件記憶手段２５に格納されている検索条件をＡＮＤ演算子で接続したサブクエリを生成し、該サブクエリによる検索結果レコードと正解レコードリストを用いて算出したスコアが高く、かつ、許容度が許容度上限値を超えないサブクエリを、正解レコードリストに含まれる全てのレコードがクエリによって被覆されるまで、ＯＲ演算子によって接続した論理和標準形のクエリを生成する手段を含む。

図２は、本発明の原理を説明するための図である。

本発明（請求項４）は、対象とする情報検索システムで用いるためのクエリを生成するクエリ生成方法であって、
入力手段が、ユーザから、適合文書集合である正解レコードリストと、クエリの詳細さを表す値の上限値である許容度上限値を受け付ける入力ステップ（ステップ１０）と、
検索条件生成手段が、正解レコードリストに基づいて、情報検索システムから正解レコードを取得し、該正解レコードから検索条件を生成し、検索条件記憶手段に格納する検索条件生成ステップ（ステップ２０）と、
クエリ生成手段が、検索条件記憶手段に格納されている検索条件とブール演算子の組み合わせを探索して、クエリとして最適な組み合わせを抽出し、クエリ記憶手段に格納するクエリ生成ステップ（ステップ３０）と、
出力手段が、クエリ記憶手段に格納されたクエリを出力する出力ステップ（ステップ４０）と、を行い、
クエリ生成ステップ（ステップ３０）において、
検索条件とブール演算子の組み合わせの中から、ヒューリスティックにより、許容度が許容度上限値を超えないクエリを生成する。

また、本発明（請求項５）は、検索条件生成ステップ(ステップ２０)において、
情報検索システムとして、検索対象のデータを１レコードとして保持する検索対象テーブルを格納したリレーショナルデータベースを対象とし、検索条件として該検索対象テーブルの検索対象レコードを検索するためのＳＱＬのWHERE節を生成し、
クエリ生成ステップ（ステップ３０）において、
クエリとして、検索条件記憶手段に格納されている検索条件を読み出して、論理演算子で接続したものをWHERE節とするＳＱＬを生成する。

また、本発明（請求項６）は、クエリ生成ステップ（ステップ３０）において、
検索条件記憶手段に格納されている検索条件をＡＮＤ演算子で接続したサブクエリを生成し、該サブクエリによる検索結果レコードと正解レコードリストを用いて算出したスコアが高く、かつ、許容度が許容度上限値を超えないサブクエリを、正解レコードリストに含まれる全てのレコードがクエリによって被覆されるまで、ＯＲ演算子によって接続した論理和標準形のクエリを生成する。

本発明（請求項７）は、請求項１乃至３のいずれか１項に記載のクエリ生成装置を構成する各手段としてコンピュータを機能させるためのクエリ生成プログラムである。

本発明（請求項８）は、請求項７記載のクエリ生成プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体である。

上記のように、本発明によれば、正解レコードリストをもとに、情報検索システムから検索条件を生成し、それぞれの検索条件に適合するレコードの統計情報と、クエリの詳細さを表す値である許容度を考慮して検索結果の組み合わせを探索し、クエリを生成することにより、精度の高い検索結果を導出することが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態におけるクエリ生成装置の構成を示す。

同図に示すクエリ生成装置５０は、検索条件抽出部２０、検索条件記憶部２５、クエリ生成部３０Ａ，クエリ記憶部３５、クエリ評価部３０Ｂから構成され、検索条件抽出部２０は、入力装置２０とネットワーク６０を介してリレーショナルデータベース７０に接続されている。また、クエリ評価部３０Ｂは出力装置４０に接続されている。なお、検索条件記憶部２５及びクエリ記憶部３５は、メモリやディスク装置等の記憶媒体である。出力装置４０は、生成されたクエリをユーザに対して提示する装置であり、ディスプレイ、または、記憶媒体である。

リレーショナルデータベース７０は、検索対象テーブル７１０を有する。検索対象テーブル７１０の例を図４に示す。同図に示す検索対象テーブル７１０は、１レコードに「name属性」、「genre属性」、「price属性」、「room属性」、「place属性」、「text属性」を有する。

入力装置２０は、正解レコードリスト及びユーザが希望する許容度上限値をクエリ生成装置５０に入力、メモリ(図示せず)に格納しておくものとする。ここで「正解レコードリスト」とは、図４に示す検索対象テーブル７１０の主キーの値のリストである。また、「許容度上限値」とは、生成されるクエリの詳細さを表す数値である。

検索条件抽出部２０は、入力装置２０から正解レコードリストと許容度上限値が入力されると、正解レコードリストに含まれるレコードを検索対象テーブル７１０から取得して、取得した内容が当該正解レコードリストに対する検索結果となるような検索条件を生成し、検索条件記憶部２５に格納する。

クエリ生成部３０Ａは、検索条件記憶部２５から検索条件を読み出して、クエリとして最適な検索条件及び演算子の組み合わせを探索し、クエリ記憶部３５に格納する。

クエリ評価部３０Ｂは、クエリ記憶部３５からクエリを読み出して、ユーザから入力された許容度上限値に基づいて最適な検索条件及び演算子の組み合わせを抽出し、出力装置４０に出力する。

以下に、上記の構成における動作を説明する。

図５は、本発明の一実施の形態におけるクエリ生成処理の概要動作のフローチャートである。

ステップ１００） 入力装置１０から正解レコードリスト及び許容度上限値を取得する。

ステップ２００） 検索条件抽出部２０は、入力された正解レコードリストに含まれるレコード（以下、「正解レコード」と記す）を図４に示す検索対象テーブル７１０から取得し、当該レコードを検索結果とするような検索条件を生成し、検索条件記憶部２５に格納する。例えば、入力されたある正解レコードのplace属性が"横須賀"である時、検索条件として「place="横須賀"」が生成される。

当該ステップの詳細動作は、図６において詳細に説明する。

ステップ３００） クエリ生成部３０Ａ、クエリ評価部３０Ｂにおいて、検索条件記憶部２５から検索条件を読込み、クエリの許容度及びスコアを考慮して検索条件の最適組み合わせを探索することによりクエリを生成する。当該処理の詳細について後述する。

ステップ４００） 生成されたクエリを出力装置４０に出力する。

次に、上記のステップ２００における動作を詳細に説明する。

図６は、本発明の一実施の形態における検索条件抽出部の詳細なフローチャートである。

ステップ２１０） 検索条件抽出部２０は、リレーショナルデータベース７０に格納された検索対象テーブル７１０にアクセスし、当該テーブル７１０が持つ属性から処理する属性を選択する。属性の選択方法については、シーケンシャルまたはランダムのいずれかの方法により選択するものとする。

ステップ２２０） 正解レコードからステップ２１０で選択した属性の値を全て取得する。

ステップ２３０） ステップ２１０で選択した属性の型及びステップ２２０で取得した属性の値に基づいて、検索結果に正解レコードを含む検索条件を生成し、当該検索条件を表す構造体を検索条件記憶部２５に格納する。

ここで、属性の型と生成され、検索条件記憶部２５に格納される検索条件の例を図７に示す。属性の値域が少ない場合（真偽値など）は属性値を直接指定する検索条件を生成する。属性が範囲を表す場合は属性値の範囲を指定する検索条件を生成する。属性に自然言語による文章が格納されている場合は索引語を抽出し、全文検索による検索条件を生成する。当該検索条件を表す構造体を図８に示す。検索条件Ｄ８０は、検索条件を表す構造体であり、検索条件文字列Ｄ８１０と検索結果ビット列Ｄ８２０を含む。検索条件文字列Ｄ８１０は、図６のステップ２３０で生成した検索条件を表す文字列であり、検索結果ビット列Ｄ８２０は検索結果文字列Ｄ８１０（例えば、place="横須賀"）をWHERE節とするＳＱＬによる検索対象テーブル７１０の検索結果に含まれるレコードを表すビット列（例えば、"００１１０"）である。検索結果ビット列の例を図９に示す。同図の例は、検索条件『place=横須賀』による検索結果レコードＩＤが｛３，４｝、全レコード数が「５」の場合のビット列「００１１０」を表している。

ステップ２４０） 全ての属性について上記の処理を行ったかを判定し、まだ処理していない属性がある場合はステップ２１０に戻り、全ての属性を処理するまでこれを繰り返す。

次に、図５のステップ３００におけるクエリ生成部３０Ａの動作を説明する。

図１０は、本発明の一実施の形態におけるクエリ及び部分クエリの概念を示す図である。クエリＤ９０は、検索条件をＡＮＤ演算子で接続した部分クエリＤ９１０をＯＲ演算子で接続した論理和標準形になっている。

図１１は、本発明の一実施の形態における図５のステップ３００の詳細なフローチャートである。

ステップ３１０） クエリ生成部３０Ａは、検索条件記憶部２５に格納されている検索条件を読み出して、当該検索条件をＡＮＤ演算子で接続し、部分クエリを生成する。部分クエリの生成にあたっては、部分クエリ毎にスコアと許容度を計算し、許容度が、入力された許容度上限値を超えない範囲で最適な部分クエリをヒューリスティックにより探索する。スコア算出及び探索のヒューリスティックには複数の手法が考えられるが、ここではそのうちの一つを説明する。

部分クエリＱｓのスコアｓ（Ｑｓ）は、検索システムにおける索引語の重み付け手法として、一般的であるＴＦ・ＩＤＦ重み付けを本発明に当てはめた以下の式で決定する。当該式については、例えば、非特許文献１（ｐ２６−３３）参照を参照されたい。また、スコアについても、例えば、非特許文献１（ｐ２６−３３）の手法を用いることができる。

eval(Q,D)：クエリＱを集合Ｄに実行した際の結果集合；
│D│:集合Ｄの要素数；
Q：クエリ（一般的な意味でのクエリではなく、図８のフローチャートで生成中のクエリを指す）；
Qs：部分クエリ；
D：検索対象テーブル７１０の全レコード集合；
Da：正解レコード集合
tf(Qs)=│eval(Qs, Da)∧¬eval(Q,D)│
df(Qs)=│eval(Qs,D)│
idf(Qs)=log(│D│/df(Qs))+1
s(Qs)=tf(Qs)×idf(Qs)
探索はクエリに含まれる検索条件数、クエリのスコア、許容度に基づいて、具体的には、
（１）検索条件数ｉ＝１とする。

（２）検索条件数がｉのクエリを全て生成し、部分クエリ候補とする。

（３）部分クエリ候補のスコアを計算し、スコアが高い順に許容度を計算し、許容度上限値と比較する。

（４）許容度が許容度上限値を超えない部分クエリを発見した時点で当該部分クエリを部分クエリとして採用し、探索を終了する。

（５）生成した部分クエリ候補の許容度がいずれも許容度上限値を超えた場合、ｉを１増やし（ｉ＝ｉ＋１）、（２）に戻る。

ステップ３２０） クエリ生成部３０Ａは、ステップ３１０で採用した部分クエリをクエリにＯＲ演算子で接続し、クエリを更新し、クエリ記憶部３５に格納する。

ステップ３３０） クエリ評価部３０Ｂは、クエリ記憶部３５に格納されているクエリが全正解レコードを被覆するかを判定し、全正解レコードとなれば、ステップ３５０に移行する。全正解レコードにならなければ、ステップ３４０に移行する。

ステップ３４０） 次の部分クエリの探索を開始し、ステップ３１０に移行する。

ステップ３５０） 全正解レコードとなれば、クエリ記憶部３５に格納されているクエリを出力装置４０に出力する。

次に、上記で用いた許容度について説明する。

図１２は、本発明における許容度の概念を示す図である。

クエリQの許容度a(Q)は、以下の式で求める。

eval（Q,D）：クエリQを集合Ｄに実行した際の結果集合；
│D│：集合Ｄの要素数；
D：検索対象テーブルの全レコード集合；
Da：正解レコード集合；
a(Q)=│eval(Q,D)│／│eval(Q,Da)│
許容度a(Q)は、クエリＱによる検索結果中の正解レコードに対するクエリＱによる検索結果の比率である。

例えば、上記の式を用いた具体的な例として、
│eval（Q,D）│＝８
│eval（Q,Da）│＝５
のときのクエリＱの許容度は、
a(Q)=８／５＝１．６
となる。

なお、上記の図３に示すクエリ生成装置５０の構成要素の動作をプログラムとして構築し、クエリ生成装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、情報検索技術の特に、ブーリアンモデルの検索システムに適用可能である。

本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の一実施の形態におけるクエリ生成装置の構成図である。 本発明の一実施の形態における検索対象テーブルの例である。 本発明の一実施の形態におけるクエリ生成処理の概要動作のフローチャートである。 本発明の一実施の形態における検索条件抽出部の詳細なフローチャートである。 本発明の一実施の形態における図６のＳ２３０にて抽出される検索条件の例である。 本発明の一実施の形態における検索条件を表す構造体を示す図である。 本発明の一実施の形態における図８の検索結果ビット列の具体例を示す図である。 本発明の一実施の形態におけるクエリ及び部分クエリの概念を示す図である。 本発明の一実施の形態におけるクエリ生成部・クエリ評価部の詳細なフローチャートである。 本発明における許容度の概念を説明するための図である。

符号の説明

１０ 入力手段、入力装置
２０ 検索条件抽出手段、検索条件抽出部
２５ 検索条件記憶手段、検索条件記憶部
３０ クエリ生成手段
３０Ａ クエリ生成部
３０Ｂ クエリ評価部
３５ クエリ記憶手段、クエリ記憶部
４０ 出力手段、出力装置
６０ ネットワーク
７０ リレーショナルデータベース
７１０ 検索対象テーブル
Ｄ８０ 検索条件
Ｄ９０ クエリ
Ｄ８１ 検索条件文字列・検索結果ビット列
Ｄ８１０ 検索条件文字列
Ｄ８２０ 検索結果ビット列
Ｄ８２１ ビット列
Ｄ９１０ 部分クエリ

Claims (8)

1. 対象とする情報検索システムで用いるためのクエリを生成するクエリ生成装置であって、
   ユーザから、適合文書集合である正解レコードリストと、クエリの詳細さを表す値の上限値である許容度上限値を受け付ける入力手段と、
   前記正解レコードリストに基づいて、前記情報検索システムから正解レコードを取得し、該正解レコードから検索条件を生成し、検索条件記憶手段に格納する検索条件生成手段と、
   前記検索条件記憶手段に格納されている検索条件とブール演算子の組み合わせを探索して、クエリとして最適な組み合わせを抽出し、クエリ記憶手段に格納するクエリ生成手段と、
   前記クエリ記憶手段に格納されたクエリを出力する出力手段と、
   を有し、
   前記クエリ生成手段は、
   前記検索条件と前記ブール演算子の組み合わせの中から、ヒューリスティックにより、許容度が前記許容度上限値を超えないクエリを生成する手段を含む
   ことを特徴とするクエリ生成装置。
2. 前記検索条件生成手段は、
   前記情報検索システムとして、検索対象のデータを１レコードとして保持する検索対象テーブルを格納したリレーショナルデータベースを対象とし、検索条件として該検索対象テーブルの検索対象レコードを検索するためのＳＱＬ(Structured Query Language)のWHERE節を生成する手段を含み、
   前記クエリ生成手段は、
   前記クエリとして、前記検索条件記憶手段に格納されている検索条件を読み出して、論理演算子で接続したものをWHERE節とするＳＱＬを生成する手段を含む
   請求項１記載のクエリ生成装置。
3. 前記クエリ生成手段は、
   前記検索条件記憶手段に格納されている検索条件をＡＮＤ演算子で接続したサブクエリを生成し、該サブクエリによる検索結果レコードと前記正解レコードリストを用いて算出したスコアが高く、かつ、前記許容度が前記許容度上限値を超えないサブクエリを、前記正解レコードリストに含まれる全てのレコードがクエリによって被覆されるまで、ＯＲ演算子によって接続した論理和標準形のクエリを生成する手段を含む
   請求項１記載のクエリ生成手段。
4. 対象とする情報検索システムで用いるためのクエリを生成するクエリ生成方法であって、
   入力手段が、ユーザから、適合文書集合である正解レコードリストと、クエリの詳細さを表す値の上限値である許容度上限値を受け付ける入力ステップと、
   検索条件生成手段が、前記正解レコードリストに基づいて、前記情報検索システムから正解レコードを取得し、該正解レコードから検索条件を生成し、検索条件記憶手段に格納する検索条件生成ステップと、
   クエリ生成手段が、前記検索条件記憶手段に格納されている検索条件とブール演算子の組み合わせを探索して、クエリとして最適な組み合わせを抽出し、クエリ記憶手段に格納するクエリ生成ステップと、
   出力手段が、前記クエリ記憶手段に格納されたクエリを出力する出力ステップと、を行い、
   前記クエリ生成ステップにおいて、
   前記検索条件と前記ブール演算子の組み合わせの中から、ヒューリスティックにより、許容度が前記許容度上限値を超えないクエリを生成する
   ことを特徴とするクエリ生成方法。
5. 前記検索条件生成ステップにおいて、
   前記情報検索システムとして、検索対象のデータを１レコードとして保持する検索対象テーブルを格納したリレーショナルデータベースを対象とし、検索条件として該検索対象テーブルの検索対象レコードを検索するためのＳＱＬのWHERE節を生成し、
   前記クエリ生成ステップにおいて、
   前記クエリとして、前記検索条件記憶手段に格納されている検索条件を読み出して、論理演算子で接続したものをWHERE節とするＳＱＬを生成する
   請求項４記載のクエリ生成方法。
6. 前記クエリ生成ステップにおいて、
   前記検索条件記憶手段に格納されている検索条件をＡＮＤ演算子で接続したサブクエリを生成し、該サブクエリによる検索結果レコードと前記正解レコードリストを用いて算出したスコアが高く、かつ、前記許容度が前記許容度上限値を超えないサブクエリを、前記正解レコードリストに含まれる全てのレコードがクエリによって被覆されるまで、ＯＲ演算子によって接続した論理和標準形のクエリを生成する
   請求項４記載のクエリ生成方法。
7. 請求項１乃至３のいずれか１項に記載のクエリ生成装置を構成する各手段としてコンピュータを機能させるためのクエリ生成プログラム。
8. 請求項７記載のクエリ生成プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体。

Images