JP2010055164A - 文章検索装置、文章検索方法、文章検索プログラムおよびその記録媒体 - Google Patents

Abstract

【課題】 クリックログの解析によりアクセスの集中するサイトを的確に特定し、少ない拡張語数で大幅な検索精度向上を可能にするクエリ拡張を実現する。
【解決手段】 文章検索装置１の解析部Ａ１２３および解析部Ｂ１２４は、入力されたクエリを用いてサイトがクリックされた履歴であるクリックログＤＢ１２６を解析する。解析結果統合部１２２は、前記両解析部１２３．１２４の解析結果からアクセスが集中しているサイトを特定する。情報抽出部１２８は、アクセスが集中しているサイトのタイトルと概要文とを抽出する。拡張語選択部１２０は、抽出したタイトルと概要文から検索に用いる拡張語を選択する。検索実行部１４０は、前記拡張語と前記クエリとを用いて検索を行い、検索結果を出力する。
【選択図】 図１

Description

本発明は、入力されたクエリ及び該クエリに関連する拡張語を用いてサイトの文章を検索する技術に関する。

文章検索システムのランキングの精度向上を図るため、有望な手法の一つに「クエリ拡張」と呼ばれるものがある。これは、クエリ（検索語）に対して「何らかの関連ある」語（以下、拡張語と呼ぶ）を自動で取得し、選択し、付与することでより良い検索結果を導き出そうとする手法である。

これに関連する文献として、非特許文献１では拡張語の取得先データとしてクリックログを、選択基準としてクエリとの共起確率を用いている。このクリックログは、クエリに対する検索結果中においてウェブの閲覧者が実際に選択したサイト（ｃｌｉｃｋｅｄ ｄｏｃｕｍｅｎｔ）のＵＲＬの集合である。クエリに適する拡張語というのは時々刻々変化すると考えるのが自然であり、非特許文献１ではクリックログを用いてこれに対処している。
"Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｑｕｅｒｙ Ｅｘｐａｎｓｉｏｎ Ｕｓｉｎｇ Ｑｕｅｒｙ Ｌｏｇｓ"．Ｈａｎｇ Ｃｕｉ，ｅｔ ａｌ．（２００２） Ｓ．Ｅ．Ｒｏｂｅｒｔｓｏｎ，"Ｏｎ ｔｅｒｍ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｑｕｅｒｙ ｅｘｐａｎｓｉｏｎ"，Ｊｏｕｒｎａｌ ｏｆ Ｄｏｃｕｍｅｎｔａｔｉｏｎ，４６，ｐａｇｅｓ ３５９−３６４，１９９０．

非特許文献１では、クリックログを解析して得られる単純なクリック回数（絶対的クリック回数）を用いて閲覧者が選択したサイト（ｃｌｉｃｋｅｄ ｄｏｃｕｍｅｎｔ）のＵＲＬを判別し、そのタイトルと概要文（スニペット）内に含まれるキーワードとクエリとの共起確率を計算している。そして、この尺度が高いキーワードから順に拡張語として選択し、クエリ拡張を実行している。

しかしながら、この絶対的クリック回数には、検索結果中の上位ランクにあるサイト程よくクリックされるという傾向が含まれており、この値が高いサイトが閲覧者に数多く選択され、クエリに適合していると判断されたとは必ずしも言えない。また、非特許文献１では、拡張語数が４０〜６０個でランキングの精度が最大になっており、これでは計算コストがかかってしまう。

そこで本発明は、このような問題に鑑み、クリックログを解析することでアクセスの集中するサイトを的確に特定し、少ない拡張語数で大幅な検索精度の向上を可能にするクエリ拡張を実現することを解決課題としている。

本発明は、前記課題を解決するために創作された技術的思想であって、多くの閲覧者が有用だと判断したアクセスの集中するサイトのタイトルと概要文（スニペット）を拡張語の取得源とみなすことにより、クエリに対する高い適合性を持った拡張語の取得を可能にしている。

具体的には、請求項１記載の発明は、入力されたクエリに関連する拡張語を取得し、該拡張語と前記クエリとを用いてサイトを検索する文章検索装置であって、前記クエリに対するクリックログを解析して、アクセスの集中するサイトを特定するクリックログ解析手段と、前記アクセスの集中するサイトのタイトルと概要文とを解析して、前記拡張語を取得する拡張語取得手段とを備えることを特徴としている。

また、請求項２記載の発明は、前記クリックログ解析手段が、前記クリックログに存在する複数サイト間の相対的クリック回数を解析してサイトのアクセス集中度合を求める第１解析手段と、前記クリックログに存在するサイトのクリック回数の生起確率を解析してアクセスの集中するサイトの候補を求める第２解析手段と、前記両解析手段の解析結果を統合してアクセスの集中するサイトを特定する解析結果統合手段とを有することを特徴としている。

また、請求項３記載の発明は、前記拡張語取得手段が、前記アクセスの集中するサイトのタイトルと概要文とを解析して拡張語の候補群を求める手段と、前記拡張語の候補群の各語に対して順序付けを行う手段と、前記順序付けられた各語の順位に基づいて拡張語を選択する手段とを有することを特徴としている。

また、請求項４記載の発明は、前記クエリと前記拡張語とを用いてサイトを検索し、検索結果を出力する検索実行手段と、前記検索実行手段の検索結果に対する利用者のクリック情報を前記クリックログに反映させるクリックログフィードバック処理手段とをさらに備えることを特徴としている。

また、請求項５記載の発明は、入力されたクエリに関連する拡張語を取得し、該拡張語と前記クエリとを用いてサイトを検索する文章検索方法であって、クリックログ解析手段が、前記クエリに対するクリックログを解析してアクセスの集中するサイトを特定する第１ステップと、拡張語取得手段が、前記アクセスの集中するサイトのタイトルと概要文とを解析して前記拡張語を取得する第２ステップとを有することを特徴としている。

また、請求項６記載の発明は、前記第１ステップが、前記クリックログに存在する複数サイト間の相対的クリック回数を解析してサイトのアクセス集中度合を求めるステップと、前記クリックログに存在するサイトのクリック回数の生起確率を解析してアクセスの集中するサイトの候補を求めるステップと、前記両ステップの解析結果を統合してアクセスの集中するサイトを特定するステップとを有することを特徴としている。

また、請求項７記載の発明は、前記第２ステップが、前記アクセスの集中するサイトのタイトルと概要文とを解析して拡張語の候補群を求めるステップと、前記拡張語の各候補に対して順序付けを行うステップと、前記順序付けられた各候補の順位に基づいて拡張語を選択するステップとを有することを特徴としている。

また、請求項８記載の発明は、検索実行手段が、前記クエリと前記拡張語とを用いてサイトを検索し検索結果を出力するステップと、クリックログフィードバック処理手段が、前記ステップの検索結果に対する利用者のクリック情報を前記クリックログに反映させるステップとをさらに有することを特徴としている。

また、請求項９記載の発明は、文章検索プログラムであり、請求項５〜８のいずれか１項に記載の文章検索方法の各ステップをコンピュータに実行させることを特徴としている。

また、請求項１０記載の発明は、コンピュータの読み取り可能な記録媒体であり、請求項９記載の文章検索プログラムを記録したことを特徴としている。

請求項１〜１０記載の発明によれば、アクセスの集中するサイトのタイトルと概要文（スニペット）から拡張語が取得されることから、クエリに対する高い適合性を持った拡張語が取得可能になる。これにより、拡張語の数を低減でき、計算コストを抑えつつ高精度の検索結果を得ることができる。

特に、請求項２．６記載の発明によれば、二つの独立した尺度の解析結果を組み合わせていることから、アクセスの集中するサイトを的確に特定することができる。

また、請求項４．８記載の発明によれば、検索結果に対する利用者の判断（クリック）をクリックログへ随時反映させることができる。

図１は、本発明の実施形態に係る文章検索装置１を示している。ここでは前記文章検索装置１がコンピュータにより構成された例を説明するが、文章検索装置はこれに限定されるものではなく、例えば文章検索の処理ロジックを実装したＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップを備えた計算機などでもよく、また携帯電話などのモバイル端末などでもよい。

前記文章検索装置１は、図１に示すように、主な４つの機能ブロック、即ちクエリ入力画面１０１および結果表示画面１０２を表示する表示部１００と、入力されたクエリ及び該クエリに関連する拡張語とを用いて検索式を生成する検索式生成部１１０と、入力されたクエリに対する拡張語を取得する拡張語選択部１２０と、前記検索式を実行する検索実行部１４０とを備えている。

前記各機能ブロック１００．１１０．１２０．１４０の機能は、前記文章検索装置１の制御部（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）が文章検索プログラムを読み込んで実現されている。また、前記文章検索装置１は、コンピュータの通常の構成要素、例えば図示省略のキーボードやマウスなどの入力部と、処理データなどを一時記憶する書き換え可能なメモリ（ＲＡＭ）と、ネットワーク接続に使用する通信デバイスと、ハードディスクドライブ装置などの記憶部と、ディスプレイなどの表示部とを備えている。以下、前記各機能ブロック１００．１１０．１２０．１４０について図１に基づき詳細に説明する。

＜表示部１００＞
前記表示部１００には、利用者がクエリ（検索語）を入力するクエリ入力画面１０１および前記検索実行部１４０から得た検索結果を表示する結果表示画面１０２がブラウザを介して表示される。ここでは、利用者は前記クエリ入力画面１０１にて前記キーボードなどを用いてクエリを入力する。

＜検索式生成部１１０＞
前記検索式生成部１１０は、前記クエリ入力画面１０１において入力された前記クエリを受信し、受信したクエリおよび該クエリに対する拡張語の要求を前記拡張語選択部１２０へ送信する。また、前記拡張語選択部１２０から拡張語を受信すると、この拡張語を用いて初期のクエリに対する検索結果を並び替える処理を行う検索式を生成し、これを前記検索実行部１４０へ送信する。この検索式を用いて、入力されたクエリに対する初回の検索結果のランキングを、前記拡張語を用いてより精度の高いランキングに並び替えている。

＜拡張語選択部１２０＞
前記拡張語選択部１２０は、命令部１２１、解析結果統合部１２２、解析部Ａ１２３、解析部Ｂ１２４、解析部Ｃ１２５、情報抽出部１２８、照合部１２９、検索結果取得部１３０、機能語抽出・名詞句生成部１３３、拡張語の重み・順序付け部１３４、クリックログフィードバック処理部１５０と、３つのＤＢ（データベース）、即ちクリックログＤＢ１２６、クリック確率ＤＢ１２７、インデックスＤＢ１３２と、検索エンジン１３１とを有している。このうち前記各ＤＢ１２６．１２７．１３２は、前記ハードディスクドライブ装置上に構築されている。

前記拡張語選択部１２０は、前記検索式生成部１１０から前記クエリと拡張語の要求を受信すると、前記命令部１２１に前記クエリを送信する。

前記命令部１２１は、前記拡張語選択部１２０から前記クエリを受信すると、受信したクエリとクリックログの解析要求とを前記解析結果統合部１２２へ送信する。

前記解析結果統合部１２２は、前記命令部１２１から前記クエリとクリックログの解析要求を受信すると、これらを前記解析部Ａ１２３および前記解析部Ｂ１２４へ送信する。

前記解析部Ａ１２３および前記解析部Ｂ１２４は、前記解析結果統合部１２２から前記クエリとクリックログの解析要求を受信すると、前記クリックログＤＢ１２６から前記クエリに対応するクリックログを読み出す。前記クリックログＤＢ１２６には、クエリに対する検索結果中において、閲覧者が実際に選択したサイト（ｃｌｉｃｋｅｄ ｄｏｃｕｍｅｎｔ）のＵＲＬがクリック回数に基づきランク付けされ、これがクリックログとして格納されている。このクリックログＤＢ１２６は、図外のサーバからインターネット経由で予め取得したクリックログのデータを用いて構築される。

前記解析部Ａ１２３は、読み出したクリックログをサイト毎のアクセス集中度合に着目して解析し、解析結果を前記解析結果統合部１２２へ返信する。

前記解析部Ｂ１２４はさらに、前記クリック確率ＤＢ１２７に保存されているランク毎のサイトのクリック確率を読み出し、前記両ＤＢ１２６．１２７から読み出したクリックログとクリック確率とを解析して、解析結果を前記解析結果統合部１２２へ返信する。なお、前記クリック確率ＤＢ１２７も、前記クリックログＤＢ１２６と同様に前記サーバ上の前記クリックログのデータを用いて構築される。

前記解析結果統合部１２２は、前記解析部Ａ１２３および前記解析部Ｂ１２４から各解析結果を受信すると、それらを統合してアクセス集中サイト（Ａｃｃｅｓｓ Ｃｏｎｃｅｎｔｒａｔｉｏｎ Ｓｉｔｅｓ：以下、ＡＣＳと略す）を特定し、そのＵＲＬを前記命令部１２１に返信する。アクセス集中サイト（ＡＣＳ）の詳細については後述する。

前記命令部１２１は、前記解析結果統合部１２２からアクセス集中サイト（ＡＣＳ）のＵＲＬを受信すると、このＵＲＬを前記情報抽出部１２８へ送信する。

前記情報抽出部１２８は、前記命令部１２１から前記クエリとアクセス集中サイト（ＡＣＳ）のＵＲＬを受信すると、これらを前記照合部１２９へ送信する。

前記照合部１２９は、前記情報抽出部１２８から前記クエリとアクセス集中サイト（ＡＣＳ）のＵＲＬを受信すると、前記クエリを前記検索結果取得部１３０へ送信する。

前記検索結果取得部１３０は、前記照合部１２９から前記クエリを受信すると、このクエリを前記検索エンジン１３１へ投入する。

前記検索エンジン１３１は、前記検索結果取得部１３０もしくは前記検索実行部１４０から検索結果の要求を受信すると、前記インデックスＤＢ１３２を検索した検索結果を返信する。

前記インデックスＤＢ１３２には、「Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ」もしくは「Ｍｏｂｉｌｅ Ｗｅｂ」のサイトが各々インデックス加工されて保存されている。この前記インデックスＤＢ１３２は、予め図外のサーバからインターネット経由で取得したデータを用いて構築される。ここでは、前記検索エンジン１３１が前記インデックスＤＢ１３２を備えているものとする。

前記検索結果取得部１３０は、前記検索エンジン１３１から前記クエリに対する検索結果を受信すると、該検索結果を前記照合部１２９へ返信する。

前記照合部１２９は、前記検索結果取得部１３０から前記クエリに対する検索結果を受信すると、該検索結果のＵＲＬと前記情報抽出部１２８から受信したアクセス集中サイト（ＡＣＳ）のＵＲＬとを照合し、該検索結果のＵＲＬからアクセス集中サイト（ＡＣＳ）を識別する。そして、識別したアクセス集中サイト（ＡＣＳ）の情報（ＵＲＬ、タイトルなど）を前記情報抽出部１２８へ返信する。

前記情報抽出部１２８は、前記照合部１２９からアクセス集中サイト（ＡＣＳ）の情報（ＵＲＬ、タイトルなど）を受信すると、この情報からタイトルとスニペット（Ｔｉｔｌｅｓ ａｎｄ Ｓｎｉｐｐｅｔｓ）を抽出し、これらを前記機能語抽出・名詞句生成部１３３へ送信する。

前記機能語抽出・名詞句生成部１３３は、前記情報抽出部１２８からアクセス集中サイト（ＡＣＳ）のタイトルとスニペットを受信すると、これらを形態素解析し、機能語の抽出もしくは名詞句を生成する。そして、これらを後のクエリ拡張で用いる拡張語の候補群とし、前記拡張語の重み・順序付け部１３４へ送信する。

前記拡張語の重み・順序付け部１３４は、前記機能語抽出・名詞句生成部１３３から拡張語の候補群を受信すると、非特許文献２の「Ｒｏｂｅｒｔｓｏｎ Ｓｅｌｅｃｔｉｏｎ Ｖａｌｕｅ（ＲＳＶ）」に基づいて各拡張語の候補群の重み付け、順序付けを行い、この結果を前記拡張語選択部１２０へ送信する。

前記拡張語選択部１２０は、前記拡張語の重み・順序付け部１３４から拡張語の候補群を受信すると、この候補群から実際に使用する拡張語を選択し、これらを前記検索式生成部１１０へ返信する。

前記解析部Ｃ１２５は、前記クリックログＤＢ１２６から全てのクリックログを読み出して各ランクのサイトに対するクリック確率を算出し、この算出結果を用いて前記クリック確率ＤＢ１２７を更新する。この更新処理は予め設定された一定時間毎に実行される。

前記クリックログフィードバック処理部１５０は、前記結果表示画面１０２に表示された検索結果に対して利用者がクリックしたサイトの情報（クリック情報）を記録し、これを基に新たなクリックログを生成して前記クリックログＤＢ１２６へ随時フィードバックさせる。

＜検索実行部１４０＞
前記検索実行部１４０は、前記検索式生成部１１０から検索式を受信すると、これを前記検索エンジン１３１へ投入し、対応する検索結果を受信する。そして、この検索結果を前記結果表示画面１０２へ表示する。

＜動作例＞
前記文章検索装置１は、利用者から入力されたクエリを基にクリックログを解析して拡張語を取得し、この拡張語を用いてクエリ拡張をすることによりさらに精度の高い検索結果を得ている。この一連の処理は主に４つのフェーズ、即ちクエリ入力フェーズ、クリックログ解析フェーズ、拡張語取得フェーズ、検索実行フェーズから構成されている。以下、この各フェーズの詳細な処理内容について、図２〜７に基づき説明する。

（１）クエリ入力フェーズ
図２は、クエリ入力フェーズの処理フローを示している。まず、利用者は前記クエリ入力画面１０１においてクエリを入力する。入力されたクエリは、前記検索式生成部１１０へ送信される。前記検索式生成部１１０は、前記拡張語選択部１２０へ前記クエリとともに拡張語の抽出・選択要求を送信する。

（２）クリックログ解析フェーズ
クリックログ解析フェーズでは、入力されたクエリを用いてクリックログを解析する。この目的は、クリックログ中のサイトにおいてアクセスの集中するサイトを特定することにある。なぜなら閲覧者は、検索結果中のサイトを選択する（クリックする）際、そのサイトのタイトルとスニペット（概要文）を見て判断すると考えられ、アクセスの集中するサイトのタイトルとスニペットには、閲覧者が有用だと判断したキーワードがあると期待できるからである。そして、このキーワードでクエリ拡張をすることにより、大幅な検索の精度向上が望めると考えられる。ここではそのようなサイトをアクセス集中サイト（ＡＣＳ）とし、そのタイトルとスニペット（Ｔｉｔｌｅｓ ａｎｄ Ｓｎｉｐｐｅｔｓ）をＴＳと呼ぶ。クリックログ解析フェーズでは、入力されたクエリを用いてクリックログを解析することにより、アクセス集中サイト（ＡＣＳ）の特定を行っている。

図３は、クリックログ解析フェーズの処理フローを示している。前記命令部１２１は、前記拡張語選択部１２０から前記クエリを受信すると（図２の記号Ａから続く）、受信した前記クエリとそれに対するクリックログの解析要求を前記解析結果統合部１２２へ送信する。前記解析結果統合部１２２は、この要求を受けると、前記解析部Ａ１２３と前記解析部Ｂ１２４へ前記クエリを送信し、解析フェーズが開始される。

前記解析部Ａ１２３は、アクセス集中サイト（ＡＣＳ）を特定するための指標となるアクセス集中度合（ＡＣＤ）を算出する。具体的には、前記解析部Ａ１２３は、前記クリックログＤＢ１２６から前記クエリに対するクリックログを読み出す。そして、読み出したクリックログのあるランクに存在するサイトと、その両隣のランクに存在するサイトのクリック回数に着目し、その相対的クリック回数を式（１）および式（２）により算出する。この式（１）および式（２）は、前記文章検索装置１のプログラムに定義されているものとする。

ここで、ｃ（ｑ，ｒ）はクエリｑに対するクリックログ中でランクｒとなったサイトのクリック回数を示し、ｃ（ｑ，ｒ−１）、ｃ（ｑ，ｒ＋１）は、ランクｒの左隣のランクｒ−１、右隣のランクｒ＋１となったサイトのクリック回数を示す。

また、ｓｌｏｐｅ_Lおよびｓｌｏｐｅ_Rは、クリックログをあるクエリｑに対して解析し、ランクとクリック回数に基づいて曲線を描いたときのランクｒ−１およびランクｒ＋１に対するそれぞれの傾きに対応する。この曲線の例を図４に示す。

図４において、横軸はサイトのランク、縦軸はクリック回数を示している。ここで、特定クエリ曲線はクリックログをあるクエリに対して解析して描いた曲線、平均クエリ曲線はクリックログを全てのクエリに対して解析し、そのクエリの個数で平均して描いた曲線を表す。

このとき、特定クエリ曲線の傾きが急になる、即ち特定クエリ曲線が強いピークを描いているランクにあるサイトをアクセスの集中するサイトと想定し、これをアクセス集中サイト（ＡＣＳ）の候補とみなす。この曲線の傾きの程度を、式（３）でアクセス集中度合ＡＣＤ（ｑ，ｒ）として定義する。この式（３）は、前記文章検索装置１のプログラムに定義されているものとする。

ここでθ_L（ｒ）、θ_R（ｒ）は傾きｓｌｏｐｅ_L、ｓｌｏｐｅ_Rに対する角度を示しており、アクセス集中度合ＡＣＤ（ｑ，ｒ）はこの角度により特徴付けられる。前記解析部Ａ１２３は、アクセス集中度合ＡＣＤ（ｑ，ｒ）をサイト毎に算出し、解析結果として前記解析結果統合部１２２へ返信する。

前記解析部Ｂ１２４は、アクセス集中サイト（ＡＣＳ）を特定するための別の指標として、クリックログ中のサイトのクリック回数が明らかに多いかどうかを統計的に判断する。即ち、あるランクｒに存在するサイトのクリック回数が、そのランクｒが期待するクリック回数（平均クリック回数）を大きく上回っていれば、そのサイトは偶然でなく閲覧者に意図的に選択されたといえる。

具体的には、前記解析部Ｂ１２４は、前記解析結果統合部１２２から前記クエリｑとクリックログの解析要求を受けると、前記クリックログＤＢ１２６から前記クエリｑに対するクリックログを読み出す。また、これと同時に、前記クリック確率ＤＢ１２７を参照してランクｒに存在するサイトのクリック確率Ｐ（ｒ）を読み出す。そして、あるランクｒに存在するサイトのクリック回数の分布は二項分布に従うと仮定し、実際のクリック回数ｃ（ｑ，ｒ）が、そのランクが期待するクリック回数（平均クリック回数）を大きく上回っているかどうかを、式（４）により生起確率ｐ（ｑ，ｒ）として算出する。この式（４）は、前記文章検索装置１のプログラムに定義されているものとする。

ここで、ｎ（ｑ，ｒ）はランクｒのサイトを全閲覧者が見た総回数であり、この単位回数が「試行」にあたる。この総回数ｎ（ｑ，ｒ）は、このランクｒにあるサイトのクリック回数ｃ（ｑ，ｒ）と通り越した回数ｎｃ（ｑ，ｒ）の和で表される。通り越した回数とは、ランクｒより低いランクのサイトがクリックされた回数を示している。もし同一の閲覧者が、ランクｒとランクｒ以下のサイトを連続でクリックした場合などは、閲覧者ＩＤなどで識別して１回とカウントする。

ここでは、ランクｒに存在するサイトがクリックされるか否かを二項分布が表現する「１回あたりの試行」とみなし、そのサイトのクリック回数が起こる生起確率ｐ（ｑ，ｒ）が極端に少ない場合に、そのクリック回数は明らかに多いとみなす。

例えば、図５に示すグラフにおいて、横軸はクリック回数、縦軸はその生起確率であり、ランクｒのサイトのクリック確率Ｐ（ｒ）＝３２％、試行回数ｎ（ｑ，ｒ）＝１００の場合のクリック回数の二項分布を示している。つまり、ランクｒとなったサイトのクリック確率が１００回の試行を行って３２％となるとき、期待されるクリック回数の分布は図５のグラフのような二項分布に従うと仮定する。

このとき、実際にランクｒとなったサイトが獲得したクリック回数ｃ（ｑ，ｒ）が、グラフの右側２．５％領域（以下、領域Ｓとする）に含まれる場合、そのサイトは明らかに多くクリックされたと考え、このサイトをアクセス集中サイト（ＡＣＳ）の候補とみなす。そして、前記解析部Ｂ１２４は、このようにして求めたアクセス集中サイト（ＡＣＳ）の候補群を解析結果として前記解析結果統合部１２２へ返信する。

なお、図５において領域Ｓの閾値である右側２．５％は、一般にその前後において有意な差が現れるとされる閾値であるが、この値は設定などに合わせて適宜変更することができる。

前記解析結果統合部１２２は、前記解析部Ａ１２３および前記解析部Ｂ１２４からそれぞれの解析結果を受信すると、これらを基にアクセス集中サイト（ＡＣＳ）を特定する。即ち、クリック回数の生起確率が二項分布の右側２．５％に入っており、かつそのアクセス集中度合ＡＣＤ（ｑ，ｒ）が高いサイトの上位Ｋ件をアクセス集中サイト（ＡＣＳ）とみなし、そのＵＲＬを取得する。そして、このＵＲＬを前記命令部１２１へ返信する。

このとき、いずれのサイトもクリック回数の生起確率が領域Ｓに入らない場合は、アクセス集中度合ＡＣＤ（ｑ，ｒ）の降順でサイトを順序付け、その上位Ｋ件をアクセス集中サイト（ＡＣＳ）とみなす。この上位件数Ｋの値は、設定に合わせて適宜変更することができる。

前記解析部Ｃ１２５は、前記クリックログＤＢ１２６から全クリックログを読み出し、各ランクのサイトに対するクリック確率Ｐ（ｒ）を算出する。そして、この算出結果を用いて前記クリック確率ＤＢ１２７を更新する。この更新処理は予め設定された一定時間ごとに行われる。

（３）拡張語取得フェーズ
拡張語取得フェーズでは、クリックログ解析フェーズで特定したアクセス集中サイト（ＡＣＳ）のタイトルと概要文（スニペット）から、クエリ拡張を行うための拡張語を取得する。これは、アクセスの集中するサイトのタイトルとスニペットには閲覧者が有用だと判断したキーワードがあり、このキーワードでクエリ拡張をすることで大幅な検索の精度向上が期待できるためである。

図６は、拡張語取得フェーズの処理フローを示している。前記情報抽出部１２８が前記命令部１２１からアクセス集中サイト（ＡＣＳ）のＵＲＬと前記クエリを受信した後に（図３の記号Ｂから続く）、拡張語取得フェーズが開始される。

前記情報抽出部１２８は、受信したアクセス集中サイト（ＡＣＳ）のＵＲＬと前記クエリを前記照合部１２９へ送信する。前記照合部１２９は、前記クエリを前記検索結果取得部１３０へ送信し、続いて前記検索結果取得部１３０はこのクエリを前記検索エンジン１３１へ投入する。

前記検索エンジン１３１は、このクエリを用いて前記インデックスＤＢ１３２に対して検索を実行し、ＵＲＬと検索結果件数Ｎを取得して、これらを前記検索結果取得部１３０へ返信する。これらを受信した前記検索結果取得部１３０は、検索結果（ＵＲＬと検索結果件数Ｎ）を前記照合部１２９へ返信する。

前記照合部１２９は、前記検索結果取得部１３０から受信した検索結果のＵＲＬと、前記情報抽出部１２８から受信したアクセス集中サイト（ＡＣＳ）のＵＲＬとを照合して、アクセス集中サイト（ＡＣＳ）を識別する。そして、識別したアクセス集中サイト（ＡＣＳ）の情報（ＵＲＬ、タイトル、スニペットなど）と前記検索結果件数Ｎとを前記情報抽出部１２８へ返信する。

前記情報抽出部１２８は、受信したアクセス集中サイト（ＡＣＳ）の前記情報からタイトルとスニペットを抽出し、前記検索結果件数Ｎとともに前記機能語抽出・名詞句生成部１３３へ送信する。

前記機能語抽出・名詞句生成部１３３は、受信したタイトルとスニペットを形態素に分解し、機能語の取得および名詞句の生成を行う。そして、この機能語および名詞句を後に行うクエリ拡張に用いる拡張語の候補群として、前記検索結果件数Ｎとともに前記拡張語の重み・順序付け部１３４へ送信する。

前記拡張語の重み・順序付け部１３４は、受信した各拡張語の候補ｉと、各拡張語の候補ｉをタイトルとスニペットに含むアクセス集中サイト（ＡＣＳ）の個数ａｎ（ｉ）、前記検索結果件数Ｎ、アクセス集中サイト（ＡＣＳ）の全個数Ｋを用いて、非特許文献２の「Ｒｏｂｅｒｔｓｏｎ Ｓｅｌｅｃｔｉｏｎ Ｖａｌｕｅ（ＲＳＶ）」の式（５）および式（６）を用いて拡張語の重み、順序付けを行う。この式（５）および式（６）は、前記文章検索装置１のプログラムに定義されているものとする。

ここで、ｎ（ｉ）は検索結果件数Ｎ中、拡張語の候補ｉをタイトルとスニペットに含むサイト数である。前記拡張語の重み・順序付け部１３４は、このように順序付けられた拡張語の候補群を前記拡張語選択部１２０へ送信する。

前記拡張語選択部１２０は、受信した拡張語の候補群のうち上位Ｔ件を実際にクエリ拡張で使用する拡張語として採用し、採用した拡張語群を前記検索式生成部１１０へ返信する。この上位件数Ｔの値は、設定に合わせて適宜変更することができる。

（４）検索実行フェーズ
検索実行フェーズでは、拡張語取得フェーズで取得した拡張語を用いて検索式を生成し、この検索式による検索を実行するとともに、検索結果に対する利用者の判断（クリック）をクリックログに反映させる。

図７は、検索実行フェーズの処理フローを示している。前記検索式生成部１１０は、前記拡張語選択部１２０から拡張語群を受信すると（図６の記号Ｃから続く）、この拡張語群を用いてクエリ拡張を実行する検索式を生成し、これを前記検索実行部１４０へ送信する。

前記検索実行部１４０は、受信した検索式を前記検索エンジン１３１へ投入する。前記検索エンジン１３１はこの検索式を用いて、前記インデックスＤＢ１３２に格納されたサイトのタイトルとボディ（本文）それぞれに対して検索を行う。

この検索式では、まず利用者が入力した初期クエリに対する検索結果の集合（ランク付けされたサイト群）を決定し、次にこのサイト群に対して前記拡張語を用いて採点を行い、この点数に基づいてより精度の高いランキングに並べ替える方法が定義されている。

具体的には、初期クエリに対する検索結果の各サイトの要素である文章に対して、「拡張語の重みｒｓｖ（ｉ）×各文章における拡張語のｔｆ・ｉｄｆ」を算出して採点を行い、この点数でサイト群を並べ替える。ここで「ｔｆ・ｉｄｆ」は、ある単語が一つの文書にどのくらい出現するかなどの尺度により求められる単語の重みを表す。そして、このように並べ替えた結果を前記結果表示画面１０２へ表示する。したがって、利用者は、最初に入力したクエリに対し、より高い精度で並べられたランキングを検索結果として確認することができる。

この検索結果に対し利用者は、サイトを選択する判断（クリック）を行う。このクリック情報（利用者がクリックしたサイトの情報）は前記クリックログフィードバック処理部１５０へ送信される。前記クリックログフィードバック処理部１５０は、このクリック情報から新たなクリックログを生成し、これを用いて前記クリックログＤＢ１２６を随時更新する。

以上のように、本実施形態に係る文章検索装置１によれば、アクセス集中サイト（ＡＣＳ）を特定する際、二つの独立した尺度であるアクセス集中度合ＡＣＤおよびクリック回数の生起確率を組み合わせて特定していることから、アクセス集中サイト（ＡＣＳ）の的確な判別が可能となる。

また、アクセス集中サイト（ＡＣＳ）のタイトルとスニペットから抽出されるキーワードを用いてクエリ拡張を行うことから、少ない拡張語数（１〜５語）で検索の大幅な精度向上を実現することができる。

さらに、拡張語の取得の際に利用するクリックログＤＢは、利用者からのフィードバックの自動処理により随時更新されることから、クエリに対して時々刻々と変化する時代背景に沿った拡張語を適切に抽出することが可能となる。

＜他例＞
前記クリックログＤＢ１２６と前記インデックスＤＢ１３２とは、必ずしも前記文章検索装置１に実装される必要はなく、例えば前記文章検索装置１にネットワークを介して接続された図外のサーバ内に実装した態様であってもよい。この場合に、前記両ＤＢ１２６．１３２への接続は前記通信デバイスを介して行われる。

即ちクリックログ解析フェーズでは、前記解析部Ａ１２３および前記解析部Ｂ１２４が、前記通信デバイスを介して前記クリックログＤＢ１２６に接続して、前記クエリに対応するクリックログを取得する。取得したクリックログのデータは前記メモリ（ＲＡＭ）に一時記憶され、前記両解析部１２３．１２４は前述の手法によりこのデータを解析する。

また、前記解析部Ｃ１２５は、同様に前記通信デバイスを介して前記クリックログＤＢ１２６へ接続し、全てのクリックログを取得する。そして、取得したクリックログからクリック確率を算出し、前記クリック確率ＤＢ１２７を更新する。

拡張語取得フェーズおよび検索実行フェーズでは、前記検索エンジン１３１が前記通信デバイスを介して前記インデックスＤＢ１３２へ接続し、検索を行う。また、前記クリックログフィードバック処理部１５０は、同様に前記通信デバイスを介して前記クリックログＤＢ１２６へ接続し、前記クリックログＤＢ１２６を随時更新する。

なお、本発明は、コンピュータを前記文章検索装置１の各機能ブロック１００．１１０．１２０．１４０として機能させる文章検索プログラムとしても提供することができる。このプログラムは、各機能ブロック１００．１１０．１２０．１４０の全ての処理をコンピュータに実行させるものでもよく、あるいはその一部の処理を実行させるものであってもよい。

このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供される。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体に格納してコンピュータに提供してもよい。この記録媒体から読み出されたプログラムコードが、本実施形態の各機能ブロックとしてコンピュータを機能させるので、該記録媒体も本発明を構成する。

本発明の実施形態に係る文章検索装置の構成図。 同 クエリ入力フェーズの処理フロー図。 同 クリックログ解析フェーズの処理フロー図。 同 アクセス集中度合ＡＣＤを示すグラフ。 同 クリック回数の二項分布を示すグラフ。 同 拡張語取得フェーズの処理フロー図。 同 検索実行フェーズの処理フロー図。

符号の説明

１…文章検索装置
１００…表示部
１０１…クエリ入力画面
１０２…結果表示画面
１１０…検索式生成部
１２０…拡張語選択部
１２１…命令部
１２２…解析結果統合部
１２３…解析部Ａ（第１解析手段）
１２４…解析部Ｂ（第２解析手段）
１２５…解析部Ｃ
１２６…クリックログＤＢ
１２７…クリック確率ＤＢ
１２８…情報抽出部
１２９…照合部
１３０…検索結果取得部
１３１…検索エンジン
１３２…インデックスＤＢ
１３３…機能語抽出・名詞句生成部
１３４…拡張語の重み・順序付け部
１４０…検索実行部
１５０…クリックログフィードバック処理部

Claims (10)

1. 入力されたクエリに関連する拡張語を取得し、該拡張語と前記クエリとを用いてサイトを検索する文章検索装置であって、
   前記クエリに対するクリックログを解析して、アクセスの集中するサイトを特定するクリックログ解析手段と、
   前記アクセスの集中するサイトのタイトルと概要文とを解析して、前記拡張語を取得する拡張語取得手段と、
   を備えることを特徴とする文章検索装置。
2. 前記クリックログ解析手段は、
   前記クリックログに存在する複数サイト間の相対的クリック回数を解析してサイトのアクセス集中度合を求める第１解析手段と、
   前記クリックログに存在するサイトのクリック回数の生起確率を解析してアクセスの集中するサイトの候補を求める第２解析手段と、
   前記両解析手段の解析結果を統合してアクセスの集中するサイトを特定する解析結果統合手段とを有する
   ことを特徴とする請求項１記載の文章検索装置。
3. 前記拡張語取得手段は、
   前記アクセスの集中するサイトのタイトルと概要文とを解析して拡張語の候補群を求める手段と、
   前記拡張語の各候補に対して順序付けを行う手段と、
   前記順序付けられた各候補の順位に基づいて拡張語を選択する手段とを有する
   ことを特徴とする請求項１または２のいずれか１項に記載の文章検索装置。
4. 前記クエリと前記拡張語とを用いてサイトを検索し、検索結果を出力する検索実行手段と、
   前記検索実行手段の検索結果に対する利用者のクリック情報を前記クリックログに反映させるクリックログフィードバック処理手段とをさらに備える
   ことを特徴とする請求項１〜３のいずれか１項に記載の文章検索装置。
5. 入力されたクエリに関連する拡張語を取得し、該拡張語と前記クエリとを用いてサイトを検索する文章検索方法であって、
   クリックログ解析手段が、前記クエリに対するクリックログを解析してアクセスの集中するサイトを特定する第１ステップと、
   拡張語取得手段が、前記アクセスの集中するサイトのタイトルと概要文とを解析して前記拡張語を取得する第２ステップと、
   を有することを特徴とする文章検索方法。
6. 前記第１ステップは、
   前記クリックログに存在する複数サイト間の相対的クリック回数を解析してサイトのアクセス集中度合を求めるステップと、
   前記クリックログに存在するサイトのクリック回数の生起確率を解析してアクセスの集中するサイトの候補を求めるステップと、
   前記両ステップの解析結果を統合してアクセスの集中するサイトを特定するステップとを有する
   ことを特徴とする請求項５記載の文章検索方法。
7. 前記第２ステップは、
   前記アクセスの集中するサイトのタイトルと概要文とを解析して拡張語の候補群を求めるステップと、
   前記拡張語の各候補に対して順序付けを行うステップと、
   前記順序付けられた各候補の順位に基づいて拡張語を選択するステップとを有する
   ことを特徴とする請求項５または６のいずれか１項に記載の文章検索方法。
8. 検索実行手段が、前記クエリと前記拡張語とを用いてサイトを検索し検索結果を出力するステップと、
   クリックログフィードバック処理手段が、前記ステップの検索結果に対する利用者のクリック情報を前記クリックログに反映させるステップとをさらに有する
   ことを特徴とする請求項５〜７のいずれか１項に記載の文章検索方法。
9. 請求項５〜８のいずれか１項に記載の文章検索方法の各ステップをコンピュータに実行させることを特徴とする文章検索プログラム。
10. 請求項９記載の文章検索プログラムを記録したことを特徴とするコンピュータの読み取り可能な記録媒体。

Images