JP2008545196A - 所望リポジトリの判定 - Google Patents

Abstract

システムは、ユーザから検索クエリを受け取り、リポジトリの各々につき１セットの検索結果を識別するため、検索クエリに基づき１グループのリポジトリを検索する。システムはまた、識別されたリポジトリからの情報をユーザが所望する尤度に基づきリポジトリの内１つを識別し、識別されたリポジトリに関連する検索結果セットを提示する。

Description

発明の背景
発明の分野
ここで説明する実装は、一般的には情報取得に関し、より具体的には検索のための所望リポジトリ判定に関する。

関連技術の説明
ワールドワイドウェブ（「ウェブ」）は大量の情報を収容している。ただし、情報の所望部分を突き止めるには困難を伴うことがある。ウェブ上の情報量とウェブ検索に不慣れな新参ユーザ数の急増がこの問題を込み入ったものにしている。

検索エンジンシステムは、ユーザが関心を寄せるウェブページに至るハイパーリンクを返すことを試みる。検索エンジンシステムは一般的に、ユーザによって入力される検索語（検索クエリと呼ばれる）に基づきユーザの関心を判断する。検索エンジンシステムの目標は、この検索クエリに基づき上質の、関連性のある、検索結果（例えばウェブページ）に至るリンクを、ユーザに提供することにある。検索エンジンシステムは通常、予め格納されたウェブページの集積に検索クエリの語を照合することによってこれを達成する。ユーザの検索語を含むウェブページは「ヒット」であり、リンクとしてユーザに返される。

一部の検索エンジンシステムは検索結果として様々なタイプの情報を提供できる。例えば検索エンジンシステムは、ウェブページ、ニュース記事、画像、商品、ユースネットページ、イエローページ項目、スキャンされた書籍、及び／またはその他の情報を提供できる。検索エンジンシステムは通常、これらの各種情報に対し別々のインターフェイスを提供する。

標準的な検索エンジンシステムにユーザが検索クエリを提供すると、通常ならばウェブページに至るリンクがそのユーザに提供される。もしもユーザがタイプの異なる情報（例えば画像またはニュース記事）を所望するなら、ユーザは通常、検索エンジンシステムから提供される別のインターフェイスにアクセスする必要がある。

発明の要旨
一態様によると、方法は、ユーザから検索クエリを受け取ることと、リポジトリの各々につき１セットの検索結果を識別するため、前記検索クエリに基づき前記リポジトリからなるグループを検索することと、前記リポジトリからの情報を前記ユーザが所望する尤度に基づき前記リポジトリの内１つを識別することと、前記識別されたリポジトリに関連する前記検索結果セットを提示することとを含むことができる。

別の態様によると、システムは検索エンジンシステムを含むことができ、同検索エンジンシステムは、ユーザから検索クエリを受け取ることができ、且つリポジトリグループの各々につきスコアを判定でき、ここで前記リポジトリの内１つリポジトリの前記スコアは、前記ユーザが前記１つのリポジトリからの情報を所望する尤度に基づく。検索エンジンシステムはまた、前記１つ以上のリポジトリの各々につき１セットの検索結果を識別するため、前記検索クエリに基づき１つ以上の前記リポジトリで検索を遂行でき、前記スコア
に基づき１つ以上の前記検索結果セットを提供できる。

さらに別の態様によると、データとコンピュータ実行可能命令とを格納するためコンピュータ可読媒体が提供される。前記コンピュータ可読媒体は、ユーザによって提供される検索クエリに基づくリポジトリ検索数に関連するログデータを含むことができる。前記コンピュータ可読媒体はまた、前記ログデータを３つ１組のデータ（ｕ、ｑ、ｒ）として表現する命令と、尚ここでｕは検索クエリを提供したユーザに関する情報を表し、ｑは前記検索クエリに関する情報を表し、ｒは前記検索クエリに応じて提供された検索結果の出所にあたるリポジトリに関する情報を表し、前記３つ１組のデータ（ｕ、ｑ、ｒ）の各々につきラベルを判定する命令と、尚ここで前記ラベルは、前記ユーザｕが前記検索クエリを提供したときに前記リポジトリｒからの情報を所望したか否かに関する情報を含み、前記３つ１組のデータ（ｕ、ｑ、ｒ）と前記関連ラベルとに基づきモデルをトレーニングする命令とを含むことができ、尚ここで前記モデルは、ある特定のユーザがある特定の検索クエリを提供する場合に前記ユーザがリポジトリからの情報を所望するか否かを予測する。

さらに他の態様によると、システムは、第１のタイプのデータを格納する第１のリポジトリと、第２のタイプのデータを格納する第２のリポジトリと、検索エンジンシステムとを含むことができる。前記検索エンジンシステムは、ユーザから検索クエリを受け取ることができ、且つ前記ユーザと、前記検索クエリと、前記第１または第２のリポジトリとに関する情報とに基づき前記ユーザが前記第１または第２のリポジトリからの情報を所望する尤度を判定できる。

別の態様によると、システムはモデル生成システムと検索エンジンシステムとを含むことができる。前記モデル生成システムはモデルを生成でき、同モデルは、ある特定のユーザがある特定の検索クエリを提供する場合に前記ユーザがリポジトリからの情報を所望する尤度に関連するスコアを判定する。前記検索エンジンシステムは、ユーザから検索クエリを受け取ることができ、前記モデルに基づき複数のリポジトリの各々につきスコアを判定でき、且つ前記スコアに基づき１つ以上の前記リポジトリから検索結果を提示できる。

さらに別の態様によると、方法は、ユーザから検索クエリを受け取ることと、複数のリポジトリの各々につきスコアを判定することと、尚前記リポジトリの内１つのリポジトリの前記スコアは、前記ユーザが前記１つのリポジトリからの情報を所望する尤度に基づく、前記少なくとも１つのリポジトリの各々につき１セットの検索結果を識別するため、前記検索クエリと前記判定されたスコアとに基づき前記少なくとも１つのリポジトリで検索を遂行することと、１つ以上の前記検索結果セットを提供することとを含むことができる。

さらに他の態様によると、システムは、第１及び第２のモデルを生成するためモデル生成システムを含むことができ、ここで前記第２のモデルを生成するため使用される少なくとも１つのファクタは、前記第１のモデルを生成するときに不在である、または異なる。前記システムはまた検索エンジンシステムを含むことができ、同検索エンジンシステムは、ユーザから検索クエリを受け取り、前記第１のモデルに基づき複数のリポジトリの各々につき第１のスコアを判定し、前記検索クエリと前記第１のスコアとに基づき１つ以上の前記リポジトリで検索を遂行し、前記第２のモデルに基づき前記１つ以上のリポジトリの各々につき第２のスコアを判定し、前記第２のスコアに基づき前記１つ以上のリポジトリの内少なくとも１つのリポジトリから検索結果を提示する。

本明細書に編入されこれの一部をなす添付の図面は、本発明の一実施形態を例示するものであり、その説明とともに本発明を説明する。

詳細な説明
以降の本発明の詳細な説明では添付の図面を参照する。別々の図面において同じまたは類似する構成要素を同じ参照番号で識別することがある。また、以降の詳細な説明は本発明を制限しない。

概要
図１は、本発明の原理に一致するコンセプトを例示する。検索エンジンシステムは、ユーザが所望するかもしれない各種の情報を保守できる。検索エンジンシステムは、各種情報に関係する１セットのリポジトリを保守できる。図１に示すとおり、検索エンジンシステムは、例えばウェブページ、画像、製品、及びニュースに関係するリポジトリと連携できる。ウェブページリポジトリはウェブページに関する情報を含むことができる。画像リポジトリは画像に関する情報を含むことができる。製品リポジトリは商品に関する情報を含むことができる。ニュースリポジトリはニュース文書に関する情報を含むことができる。検索エンジンシステムは、これらのリポジトリの内特定のリポジトリに向けられた検索のため別個のインターフェイスを提供できる。

以降の説明で、用語「文書」は広義に、あらゆるマシン可読及びマシン格納可能産物を含むものと解釈される。文書は、例えばウェブページ、報道事件に関する情報、画像ファイル、商品に関する情報、ユースネットページに関する情報、イエローページ項目、スキャンされた書籍、ファイルの組み合わせ、他のファイルへのリンクが埋め込まれた１つ以上のファイル、ブログ、ウェブ広告、ｅメール、その他を含むことがある。文書はしばしばテキスト情報を含み、埋め込み情報（メタ情報、ハイパーリンク等）及び／または埋め込み命令（Ｊａｖａ（登録商標）スクリプト等）含むことがある。ここで用いる用語としての「リンク」は広義に、ある文書と別の文書との間の、または同一文書の別の部分との間の、あらゆるリファレンスを含むものと解釈される。

図１に示すとおり、ユーザは検索エンジンシステムに対し検索クエリを提供できる。検索エンジンシステムは、ユーザが所望すると見込まれるリポジトリがどれかを判断できる。検索エンジンは検索を遂行でき、ユーザが所望すると見込まれるリポジトリがどれかの判断に基づき１つ以上のリポジトリからの情報を含む検索結果を提示できる。

例えば、もしもユーザが検索エンジンシステムに対する検索クエリとして語「ｓｕｎｓｅｔ（日没）」を提供するなら、検索エンジンシステムは、同ユーザが日没に関係するウェブページよりむしろ日没の画像に関心を寄せていると判断できる。その結果、検索エンジンシステムは画像リポジトリからの検索結果を、他のリポジトリからの検索結果の代わりに、または他のリポジトリからの検索結果に加えて、ユーザに提示できる。

同様に、もしもユーザが検索エンジンシステムに対する検索クエリとして語句「ｉｒａｑ ｗａｒ（イラク戦争）」を提供するなら、検索エンジンシステムは、同ユーザがイラク戦争に関係するウェブページよりむしろイラク戦争に関係するニュース文書に関心を寄せていると判断できる。その結果、検索エンジンシステムはニュースリポジトリからの検索結果を、他のリポジトリからの検索結果の代わりに、または他のリポジトリからの検索結果に加えて、ユーザに提示できる。

本発明の原理に一致する実装は、ユーザが検索クエリを提供するときに、同ユーザが関心を寄せるリポジトリがどれかを予測するモデルを生成でき、このモデルを用いて関連性のある検索結果をユーザに提供できる。

典型的モデル生成システム
図２は、本発明の原理に一致するモデル生成システム２００の典型的図である。システム２００は、１つ以上のデバイス２１０とログデータのストア２２０とを含み得る。ストア２２０は１つ以上の論理または物理メモリデバイスを含んでよく、同論理または物理メモリは、後ほど詳述するとおり、モデルの作成とトレーニングに役立つ大きいデータセット（例えば、何百万ものインスタンスと何十万ものフィーチャ）を格納できる。データには、ユーザ情報、クエリ情報、リポジトリ情報等、モデルの作成に役立つ過去の検索に関するログデータが含まれ、同モデルは、ユーザが所望する１つ以上のリポジトリを識別するのに役立てることができる。一実現例において、モデルはユーザが何らかのクエリを提供するときに、同ユーザがある特定のリポジトリからの情報を所望するか否かを予測できる。

ユーザ情報は、ユーザに関連するインターネットプロトコル（ＩＰ）アドレス、クッキー情報、言語、及び／または地理情報、ユーザによって提供された以前のクエリ、及び／またはユーザが現在または以前のクエリを提供した時刻及び／または曜日を含み得る。リポジトリ情報は、検索に使われたリポジトリインターフェイス、表示された文書とこれの出所にあたるリポジトリ、及び／または選択された（例えばクリックされた）文書に関する情報を含み得る。別の典型的実現例においては、ストア２２０によってこれ以外のタイプのデータを代わりに、または追加として、保守できる。

デバイス２１０は、何らかのタイプの接続機構を通じてストア２２０にアクセスできるあらゆるタイプの演算デバイスを含み得る。本発明の原理に一致する一実現例によると、システム２００は複数のデバイス２１０を含みえる。別の実現例によると、システム２００はただひとつのデバイス２１０を含み得る。

図３は、本発明の原理に一致する一実現例によるデバイス２１０の例示的な図である。デバイス２１０は、バス３１０と、プロセッサ３２０と、メインメモリ３３０と、読み取り専用メモリ（ＲＯＭ）３４０と、格納デバイス３５０と、入力デバイス３６０と、出力デバイス３７０と、通信インターフェイス３８０とを含み得る。バス３１０は、デバイス２１０の構成要素間で通信を可能にする経路を含み得る。

プロセッサ３２０は、プロセッサ、マイクロプロセッサ、または命令を解釈し実行できる処理ロジックを含み得る。メインメモリ３３０は、ランダムアクセスメモリ（ＲＡＭ）、またはプロセッサ３２０によって実行される命令及び情報を格納できるその他の動的格納デバイスを含み得る。ＲＯＭ３４０は、ＲＯＭデバイス、またはプロセッサ３２０によって使用される静的命令及び情報を格納できるその他の静的格納デバイスを含み得る。格納デバイス３５０は、磁気及び／または光記録媒体とこれに対応するドライブとを含み得る。

入力デバイス３６０は、キーボード、マウス、ペン、音声認識及び／または生体認証機構等、オペレータがデバイス２１０へ情報を入力することを可能にする機構を含み得る。出力デバイス３７０は、ディスプレイ、プリンタ、スピーカ等、オペレータへ情報を出力する機構を含み得る。通信インターフェイス３８０は、デバイス２１０が他のデバイス及び／またはシステムと通信することを可能にする何らかのトランシーバのような機構を含み得る。例えば通信インターフェイス３８０は、他のデバイス２１０またはストア２２０と通信するための機構を含み得る。

後ほど詳述するとおり、本発明の原理に一致するデバイス２１０は、モデル生成に関係する操作を遂行できる。デバイス２１０は、メモリ３３０等のコンピュータ可読媒体に収容されたソフトウェア命令を実行するプロセッサ３２０に応じてこれらの操作を遂行できる。コンピュータ可読媒体は、物理的または論理的メモリデバイス及び／または搬送波と
定義できる。

ソフトウェア命令は、データ格納デバイス３５０等の他のコンピュータ可読媒体から、または他のデバイスから通信インターフェイス３８０を介して、メモリ３３０に読み込むことができる。メモリ３３０に収容されたソフトウェア命令は、後述するプロセスをプロセッサ３２０に遂行させることができる。あるいは、本発明の原理に一致するプロセスを実装するため、ソフトウェア命令の代わりに、またはこれと組み合わせて、結線回路を使用できる。よって本発明の原理に一致する実装は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。

典型的モデル生成処理
以降の論述を目的とし、ストア２２０（図２）の中にあるデータは、インスタンスと呼ばれる複数の要素を含み得る。何百万ものインスタンスをストア２２０に含めることは可能である。各々のインスタンスは３つ１組のデータ（ｕ、ｑ、ｒ）を含むことができ、ここで「ｕ」はユーザ情報を表し、「ｑ」はユーザｕが提供したクエリを表し、「ｒ」はクエリｑに応じて提供された検索結果の出所にあたるリポジトリを表す。ストア２２０はまた、ユーザｕがクエリｑを提供したときにリポジトリｒからの情報を所望したか否かに関する情報を格納でき、ここでユーザの所望は、例えば同ユーザがそのリポジトリから文書を選択したか否かを判定することによって評価できる。これよりこの情報をインスタンスの「ラベル」と呼ぶ。

所与の（ｕ、ｑ、ｒ）についていくつかのフィーチャを抽出できる。何十万もの異なるフィーチャをストア２２０に含めることは可能である。一実現例において、これらのフィーチャのいくつかは、ユーザｕが位置するところの国、ユーザｕが位置するところの国の言語、ユーザｕに関連するクッキー識別子、クエリｑの言語、クエリｑの中の各語、ユーザｕがクエリｑを提供した時刻、リポジトリｒからユーザｕへ提示された文書、リポジトリｒからユーザｕへ提示された文書の中の語、及び／またはリポジトリｒからユーザｕへ提示された文書の表題の中の各語の内、１つ以上を含み得る。これ以外のフィーチャを代わりに、または追加として、使用することもできる。

別の実現例において、フィーチャのいくつかは、リポジトリｒのインターフェイスへ提供されたクエリの割合、他のリポジトリのインターフェイスと対比したリポジトリｒのインターフェイスへ提供されたクエリの割合、他のリポジトリのインターフェイスと対比したリポジトリｒのインターフェイスへ提供されたクエリｑの中の語を含むクエリの割合、リポジトリｒのインターフェイスへ提供されたクエリの総クリック率、リポジトリｒのインターフェイスへ提供されたクエリのユーザｕのクリック率、リポジトリｒのインターフェイスへ提供されたクエリのユーザｕと同じ国にいるユーザのクリック率、及び／またはリポジトリｒのインターフェイスへ提供されたクエリｑのクリック率の内、１つ以上を、上記のフィーチャのいくつかに加えて、または代わりに、含み得る。

さらに他の実現例において、２つのフィーチャ、すなわちリポジトリｒのインターフェイスへ提供されたクエリｑのユーザｕのクリック率と、リポジトリｒのインターフェイスへ提供されたクエリｑのユーザｕの割合もまた含めることができる。これらのフィーチャを直接的に判定する代わりに、従来の手法を使用しこれらのフィーチャを予測するためのモデルを生成し、モデルの出力をフィーチャとして使用することもできる。

このデータに基づきモデルを作成できる。一実現例においては、所与の新しい（ｕ、ｑ、ｒ）について、ユーザｕがクエリｑを提供した場合に、ユーザｕがリポジトリｒからの情報を所望するか否かを予測するため、モデルを使用できる。後ほど詳述するとおり、リポジトリを検索するか否か、リポジトリからの検索結果を検索結果文書に含めるか否か、
及び／または検索結果文書の中で検索結果を提示する方法を判断するため、モデルの出力を役立てることができる。

図４は、本発明の原理に一致する一実現例に従いモデルを生成する例示的な処理のフローチャートである。この処理は単一のデバイス２１０によって、または複数のデバイス２１０の組み合わせによって、遂行できる。

モデルの生成を容易にするため、ストア２２０の中のログデータはインスタンスの集まりとして表現できる（ブロック４１０）。例えば、ユーザ、ユーザが提供したクエリ、入手及び／または選択された検索結果の出所にあたるリポジトリに関する情報等、ユーザによる以前の検索に関する情報を識別できる。この情報から上述した３値（ｕ、ｑ、ｒ）を形成できる。

次に、各インスタンスにつきラベルを判定できる（ブロック４２０）。例えば、各々の３値（ｕ、ｑ、ｒ）につき、ユーザｕがクエリｑを提供したときにユーザｕがリポジトリｒの中にある情報を所望した（例えば文書を選択した）か否かを判定できる。ラベルは、ストア２２０の中で対応するインスタンスに関連づけることができる。インスタンスの各々に関係するフィーチャもまた判定できる（ブロック４３０）。

次に、インスタンスと、ラベルと、フィーチャとに基づきモデルを生成できる（ブロック４４０）。例えば、標準的な機械学習または統計手法を使用し、ユーザｕがクエリｑを提供するときにユーザｕがリポジトリｒからの情報を所望する確率を判定でき、すなわち、
Ｐ（ｄｅｓｉｒｅ｜ｕ，ｑ，ｓｈｏｗ＿ｒ）
ここで「ｓｈｏｗ＿ｒ」は、リポジトリｒから文書が提供されることを意味する。論理回帰、ブースト決定木、ランダム森、サポートベクトルマシン、パーセプトロン、ウィンナウラーナー等、数通りの周知の手法のいずれでもモデルの生成に使用できる。確率を生成する代わりに、ユーザｕがクエリｑを提供する場合にユーザｕがリポジトリｒからの情報を所望する信頼性を反映する値をモデルから出力できる。これ以降モデルの出力は、確率出力及び／または出力値を含み得る「スコア」と総称する。

後ほど説明するとおり、リポジトリを検索するか否か、リポジトリからの検索結果を検索結果文書に含めるか否か、及び／または検索結果文書の中で検索結果を提示する方法を判断するため、モデルの出力を役立てることができる。

典型的情報取得ネットワーク
図５は、本発明の原理に一致するシステム及び方法を実現できるネットワーク５００の例示的な図である。ネットワーク５００は、ネットワーク５５０を通じて複数のサーバ５２０〜５４０へ接続された複数のクライアント５１０を含み得る。簡潔を図るため、２つのクライアント５１０と３つのサーバ５２０〜５４０とが接続された状態で図示されている。実際にはこれより多い、または少ない、クライアントとサーバとがあってよい。場合によってはクライアントがサーバの機能を遂行でき、サーバがクライアントの機能を遂行できる。

クライアント５１０はクライアント実体を含み得る。実体は、パーソナルコンピュータ、無線電話機、個人用デジタル補助装置（ＰＤＡ）、ラップトップ、その他の演算または通信デバイス、これらのデバイスの内１つで実行するスレッドまたはプロセス、及び／またはこれらのデバイスの内１つによって実行できるオブジェクト等、デバイスとして定義できる。サーバ５２０〜５４０は、本発明の原理に一致するやり方で文書を収集、処理、検索、及び／または保守するサーバ実体を含み得る。

本発明の原理に一致する一実現例において、サーバ５２０はクライアント５１０によって利用される検索エンジンシステム５２５を含み得る。検索エンジンシステム５２５は、ウェブページリポジトリ、ニュースリポジトリ、画像リポジトリ、製品リポジトリ、ユースネットリポジトリ、イエローページリポジトリ、スキャン書籍リポジトリ、及び／またはその他のリポジトリ等、いくつかの文書リポジトリ（図示せず）と連携できる。これらのリポジトリは、サーバ５２０の中にある、またはサーバ５２０の外にある、１つ以上のメモリデバイス内に物理的に存在してよい。サーバ５３０及び５４０は、１つ以上のリポジトリに関連する文書を格納または保守できる。

サーバ５２０〜５４０は別々の実体として示されているが、１つ以上のサーバ５２０〜５４０が他の１つ以上のサーバ５２０〜５４０の１つ以上の機能を遂行することは可能である。例えば、２つ以上のサーバ５２０〜５４０を単一のサーバとして実現することは可能である。単一のサーバ５２０〜５４０を２つ以上の別々の（ことによると分散された）デバイスとして実現することもまた可能である。

ネットワーク５５０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）等の電話網、イントラネット、インターネット、またはネットワークの組み合わせを含み得る。クライアント５１０とサーバ５２０〜５４０は、有線、無線、及び／または光接続を通じてネットワーク５５０へ接続できる。

検索結果を提供する例示的プロセス
図６は、本発明の原理に一致する一実現例に従い検索結果を提供する典型的処理のフローチャートである。処理は検索クエリを受け取ることから始まってよい（ブロック６１０）。例えばユーザは、クライアント５１０（図５）等のクライアントでブラウザソフトウェアを使用しながら検索エンジンインターフェイスにアクセスできる。ユーザは検索エンジンインターフェイスに検索クエリを提供できる。

ユーザに関する情報は入手できる（ブロック６２０）。例えばユーザは、例えばユーザに関連するＩＰアドレス、クッキー情報、言語、及び／または地理情報を使用し、識別できる。ユーザ情報の収集にあたっては従来の手法を使用できる。

一実現例においては、検索クエリに基づきリポジトリの各々で検索を遂行できる（ブロック６３０）。リポジトリの各々に応じて１セットの検索結果を入手できる。検索結果セットに含める関連文書の識別にあたっては従来の情報取得法を使用できる。

次に、検索結果をどうのように提示するかをモデルに基づき判断できる（ブロック６４０）。例えば、ユーザと、ユーザが提供した検索クエリと、各リポジトリとに関する情報をこのモデルへの入力として使用できる。そして各リポジトリにモデルを適用し、モデルの出力（「スコア」）をもとにリポジトリの検索結果を提供するべきか否かを判断できる。例えば、最高のスコアを持つ２つのリポジトリから検索結果を提供すると決めることができる。代わりに、ある特定の１つのリポジトリからの検索結果は常に提供し、他の１つ以上のリポジトリのスコアがこの特定のリポジトリのスコアより大きい場合にはそのリポジトリからの検索結果も併せて提供すると決めることができる。代わりに、スコアが一定の閾値を上回るリポジトリから検索結果を提供し、その閾値を上回るスコアが皆無の場合には、最高のスコアを持つリポジトリから検索結果を提供すると決めることができる。リポジトリの検索結果を提供するか否かを判断するにあたっては、これ以外のルールを代わりに、または追加として、使用することもできる。

代わりに、または加えて、それぞれのリポジトリから検索結果を提供する方法を判断するためモデルの出力を使用することもできる。例えば、スコアがある程度の閾値を下回るリポジトリの検索結果は、ユーザに向けて提示される検索結果文書の上のほうではなく下のほうに提示すると決めることができる。代わりに、または加えて、リポジトリのスコアがある程度の閾値を下回る場合には、そのリポジトリの検索結果に至るリンクを、検索結果そのものの代わりに、提示すると決めることができる。リポジトリの検索結果を提供する方法を判断するにあたっては、これ以外のルールを代わりに、または追加として、使用することもできる。

そして検索結果文書の中で検索結果を配置し、ユーザへ提示できる。各々の検索結果は、例えば該当するリポジトリからの文書に至るリンクを、そしてことによるとその文書の短い説明または抜粋を、含み得る。

別の実現例においては、検索すべきリポジトリをモデルに基づき識別できる（ブロック６５０）。例えば、ユーザと、ユーザが提供した検索クエリと、各リポジトリとに関する情報をこのモデルの入力として使用できる。そして各リポジトリにモデルを適用し、モデルの出力（「スコア」）をもとに検索すべきリポジトリを判断できる。例えば、最高のスコアを持つ２つのリポジトリを検索すると決めることができる。代わりに、ある特定の１つのリポジトリは常に検索し、他の１つ以上のリポジトリのスコアがこの特定のリポジトリのスコアより大きい場合にはそのリポジトリも併せて検索すると決めることができる。代わりに、スコアが一定の閾値を上回るリポジトリは検索し、その閾値を上回るスコアが皆無の場合には、最高のスコアを持つリポジトリを検索する決めることができる。検索すべきリポジトリを判断するにあたっては、これ以外のルールを代わりに、または追加として、使用することもできる。

識別されたリポジトリの各々から１セットの検索結果を入手するため検索を遂行できる（ブロック６６０）。検索結果セットに含める関連文書の識別にあたっては従来の情報取得法を使用できる。

そして、モデルに基づき検索結果を提供できる（ブロック６７０）。例えば、それぞれのリポジトリから検索結果を提供する方法を判断するためモデルの出力を役立てることができる。例えば、スコアがある程度の閾値を下回るリポジトリの検索結果は、ユーザに向けて提示される検索結果文書の上のほうではなく下のほうに提示すると決めることができる。代わりに、または加えて、リポジトリのスコアがある程度の閾値を下回る場合には、そのリポジトリの検索結果に至るリンクを、検索結果そのものの代わりに、提示すると決めることができる。リポジトリの検索結果を提供する方法を判断するにあたっては、これ以外のルールを代わりに、または追加として、使用することもできる。

そして検索結果文書の中で検索結果を配置し、ユーザへ提示できる。各々の検索結果は、例えば該当するリポジトリからの文書に至るリンクを、そしてことによるとその文書の短い説明または抜粋を、含み得る。

別の実現例においては、２つ以上のモデルを使用できる。例えば、第１のモデルはリポジトリを検索するべきか否かを判断するために使用でき、第２のモデルは、検索されたリポジトリのうちの１つからの検索結果を検索結果文書に含めるべきか否かを判断するために使用でき、第２のモデル、あるいはことによると第３のモデルは、検索結果文書内で検索結果を提示する方法を判断するために使用できる。第１、第２、及び／または第３のモデルは、ユーザごとに異なる１つ以上のファクタに基づいて生成できる。例えば一実現例において、第１のモデルの出力を第２のモデルへの入力として使用でき、及び／または第１及び／または第２のモデルの出力を第３のモデルへの入力として使用できる。

この検索に関する情報をログデータとしてストア２２０へ提供することは可能である。例えば、モデルをトレーニングする、または精緻化するためのトレーニングデータとして情報を使用できる。

実施例
図７〜１０は、本発明の原理に一致する例示的な実現例の図である。図７に示すとおり、検索エンジンシステム７１０はウェブページリポジトリ７２０と、画像リポジトリ７３０と、ニュースリポジトリ７４０とを含む３つの関連リポジトリを有すると仮定する。ウェブページリポジトリ７２０はウェブページに関する情報を格納できる。画像リポジトリ７３０は画像に関する情報を格納できる。ニュースリポジトリ７４０はニュース文書に関する情報を格納できる。検索エンジンシステム７１０はユーザから検索クエリを受け取ることができ、１つ以上のリポジトリ７２０〜７４０から関連性のある検索結果を提供できる。

図８に示すとおり、ユーザは検索エンジンシステム７１０と連携するインターフェイスにアクセスすると仮定する。このインターフェイスはリポジトリの内１つに連携してよく、あるいはどのリポジトリとも連携しなくてもよい。図８に示すとおり、ユーザは検索エンジンシステム７１０に対し検索クエリ「ｓｕｎｓｅｔ（日没）」を提供すると仮定する。検索エンジンシステム７１０はこの検索クエリに加えて、ユーザに関連するＩＰアドレス、クッキー情報、言語、及び／または地理情報等、ユーザに関する情報を入手できる。

一実現例において、検索エンジンシステム７１０は上述したとおりリポジトリ７２０〜７４０の各々につき１セットの検索結果を入手するためリポジトリ７２０〜７４０の各々で検索を遂行できる。検索エンジンシステム７１０は検索クエリ「ｓｕｎｓｅｔ」に対する関連検索結果として、ウェブページリポジトリ７２０から１０件のウェブページ結果と、画像リポジトリ７３０から１０件の画像結果と、ニュースリポジトリ７４０から１０件のニュース文書結果とを識別すると仮定する。

検索エンジンシステム７１０は、ユーザと、ユーザが提供した検索クエリと、各リポジトリ７２０〜７４０とに関する情報を、モデルへの入力として入力できる。このモデルは、ユーザが検索クエリ「ｓｕｎｓｅｔ」を提供する場合に、各リポジトリ７２０〜７４０からの情報をユーザが所望する確率を判定するのに役立てることができる。

例えばモデルによって以下の出力が生成されると仮定し、
P(desire|u,q,show_web page repository)=0.45
P(desire|u,q,show_image repository)=0.91
P(desire|u,q,show_news repository)=0.23
ここで「ｕ」は検索クエリを提供したユーザのユーザ情報を表し、「ｑ」はユーザが提供した検索クエリ（すなわち「ｓｕｎｓｅｔ」）の情報を表し、「ｓｈｏｗ＿ｘ ｒｅｐｏｓｉｔｏｒｙ」（ここでｘは「ｗｅｂ ｐａｇｅ」、「ｉｍａｇｅ」、または「ｎｅｗｓ」に相当する）は識別されたリポジトリの情報を表す。この場合、ユーザが検索クエリ「ｓｕｎｓｅｔ」を提供するときにウェブページリポジトリ７２０の情報を所望する確率は４５％であり、ユーザが検索クエリ「ｓｕｎｓｅｔ」を提供するときに画像リポジトリ７３０の情報を所望する確率は９１％であり、ユーザが検索クエリ「ｓｕｎｓｅｔ」を提供するときにニュースリポジトリ７４０の情報を所望する確率は２３％である。

そして検索エンジンシステム７１０は、リポジトリ７２０〜７４０のモデル出力をもとにリポジトリの検索結果を提供するか否かを判断できる。例えば、スコアが最高のリポジトリの検索結果だけを提供することを検索エンジンシステム７１０に指示するルールを仮
定する。この場合検索エンジンシステム７１０は、図９に示すとおり、画像リポジトリ７３０（すなわち最高のスコア０．９１を持つリポジトリ）から識別した１０件の画像結果に基づいて検索結果文書を形成できる。

代わりに、検索エンジンシステム７１０がウェブページリポジトリ７２０からの検索結果を常に提供し、別のリポジトリがウェブページリポジトリ７２０と関連するスコアより高い関連のスコアを持つ場合には、そのリポジトリからの検索結果を提供することをルールが示すと仮定する。この場合、画像リポジトリ７３０のスコア（０．９１）はウェブページリポジトリ７２０のスコア（０．４５）より大きいから、検索エンジンシステム７１０は、ウェブページリポジトリ７２０と画像リポジトリ７３０の両方から検索結果を提供すると判断できる。

そして検索エンジンシステム７１０は、図１０に示すとおり、ウェブページリポジトリ７２０からの１０件のウェブページ結果と画像リポジトリ７３０からの１０件の画像結果とに基づき検索結果文書を形成できる。画像リポジトリ７３０のスコアはウェブページリポジトリ７２０のスコアより高い（または閾値よりある程度高い、またはより高く且つより大きい）から、図１０にも見られるとおり、１０件の画像結果に関する情報は検索結果文書の中で１０件のウェブページ結果より目立つ場所に提示できる。ユーザは、図９に類似する画像結果に関する追加情報を提示させるため１０件の画像結果に関連するリンク（例えば「ＳＥＥ １０ ＩＭＡＧＥ ＲＥＳＵＬＴＳ ＦＯＲ ＳＵＮＳＥＴ＞＞（ＳＵＮＳＥＴに対する１０件の画像結果を見る＞＞）」）を選択できる。

結論
本発明の原理に一致する実現例は、ユーザが検索クエリを提供するときにどのリポジトリに同ユーザが関心を寄せると見込まれるかを予測するのに使用できるモデルを生成でき、このモデルを用いて関連性のある検索結果をユーザに提供できる。

前述した本発明の好適な実施形態の説明は例示と説明とを提供するものであって、網羅的であること、または開示されたとおりの形態に本発明を制限することは意図しない。変形とバリエーションは上の教示を踏まえて可能であり、あるいは本発明の実践を通じて会得できる。

例えば、図４及び６に関して一連の行為を説明したが、これらの行為の順序は、本発明の原理に一致する他の実現例において修正できる。さらに、非依存性の行為を並行して遂行できる。

また、図８〜１０に関して典型的なユーザインターフェイスを説明した。ユーザインターフェイスは本発明の原理に一致する他の実装において、より多い、より少ない、または異なる情報を含み得る。

上の説明ではユーザに言及している。「ユーザ」は、クライアント５１０（図５）等のクライアントを、またはクライアントのオペレータを、指すことを意図する。

さらに、リポジトリを検索するか否かを、リポジトリからの検索結果を検索結果文書に含めるか否かを、及び／または検索結果文書の中で検索結果を提示する方法を、判断するため、モデルの出力（「スコア」）を使用できると説明した。別の実現例においては、リポジトリを検索するか否かを、リポジトリからの検索結果を検索結果文書に含めるか否かを、及び／または検索結果文書の中で検索結果を提示する方法を、判断する機能への複数の入力の内の１入力として、スコアを使用することができる。

さらに、上述したフィーチャの中には、これの判定にあたって他のフィーチャより演算上高くつくものがある。例えば、リポジトリの中にある文書に基づくフィーチャの場合には、それらのリポジトリを照会し、文書を取り出す必要がある。演算の効率を図るには、演算的に高くつかない（例えば安くすむ）フィーチャに基づいて近似メインモデルを作成し、この近似メインモデルを用いて検索すべきリポジトリを判断できる。そのリポジトリから文書を取り出した後には、完全なメインモデルを使って検索結果を提供するリポジトリを判断できる。

また、それぞれのリポジトリについて情報を収集するため「探査」方針に従ってモデルを使用することも可能である。例えば、（例えば、画像ではなくニュース文書を提示する）次善のリポジトリに関する検索結果を提供することが望まれるかもしれない。ある１つの探査方針では、ランダムリポジトリからごく少数のユーザに文書を提示すると指定できる。別の探査方針では、スコアに比例してリポジトリから文書を提示すると指定できる（例えば、画像のスコアがニュース記事のスコアの２倍であることが判明する場合には、ニュース記事の２倍の頻度で画像を提示できる）。

ユーザがリポジトリからの情報を所望する尤度に基づきリポジトリ（または１セットのリポジトリ）を識別するためモデルを生成できると説明した。一実現例においてはルックアップテーブルとしてモデルを構築でき、そのキーは、クエリ（例えばクエリの語）に関係する１つ以上のフィーチャ等、１つ以上のフィーチャに基づき決定できる。このルックアップテーブルの出力には、各リポジトリのクリックスルー率（または推定クリックスルー率）を含めることができる。この場合、ユーザが１リポジトリからの情報を所望する尤度は、そのリポジトリのクリックスルー率の関数であってよい。例えば、リポジトリを検索するか否か、リポジトリからの検索結果を検索結果文書に含めるか否か、及び／または検索結果を提示する方法は、リポジトリのクリックスルー率に基づき判断できる。

図示された実現例において、上述した本発明の態様を様々な形のソフトウェア、ファームウェア、及びハードウェアで実現できることは当業者にとって明白であろう。本発明の原理に一致する態様を実現するために使われる実際のソフトウェアコードまたは特化された制御ハードウェアは、本発明を制限するものではない。したがって、当該態様の動作と挙動は特定のソフトウェアコードに言及せずに説明した。当業者なら、ここでの説明に基づき、当該態様を実現するためソフトウェア及び制御ハードウェアを設計できるものと理解する。

本願の中で使われている構成要素、行為、または命令はどれも、明確な説明がない限り、本発明にとって必要不可欠なものと解釈されるべきではない。また、ここで使用した冠詞「ａ」は、１つ以上の品目を含むことを意図する。ただひとつの品目が意図されるところには用語「ｏｎｅ（１つ）」かこれに類似する言葉が使われている。さらに、語句「ｂａｓｅｄ ｏｎ（基づく）」は、別段の明記がない限り、「ｂａｓｅｄ，ａｔ ｌｅａｓｔ ｉｎ ｐａｒｔ，ｏｎ（少なくとも部分的には基づく）」を意味することを意図する。

本発明の原理に一致するコンセプトを示す。 本発明の原理に一致する一実現例による例示的モデル生成システムの図。 本発明の原理に一致する一実現例による図２のデバイスの例示的図。 本発明の原理に一致する一実現例に従いモデルを生成する例示的処理のフローチャート。 本発明の原理に一致するシステム及び方法を実現できる、例示的情報取得ネットワークの図。 本発明の原理に一致する一実現例に従い検索結果を提供する例示的処理のフローチャート。 本発明の原理に一致する例示的な実現例の図。 本発明の原理に一致する例示的な実現例の図。 本発明の原理に一致する例示的な実現例の図。 本発明の原理に一致する例示的な実現例の図。

Claims (40)

1. ユーザから検索クエリを受け取ることと、
   リポジトリの各々につき１セットの検索結果を識別するため、前記検索クエリに基づき複数のリポジトリを検索することと、
   前記ユーザが前記識別されたリポジトリからの情報を所望する尤度に基づき前記リポジトリの内１つを識別することと、
   前記識別されたリポジトリに関連する前記検索結果セットを提示することとを備える、方法。
2. ある特定のユーザがある特定の検索クエリを提供する場合に前記ユーザがリポジトリからの情報を所望する尤度に関連するスコアを判定するモデルを生成することをさらに備える、請求項１に記載の方法。
3. 前記リポジトリの内１つを識別することは、
   前記モデルに基づき前記リポジトリの各々につきスコアを判定することと、
   前記スコアに基づき前記リポジトリの内１つを選択することとを含む、請求項２に記載の方法。
4. モデルを生成することは、
   複数の以前の検索に関連するログデータを格納することと、
   前記モデルをトレーニングするため前記ログデータを使用することとを含む、請求項２に記載の方法。
5. モデルを生成することは、
   前記ログデータを３つ１組のデータ（ｕ、ｑ、ｒ）として表現することをさらに含み、ここでｕは検索クエリを提供したユーザに関する情報を表し、ｑは前記検索クエリに関する情報を表し、ｒは前記検索クエリに応じて提供された検索結果の出所にあたるリポジトリに関する情報を表す、請求項４に記載の方法。
6. 前記ログデータは、数百万の前記３つ１組のデータ（ｕ、ｑ、ｒ）を含む、請求項５に記載の方法。
7. モデルを生成することは、
   前記３つ１組のデータ（ｕ、ｑ、ｒ）の各々につきラベルを判定することをさらに含み、ここで前記ラベルは、前記ユーザｕが前記検索クエリｑを提供したときに前記ユーザが前記リポジトリｒからの情報を所望したか否かに関する情報を含む、請求項５に記載の方法。
8. 前記モデルをトレーニングするため前記ログデータを使用することは、
   前記３つ１組のデータ（ｕ、ｑ、ｒ）と前記関連ラベルとに基づき前記モデルをトレーニングすることを含む、請求項７に記載の方法。
9. 前記リポジトリの各々につきスコアを判定することをさらに備え、
   ここで前記リポジトリのうちの１つの前記スコアは、前記ユーザが前記１つのリポジトリからの情報を所望する尤度に関連する、請求項１に記載の方法。
10. 前記リポジトリの内１つを識別することは、
    前記リポジトリの内で最高スコアを持つ１つのリポジトリを選択することを含む、請求項９に記載の方法。
11. 前記識別されたリポジトリに関連する前記検索結果セットを提示することは、
    ２つ以上の前記リポジトリに関連する前記検索結果セットをそれらのスコアに基づき提供することを含む、請求項９に記載の方法。
12. ２つ以上の前記リポジトリに関連する前記検索結果セットをそれらのスコアに基づき提供することは、
    前記２つ以上のリポジトリに関連する前記スコアに基づき検索結果文書の中で前記検索結果セットを配置することと、
    前記ユーザへ前記検索結果文書を提示することとを含む、請求項１１に記載の方法。
13. 前記２つ以上のリポジトリに関連する前記スコアに基づき検索結果文書の中で前記検索結果セットを配置することは、
    前記２つ以上のリポジトリの内第１のリポジトリに関連する前記スコアが前記２つ以上のリポジトリの内第２のリポジトリに関連する前記スコアより高い場合に、前記検索結果文書の中で、前記第１のリポジトリに関連する前記検索結果セットを前記第２のリポジトリに関連する前記検索結果セットより目立つ場所に置くことを含む、請求項１２に記載の方法。
14. 前記２つ以上のリポジトリに関連する前記スコアに基づき検索結果文書の中で前記検索結果セットを配置することは、
    前記２つ以上のリポジトリの内少なくとも１つのリポジトリに関連する前記検索結果セットに至るリンクを前記検索結果文書の中で提供することを含む、請求項１２に記載の方法。
15. 前記スコアに基づき検索すべき１グループのリポジトリを選択することをさらに含み、
    ここで複数のリポジトリを検索することは、
    前記リポジトリグループで検索を遂行することを含む、請求項９に記載の方法。
16. ユーザから検索クエリを受け取る手段と、
    リポジトリの各々につき１セットの検索結果を識別するため、前記検索クエリに基づき複数のリポジトリで検索を遂行する手段と、
    前記リポジトリの各々につきスコアを判定する手段とを備え、前記リポジトリの内１つのリポジトリの前記スコアは、前記ユーザが前記１つのリポジトリからの情報を所望する尤度に基づくものであり、
    前記スコアに基づき１つ以上の前記検索結果セットを提供する手段を備える、システム。
17. 前記スコアに基づき検索すべき前記リポジトリのグループを選択する手段をさらに備える、請求項１６に記載のシステム。
18. 検索エンジンシステムを備えるシステムであって、前記検索エンジンシステムは、
    ユーザから検索クエリを受け取り、
    複数のリポジトリの各々につきスコアを判定し、前記リポジトリの内１つのリポジトリの前記スコアは、前記ユーザが前記１つのリポジトリからの情報を所望する尤度に基づくものであり、
    前記１つ以上のリポジトリの各々につき１セットの検索結果を識別するため、前記検索クエリに基づき１つ以上の前記リポジトリで検索を遂行し、
    前記スコアに基づき１つ以上の前記検索結果セットを提供する、システム。
19. 前記検索エンジンシステムは、１つ以上の前記リポジトリで検索を遂行するときに、
    前記スコアに基づき検索すべき前記リポジトリのグループを識別するように構成されており、
    前記リポジトリグループの各リポジトリにつき１セットの検索結果を識別するため、前記リポジトリグループを検索するように構成されている、請求項１８に記載のシステム。
20. 前記検索エンジンシステムは、１つ以上の前記リポジトリで検索を遂行するときに、
    前記検索クエリに基づき前記リポジトリの各々を検索するように構成されている、請求項１８に記載のシステム。
21. ある特定のユーザがある特定の検索クエリを提供する場合に前記ユーザがリポジトリからの情報を所望する尤度に関連するスコアを判定するモデルを生成するモデル生成システムをさらに備える、請求項１８に記載のシステム。
22. 前記モデルはルックアップテーブルであり、前記スコアは前記ユーザが前記特定の検索クエリを提供する場合のリポジトリに関連するクリックスルー率に相当する、請求項２１に記載のシステム。
23. 前記検索エンジンシステムは、複数のリポジトリの各々につきスコアを判定するときに、
    前記モデルに基づき前記リポジトリの各々につきスコアを判定するように構成されている、請求項２１に記載のシステム。
24. 前記モデル生成システムは、モデルを生成するときに、
    複数の以前の検索に関連するログデータを格納し、
    前記モデルをトレーニングするため前記ログデータを使用するように構成されている、請求項２１に記載のシステム。
25. 前記モデル生成システムは、モデルを生成するときに、
    前記ログデータを３つ１組のデータ（ｕ、ｑ、ｒ）として表現するようにさらに構成されており、ここでｕは検索クエリを提供したユーザに関する情報を表し、ｑは前記検索クエリに関する情報を表し、ｒは前記検索クエリに応じて提供された検索結果の出所にあたるリポジトリに関する情報を表す、請求項２４に記載のシステム。
26. 前記ログデータは、数百万の前記３つ１組のデータ（ｕ、ｑ、ｒ）を含む、請求項２５に記載のシステム。
27. 前記モデル生成システムは、モデルを生成するときに、
    前記３つ１組のデータ（ｕ、ｑ、ｒ）の各々につきラベルを判定するように構成されており、ここで前記ラベルは、前記ユーザｕが前記検索クエリｑを提供したときに前記ユーザが前記リポジトリｒからの情報を所望したか否かに関する情報を含む、請求項２５に記載のシステム。
28. 前記モデル生成システムは、モデルを生成するときに、
    前記３つ１組のデータ（ｕ、ｑ、ｒ）と前記関連ラベルとに基づき前記モデルをトレーニングするように構成されている、請求項２７に記載のシステム。
29. 前記検索エンジンシステムは、１つ以上の前記検索結果セットを提供するときに、
    前記リポジトリの内最高スコアを持つ１つのリポジトリを選択するように構成されており、
    前記選択されたリポジトリに関連する前記検索結果セットを提示するように構成されている、請求項１８に記載のシステム。
30. 前記検索エンジンシステムは、１つ以上の前記検索結果セットを提供するときに、
    前記１つ以上のリポジトリに関連する前記スコアに基づき検索結果文書の中で前記１つ以上の検索結果セットを配置するように構成されており、
    前記ユーザへ前記検索結果文書を提示するように構成されている、請求項１８に記載のシステム。
31. 検索結果文書の中で前記１つ以上の検索結果セットを配置するときに、前記検索エンジンシステムは、
    前記１つ以上のリポジトリの内第１のリポジトリに関連する前記スコアが前記１つ以上のリポジトリの内第２のリポジトリに関連する前記スコアより高い場合に、前記検索結果文書の中で、前記第１のリポジトリに関連する前記検索結果セットを前記第２のリポジトリに関連する前記検索結果セットより目立つ場所に置くように構成されている、請求項３０に記載のシステム。
32. 検索結果文書の中で前記１つ以上の検索結果セットを配置するときに、前記検索エンジンシステムは、
    前記１つ以上のリポジトリの内少なくとも１つのリポジトリに関連する前記検索結果セットに至るリンクを前記検索結果文書の中で提供するように構成されている、請求項３０に記載のシステム。
33. データとコンピュータ実行可能命令とを格納するコンピュータ可読媒体であって、
    ユーザによって提供される検索クエリに基づく複数のリポジトリ検索に関連するログデータを含み、
    前記ログデータを３つ１組のデータ（ｕ、ｑ、ｒ）として表現する命令を含み、ここでｕは検索クエリを提供したユーザに関する情報を表し、ｑは前記検索クエリに関する情報を表し、ｒは前記検索クエリに応じて提供された検索結果の出所にあたるリポジトリに関する情報を表し、
    前記３つ１組のデータ（ｕ、ｑ、ｒ）の各々につきラベルを判定する命令を含み、ここで前記ラベルは、前記ユーザｕが前記検索クエリｑを提供したときに前記ユーザ前記リポジトリｒからの情報を所望したか否かに関する情報を含み、
    前記３つ１組のデータ（ｕ、ｑ、ｒ）と前記関連ラベルとに基づきモデルをトレーニングする命令を含み、ここで前記モデルは、ある特定のユーザがある特定の検索クエリを提供する場合にリポジトリからの情報を所望するか否かを予測する、コンピュータ可読媒体。
34. 前記ログデータは、数百万の前記３つ１組のデータ（ｕ、ｑ、ｒ）を含む、請求項３３に記載のコンピュータ可読媒体。
35. システムであって、
    第１のタイプのデータを格納する第１のリポジトリと、
    第２のタイプのデータを格納する第２のリポジトリと、
    検索エンジンシステムとを備え、前記検索エンジンシステムは、
    ユーザから検索クエリを受け取り、
    前記ユーザと、前記検索クエリと、前記第１または第２のリポジトリとに関する情報に基づき前記ユーザが前記第１または第２のリポジトリからの情報を所望する尤度を判定する、システム。
36. システムであって、
    ある特定のユーザがある特定の検索クエリを提供する場合に前記ユーザがリポジトリからの情報を所望する尤度に関連するスコアを判定するモデルを生成するモデル生成システムと、
    検索エンジンシステムとを備え、前記検索エンジンシステムは、
    ユーザから検索クエリを受け取り、
    前記モデルに基づき複数のリポジトリの各々につきスコアを判定し、
    前記スコアに基づき１つ以上の前記リポジトリから検索結果を提示する、システム。
37. 前記モデルはルックアップテーブルであり、前記スコアは前記ユーザが前記特定の検索クエリを提供する場合のリポジトリに関連するクリックスルー率に相当する、請求項３６に記載のシステム。
38. ユーザから検索クエリを受け取ることと、
    複数のリポジトリの各々につきスコアを判定することとを含み、前記リポジトリの内１つのリポジトリの前記スコアは、前記ユーザが前記１つのリポジトリからの情報を所望する尤度に基づくものであり、
    前記リポジトリの内少なくとも１つの各々につき１セットの検索結果を識別するため、前記検索クエリと前記判定されたスコアとに基づき、前記少なくとも１つのリポジトリで検索を遂行することと、
    １つ以上の前記検索結果を提供することとを含む、方法。
39. システムであって、
    第１及び第２のモデルを生成するモデル生成システムを備え、ここで前記第２のモデルを生成するため使用される少なくとも１つのファクタは、前記第１のモデルを生成するときに不在であるか、または異なるものであり、
    検索エンジンシステムを備え、前記検索エンジンシステムは、
    ユーザから検索クエリを受け取り、
    前記第１のモデルに基づき複数のリポジトリの各々につき第１のスコアを判定し、
    前記検索クエリと前記第１のスコアとに基づき１つ以上の前記リポジトリで検索を遂行し、
    前記第２のモデルに基づき前記１つ以上のリポジトリの各々につき第２のスコアを判定し、
    前記第２のスコアに基づき前記１つ以上のリポジトリの内少なくとも１つのリポジトリから検索結果を提示する、システム。
40. 前記第１のモデルの出力は、前記第２のモデルへの入力として使用される、請求項３９に記載のシステム。

Images