JP2011044170A - 異なるソースからのサーチエンジン結果を１つのサーチ結果へと混合する方法及びシステム - Google Patents

Abstract

【課題】各複数のサーチソースからの複数のサーチエンジン結果を１つのサーチエンジン結果へと混合するための方法及びシステムを提供すること。
【解決手段】エントリーの結果リストが各サーチソースから受け取られる。各結果リストは、少なくとも、該リストのエントリーごとに、エントリーの位置、ドキュメントのアドレス及びドキュメントの関連性スコアを含む。少なくとも１つの受け取った結果リストにおける少なくともサブセットのドキュメントの関連性スコアに、決定された変換が適用され、変換されたスコアが発生される。最終的に、各結果リストの部分を合成して、エントリーの混合されたリストを含む混合されたサーチエンジン結果を作成する。エントリーの混合されたリストは、ドキュメントの変換されたスコアに少なくとも部分的に基づいて順序付けされる。
【選択図】図２Ａ

Description

本発明は、インターネットやイントラネットに結合されたサーバーに記憶されたドキュメントのようなドキュメントのコレクションにおいてドキュメントを探索するためのサーチエンジンの分野に係り、より詳細には、本発明は、複数の各サーチエンジンソースからの複数のサーチエンジン結果を混合して、混合されたサーチエンジン結果を発生するための方法及びシステムに係る。

インターネットは、非常に多数のクライアント装置及びサーバー装置の両方を含む大きなコンピュータネットワークである。他のファンクションの中でも、サーバーは、時々、クライアントによりネットワークを経て伝送された要求に応答して、ネットワークを経てクライアント装置へドキュメントを供給する。この要求は、通常、ドキュメントのアドレスを含む。インターネットでは、ユニフォームリソースロケーター（ＵＲＬ）を使用してドキュメントのアドレスを指定することがしばしば行われ、ＵＲＬは、サーバーと、クライアントが要求するサーバー上の特定のドキュメントとの両方を識別する。ドキュメントは、ネットワークを経て伝送することのできる多数の形式の情報の１つでよく、テキストファイル、ワードプロセスファイル、オーディオクリップ、ビデオクリップ、及び他の形式の電子データを含む。このようにしてインターネットを経てクライアントコンピュータに入手できるようにされるドキュメントのコレクションを、一般に、ワールドワイドウェブ（「ウェブ」）と称する。

インターネットに接続されるコンピュータは、クライアント装置、サーバー装置、又はその両方でよい。インターネットにおける特殊な形式のサーバー装置をサーチエンジンシステムと称する。又、サーチエンジンシステムは、インターネット以外のネットワーク、例えば、会社のイントラネットにも存在する。ウェブからの情報を希望するが、いずれか又は全ての関連ドキュメントのＵＲＬに確信がもてないクライアント装置のユーザは、通常、問合せと称する要求をサーチエンジンへ提示する。問合せは、クライアント装置のユーザに関心のある情報の形式を記述する１つ以上の用語(term)を含む。サーチエンジンは、通常、ウェブにドキュメントのデータベースを維持する。各データベースは、ワード又は任意の形式の電子的に記憶できるデータでよいキー用語と、このキー用語を含むドキュメントの対応ＵＲＬとを含むことができる。より一般的には、キー用語に代わり又はそれに加えて、データベースは、ドキュメントの特徴を記憶してもよい。ある特徴は、ドキュメントのプロパティを直接表わす値であり、例えば、特徴は、ドキュメントの長さである。他の特徴は、ドキュメントと問合せとの間である形式の比較を行えるようにし、問合せにおける所与の用語がドキュメントに現われる頻度が、このような比較の一例として働く。

クライアント装置のユーザにより提示される問合せに応答して、サーチエンジンは、通常、そのデータベースに基づいて、問合せに関連するインデックスにおけるドキュメントのサブセットを決定する。更に、サーチエンジンシステムは、通常、問合せに対するサブセット内の各ドキュメントの関連性を推定し、問合せに対するサブセット内の各ドキュメントの「関連性スコア」を発生するランク付けファンクションを含む。最終的に、このランク付けファンクションは、エントリーの順序付けされたリストを含むサーチエンジン結果を生成する。各エントリーは、サブセットにおけるドキュメントの１つに対応する。エントリーは、対応するドキュメントのＵＲＬを含み、したがって、ユーザは、ウェブからのドキュメントと、リスト内のエントリーの位置とを要求することができる。リストは、リストの開始付近の位置をもつドキュメント（即ち数値的に低い位置をもつドキュメント）が高い関連性スコアを有する（即ち、関連性スコアは、リストの開始からその終了に向かって進むにつれて単調に減少する）ように順序付けされる。

ウェブにおけるドキュメントのコンテンツを正確に表わすドキュメントのデータベースを生成することは、困難な問題である。第１に、ウェブには非常に多数のドキュメントがあり、ドキュメントの数は、現在、数十億と推定される。これは、全てのドキュメントに関する情報を記憶できると共に、必要なときにその情報を素早く検索できる単一のデータベースの生成を困難にする。第２に、ウェブにおけるドキュメントのコンテンツは、著しく種々様々である。ドキュメントは、専門の記者から若年の子供まで色々な熟練度をもつ著者により作成され、様々な言語で構成され（時々は異なるアルファベット及びその電子的エンコード機構を使用して）、そしてリクレーション用途から電子商取引まで種々様々な目的で作成される。これは、ドキュメントのどのキー用語及び特徴をデータベースに含ませるかの決定を困難な問題にする。最終的に、ウェブにおけるドキュメントのコンテンツ、及びドキュメント自体の位置が迅速に変化する。この問題を緩和するために種々の「クローリング(crawling)」戦略が使用されており、各々それ自身の利点と欠点を持ち合わせている。したがって、ドキュメントの大きく、多様で且つ経時変化するコレクション（例えば、ウェブにおけるドキュメントのコレクション）に使用するためのサーチエンジンシステムでは、２つ以上のデータベースを使用できるのが効果的である。

ウェブにおいて入手できるドキュメントを正確且つ効率的に特徴付けする単一のデータベースが開発されても、問合せに対するデータベース内の特定ドキュメントの関連性スコアの決定は、困難な問題のままである。ドキュメントの関連性スコアは、サーチエンジン結果における対応エントリーの位置を決定するために使用される。ユーザは、通常、サーチエンジン結果における最初の３つ又は４つのエントリーしか検査せず、したがって、少なくとも非常に関連性のあるドキュメントに対して正確な関連性スコアを決定することが、サーチエンジン結果でユーザを満足させる上で重要なファクタとなる。問合せに対する特定ドキュメントの関連性についてのユーザの認識を、関連性スコアを決定するための単一アルゴリズムにおいて正確に複写することは困難である。このため、サーチエンジンシステムにおいて関連性スコアを決定するのに使用可能な２つ以上の方法をもつことが望ましい。例えば、１つの方法は、単一の言語（例えば、英語）で書かれたドキュメントの関連性スコアを決定するのに良く適したものでよく、そして第２の方法は、第２の言語（例えば、中国語）のドキュメントの関連性スコアを決定するのに最も適したものである。しかしながら、データベース内のドキュメントが両方の言語のコンテンツを含むときには、どちらのランク付けファンクションを使用すべきか判断することが困難となる。別の例として、サーチエンジンシステムは、２つ以上のデータベースを含み、そして各データベースに対して個別のランク付けファンクションをもつことができる。このようにして、各データベースからのドキュメントに対して関連性スコアを決定するために個々のランク付けファンクションを最適化することができる。この形式の最適化を実行するために統計学的及びマシン学習技術が次第に使用されるようになった。したがって、２つ以上のランク付けファンクションから到来するサーチエンジン結果を混合するための方法及びシステムが要望される。

以上の背景から、おそらく異なるデータベース、ランク付けファンクション又はその両方を各々使用している１つ以上のサーチソースからのサーチエンジン結果を合成するための方法及びシステムを案出することが要望される。より詳細には、混合されたサーチエンジンにおける例えば最上位３つのドキュメントの関連性についてのユーザの認識が、いずれかの個々のサーチソースからの最上位３つのドキュメントの関連性についてのユーザの認識より優れているか、又は少なくともそれより劣らないように、混合されたサーチエンジン結果を決定するための方法を案出することが望まれる。

幾つかの実施形態は、複数の各サーチソースからの複数のサーチエンジン結果を１つのサーチエンジン結果へと混合するための方法を提供する。第１に、エントリーの各結果リストが各サーチソースから受け取られる。エントリーの結果リストは、該リストにおけるエントリーごとに、エントリーの位置、ドキュメントのアドレス、及びドキュメントの関連性スコアを含む。次いで、少なくとも１つの受け取った結果リストにおける少なくともサブセットのドキュメントの関連性スコアに、決定された変換が適用されて、変換されたスコアが発生される。最終的に、各結果リストの部分を合成して、混合されたサーチエンジン結果を作成する。混合されたサーチエンジン結果は、エントリーの混合されたリストを含む。各結果リストの合成の一部分として、エントリーの混合されたリストにおけるエントリーが、変換されたスコアに少なくとも一部分基づいて順序付けされる。

幾つかの実施形態は、更に、複数のサーチソースの第１サーチソースに対する変換を決定するための方法を提供する。第１に、クリックレート統計学的データが少なくとも第１サーチソース及び第２サーチソースに対して測定されて記憶される。次いで、第１及び第２サーチソースの各々に対してメリット指数が決定される。メリット指数は、その測定され記憶された統計学的データにより少なくとも一部分決定される。最終的に、第１及び第２のサーチソースに対してメリット指数に基づいて係数のセットが決定される。これら係数は、第１のサーチソースに対する当該関連性スコアの変換を定義する。

幾つかの実施形態は、サーチエンジンシステムを提供する。このサーチエンジンシステムは、複数のサーチソースを備えている。更に、サーチエンジンシステムは、問合せを受け取りそしてサーチ結果を伝送するための少なくとも１つのインターフェイスを有する。又、サーチエンジンシステムは、複数のサーチソースに結合された少なくとも１つのサーチエンジンも備えている。少なくとも１つのサーチエンジンは、受け取った問合せに対応するエントリーの各結果リストを各サーチソースから受け取るように構成される。各結果リストは、少なくとも、リストの各エントリーに対して、エントリーの位置と、ドキュメントのアドレスと、ドキュメントをその受け取った問合せに関連付ける関連性スコアとを備えている。サーチエンジンシステムは、更に、少なくとも１つの受け取った結果リストにおける少なくともサブセットのエントリーの関連性スコアに、決定された変換を適用して、変換されたスコアを発生するように構成された混合モジュールを備えている。この混合モジュールは、更に、各結果リストの少なくとも一部分を合成して、エントリーの混合されたリストを含む混合されたサーチエンジン結果を発生するように構成され、これは、エントリーの混合されたリストを順序付けすることも含む。エントリーの混合されたリストの順序付けは、変換されたスコアにより少なくとも一部分決定される。

幾つかの実施形態において、サーチエンジンシステムは、更に、変換決定モジュールを備えている。この変換決定モジュールは、複数のサーチソースの第１のサーチソースに対する変換を決定するように構成される。第１に、この変換決定モジュールは、第１サーチソース及び第２サーチソースの各々に対してクリックレート統計学的データを測定して記憶する。次いで、変換決定モジュールは、第１及び第２のサーチソースの各々に対してメリット指数を決定する。メリット指数の決定は、測定されて記憶された統計学的データに少なくとも一部分基づいて行われる。最終的に、変換決定モジュールは、第１のサーチソースに対し、第１及び第２のサーチソースのメリット指数に基づき係数のセットを決定する。このように決定された係数のセットは、第１サーチソースに対する変換を定義する。

幾つかの実施形態において、サーチエンジンシステムは、更に、第１サーチソース及び第２サーチソースに対してクリックレート統計学的データを測定して記憶するように構成される。サーチエンジンは、更に、ユーザから問合せを受け取り、混合された結果をユーザへ返送するように構成され、混合された結果は、エントリーのリストを含む。変換決定モジュールは、更に、エントリーのリスト内にあるどのアイテムがユーザにより選択されるか記録するように構成される。サーチエンジンシステムは、更に、終了条件に達するまで、受け取り、返送及び記録を繰り返すように構成される。

本発明の上記特徴及び効果、並びにその付加的な特徴及び効果は、添付図面を参照した本発明の好ましい実施形態の以下の詳細な説明から明確に理解されよう。多数の図面全体にわたり対応する部分が同じ参照番号で示されている。

ネットワーク、１つ以上のクライアントコンピュータ、ワールドワイドウェブ及びサーチエンジンシステムを含むここに開示する方法及びシステムを使用するための考えられる状況を示す図である。 エントリーのリストと、各エントリーに関連して、位置、対応ドキュメントのアドレス、対応ドキュメントの記述、及び関連性スコアとを含むサーチエンジン結果を示す図である。 第１サーチソースからのエントリーの第１リストと、第２サーチソースからのエントリーの第２リストと、エントリーの第１リストの関連性スコアに変換を適用することにより得られた変換されたスコアと、混合されたサーチエンジン結果とを示す図である。 混合モジュールと、変換決定モジュールと、複数のサーチソースと、サーチエンジンと、インターフェイスとを備えたサーチエンジンシステムのブロック図である。 変換を決定する方法を示す図である。 混合されたサーチエンジン結果のエントリーのリストにおけるどのアイテムがユーザにより選択されたかの匿名のレコードを示す図である。 ここに開示するサーチエンジンシステム及び方法を実施することのできるコンピュータシステムを示す図である。

図１Ａを参照すれば、ネットワーク環境１００において、ネットワーク１０５は、１つ以上のクライアントコンピュータ１０４と、サーチエンジンシステム１０６と、ドキュメント１０３のコレクション、この場合はワールドワイドウェブ１０２とを接続する。クライアントコンピュータ１０４−１は、ネットワーク１０５を経て問合せ１１２を提示し、この問合せ１１２は、サーチエンジンシステム１０６により受け取られる。サーチエンジンシステム１０６は、それに応答して、ネットワーク１０５を経てクライアントコンピュータ１０４−１へ混合されたサーチエンジン結果１１４を供給する。

サーチエンジンシステム１０６を使用するための考えられる状況を説明したが、混合されたサーチエンジン結果１１４について更に説明する。図１Ｂを参照すれば、混合されたサーチエンジン結果１１４エントリー１３０のリストを含む。各エントリー１３０は、ネットワーク上の対応ドキュメントに関連付けられる。通常、問合せ１１２（図１Ａ）に応答して、サーチエンジンシステムは、その問合せ１１２に強く関連したドキュメントに関連付けられたエントリー１３０を、混合された結果１１４の一部分として与える。ユーザによるドキュメントの探索及び検索を容易にするために、各エントリー１３０は、時々、ドキュメントのＵＲＬ１２２を含む。ＵＲＬ１２２は、例えば、これがハイパーテキストマークアップ言語（ＨＴＭＬ）アンカータグの一部分としてユーザに供給される場合に、クライアントコンピュータ１０４のユーザに見えなくてもよい。他の実施形態では、ＵＲＬ１２２に代わって又はそれに加えて、エントリー１３０は、エントリーに関連したドキュメントに対する他の形式のアドレス情報を含んでもよい。関連ドキュメントの関連性を評価する上でユーザを助けるために、各エントリー１３０は、ドキュメントの簡単な記述１２８を含んでもよい。例えば、エントリー１３０は、エントリーに関連したドキュメントに見られる最初の数行のテキストを含んでもよい。

混合されたサーチエンジン結果１１４におけるエントリーのリスト内の各エントリー１３０（及びそれに関連したドキュメント）は、リスト内の位置１２０と、混合された関連性スコア１２４との両方を有する。位置１２０は、サーチエンジン結果に明確に含まれてもよいし含まれなくてもよい。位置１２０が明確に含まれない場合には、リストの他のエントリーに対するエントリーの位置に基づいてそれを決定することができる。混合された関連性スコア１２４は、エントリー１３０の位置１２０を決定する際にサーチエンジンシステムにより使用される。ドキュメントの混合された関連性スコア１２４は、通常、０から１の範囲、又はそれと同等であるが、０％から１００％の範囲の数値をとる。図１Ｂには１０個のエントリーしか示されていないが、混合されたサーチエンジン結果１１４にはそれより多数の又は少数のエントリーが存在してもよい。

クライアントコンピュータ１０４−１（図１Ａ）のユーザには、サーチエンジン結果１１４の視覚描写が与えられ、そしてユーザは、エントリー１３０上に（即ちクライアントコンピュータのディスプレイの関連領域上に）カーソル１２６を置いてクリックすることで、ドキュメントに関連したエントリー１３０をクリックすることにより、見るためのドキュメントを選択することができる。混合されたサーチエンジン結果の一部分としてエントリーが与えられるユーザは、エントリーの「印象」をもったと言える。ユーザがエントリーをクリックすると、エントリーの「クリックスルー」が生じる。

混合されたサーチエンジン結果について説明したが、複数の各サーチソースからの複数のサーチエンジン結果を単一の混合されたサーチエンジン結果１１４へ混合するプロセスについて説明する。図２Ａを参照すれば、好ましい実施形態において、２つのサーチエンジン結果セット２６０（結果リスト、又は単に「結果」とも称される）が、２つのサーチソースの各々から１つづつ、受け取られる。第１のサーチソースから受け取られるサーチエンジン結果セット２６０−１は、エントリー２６２のリストを含む。次いで、各エントリー２６２は、位置２６４と、第１サーチソースのデータベースにおけるドキュメントのアドレス２６６と、関連性スコア２６８とを含む。同様に、第２のサーチソースからのサーチエンジン結果セット２６０−２も、エントリー２７０のリストを含む。各エントリー２７０は、関連性スコア２７４を含む。

サーチエンジン結果セット２６０を単一の混合されたサーチエンジン結果１１４へ混合する１つの目標は、結果セット２６０のエントリーの中からユーザにより判断される最も高い関連性のエントリーを含むエントリーのリストを結果１１４に発生することである。更に、結果１１４におけるエントリーのリストは、リスト上の位置が高くなるにつれて、エントリーに対応するドキュメントのユーザ認識関連性が低下するか、又は少なくとも上昇しない（即ち、関連性は、リストを下がるように進むにつれて単調に低下する）ように順序付けされるのが望ましい。原理的に、第１の結果セット２６０−１の関連性スコア２６８及び第２の結果セット２６０−２の関連性スコア２７４を直接使用して、両方の結果セット２６０からのエントリーをランク付けすることができる。例えば、２つの結果セットの中から最も高い関連性スコアをもつエントリーを選択し、混合された結果に追加し、そしてその発生する結果セットから除去することができる。このプロセスは、混合された結果が所定数のエントリーを含むまで繰り返すことができる。しかしながら、これは、ユーザ認識関連性について順序付けされたエントリーのリストを発生する上で有効でないことがある。例えば、関連性スコア２６８及び関連性スコア２７０が匹敵するスケールになく、一方がおそらく０から１の範囲の値をとり、そして他方がおそらく４から１００の範囲の値をとることがある。更に、これらスコアは、関連性の決定に異なる基準を使用するランク付けファンクションにより決定され、したがって、直接的に匹敵しないことがある。

この問題を解消するために、サーチエンジンシステムの実施形態では、決定された変換２８０（その決定については図３を参照して以下に説明する）が第１の結果セット２６０−１においてエントリー２６２の関連性スコア２６８に適用される。例えば、変換２８０は、エントリー２６２−１の関連性スコア（０．８５の値を有する）をとり、そして０．９９の値を有する変換されたスコア２７２−１を発生する。同様に、変換２８０は、他の関連性スコア２６８にも適用されて、変換されたスコア２７２のセットを発生する。

次いで、結果セット２６０−１及び結果セット２６０−２からのエントリーは、第１結果セット２６０−１の変換されたスコア２７２及び第２結果セット２６０−２の関連性スコア２７４に基づいて合成される。ある実施形態では、第１結果の変換されたスコア及び第２結果の関連性スコアの中から最大のスコアを有するエントリーが選択される。例えば、図２Ａにおいて、エントリー２６２−１は、混合された結果１１４における第１位置から選択される。というのは、０．９９の値を有するエントリー２６２−１の対応する変換されたスコア２７２−２は、いずれの関連性スコア２７４及び他のいずれの変換されたスコア２７２よりも高い。エントリー２６２−１は、混合された結果１１４の第１の位置に入れられる。結果セット１１４が所定数、この場合は、１０個のエントリーを含むまで、次第に低いスコアをもつエントリーが選択されて結果セット１１４に入れられる。或いは又、結果セット２６０−１の変換されたスコア２７２及び結果セット２６０−２の関連性スコア２７４に基づいて、第１及び第２のセット２６０における全エントリーが選択されて結果セット１１４に入れられる。例えば、エントリー２７０−１が結果１１４における第２位置に入れられる。というのは、０．９７の値を有する対応する関連性スコア２７４−１が、他の全ての関連性スコア２７４、及び変換されたスコア２７２−１を除く全ての変換されたスコア２７２より大きいからである。同様に、エントリー２６２−２が結果１１４の第３の位置に入れられる。

２つのサーチソースからのサーチエンジン結果の混合について図２Ａを参照して説明したが、他の実施形態では、対応的に多数のサーチソースからより多くのサーチエンジン結果が受け取られる。例えば、一実施形態では、５つのサーチソースから５つのサーチエンジン結果を受け取ることができる。ある実施形態では、１つを除く全ての結果セットの関連性スコアに変換が適用され、その後、結果セットがそれらの変換された関連性スコアに基づいて合成される。更に、各結果２６０は、１０個より少数又は多数のエントリーを含んでもよい。同様に、他の実施形態では、混合されたサーチ結果１１４が１０個より少数又は多数のエントリーを含む。混合された結果１１４におけるエントリーの数は、任意の結果２６０におけるエントリーの数と同じである必要はない。同様に、結果２６０は、その全てが、対応する異なる数のエントリーを有してもよい。

混合されたサーチエンジン結果１１４を発生するプロセスを説明したが、混合されたサーチエンジン結果を発生することのできるサーチエンジンシステムについて説明する。図２Ｂには、一実施形態によるサーチエンジンシステム１０６が示されている。このサーチエンジンシステム１０６は、２つ以上のサーチソース２０８を備えている。各サーチソース２０８は、それに関連したランク付けファンクション２０４及びデータベース２０６を有している。システム１０６は、更に、問合せを受け取りそして混合されたサーチエンジン結果１１４を伝送するためのインターフェイス２１４も備えている。又、システム１０６は、２つ以上のサーチソース２０８に結合されたサーチエンジン２２０も備えている。サーチエンジン２２０は、インターフェイス２１４を経て問合せを受け取ると、対応する問合せ２１０を１つ以上のサーチソース２０８へ搬送する。ある実施形態では、問合せ２１０は、エンジン２２０により受け取られた問合せと同じでよい。他の実施形態では、エンジン２２０は、受け取った問合せを、その問合せに関連した適当なデータベース２０６を有するソース２０８に伝送するだけでよい。例えば、ある実施形態では、サーチエンジンシステム１０６が、特定言語（例えば、中国語）の用語を含む問合せを受け取った場合に、エンジン２２０は、その言語のドキュメントをインデックスしているデータベース（例えば、２０６−２）を有するソース（例えば、２０８−２）へ問合せを伝送するだけである。同様に、システム１０６が第２言語の用語を含む問合せを受け取る場合には、エンジン２２０は、その第２言語のドキュメントをインデックスするデータベース２０６を有するソース２０８へ問合せを通過させるだけである。更に別の実施形態では、エンジン２２０は、システム１０６により受け取られた問合せとは異なる問合せ２１０をソース２０８へ伝送してもよい。例えば、オリジナルの問合せをサーチエンジン２２０により再構成して、問合せ２１０として特定のソース２０８へ適切に与えられるようにしてもよい。

サーチエンジン２２０は、サーチソース２０８に結合され、各ソース２０８から各結果リスト２６０を受け取ることができる。結果リスト２６０は、リスト上の関連位置、リストのサーチソース２０８のデータベースにおける対応ドキュメントのアドレス、及び対応ドキュメントを問合せ２１０に関連付ける関連性スコアを各々有するエントリーのリストを含む。典型的な結果リスト２６０は、図２Ａの前記説明に関連して示した。

サーチエンジンシステム１０６は、更に、混合モジュール２０２も備えている。この混合モジュール２０２は、決定された変換を、少なくとも１つの受け取った結果リスト２６０における少なくともサブセットのエントリーの関連性スコアに適用して、変換されたスコアを発生するように構成される。混合モジュール２０２は、更に、各結果リスト２６０の少なくとも一部分を合成して、エントリーの混合されたリストを含む混合されたサーチエンジン結果を発生するように構成され、これは、変換されたスコアに少なくとも一部分基づいてエントリーの混合されたリストを順序付けすることを含む。エントリーの混合されたリストは、次いで、混合されたサーチエンジン結果の一部分又は全部として、インターフェイス２１４を経て供給される。決定された変換を適用し、結果リスト２６０の一部分を合成し、そして合成されたサーチエンジン結果を形成するプロセスは、図２Ａの説明に関連して上述した。

サーチエンジンシステム１０６は、任意であるが、変換決定モジュール２１６を含む。この変換決定モジュール２１６は、１つ以上のサーチソース２０８に対する１つ以上の変換を決定するように構成される。サーチソースに対する変換の決定は、図３を参照して以下に説明する。変換は、いったん決定されると、混合モジュール２０２に与えられる。ある実施形態では、混合モジュール２０２及び変換決定モジュール２１６の両方がサーチエンジン２２０に含まれる。他の実施形態では、混合モジュール２０２及び／又は任意の変換決定モジュール２１６が、サーチエンジンシステム１０６に含まれた他のシステムの一部分でよい。ある実施形態では、サーチソース２０８及びサーチエンジン２２０が異なるコンピュータにおいて実施される。これらの実施形態では、問合せ２１０及び各結果リスト２６０の通過は、例えば、ネットワーク１０５（図１Ａ）を経て実行される。

サーチエンジンシステムについて説明したが、変換を決定する方法（ある実施形態では、図２Ａの変換決定モジュール２１６により使用するための）について説明する。図３を参照すれば、変換を決定するための方法３００の好ましい実施形態では、第１サーチソース及び第２サーチソースに対するクリックレート統計学的データが、最初に、ステップ３０２において測定されて記憶される。図４を参照すれば、ある実施形態において、混合されたサーチエンジン結果１１４（例えば、図１Ｂに示す）におけるエントリーの１つをユーザがクリックする事象がサーチエンジンシステム１０６（図２Ｂ）により記録される。混合されたサーチエンジン結果１１４のエントリーの１つをユーザがクリックすると、要求４０１がサーチエンジンシステム１０６（例えば、サーチエンジン２２０の変換決定モジュール２１６）へ伝送される。要求４０１は、混合されたサーチエンジン結果１１４における選択されたエントリーの位置に関する情報を含む。ユーザクリックで要求４０１がサーチエンジンシステム１０６へ伝送されるようにするために、結果リストの各アイテムに関連したＵＲＬを変更し、ユーザにより選択されたドキュメントをサーバーが記憶するのではなく、アイテムの選択でｈｔｔｐメッセージ（即ち要求４０１）がサーチエンジンサーバーへ伝送されるようにする。ｈｔｔｐメッセージ（要求）４０１は、選択されたドキュメントに関連したＵＲＬと、結果リストにおける選択されたアイテムの位置とを含む。

要求の受け取りに応答して、サーチエンジン２２０は、混合された結果１１４における選択されたエントリーの位置を記録する。更に、サーチエンジン２２０は、２つ以上の結果リスト（例えば、図２Ｂの２６０−１及び２６０−２）を合成して、混合された結果１１４を発生するときに、選択されたエントリーが得られたところのサーチソースを記録する。更に、サーチエンジン２２０は、サーチソースと、混合された結果１１４における全ての非選択のエントリーの位置とを記録する。この記憶は、例えば、変換決定モジュール２１６（図２Ｂ）により行うことができる。好ましい実施形態では、結果リストがユーザへ伝送されるときに、ユーザに与えられる結果リストに関する情報がログレコードに記録される。ユーザにより選択されたアイテムに関する情報は、第２のログレコードに記録される。第２のログレコードは、第１のログレコードに対する参照又はポインタを含んでもよい。

図４を更に参照すれば、クライアントコンピュータ１０４−１のユーザは、サーチエンジン結果１１４から選択されたエントリーに対応するドキュメントを受け取ることが必要である。これを達成するために、サーチエンジンシステム１０６は、「ｈｔｔｐリダイレクト」応答４０２をクライアントコンピュータ１０４−１へ伝送して、要求されたドキュメントのＵＲＬを指定する。ｈｔｔｐリダイレクト４０２は、クライアントコンピュータ１０４−１が、そのＵＲＬに対応するドキュメントをダウンロードして表示するようにさせる（４０３、４０４）。別の実施形態では、サーチエンジンシステム１０６は、要求されたドキュメントをダウンロードし、次いで、そのドキュメントをクライアントコンピュータ１０４−１へ伝送することができる。

クライアントコンピュータ１０４のユーザが混合された結果からエントリーを選択するたびに、混合された結果１１４のエントリーに関する情報を記録する必要はない。したがって、ある実施形態では、混合された結果からのユーザ選択の記録は、選択された混合された結果１１４に対してのみ実行され、これは、ランダムに選択されてもよいし又は他のやり方で選択されてもよい。このように、システム１０４は、混合された結果からエントリーをユーザが選択することにより発生される各要求を処理することにより過剰な負担がかからないようにされる。例えば、システム１０６は、ユーザによりエントリーが選択されるときに、各１００個の結果の中の１つだけが要求４０１を発生するように、混合された結果１１４を発生することができる。

ある実施形態では、ユーザが混合されたサーチエンジン結果からエントリーを選択するのに応答して、その選択されたエントリーの位置及びサーチソースが記録される。更に、選択はされないが、混合された結果に存在するエントリーの位置及びソースも、記録される。したがって、これらのデータから、１つ以上のサーチソースにより発生された関連性スコアに適用されるべき変換を決定することが望まれる。ある実施形態では、各サーチソースｈと、混合されたサーチ結果における各位置ｉとに対して、相対的クリック比が決定される。ソースｈ及び位置ｉに対する相対的クリック比（ＲＣＲ）は、ある実施形態では、次の式に基づいて決定される。

但し、ＣＲ(ｉ)は、ソースとは独立した位置ｉにおける結果に対するクリックスルー比である。

但し、「clickthroughs(i)」は、測定インターバル（例えば１日又は数日の期間）中の位置ｉにおけるユーザによる記録されたクリックスルーの全数であり、そして「impressions(i)」は、位置ｉにエントリーを含む混合された結果が同じ測定インターバル中にユーザに与えられる全回数である（そして結果は、どのアイテムがユーザにより選択されたかサーバーに通知するように構成される）。上記の式では、ＣＲＳ(ｉ)は、位置ｉにおける結果のソースがソースｈからのものであるときに位置ｉにおける結果に対するクリックスルー比である。

但し、「clickthroughs(i,h)」は、ユーザが混合されたサーチ結果から位置ｉのエントリーを選択した回数で、位置ｉのエントリーは、サーチソースｈから最初に得られたものであり、そして「impressions(i,h)」は、ソースｈからの位置ｉのエントリーを含む混合された結果がユーザに与えられる全回数である（そして結果は、どのアイテムがユーザにより選択されたかサーバーに通知するように構成される）。したがって、ＲＣＲは、本質的に、特定ソースからのエントリーが混合された結果における特定位置から選択される相対的頻度に対するプロキシーである。

図３を参照すれば、変換を決定する方法３００において、少なくとも第１ソース及び第２ソースに対してメリット指数(figure of merit)が決定される。ソースｈに対するメリット指数は、一実施形態では、次の式で決定される。

但し、Ｐ(ｉ，ｈ)は、混合された結果における位置ｉ及びソースｈに対するインプレッションレート(impression rate)と称される。上記式における加算は、位置１から１０まで実行されるが、他の実施形態における加算は、位置１から、位置１０より低い又は高い最終位置まで行われてもよい。インプレッションレートＰ(ｉ，ｈ)は、次の式により決定される。

但し、Impressions(i,h)は、混合された結果がソースｈから位置ｉにエントリーを含む回数である。ソース２０８（図２Ｂ）が、混合された結果へのエントリーを与えるが、これらのエントリーがユーザにより滅多に選択されない（ユーザが他のソースからのエントリーを選択する頻度に対して）場合には、メリット指数Ｆ(ｈ)の値がゼロに近くなる。逆に、あるソースが、混合された結果へのエントリーを与えると共に、これらエントリーがユーザにより頻繁に選択される場合には、メリット指数Ｆ(ｈ)の値が１以上になる。１より大きな値は、平均より高い割合でユーザが選択することを指示し、そして１より小さな値は、平均より低い割合でユーザが選択することを指示する。したがって、ソースｈのメリット指数Ｆ(ｈ)は、そのソースからのエントリーが、混合された結果における位置に正しく入れられたというユーザの認識に対するプロキシーとして働く。

最終的に、変換を決定する方法３００では、１つ以上の係数セットが、ステップ３０６において、ソースに対するメリット指数に基づき決定される。特定のソースに対して、係数のセットを使用して、そのソースからの関連性スコアに適用されるべき変換が定義される。例えば、変換は、シフト変換でよく、この場合に、変換は、次の式に基づいて実行される。
TransformedScore＝RelevanceScore＋ｂ
ここでは、１つの係数ｂだけを使用して、変換が定義される。このシフト係数の典型的な値は、関連性スコアが約０．０から１．０の範囲のときに、−０．０４から０．０４の範囲である。他の考えられる変換は、スケーリング変換を含み、この変換は、次の式に基づいて実行される。
TransformedScore＝ａ*RelevanceScore
この場合も、１つの係数ａだけを使用して、変換が定義される。このスケーリング係数の典型的な値は、関連性スコアが約０．０から１．０の範囲のときに、０．９から１．１の範囲である。他の考えられる変換は、アフィン変換を含み、この変換は、次の式に基づいて行われる。
TransformedScore＝ａ*RelevanceScore＋ｂ
ここでは、２つの係数、即ちスケーリング係数ａ及びシフト係数ｂを使用して、変換を定義する。関連性スコアが約０．０から１．０の範囲のときに、スケーリング係数ａの典型的な値は、０．９から１．１の範囲であり、そしてシフト係数ｂの典型的な値は、−０．０４から０．０４の範囲である。

１つ以上のソースの関連性スコアに適用される変換の係数を決定する１つの目標は、全てのソースに対するメリット指数を等化することである。ある実施形態では、ソースのメリット指数に基づいて変換の係数を決定するために、発見的ルールのセットが適用される。発見的ルールの一形式は、第１メリット指数と第２メリット指数の比が所定の値範囲内にあるときに、第１ソースの関連性スコアに適用されるべき変換の係数が所定の係数値をとることを要求する。例えば、このルールは、第１ソースのメリット指数と第２ソースのメリット指数との比Ｆ(１)／Ｆ(２)が０．２から０．４であるときに、第２ソースの関連性スコアのシフト変換におけるシフト係数の値が０．０４の値をとることを要求する。又、別のルールは、Ｆ(１)／Ｆ(２)が０．４から０．６であるときに、第２ソースの関連性スコアのシフト変換におけるシフト係数の値が０．０２の値をとることを要求する。このように、第１ソースの関連性スコアの変換は、第１及び第２ソースのメリット指数が不必要にオーバーシュートせずに等化する傾向となるように決定される。

他の実施形態では、使用する変換ファンクションは、上述したシフト、スケーリング及びアフィンファンクション以外のファンクションでもよい。特に、他の実施形態は、入手可能なスコア（関連性スコアが変換されているサーチソースからの）及び他のソースからの結果の両方のファンクションである混合変換ファンクションを使用してもよい。換言すれば、ソースＡからの結果に適応される変換ファンクションは、ソースＡに関連した固定係数だけではなく、他のソースからの又は他のソースに関連したパラメータを伴う複素数ファンクションであってもよい。

好ましい実施形態では、サーチエンジンシステム１０６は、図５に概略的に示すように、１つ以上のコンピュータシステムを使用して実施される。当業者に明らかなように、大量の問合せを処理するように設計されたサーチエンジンシステムは、図５に示すものより複雑なコンピュータアーキテクチャーを使用してもよい。例えば、サーバーのフロントエンドセットを使用して問合せを受け取り、問合せを実際に処理するバックエンドサーバーのセットの中に問合せを配布することができる。このようなシステムでは、図５に示すシステム１０６が、バックエンドサーバーの１つとなる。

コンピュータシステムは、通常、１つ以上の中央処理ユニット（ＣＰＵ）５０４と、ネットワーク又は他の通信インターフェイス５０６と、一次及び二次記憶装置５１０と、これらの要素を相互接続するための１つ以上の通信バス５０８とを有する。一次及び二次記憶装置５１０は、高速ランダムアクセスメモリを含むことができると共に、１つ以上の磁気ディスク記憶装置（図示せず）のような不揮発性メモリも含むことができる。一次及び二次記憶装置５１０は、中央処理ユニット５０４から離れて位置された大量記憶装置を含むことができる。一次及び二次記憶装置５１０は、好ましくは、次のものを記憶する。
−種々の基本的システムサービスを取り扱うと共に、ハードウェア従属タスクを遂行するための手順を含むオペレーティングシステム５１２；
−システム１０６を種々のクライアントコンピュータ１０４（図１Ａ）に接続すると共に、おそらく、１つ以上の通信ネットワーク、例えば、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク（例えば、ローカルワイヤレスネットワークはクライアントコンピュータ１０４をシステム１０６に接続できる）、メトロポリタンエリアネットワーク、等々を経て、他のサーバー又はコンピュータに接続するのに使用されるネットワーク通信モジュール５１４；
−クライアントコンピュータ１０４から問合せ１１２を受け取ると共に、１つ以上のサーチソースから１つ以上の結果リストを発生する（又は受け取る）サーチエンジン２２０であって、問合せ１１２に関連したドキュメントに対してサーチソースデータベースをサーチし、そして問合せに関連したドキュメントの関連性スコアを決定するサーチエンジン（又はサーチソースを伴うサーチエンジン）；
−本発明の多数の態様を実施するための混合モジュール２０２；及び
−本発明の多数の態様を実施するための変換決定モジュール２１６。

混合モジュール２０２は、実行可能な手順、サブモジュール、テーブル、及び他のデータ構造体を含むことができる。一実施形態において、混合モジュール２０２は、１つ以上のサーチソースにより与えられる結果リストを合成するための混合ファンクション５３０を備えている。

変換決定モジュール２１６は、混合モジュールとは異なるサーバーで実施することができる。というのは、その役割が、時間にわたって平均化されるクリックスルーデータを収集することだからである。新たな変換ファンクション係数は、問合せが処理されるより相当に低い頻度で周期的に決定される。例えば、新たな変換ファンクション係数は、１日に一度又はおそらく数日に一度、計算されて混合モジュール（１つ又は複数）へ配布されてもよい。変換決定モジュール２１６は、実行可能な手順、サブモジュール、テーブル、及び他のデータ構造体を含むことができる。一実施形態では、変換決定モジュール２１６は、次のものを含む。
−測定されたクリックレート統計学的データを記憶するためのデータ構造体５３２；
−係数のセットを決定するための決定ファンクション５３６であって、おそらく１つ以上の発見的ルールを含む決定ファンクション；及び
−決定された係数セットを記憶するための１つ以上のデータ構造体６２０。

別の実施形態では、各サーチソースに対して変換ファンクションが定義され、各変換ファンクションには、単位変換（即ち、そのソースに対するスコアを変化させない変換）に関連した１つ以上の係数値が最初に指定される。次いで、種々の変換ファンクションに対する係数値が、上述したように、変換定義モジュールにより収集される情報に基づいて指定される。ある実施では、各サーチソースに対するスコアに対して非単位変換が実行されるように全ての変換ファンクションに係数が指定されてもよい。しかしながら、上述したように、Ｎ個のサーチソースからの結果を混合するときには、せいぜいＮ−１個のサーチソースに対して非単位変換が一般に必要となる。

本発明を完全に理解するために、上記説明では、特定の述語が使用された。しかしながら、当業者であれば、本発明を実施するために特定の細部は必要とされないことが明らかであろう。前記実施形態は、本発明の原理及びその実際の応用を最良に説明するために選択されたもので、当業者であれば、本発明及び種々の実施形態を、意図された特定の用途に適するように種々の変更を加えて、最良に利用することができよう。したがって、以上の開示は、余すところのないものでもないし、又、本発明を、ここに開示する正確な形態に限定するものでもない。前記教示に鑑み、多数の変更や修正が考えられる。

本発明の範囲は、特許請求の範囲及びその等効物により限定されるものとする。

Claims (12)

1. 各複数のサーチソースからの複数のサーチエンジン結果を１つのサーチエンジン結果へと混合するための方法において、
   各サーチソースからエントリーの各結果リストを受け取るステップであって、各結果リストは、少なくとも、リストの各エントリーに対し、エントリーの位置と、ドキュメントのアドレスと、ドキュメントの関連性スコアとを含むようなステップと、
   少なくとも１つの受け取られた結果リストにおける少なくともサブセットのドキュメントの関連性スコアに、決定された変換を適用して、変換されたスコアを発生するステップと、
   各々の結果リストの少なくとも一部分を合成して、エントリーの混合されたリストを含む混合されたサーチエンジン結果を発生するステップであって、ドキュメントの変換されたスコアに少なくとも一部分基づいてエントリーの混合されたリストを順序付けすることを含むようなステップと、
   を備えた方法。
2. 前記複数のサーチソースの第１サーチソースに対して前記変換を決定するステップを更に備え、これは、
   前記第１のサーチソース及び第２のサーチソースに対するクリックレート統計学的データを測定して記憶する段階と、
   前記第１及び第２のサーチソースの各々に対するメリット指数を決定する段階であって、該メリット指数を、前記測定されて記憶された統計学的データにより少なくとも一部分決定するような段階と、
   前記第１のサーチソースに対し、前記第１及び第２のサーチソースのメリット指数に基づいて係数のセットを決定する段階であって、該係数のセットは前記第１のサーチソースに対する変換を定義するものであるような段階と、
   によって行う請求項１に記載の方法。
3. 発見的ルールのセットを適用することにより前記係数のセットを決定する段階を備え、１つ以上の発見的ルールは、第１のメリット指数と第２のメリット指数との比が所定の値範囲内にあるときに、前記変換の係数が所定の係数値をとることを要求するものである、請求項２に記載の方法。
4. 前記変換は、２つの係数により決定されるアフィン変換である、請求項１に記載の方法。
5. 前記変換は、１つの係数により決定されるスケーリング変換である、請求項１に記載の方法。
6. 前記係数は、０．９から１．１の範囲内の値をとる、請求項５に記載の方法。
7. 前記変換は、１つの係数により決定されるシフト変換である、請求項１に記載の方法。
8. 前記係数は、−０．０４から０．０４の範囲の値をとる、請求項７に記載の方法。
9. クリックレート統計学的データを測定して記憶する前記段階は、
   ユーザから問合せを受け取り、
   混合された結果をユーザに返送し、該混合された結果は、エントリーのリストを含むものであり、
   前記エントリーのリスト内のどのエントリーがユーザにより選択されたか記録し、そして
   終了条件に達するまで、前記受け取り、返送及び記録を繰り返す、
   ということを含む請求項２に記載の方法。
10. 前記記録することは、ユーザが前記エントリーのリストからアイテムを選択しないかどうか記録することを含む、請求項９に記載の方法。
11. クリックレート統計学的データを測定して記憶する前記段階は、更に、
    サーチソースと、前記混合された結果における選択されたエントリーに関連した位置とを記録し、前記選択されたエントリーはユーザにより選択され、そして
    サーチソースと、ユーザにより選択されない前記混合された結果におけるエントリーに関連した位置とを記録する、
    ということを含む請求項９に記載の方法。
12. 前記第１のサーチソースに対するメリット指数を決定する前記段階は、
    複数のサーチソースの各々に対し、前記混合された結果における複数の位置に対する各複数のインプレッション数を決定し、
    第１のサーチソースに対し、前記混合された結果における位置で前記第１のサーチソースに関連したエントリーをユーザが選択した第１の回数を決定し、そして
    前記第１の回数及び前記複数のインプレッション数とに少なくとも一部分基づいて前記第１のサーチソースのメリット指数を決定する、
    ということを含む請求項１１に記載の方法。

Images