JP2005276213A - 検索結果適合性の自動最適化のためのシステムおよび方法 - Google Patents

Abstract

【課題】 検索エンジンにおける検索結果適合性の最適化を自動化するための方法、システムおよびコンピュータアクセス可能媒体を提供する。
【解決手段】 このシステムおよび方法は、検索結果のパフォーマンスの様々な観点を表すデータを連続的に収集し、そのパフォーマンスデータと、検索結果に対する予測パフォーマンスとを比較する。このシステムおよび方法は、さらに低パフォーマンス結果の考えられる理由を診断し、検索エンジン動作を自動的に調整して検索結果適合性を最適化する。
【選択図】 図２

Description

本発明は、概してコンピュータソフトウェアおよび検索エンジンに関し、より具体的には検索結果適合性（ｓｅａｒｃｈ ｒｅｓｕｌｔ ｒｅｌｅｖａｎｃｅ）最適化を自動化するためのシステムおよび方法に関する。

インターネット検索エンジンは、それらを稼動させるサービスプロバイダの重要な収益源となっている。この収益は、主として検索エンジンユーザに対する広告の表示によって生み出される。検索エンジンが受け取るインターネットトラフィックが増加するほど、その検索エンジンの広告主に対する魅力は増し、より多くの収益を生むことができる。一般に、検索エンジンがトラフィックを増大させるための最良の方法は、適合性の高い検索結果を提供することであると考えられている。しかしながら、今日、適合性があるものが、明日には、あるいは同じ日の終わり近くには、適合性がなくなることもある。サービスプロバイダにとって、季節や流行およびニュースにおける話題事件に基づいて、検索可能なコンテンツの急激な変化に歩調を合わせることは困難なことである。

検索エンジンのオペレータが、その検索エンジンが生成する結果の適合性を努力して維持する１つの方法は、適合性スキーマ（ｒｅｌｅｖａｎｃｅ ｓｃｈｅｍａ）を使用することである。適合性スキーマは、通常は特定の適合性順序で一組の検索結果を生成するのに検索エンジンが使用するアルゴリズムを表す。適合性スキーマは、スキーマを使用して生成された結果が正当であるかどうか、すなわち結果がまだ適合性があるかどうかを判定する人間審判者によって絶え間なく再評価される。検索エンジンのオペレータは、人間の審判者の指示に応じて、時々スキーマに変更を加える。

検索エンジンの適合性を維持することに対する上記のアプローチの問題は、時間がかかり、迅速性がなく、主観的であることである。人間審判者は、可能な数だけの検索結果の評価ができるだけであり、適合性があるものと、ないものについての審判者の判断は、標準的なユーザの判断を反映しない可能性がある。その他のアプローチも同様な欠点がある。例えば、ユーザの中には、検索エンジンのオペレータが実施する調査に応答して、ある特定の一組の検索結果の適合性について直接的なフィードバックを提供するものがいる。しかし、この方法で収集されるデータ量は、信頼できると考えるには不十分な量であり、ユーザが検索を実行するときにそれらのユーザが望むことを真に反映するだけの幅広さと規模ではない。

より普及しつつある別のアプローチとしては、検索結果に対して収集されるクリックスルー（ｃｌｉｃｋ−ｔｈｒｏｕｇｈ）データの使用がある。検索エンジンのオペレータは、ユーザがある結果をクリックする回数を記録することによって、「クリックスルー率」またはＣＴＲと呼ばれるユーザと検索結果との対話を収集する。クリックスルーデータには多くの利点があり、それは、ユーザが検索結果と対話するときにデータを大量に収集することが可能であり、したがってユーザ満足に対するより客観的な測度であり、またより信頼性のある適合性の予測子であることにある。一般に、経験的に分かっていることは、ＣＴＲが高いほど、結果はより適合性が高いか、あるいは少なくともユーザのその結果に対する満足は大きいことである。しかしながら、ＣＴＲデータは、それでも分析しなくてはならず、次いでオペレータが、改善された結果を生成するために、どのように適合性スキーマを更新するかを決定しなくてはならない。さらに、ＣＴＲデータだけでは、意味のある結果を生成するには不十分であることがある。例えば、ある特定の結果についてのＣＴＲは、ページ上の結果の外見に関係する多数の因子によって影響を受ける可能性があり、これらの因子は、根底にある結果の実際の適合性との釣り合いを失って、不当に誇張されることがある。

どのアプローチにせよ、検索結果の適合性の判定は、主に検索結果の成功を示す単一の明確な指標がないことから、困難な課題である。検索エンジンが取り扱う絶大なスケールのクエリ、および検索結果を生成する速度の故に、適合性とは急速に変化する目標となる。

上述の問題を克服するために、検索エンジンにおける検索結果適合性の最適化を自動化するためのシステム、方法、およびコンピュータアクセス可能媒体を提供する。このシステムおよび方法は、検索結果のパフォーマンスの様々な観点を表すデータを連続的に収集して、そのパフォーマンスデータと、検索結果に対する予測パフォーマンスとを比較する。このシステムおよび方法は、さらに低パフォーマンス結果（ｕｎｄｅｒｐｅｒｆｏｒｍｉｎｇ ｒｅｓｕｌｔｓ）の考えられる理由を診断するとともに、検索エンジン動作を自動的に調整して検索結果適合性を最適化する。

本発明の一態様によれば、パフォーマンスデータは、１つまたは複数のソースから収集されるとともに、好ましくは、ＣＴＲデータなどのユーザが検索結果と対話するときに自動的に収集される暗黙データを含むが、パフォーマンスデータには、ユーザが検索エンジンのヘルプまたはサポート機能を使用するとき、またはユーザ満足調査に応答するときに収集される明示データとともに、主観的な人間判断データ、適合性検証テストデータ、およびサンプルテストデータを含めることもできる。様々なデータソースは、適合性の予測子として、それらの相対的重要性または信頼性を反映するように正規化してもよい。

本発明の別の態様によれば、予測されるパフォーマンスデータは、結果に対する予測パフォーマンスを表す１つまたは複数の値、例えば予測ＣＴＲなどを表すものであり、マーケットによって変化する可能性がある。任意の結果は、予測パフォーマンス値を下回ること、または実質的に下回ることを含めて、そのパフォーマンスが予測パフォーマンスを満たさないときに、低パフォーマンスであると判定することができる。

本発明のさらに別の態様によれば、低パフォーマンス結果の考えられる理由の診断は、多数の因子を考慮することを含み、それらの因子としては、例えば、すでに有効ではないウェブサイトまたはドキュメントにリンクされた結果が不適当な場所に現れているかどうか、その結果を生成した検索語が、スペルミスを犯しやすいものか、または意味のある結果を生成するのに範囲が広すぎるかどうか、または特定の検索語に対する検索を、ローカルコミュニティリソースなどの特定のリソースに制約すべきかどうかなどである。

本発明のさらに別の態様によれば、検索結果適合性を最適化するために検索エンジン動作を自動的に調整することは、検索エンジンのコンポーネントに対して種々のアクションを実行することを含む。例えば、検索結果を生成するために検索エンジンが使用する検索スキーマを修正して、それによって将来の検索結果を、再順位付け（ｒｅｒａｎｋ）、除去、再配置、または異なる結果で置換してもよい。場合によっては、検索結果は同じままであるが、結果の提示を強調して視認性を増大することによって、パフォーマンスを改善させてもよい。さらに別の場合には、低パフォーマンスの検索を一時的に修正して新規または強調した結果を含め、その修正を永久的なものとする前にサンプルマーケットで試験してもよい。検索語がそれ自体で問題の場合には、スペルチェッカの許容範囲を拡大するか、または結果の提示を修正して、追加の検索語を用いて検索を明確化するか、または狭めるようにユーザに促してもよい。場合によっては、検索エンジンの動作をリアルタイムで調整して、検索結果のパフォーマンスの急な変化に応じて検索結果の適合性を迅速に最適化してもよい。

本発明のさらに別の態様によれば、検索エンジンにおける検索結果適合性の最適化を自動化するためのコンピュータアクセス可能媒体が提供される。このコンピュータアクセス可能媒体は、データ構造と、パフォーマンスデータを収集し、低パフォーマンスの検索を診断して、検索エンジンの動作を自動的に調整して検索結果を最適化する自動適合性オプティマイザを含むコンピュータ実行可能コンポーネントとを備える。このデータ構造は、概して上述の方法と整合性のある方法で、検索結果およびパフォーマンスデータを定義する。同様に、コンピュータ実行可能コンポーネントは、上述の方法と概して整合性のあるアクションを実行することができる。

以下の詳細な説明を添付の図面と合わせ読むことによって本発明をさらに理解すれば、本発明の前述の態様および付随する利点の多くは、より簡単に理解されるであろう。

以下の論述は、本発明の一実施形態の様々な特徴を実装するのに好適なコンピューティングシステムの簡潔な全体説明を提供することを意図するものである。コンピューティングシステムを、パーソナルコンピュータおよびサーバコンピュータ、または通信ネットワークを介して互いにリンクされたリモートコンピューティングデバイスによって相補的なタスクが実行される、分散コンピューティング環境において使用可能な、その他のタイプのコンピュータデバイスの一般的文脈において記述するが、当業者であれば、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータなどを含む、その他多くのコンピュータシステム構成によって本発明を実施できることを認識するであろう。上述したより従来型のコンピュータシステムに加えて、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタンツ（ＰＤＡ）、セルラ電話、およびコンピュータソフトウェアまたはその他のデジタルコンテンツがインストールされているその他のデバイスを含む、その他のコンピューティングデバイス上で本発明を実施できることを、当業者は認識するであろう。

本発明の態様を、パーソナルコンピュータと一緒にウェブブラウザで実行されるプログラムまたはプロセス、あるいはサーバコンピュータと一緒に検索エンジンで実行されるプログラムまたはプロセスの観点で記述するが、当業者であれば、これらの態様はその他のプログラムモジュールと組み合わせて実装することもできることを認識するであろう。一般に、プログラムモジュールには、ルーチン、サブルーチン、プログラム、プロセス、コンポーネント、データ構造、ファンクション、インターフェース、オブジェクト、その他が含まれ、これらは、特定のタスクを実行するかまたは特定の抽象データ型を実装する。

図１は、例示的な検索エンジンシステム１００と、本発明の実施形態によって検索結果の最適化を自動化することのできる１つの好適なオペレーティング環境とを示している。図に示すように、このオペレーティング環境は、検索エンジンサーバ１１２を含み、この検索エンジンサーバは、一般に、デバイス１０２および１０４などの様々なユーザデバイスとのフロントエンドユーザ通信、およびバックエンド検索サービスを提供する役割を果たす。検索エンジンサーバ１１２によって提供されるフロントエンド通信には、とりわけ、コンピュータシステム１０２やパーソナルデジタルアシスタンツ（ＰＤＡ）１０４などの様々なユーザデバイスから受け取る情報および検索クエリ（ｓｅａｒｃｈ ｑｕｅｒｙ）に応答して、ハイパーテキストトランスファプロトコルを使用して検索ウェブページ１０６として編成されるテキストおよび／またはグラフィックスを生成するサービスが含まれる。検索エンジンサーバ１１２によって提供されるバックエンド検索サービスには、とりわけ、様々なユーザデバイス１０２、１０４から受け取る情報および検索クエリを使用して関係するウェブコンテンツを検索するサービス、検索ウェブページ１０６上の関係するウェブコンテンツへのリンクを表す検索結果１１０を生成するサービス、およびウェブページ結果および検索結果のパフォーマンスを追跡するサービスが含まれる。

図１に示す環境においては、検索エンジンサーバ１１２は、検索ウェブページ１０６を生成し、その中にユーザは検索語１０８を入力してインターネット１１６を介してのウェブコンテンツ１１８の検索クエリを開始することができる。検索語１０８は検索エンジンサーバ１１２に伝送され、この検索エンジンサーバ１１２は、この語を使用して適合性スキーマ１１４に従って検索語１０８に関係するウェブコンテンツ１２０の検索を実行する。適合性スキーマ１１４は、検索エンジンが使用して所与の検索に対して最も適合性のある結果を生成するために、定期的または連続的に更新されるアルゴリズムである。検索エンジンサーバ１１２は、検索ウェブページ１０６におけるユーザに表示するために、関係するウェブコンテンツを一組の検索結果１１０として中継する。

図１に示す環境において、ユーザデバイス１０２、１０４は、検索エンジンサーバ１１２と、インターネット１１６などの１つまたは複数のコンピュータネットワークを介して通信する。インターネットを介する通信のためのプロトコルおよびコンポーネントは、コンピュータネットワーク通信の技術における当業者には周知である。ユーザデバイス１０２、１０４、検索エンジンサーバ１１２、および適合性スキーマ１１４の間の通信は、ローカルな有線または無線コンピュータネットワーク接続によっても可能である。図１に示す検索エンジンサーバ１１２は分散コンピューティング環境において動作することも可能であり、分散コンピューティング環境は、通信リンク、例えば１つまたは複数のコンピュータネットワークまたは直接接続を介して相互接続されるいくつかのコンピュータシステムを備えることができる。しかしながら、当業者であれば、サーバ１１２は、図１に示すよりも少数または多数のコンポーネントを有するコンピュータシステムにおいても同等に動作できることを理解するであろう。したがって、図１の動作環境の記述は、例示的なものであり、添付の請求項の範囲を限定するものではないと解釈すべきである。

図２は、本発明の一実施形態を実装するための自動適合性最適化システム２００を示すブロック図である。１つの好適な実装においては、自動適合性最適化システム２００によって、検索エンジンのオペレータが検索結果適合性の最適化を有利に自動化することが可能になる。この自動適合性最適化システム２００は、自動適合性オプティマイザプロセス２０２を含み、これは、パフォーマンスデータを収集し、そのデータに基づいて検索結果のパフォーマンスを診断し、そして検索ウェブページ１０６に表示される検索結果１１０の適合性を最適化する必要に応じて、検索エンジンシステムの動作を自動的に調整する動作をする。

一実施形態においては、パフォーマンスデータが、図２に示すように、様々な源から収集され、そのような源としてはとりわけ、ユーザと検索結果１１０との対話から取り込まれる暗黙適合性データ２０４、例えばクリックスルーデータ；ユーザが検索エンジンのオペレータによって提供される検索エンジンヘルプまたはサポート機能を使用するとき、またはユーザ満足度調査に応答するときに収集される明示適合性データ２０６；検索結果の適合性を定期的に評価する人間審判者によって生成される人間判断テストデータ２０８；検索適合性スキーマ１１４の修正の前後に生成される検索結果の正当性を検証する、すなわち１つの検索語についての検索結果の適合性を改善させるための調整が、別の検索結果の適合性を偶然に低下させていないことを確認する、検証テストによって生成される適合性検証テストデータ２１０；検索エンジンの動作の調整およびその調整が予測パフォーマンスのまだ決定されていない新規に挿入した結果の適合性を含む検索結果の適合性に与える影響、新規および／または変更結果を生成するための検索スキーマに対する一時的な修正、および検索エンジンの動作に対するその他のタイプの一時的修正を試行するために、ユーザグループ、例えばグループＡおよびグループＢについてのテストから生成されるサンプルＡ／Ｂテストデータ２１２が挙げられる。

一実施形態においては、暗黙適合性データ２０４は、結果のクリックスルー率（ＣＴＲ）によって計測され、これは結果が表示される回数と、結果が表示された後にそれをユーザがクリックする回数を比較すること、すなわちインプレッション（ｉｍｐｒｅｓｓｉｏｎ）の数をクリック回数で除することによって求められる。暗黙適合性データ２０４には、検索エンジンサーバ１１２によって追跡されるその他のデータ、例えば検索ウェブページ１０６に表示されたときの検索結果１１０の場所、およびパフォーマンスに影響を与える可能性のある結果のその他の特徴、例えば色、サイズ、フォント、アニメーション、グラフィックス、および隣接する検索結果のパフォーマンスデータなどが含まれる。検索エンジンサーバ１１２は、当該技術において知られている、スパムクリック（ｓｐａｍ ｃｌｉｃｋｉｎｇ）、ロボットによる擬似クリック、およびある時間内における同一ＩＰアドレスまたは不明ソースからの多重クリックなどのその他の不信クリックなどの、不正クリックを検出してフィルタリングするようにさらに構成される。

好ましい一実施形態においては、暗黙適合性データ２０４には、結果のＣＴＲ以上に、ユーザと検索結果１０８との複雑な対話を表すデータが含められるが、この理由は、より複雑なユーザ対話は一般にＣＴＲ単独よりもすぐれた適合性の予測子であるからである。複雑なユーザ対話の例としては、とりわけ、結果がブラウズされる時間、結果が編集、他所に電子メール、印刷、ブックマークされたかどうか、またはその全部または一部が、ユーザのその他の文書中に含めるためにカットアンドペーストもしくはコピーされたかどうかなどが挙げられる。

一実施形態においては、暗黙関連性データ２０４は、一回の対話について収集するか、検索結果と対話するユーザのある特定のセッションにおけるすべての対話について合計するか、またはさらにユーザが類似の検索を行う間のすべてのユーザの同じ検索結果との対話について合計することができる。例えば、暗黙適合性データ２０４の基本ユニットは、一人のユーザ、１つのクエリ、そして１回の結果対話の極小の（ａｔｏｍｉｃ）測定である。任意のセッションにおいていくつかの極小の測定があり、それは、結果の印刷、結果を好みのフォルダへブックマークすること、結果を何人かの友人へ電子メールすることなどである。すべてのユーザおよびすべてのクエリに対して自動計測を合計することによって、暗黙適合性データ２０４は、十分に大きくかつ詳細なデータのコーパスとなり、これは適合性の優れた予測子である。好ましい一実施形態においては、自動適合性最適化システム２００は、本明細書に参照により組み入れた、共通に譲渡された同時係属の米国特許出願第 号明細書に詳細が示されるように、暗黙適合性データ２０４を収集する。データが検索結果適合性を精度よく予測するのに十分に大きくかつ詳細である限り、暗黙適合性データ２０４を収集するその他の方法を、添付の請求項の範囲から逸脱することなく、実装することができる。

一実施形態においては、自動適合性オプティマイザ２０２は、結果に対する予測適合性データ２１４を取得し、そのデータと、パフォーマンスデータの様々なソース２０４、２０６、２０８、２１０、２１２に反映される実際のパフォーマンスとを比較する。自動適合性オプティマイザ２０２が、実際パフォーマンスが予測パフォーマンスに満たないと判定した場合には、結果の適合性を改善させるために、したがってよりよいパフォーマンスのために検索エンジンの動作を調整するアクション２１６が自動的に行われる。一実施形態においては、自動適合性オプティマイザ２０２は、実際パフォーマンスがパフォーマンスの許容できる閾値をある時間実質的に下回った後にのみ、実際パフォーマンスが予測パフォーマンスを満たさないことを判定する。このアプローチによって、結果の実際パフォーマンスが誤りであったときの不必要な調整が避けられる。

一実施形態において、アクション２１６は、とりわけ、次回に問題の検索語に対して検索が呼び出されたときに、先の検索において生成された結果と比較して異なる（または改善された）一組の検索結果が生成されるように検索アルゴリズムを変更する、適合性スキーマデータベース１１４への変更を含む。例えば、元の一組の結果に現れるある特定の結果を、結果リストのずっと下に現れるように除去または並べ替えて、変更された適合性スキーマデータベース１１４に反映された更新された検索アルゴリズムに完全に従って、新規の結果をその代わりに挿入することができる。別の実施形態においては、アクション２１６には、リアルタイムに適用される検索結果への変更を含めることができる。例えば、自動適合性オプティマイザ２０２は、既存の適合性スキーマ１１４に従って検索エンジン１１２によって生成される検索結果１１０を中断して、検索結果がユーザデバイス１０２、１０４に転送される前に、最近の数時間の間に他のユーザに対して先に表示されたときの結果に対する低パフォーマンスの分単位（ｕｐ−ｔｏ−ｔｈｅ−ｍｉｎｕｔｅ）診断に基づいて、調整２１６を加えることができる。

一実施形態においては、アクション２１６は、とりわけ、予測適合性データ２１４に対する変更を含み、その結果として、その検索語に対して次回、検索が呼び出されるとき、検索エンジンの動作のその他の観点に対する修正を行う前に、検索エンジンのオペレータが予測するパフォーマンスをよりよく反映するように、結果のパフォーマンスを計測するために使用する予測値が修正される。

もちろん、添付の請求項の範囲から逸脱することなく、上述のアクション２１６のいくつかの組合せを用いることができることが理解される。例えば、自動適合性オプティマイザ２０２は、低パフォーマンス検索の検索結果１１０に新規の結果を自動的に挿入することができ、また同時に、新規結果のパフォーマンスをテストするために初期の期間中、予測適合性データ２１４をより低い値に自動的に変更することができる。より決定的なパフォーマンス予測が把握されると、予測適合性データ２１４を相応して変更することができる。

図３は、図２に示す自動適合性最適化システム２００を動作させる役割を果たす検索エンジンサーバ１１２のいくつかの例示的なコンピューティングコンポーネントの配設をさらに詳細に示すブロック図である。具体的には、検索エンジンサーバ１１２が示してあり、これには、検索エンジンサーバ１１２の一般管理およびオペレーション用の実行可能なプログラム命令を実装するためのオペレーティングシステム３０２、プロセッサ３０６、およびメモリ３０８が含まれる。検索エンジンサーバ１１２は、さらに、インターネット１１６などのネットワークと通信するためのネットワークインターフェース３０４を含み、ユーザ検索語１０８に応答して、検索結果１１０を提供する。オペレーティングシステム３０２、プロセッサ３０６、メモリ３０８、およびネットワークインターフェース３０４の好適な実装については知られているか、または市販されており、当業者であれば、特に本明細書の開示に照らして、容易に実装することができる。

検索エンジンサーバ１１２のメモリ３０８には、自動適合性オプティマイザプロセス２０２を備えるコンピュータ実行可能プログラム命令が含まれる。この自動適合性オプティマイザプロセス２０２には、とりわけ、データ収集プロセス３１０、診断プロセス３１２、および調整プロセス３１４が含まれる。データ収集プロセス３１０は、暗黙適合性データ２０４、明示適合性データ２０６、人間判断テストデータ２０８、適合性検証テストデータ２１０、およびサンプルＡ／Ｂテストデータ２１２を含み、先に図２を参照して記述した様々な源からパフォーマンスデータを収集する役割を果たす。データ収集プロセス３１０は、それにデータが由来するソースの相対的重要性に基づいて、さらにパフォーマンスデータを正規化する。好ましい一実施形態においては、暗黙適合性データ２０４は、一般にその他のデータソースよりも良好かつより客観的な予測子であると考えられるので、最も重く重み付けされる。それでも、実施形態によっては、人間判断テストデータなどのその他のパフォーマンスデータが、暗黙適合性データ２０４をオーバライドすることができる。正規化されたパフォーマンスデータは、予測パフォーマンスデータ２１４との比較に備えて結合される。

一実施形態においては、診断プロセス３１２は、結合かつ正規化したパフォーマンスデータを予測パフォーマンスデータ２１４と比較する。この比較によって、検索結果１１０が低パフォーマンスであることが示されるときには、診断プロセス３１２はその理由を判定しようと試みる。例えば、低パフォーマンスの結果は、動作不能のウェブサイト、通用していないウェブページ、またはすでに有効ではない文書にリンクされている可能性がある。場合によっては、その結果は、その他の結果と比較してそれが可能であるほどユーザに対して目につきやすくない方法で、ウェブページ１０６のセクションに位置しているか、または提示されている可能性がある。

低パフォーマンスの結果は、検索結果１１０よりも検索語１０８と関係している可能性がある。例えば、場合によっては、検索語は、スペルミスを犯しやすいものであったり、意味のある結果を生成するには一般的すぎたりすることがある。一例として、ユーザが検索語「Ｓｃｈｗａｒｚｅｎｅｇｇｅｒ」を入力するとき、ユーザはこの名前をスペルミスしたり、タイプミスをしたりして、望んでいない結果を得やすい。他方で、ユーザが語「Ａｒｎｏｌｄ」を入力するときには、ユーザはこの語を正しくスペリングして、タイプしやすいが、この検索語は一般的すぎて、ユーザはやはり多くの不要な結果を得ることになる。

低パフォーマンス結果の原因が特定されると、この調整プロセス３１４は、とるべき適当なアクション２１６を生成する役割を果たす。すでに述べたように、一実施形態においては、調整プロセス３１４が、適合性スキーマデータベース１１４を修正するアクション２１６を生成して、その検索語についての検索の次の反復の間に、最適化した一組の検索結果１１０を生成することができる。代替として、調整プロセス３１４は、検索結果１１０がユーザデバイス１０２、１０４に表示される以前に、それらを中断して、リアルタイムで検索結果を自動的に最適化するアクション２１６を生成することができる。さらに別の実施形態においては、調整プロセス３１４は、検索結果そのものに本質的な変更を加えるのではなく、検索結果をウェブページ１０６上に提示する方法を変更することによって、検索結果を最適化するアクション２１６を生成することができる。さらに別の実施形態においては、調整プロセス３１４は、スペリングの示唆または追加の語によって検索語を明確化することをユーザに自動的に促すことを検索エンジンサーバ１１２に行わせる、アクション２１６を生成することができる。調整プロセス３１４は、添付の請求項の範囲から逸脱することなく、検索エンジンの動作を調整するその他のアクション２１６を生成して、アクション２１６を併用することができることが理解される。

図４Ａは、検索ウェブページ１０６を表示するブラウザプログラム４００を示しており、これには本発明の一実施形態を実装するための例示的な検索エンジンユーザインターフェースが示してある。ウェブページ１０６（図１）は、検索エンジンサーバ１１２（図１、２）によって生成して、インターネット１１６（図１）を介してユーザのコンピューティングデバイス１０２、１０４に配信することができる。検索エンジンユーザインターフェースは、先に入力された検索語１０８（図１）をテキストボックス４０２内に表示し、必要であれば「検索の絞込み（ＲＥＦＩＮＥ ＳＥＡＲＣＨ）」４０４と表示されたコマンドボタンを使用して追加の検索語で検索を絞り込むことをユーザに促す。

図４Ａに図示した例においては、ユーザは検索語「ドッグフード（ＤＯＧ ＦＯＯＤ）」を入力している。検索結果は、インターネット１１６を介してのウェブコンテンツ１１８の検索から生成される。当技術分野において知られているように、検索エンジン１１２は、適合性スキーマデータベース１１４に従って、結果を分析して、どの結果が最も適合性があるかなどの事前設定された基準に基づいて、ユーザに表示するのに「最良」の結果を順位付けるプログラム命令を実行することができる。最良の結果は、通常、一組の結果の冒頭に表示される。一実施形態においては、検索結果は、検索を入力したユーザとローカル接続、例えばイエローページリストなどを有するウェブコンテンツ１１８から結果が取得されるローカルセクション内などの、ウェブページ１０６の異なるセクションに表示することができる。検索結果は、添付の請求項の範囲から逸脱することなく、様々な異なるフォーマットで、ウェブページ１０６の異なる場所に表示することができるものと理解される。

例としてのみ、検索語「ドッグフード」に対して生成された３つの検索結果が、検索入力ボックス４０２の直下に表示されている。すなわち（１）参照番号４０６のＰＥＴｓＭＡＲＴ（登録商標）の検索結果、（２）参照番号４０８のｅＢＡＹ（登録商標）の結果、および（３）参照番号４１０のＷｉｌｄ Ａｌａｓｋａ Ｓａｌｍｏｎ（登録商標）ドッグフードサプリメントの結果である。説明の目的で、検索語「ドッグフード」に対するこれらの３つの検索結果は本発明の一実施形態に従って最適化することなく、１：００ＰＭ時点での適合性スキーマデータベース１１４に従って図示の順序で表示してある。３つの結果のそれぞれに対する予測パフォーマンスを、以下の表１に列記してある。

一実施形態においては、自動適合性オプティマイザ２０２の動作中に、暗黙適合性データ２０４（図２）が、検索結果４０６、４０８、および４１０のそれぞれに対して、類似の検索を最近入力して「ドッグフード」に対する図示した検索結果を得たすべてのユーザにわたって合計した、ＣＴＲの形態で収集される。図示した例においては、暗黙適合性データ２０４から分かるのは、検索結果４０６、４０８、および４１０のそれぞれの実際のパフォーマンスは、予測されたものと異なり、図４Ａの検索結果に示した検索結果の第１ページに現れない、他の２つの結果が、以下の表２に示すように、３つの結果のすべてよりも実際にはパフォーマンスが上回ったことである。

図示した例においては、２つの実際のパフォーマンス、ＰＥＴｓＭＡＲＴ（登録商標）４０６およびＷｉｌｄ Ａｌａｓｋａｎ Ｓａｌｍｏｎ（登録商標）４１０の検索結果が、予測結果に満たなかったので、自動適合性オプティマイザ２０２は、低パフォーマンス結果４０６、４１０の考えられる理由を診断して、適合性スキーマデータベース１１４を自動的に更新するアクション２１６をとり、その結果として、次に「ドッグフード」の検索が入力されるときには、一組の異なる検索結果、すなわち表２に列記するＡｍａｚｏｎ．ｃｏｍ（登録商標）４１６およびＰＥＴＣＯ（登録商標）４１８に対する検索結果のパフォーマンスは、それらが優位であることに基づき、ユーザに表示されることになる。

図４Ｂは、別のウェブページを表示するブラウザプログラム４００を示し、この場合は、自動適合性オプティマイザ２０２が、適合性スキーマデータベース１１４を更新することによって検索結果の適合性を自動的に最適化するアクション２１６をとった後に、タイムボックス４１２に示されているように遅い時刻、３：００ＰＭに生成されたものであり、ここでも検索語「ドッグフード」に対する検索結果が再び表示されている。図示した例においては、最初に１：００ＰＭにおける一組の検索結果１１０の冒頭に現れたＰＥＴｓＭＡＲＴ（登録商標）の検索結果４０６に対する実際パフォーマンスが、そこに保持することを正当化するものではなかったので、図４Ｂに示すようにＰＥＴｓＭＡＲＴ（登録商標）の検索結果は消去されている（または少なくとも後続のページに移されている）。同様に、最初に１：００ＰＭにおける一組の検索結果１１０の第１のページにおいて第３位に現れたＷｉｌｄ Ａｌａｓｋａｎ Ｓａｌｍｏｎ（登録商標）の検索結果４１０の実際パフォーマンスが、そこに維持することを正当化するものではなかったので、図４Ｂに示すように、それも消去されている（または少なくとも次のページに移されている）。低パフォーマンスの結果４０６、４１０の代わりに、サーチエンジン１１２は、以前の１：００ＰＭ時刻からアクション２１６によって更新された適合性スキーマデータベース１１４に従って、参照番号４１６のＡｍａｚｏｎ．ｃｏｍ（登録商標）および参照番号４１８のＰＥＴＣＯ（登録商標）に対する新規の検索結果を挿入している。Ａｍａｚｏｎ．ｃｏｍ（登録商標）の結果４１６は、今度は一組の検索結果１１０の冒頭に現れ、ＰＥＴＣＯ（登録商標）の結果４１８が第３位に現れる。ｅＢＡＹ（登録商標）の結果４０８は予測パフォーマンスレベルを満たしていたために、ｅＢＡＹ（登録商標）に関して適合性スキーマデータベース１１４は変更されずに、その結果は第２位のままである。

上記の例において留意すべきことは、Ａｍａｚｏｎ．ｃｏｍ（登録商標）の結果４１６は、ＰＥＴＣＯ（登録商標）４１８およびｅＢＡＹ（登録商標）４０８などのその他の結果がそうであるのとは異なり、実際のドッグフードと無関係であることである。したがって、純粋に人間判断の観点からは、新規の一組の検索結果は、検索語「ドッグフード」に対する適合性は低いように思えるかもしれない。しかし、２０％という高いパフォーマンスＣＴＲから、その本が少なくとも一時的にはユーザが休暇のシーズン中に贈り物として購入することに関心のあるベストセラー本である可能性があることを、人間判断が見落とした可能性、および従来型コンテンツ分析が見落とした可能性がある傾向が明らかとなった。したがって、高い予測性の暗黙適合性データ２０４は、人間判断データ２０８よりも重みが大きくなり、大多数のユーザに対して適合性が高く満足できる最適の一組の結果を生成することができる。一実施形態においては、自動適合性オプティマイザ２０２が適合性スキーマデータベース１１４を更新することの代わりに、またはそれに加えてとることもできた別のアクション２１６としては、サーチエンジン１１２の動作を調整して、検索語として「ドッグフード」を入力するユーザに、「ドッグフード」という題名の新刊のベストセラー本についての結果が欲しいかどうか、あるいはドッグフードそのものおよびドッグフードを買う場所などについての情報の通常の結果が欲しいかどうかをさらに明確化するように促すことである。本「ドッグフード」の人気が低下すると、自動適合性オプティマイザ２０２は反対のアクションをとって、スキーマ１１４を更新してＡｍａｚｏｎ．ｃｏｍ（登録商標）の結果４１６を消去するとともに、ユーザにその検索を絞り込むように促すことを解除することが予想される。こうすることによって、検索エンジンのオペレータは、検索結果の最適化を自動化することが可能となり、ユーザに対してより適合性の高くタイムリーな結果を提供するとともに、トラフィックの増大において検索エンジンに対するより多くの収入を生成することさえ可能である。

上記の例は、説明の目的でのみ提示するものであると理解される。好ましい一実施形態において、暗黙適合性データ２０４は、ＣＴＲ単独よりもより複雑なユーザの挙動を反映することになる。例えば、暗黙適合性データ２０４は、問題の結果に対しての多数のユーザの挙動、例えば、ＰＥＴＣＯ（登録商標）の結果４１８のユニフォームレコードロケータ（ＵＲＬ）を１人または複数の友人に電子メールすること、その結果がリンクされているＰＥＴＣＯ（登録商標）のウェブサイトで買い物をすることなど、の合計を反映することになる。そのような複雑な挙動は、一般に、ＣＴＲ単独よりも適合性の予測性が高いものと考えられている。

図５Ａ〜５Ｂは、本発明の一実施形態に従って検索エンジンにおける検索結果の最適化を自動化するために、図２および３の検索エンジンサーバ１１２と自動適合性オプティマイザ２０２と一緒に実行されるロジックを示すフロー図である。検索エンジンサーバ１１２は、スタートブロック５０２で始まり、処理ブロック５０４に続き、既存の適合性スキーマデータベース１１４による検索結果１１０（図１）を含む検索ウェブページ１０６が生成される。処理ブロック５０６において、自動適合性オプティマイザプロセス２０２は、暗黙適合性データ２０４、明示適合性データ２０６、人間判断テストデータ２０８、適合性検証テストデータ２１０、およびサンプルＡ／Ｂテストデータ２１２を含む、様々な源から検索結果１１０に対する適合性パフォーマンスデータを収集する。一実施形態においては、暗黙適合性データ２０４を収集することには、ローカルユーザセッション全体にわたって、または複数セッションにわたって、あるいは検索エンジンサーバ１１２からクロスユーザデータが利用可能な複数ユーザにわたって、データを合計することを含めることができる。代替として、暗黙適合性データ２０４は、自動適合性オプティマイザプロセス２０２による使用のために、検索エンジンサーバ１１２によってすでに合計されていてもよい。いずれにしても、処理は処理ブロック５０８に続き、ここで自動適合性オプティマイザプロセス２０２は、相対的な重要度に応じてパフォーマンスデータの様々な源を正規化することを含み、収集された適合性パフォーマンスデータの様々なソースを、考慮中の１つまたは複数の結果に対する実際パフォーマンスの測度としてコンパイルする。一実施形態においては、様々な源の相対的重要度は、検索結果の適合性を予測する上でのそれらの値の測度であり、その値は、検索エンジンのオペレータが事前設定することが可能であり、オペレータが自動適合性最適化プロセスを微調整するのを支援するために、時に応じてさらに変更される。好ましい一実施形態においては、暗黙適合性データ２０４の値は、適合性パフォーマンスデータのその他のソースよりも高くなりがちであるが、その理由は、そのようなデータは、データ収集が潜在的に大規模であり、またデータが迅速に収集できることにより予測性が高いためである。

一実施形態においては、自動適合性オプティマイザプロセス２０２は、処理ブロック５１０に続き、考慮中の１つまたは複数の検索結果についての予測適合性データ２１４が取得される。予測適合性データ２１４は、検索エンジンのオペレータが事前定義することが可能であるとともに、検索結果の予測パフォーマンスにおける時間における変化を反映して時々変更することが可能である。一実施形態においては、この予測適合性データ２１４は、予測における自動変更を反映するために、自動適合性オプティマイザ２０２の先の反復によって生成されたアクション２１６によって変更しておくか、または更新しておくことができる。

一実施形態においては、自動適合性オプティマイザプロセス２０２は処理ブロック５１２に続き、考慮中の１つまたは複数の結果の実際パフォーマンスの測度を予測パフォーマンスと比較し、ここで実際パフォーマンスは処理ブロック５０８において決定され、予測パフォーマンスは処理ブロック５１０において決定される。この比較が好ましくないとき、例えば実際パフォーマンスが予測パフォーマンスに満たない、または実質的に満たないときには、検索結果は低パフォーマンスであり、これは検索結果の適合性における問題を示すことができる。自動適合性オプティマイザプロセスは、この問題の考えられる１つまたは複数の原因を診断することを試みる。例えば、場合によっては、結果が陳腐化して、その他の新規の結果の適合性が高くなっており、このことは、例えば、これらの結果に対して収集された暗黙適合性データ２０４に反映されている。その他の場合においては、それについて検索結果が生成された検索語が、範囲が広すぎるか、またはスペルミスを犯しやすいものであり、検索エンジンはユーザを促してそれらの語を明確化する必要がある。添付の請求項の範囲から逸脱することなく、問題に対する考えられる原因について、その他多数の診断を行うことができる。

図５Ｂにおいて、自動適合性オプティマイザ２０２は、判断ブロック５１４に続き、検索結果の適合性についての問題が診断されたかどうかが判定される。診断されていない場合には、自動適合性オプティマイザ２０２は終了楕円５２０において終了する。そうでない場合には、処理は処理ブロック５１６に続き、ここで自動適合性オプティマイザ２０２は、問題に対処するためにどのような調整または補正アクション２１６（図２）を生成するかを決定する。先述のように、アクション２１６には、検索語が一般的すぎるか、またはスペルミスを犯しやすいことに問題が関係する場合には、ユーザに検索語を明確化するか、または狭めることを促す、検索エンジン動作に対する調整を含めることができる。一実施形態においては、アクション２１６には、適合性スキーマデータベース１１４に対する一時的または永久的な修正、あるいは予測適合性データ２１４に対する修正をも含めることができる。さらに別の実施形態においては、アクション２１６には、検索ウェブページ１０６上の検索結果１０８に対する１つまたは複数の修正をリアルタイムで含めることができ、この場合に検索エンジン１１２によって生成された検索結果１１０は中断され、ユーザに対して検索結果適合性を最適化するために、再順位付け、並べ替え、再フォーマット、除去、他の結果と置換されるか、または修正される。上記のアクション２１６の組合せも、添付の請求項の範囲から逸脱することなく利用することができる。

本発明の現時点で好ましい実施形態を示して説明したが、本発明の趣旨と範囲から逸脱することなく、様々な変更を行うことができることを認識されるであろう。例えば、すでに述べたように、本発明の一実施形態においては、自動適合性最適化システムプロセス２０２およびデータ収集３１０、診断３１２、および調整３１４のための関連するサブプロセスをリアルタイムで実装して、検索エンジンサーバ１１２によって取得されて自動適合性オプティマイザ２０２によって収集される、最新のパフォーマンスデータに基づく分単位の最適化が可能になる。別の実施形態においては、自動適合性最適化システム２００プロセスをバッチモードで実装することによって、暗黙適合性データ２０４、明示適合性データ２０６、人間判断テストデータ、適合性検証テストデータ２１０、およびサンプルＡ／Ｂテストデータ２１２を含む、様々な源からのパフォーマンスデータのデータ収集、および検索結果の自動および手動の最適化を組み合わせることが可能になる。さらに他の実施形態においては、自動最適化検索結果適合性システム２００は、応用において、パフォーマンスデータのすべてのソースよりも少ないソースの考慮に限定してもよく、例えば、暗黙適合性データ２０４に限定したり、同様に応用においてある種のアクション２１６に限定したりしてもよく、例えば適合性スキーマデータベース１１４に対する永久的修正、適合性スキーマデータベース１１４または検索結果１１０へのリアルタイム更新、またはそれらの任意の組合せに限定することができる。

例示的な検索エンジンシステムと、本発明に従って検索結果適合性の最適化が自動化される１つの好適な動作環境とを示すブロック図である。 本発明の一実施形態を実装するための自動適合性最適化システムを示すブロック図である。 本発明の一実施形態に従って、図１の検索エンジンサーバに実装された図２の自動適合性最適化システムのいくつかのコンポーネントの配置をさらに詳細に示すブロック図である。 本発明の一実施形態を実装するための例示的な検索エンジンユーザインターフェースの絵図である。 本発明の一実施形態に従って検索結果が自動的に最適化された後の、後の時刻における図４Ａの例示的な検索エンジンユーザインターフェースのイラスト図である。 本発明の一実施形態に従って、検索エンジンにおける検索結果適合性の最適化を自動化するために、図２および３の自動適合性最適化システムと併せて実行されるロジックを示すフロー図である。 本発明の一実施形態に従って、検索エンジンにおける検索結果適合性の最適化を自動化するために、図２および３の自動適合性最適化システムと併せて実行されるロジックを示すフロー図である。

符号の説明

１０２ ユーザデバイス
１０４ ユーザデバイス
１０６ 検索ウェブページ
１０８ 検索語
１１０ 検索結果
１１２ 検索エンジンサーバ
１１４ 適合性スキーマデータベース
１１６ インターネット
１１８ 検索可能ウェブコンテンツ
２０４ 暗黙適合性データ
２０６ 明示適合性データ
２０８ 人間判断テストデータ
２１０ 適合性検証テストデータ
２１２ サンプルＡ／Ｂテストデータ
２０２ 自動適合性オプティマイザ
２１４ 予測適合性データ
２１６ 修正／調整アクション
１０６ 検索ウェブページ
１０８ 検索語
１１０ 検索結果
１１４ 適合性スキーマデータベース

Claims (66)

1. 検索ウェブページに表示される検索結果の最適化を自動化する方法であって、
   検索結果のパフォーマンスを表すデータを収集するステップであって、前記データは複数のパフォーマンスデータソースの少なくとも１つに由来するステップと、
   データソースの相対的重要度に応じて前記収集データを正規化するステップと、
   前記正規化パフォーマンスデータと前記検索結果に対する予測パフォーマンスデータとを比較するステップと、
   低パフォーマンスの検索結果に対する少なくとも１つの考えられる原因を診断するステップと、
   前記検索結果のパフォーマンスを改善させるために、前記検索結果を生成した検索エンジンの動作を前記診断に応じて調整するステップとを備えることを特徴とする方法。
2. 前記複数のパフォーマンスデータソースの少なくとも１つは、暗黙パフォーマンスデータ、明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの１つを含むことを特徴とする請求項１に記載の方法。
3. 前記データソースの相対的重要度に応じて前記収集データを正規化するステップは、より重要なソースからのデータにより大きな重みを付与するステップと、該データが由来するソースの相対的重要度を反映するためにデータを結合するステップとを含むことを特徴とする請求項１に記載の方法。
4. 前記正規化パフォーマンスデータと前記予測パフォーマンスデータとを比較するステップは、前記正規化パフォーマンスが前記予測パフォーマンスよりも低いか、または実質的に低いときに、前記検索結果が低パフォーマンスであると判定するステップを含むことを特徴とする請求項２に記載の方法。
5. 最も重要なデータソースは暗黙パフォーマンスデータであり、前記収集データを正規化するステップは、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与するステップを含むことを特徴とする請求項２に記載の方法。
6. 暗黙パフォーマンスデータは、ユーザが前記検索結果と対話するときに自動的に取り込まれることを特徴とする請求項２に記載の方法。
7. 暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも１つを含むことを特徴とする請求項６に記載の方法。
8. 暗黙パフォーマンスデータは、編集、電子メール、印刷、ブックマーク、およびコピーの少なくとも１つを含む、ユーザが結果に対して実行した動作をさらに識別することを特徴とする請求項７に記載の方法。
9. 暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項６に記載の方法。
10. 暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項６に記載の方法。
11. 明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成した照会に対するユーザ応答から取得されるデータを含み、前記照会はオンライン照会および電話照会の１つを含むことを特徴とする請求項２に記載の方法。
12. 人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項２に記載の方法。
13. 適合性検証データは、既知の適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項２に記載の方法。
14. サンプルテストデータは、ユーザのサブセットのサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項２に記載の方法。
15. 低パフォーマンスの検索結果に対する少なくとも１つの考えられる理由を診断するステップは、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語がスペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソースに制約しなくてはならないかどうかの内の少なくとも１つを考慮することを含むことを特徴とする請求項２に記載の方法。
16. 前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索結果の再順位付け、除去、および置換の少なくとも１つを含む、前記検索エンジンの検索スキーマを修正して検索語に対して生成される前記検索結果を変更するステップを含むことを特徴とする請求項２に記載の方法。
17. 前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、検索結果ウェブページ上の前記検索結果の外見のハイライト、アニメーション、拡大、および位置変更することの少なくとも１つを含む、前記検索エンジンの検索スキーマを修正して検索語に対して生成される前記検索結果の提示を強化するステップを含むことを特徴とする請求項２に記載の方法。
18. 前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンのスペルチェッカの許容範囲を拡大するステップを含むことを特徴とする請求項２に記載の方法。
19. 前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促すステップを含むことを特徴とする請求項２に記載の方法。
20. 前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンの動作を永久的に調整する前に、前記検索エンジンの動作を一時的に調整して、該調整が実際に前記検索結果のパフォーマンスを改善させたかどうかを判定するステップを含むことを特徴とする請求項２に記載の方法。
21. 前記検索結果のパフォーマンスを改善させるために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンの動作をリアルタイムで調整するステップを含むことを特徴とする請求項２に記載の方法。
22. 前記検索エンジンの動作をリアルタイムで調整するステップは、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断するステップと、前記検索結果を修正するステップとを含むことを特徴とする請求項２１に記載の方法。
23. 検索語に対して検索エンジンによって生成される検索結果のパフォーマンスを表す入力データであって、複数のソースに由来する入力データと、
    前記複数のソースから入力パフォーマンスデータを収集するデータ収集プロセスと、
    前記収集パフォーマンスデータによって表される、前記検索結果のパフォーマンスを、前記検索結果の予測パフォーマンスと比較する診断プロセスと
    前記検索結果のパフォーマンスが、前記予測パフォーマンスと比較して劣るときにはいつでも、前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する調整プロセスとを備え、前記検索エンジンの調整動作は、前記検索結果のパフォーマンスを改善させることであることを特徴とする自動検索結果最適化システム。
24. 前記複数の入力パフォーマンスデータソースの少なくとも１つは、暗黙パフォーマンスデータ、明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの１つを含むことを特徴とする請求項２３に記載のシステム。
25. 前記データ収集プロセスは、データソースの相対的重要度に応じて収集データを正規化する正規化プロセスを含み、さらに正規化することは、より重要なソースからのデータにより大きな重みを付与すること、およびデータがそれに由来するソースの相対的重要度を反映するようにデータを結合することを含むことを特徴とする請求項２３に記載のシステム。
26. 前記診断プロセスは、前記正規化収集パフォーマンスデータによって表される前記検索結果のパフォーマンスを、前記検索結果の予測パフォーマンスと比較し、さらに、前記パフォーマンスが予測パフォーマンスよりも低いか、または実質的に低いときに前記比較は好ましくないとすることを特徴とする請求項２５に記載のシステム。
27. 最も重要なデータソースは暗黙パフォーマンスデータであり、前記収集データを正規化することは、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与することを含むことを特徴とする請求項２５に記載のシステム。
28. 暗黙パフォーマンスデータは、ユーザが前記検索結果と対話するときに自動的に取り込まれることを特徴とする請求項２７に記載のシステム。
29. 暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも１つを含むことを特徴とする請求項２８に記載のシステム。
30. 暗黙パフォーマンスデータは、編集、電子メール、印刷、ブックマーク、およびコピーの少なくとも１つを含む、ユーザが結果に対して実行した動作の識別を表すデータをさらに含むことを特徴とする請求項２９に記載のシステム。
31. 暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項２８に記載のシステム。
32. 暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項２８に記載のシステム。
33. 明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成したユーザ満足調査に対するユーザ応答から取得されるデータを含むことを特徴とする請求項２４に記載のシステム。
34. 人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項２４に記載のシステム。
35. 適合性検証データは、既知の適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項２４に記載のシステム。
36. サンプルテストデータは、ユーザのサブセットのサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項２４に記載のシステム。
37. 前記診断プロセスは、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語がスペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソースに制約しなくてはならないかどうかの内の少なくとも１つを考慮することを含む、前記検索結果のパフォーマンスが予測パフォーマンスと比較して劣ることに対する少なくとも１つの考えられる理由を診断することをさらに含むことを特徴とする請求項２４に記載のシステム。
38. 前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの検索スキーマを修正するアクションを表す出力データを生成することを含み、前記修正検索スキーマは、前記検索結果の再順位付け、除去、および置換をすることの少なくとも１つを含む、前記検索エンジンが検索語に対して検索結果を生成する方法を変更することを特徴とする請求項２３に記載のシステム。
39. 前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの検索スキーマを修正するアクションを表す出力データを生成することを含み、前記修正検索スキーマは、検索結果ウェブページ上の前記検索結果の外見のハイライト、アニメーション、拡大、および位置変更の少なくとも１つを含む、前記検索エンジンが検索語に対する前記検索結果を提示する方法を強化することを特徴とする請求項２３に記載のシステム。
40. 前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンのスペルチェッカの許容範囲を拡大するアクションを表す出力データを生成することを含むことを特徴とする請求項２３に記載のシステム。
41. 前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促すアクションを表す出力データを生成することを含むことを特徴とする請求項２３に記載のシステム。
42. 前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの動作を永久的に調整するアクションを生成する前に、前記検索エンジンの動作を一時的に調整して、さらに該一時的調整が実際に前記検索結果のパフォーマンスを改善させたかどうかを判定するアクションを表す出力データを生成することを含むことを特徴とする請求項２３に記載のシステム。
43. 前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの動作をリアルタイムに調整するアクションを表す出力データを生成することを含むことを特徴とする請求項２３に記載のシステム。
44. 前記検索エンジンの動作をリアルタイムで調整するアクションは、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断して前記検索結果をさらに修正することを含むことを特徴とする請求項４２に記載のシステム。
45. 検索結果ユーザインターフェースにおける検索結果の自動最適化を容易にするための命令を有する１つまたは複数のコンピュータアクセス可能媒体であって、前記命令は、
    複数のパフォーマンスデータソースの少なくとも１つからの検索結果のパフォーマンスを表すデータを収集するステップと、
    データソースの相対的重要度に応じて前記収集データを正規化するステップと、
    前記正規化パフォーマンスデータと前記検索結果に対する予測パフォーマンスデータとを比較するステップと、
    前記検索結果のパフォーマンスが前記予測パフォーマンスと比較して劣ることについての少なくとも１つの考えられる理由を診断するステップと、
    前記検索結果のパフォーマンスを改善させるために、前記検索結果を生成した検索エンジンの動作を前記診断に応じて調整するステップとを備えることを特徴とするコンピュータアクセス可能媒体。
46. 前記複数のパフォーマンスデータソースの少なくとも１つは、暗黙パフォーマンスデータ、明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの１つを含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
47. データソースの相対的重要度に応じて収集データを正規化する命令は、より重要なソースからのデータにより大きな重みを付与する命令、および該データがそれに由来するソースの相対的重要度を反映するようにデータを結合する命令を含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
48. 前記正規化パフォーマンスデータと前記予測パフォーマンスデータを比較する命令は、前記正規化パフォーマンスが前記予測パフォーマンスよりも低いか、または実質的に低いときに、前記検索結果が低パフォーマンスであると判定する命令を含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
49. 最も重要なデータソースは暗黙パフォーマンスデータであり、前記収集データを正規化する命令が、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与する命令を含むことを特徴とする請求項４７に記載のコンピュータアクセス可能媒体。
50. 暗黙パフォーマンスデータは、ユーザが検索結果と対話するときに検索エンジンによって自動的に取り込まれるデータであることを特徴とする請求項４６に記載のコンピュータアクセス可能媒体。
51. 暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも１つを表すデータを含むことを特徴とする請求項５０に記載のコンピュータアクセス可能媒体。
52. 暗黙パフォーマンスデータは、編集、電子メール、印刷、ブックマーク、およびコピーの少なくとも１つを含み、ユーザが結果に対して実行した動作をさらに識別することを特徴とする請求項５０に記載のコンピュータアクセス可能媒体。
53. 暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項５０に記載のコンピュータアクセス可能媒体。
54. 暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項５０に記載のコンピュータアクセス可能媒体。
55. 明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成した照会に対するユーザ応答から取得されるデータを含み、前記照会はオンライン照会および電話照会の１つを含むことを特徴とする請求項４６に記載のコンピュータアクセス可能媒体。
56. 人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項４６に記載のコンピュータアクセス可能媒体。
57. 適合性検証データは、既知の適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項４６に記載のコンピュータアクセス可能媒体。
58. サンプルテストデータは、ユーザのサブセットのサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項４６に記載のコンピュータアクセス可能媒体。
59. 前記検索結果のパフォーマンスが前記予測パフォーマンスに比較して劣ることに対する少なくとも１つの考えられる理由を診断する命令は、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語がスペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソースに制約しなくてはならないかどうかの内の少なくとも１つを判定する命令を含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
60. 前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、検索語に対して生成される前記検索結果を変更するために前記検索エンジンの検索スキーマを修正する命令を含み、前記検索結果を変更することは、前記検索結果の再順位付け、除去、および置換の少なくとも１つを含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
61. 前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、検索語に対して生成された前記検索結果の提示を強化するために前記検索エンジンの検索スキーマを修正する命令を含み、前記提示を強化することは、検索結果ウェブページ上の前記検索結果の表示をハイライト、アニメーション、拡大、および位置変更することの少なくとも１つを含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
62. 前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンのスペルチェッカの許容範囲を拡大する命令を含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
63. 前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促す命令を含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
64. 前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンの動作を永久的に調整する前に、前記検索エンジンの動作を一時的に調整する命令と、該調整が実際に前記検索結果のパフォーマンスを改善させたかどうかを判定する命令とを含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
65. 前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンの動作をリアルタイムで調整する命令を含むことを特徴とする請求項４５に記載のコンピュータアクセス可能媒体。
66. 前記検索エンジンの動作をリアルタイムで調整する前記命令は、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断する命令と、前記検索結果を修正するさらなる命令とを含むことを特徴とする請求項６５に記載のコンピュータアクセス可能媒体。
    

Images