JP2005302041A - キーワードとＷｅｂサイトのコンテンツとの間の関連性の検証 - Google Patents

Abstract

【課題】 用語とＷｅｂサイトのコンテンツとの間の関連性を検証するシステムおよび方法を提供する。
【解決手段】 入札ＵＲＬからのサイトのコンテンツが取り出される。入札用語に意味上、コンテキスト上関連する拡張用語が計算される。入札用語、サイトのコンテンツ、拡張用語の組合せからコンテンツの類似度測定値および拡張の類似度測定値が計算される。拡張用語とサイトのコンテンツとの間のカテゴリの類似度測定値は、トレーニングされた類似性の分類を考慮して決定される。類似性分類器は、ディレクトリデータに関連付けられたマイニングされたＷｅｂサイトのコンテンツからトレーニングされている。入札用語とサイトのコンテンツとの間の関連性の信頼度は、複数の類似度スコアを評価するコンテンツ類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値から決定される。
【選択図】 図１

Description

本発明のシステムおよび方法はデータマイニングに関する。

キーワードまたはキーフレーズとは、ＷＷＷ上の関連のＷｅｂページ／サイトを検索するときにＷｅｂサーファによって検索エンジンに提示される単語または１組の用語である。検索エンジンは、ページ／サイトに表示されるキーワードおよびキーフレーズに基づいてＷｅｂサイトの関連性を決定する。Ｗｅｂサイトトラフィックのかなりの割合は検索エンジンの使用に起因するため、Ｗｅｂサイトのプロモータ(promoter)は、サイトトラフィックを増加させて所望のサイトを公開するのに適切なキーワードを選択することが不可欠であることを知っている。検索エンジンの結果の最適化のためにＷｅｂサイトに関連するキーワードを識別する技術には、例えば、関連のキーワードを識別するためのＷｅｂサイトのコンテンツおよび目的の人間による評価などがある。この評価は、人気キーワードツール(keyword popularity tool)の使用を含み得る。こうしたツールは、どのぐらいの人が特定のキーワード、またはそのキーワードを含むフレーズを検索エンジンに提示したかを決定する。一般に、Ｗｅｂサイトに関連し、検索クエリの生成時により頻繁に使用されると決定されたキーワードがそのＷｅｂサイトに関する検索エンジンの結果の最適化のために選択される。

Ｗｅｂサイトの検索エンジン結果の最適化のための１組のキーワードを識別した後、プロモータは、Ｗｅｂサイトを検索エンジンの結果内の（他のＷｅｂサイトの検索エンジン結果の表示位置に比べて）より高い位置に進めることを望む場合がある。このために、プロモータは、特定のＵＲＬとともに使用するキーワードに入札(bid on)する。入札(bidding)は、Ｗｅｂサーファがそのキーワードに関連付けられているプロモータのリストをクリックするたびにプロモータがどれだけ支払うかを示す。言い換えれば、キーワードの入札は、特定のＵＲＬ（Ｗｅｂサイト）の宣伝のためにクリックごとに支払う指値である。同じキーワードの他の入札に比べてそのキーワードの入札の額が高くなればなるほど、検索エンジンは、キーワードに基づいた検索結果に関連するＷｅｂサイトを上位に（有意性を基準により目立つように）表示する。残念ながら、広告主が入札する用語はＷｅｂサイトのコンテンツに関連していない場合があり、その結果、エンドユーザによって使用される用語または言語に一致しない場合がある。

キーワードをＷｅｂサイト（すなわちＷｅｂサイトのコンテンツ）と検証する最も簡単な方法は、データポイントをさらに比較すること無しにキーワードとＷｅｂサイトとの間のみの類似性を測定する従来の取り出し手法を使用することであるように思われる。しかし、この技術は実質的に限られている。キーワードがＷｅｂサイトに関連している場合でさえ、そのＷｅｂサイト自体は、所望のキーワードをサポートする閾値基準（例えば直接的な一致、出現回数など）を含んでおらず、潜在的に貴重な入札用語が拒否される。例えば、関連のＷｅｂサイトを含むオンラインショッピングの会社が「オンラインショッピング」というフレーズに入札することについて考える。従来の取り出し手法が使用され、Ｗｅｂサイトにおいてキーワード「ショッピング」の出現頻度が相対的に少なく、キーワード「オンライン」の出現がない場合、「オンラインショッピング」という潜在的に貴重なキーフレーズは、入札用語の対象から誤って外される可能性がある。

別の従来の技術は、提示された入札用語／フレーズおよびＷｅｂサイトを分類して２つのカテゴリの確率ベクトルを取得することである。こうした確率ベクトルは、次いで結合されて最終的な関連度スコア(relevance score)になる。この従来の技術に関する問題は、そのＷｅｂサイトに対して用語／フレーズを直接評価しないことであり、これはかなり問題となり得る。例えば、広告主が「イタリアンシューズ」という用語に入札し、そのＷｅｂサイトが靴を販売し、しかしその靴がイタリアの靴ではない場合、従来の分類技術は、「イタリアンシューズ」という入札フレーズがそのＷｅｂサイトと無関係であることを広告主に示す。

上記を考えると、Ｗｅｂサイトのコンテンツに関連するキーワードをよりよく識別するシステムおよび方法がＷｅｂサイトのプロモータによって歓迎されることになる。これによってプロモータは、エンドユーザによって使用される可能性の高い用語に入札することができる。これらのシステムおよび方法は、検索エンジンの最適化およびキーワードの入札に関連するキーワードを識別するために、Ｗｅｂサイトのコンテンツを人間が評価する必要がないことが理想的である。

用語とＷｅｂサイトのコンテンツとの間の関連性を検証するためのシステムおよび方法について説明する。一態様では、入札ＵＲＬからサイトのコンテンツが取り出される。入札用語に意味上および／またはコンテキスト上関連する拡張用語(expanded term)が計算される。入札用語、サイトのコンテンツ、および拡張用語のそれぞれの組合せからコンテンツの類似度測定値および拡張の類似度測定値が計算される。拡張用語とサイトのコンテンツとの間のカテゴリの類似度測定値は、トレーニングされた類似性分類器を考慮して決定される。トレーニングされた類似性分類器は、ディレクトリデータに関連付けられたマイニングされたＷｅｂサイトのコンテンツからトレーニングされている。入札用語とサイトのコンテンツとの間の関連性の客観的測定値を提供する信頼度は、トレーニングされた関連性分類器モデルを考慮して複数の類似度スコアを評価するコンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値から決定される。

図中、構成要素の参照番号の一番左の桁は、構成要素が最初に表示されている特定の図面を識別する。

（概要）
以下のシステムおよび方法は、従来の用語認定技術の制限に対処するために、用語とＷｅｂサイトのコンテンツとの間の関連性を検証する。このために、このシステムおよび方法は、トレーニングされた分類器モデルを介して複数の類似度測定値を結合して、入札用語が特定のＷｅｂサイトのコンテンツに関連しているかどうかを示す単一の信頼度を提供する。より詳細には、この実装において、複数の類似度測定値は、コンテンツ、カテゴリ、および適切な名前の類似度スコアを含む。

コンテンツの類似度スコアは、直接的な、および拡張されたコンテンツの類似性を含む。直接的なコンテンツの類似性は、提示されたＷｅｂサイトの入札用語とサイトのコンテンツとのベクトルモデルを評価することによって決定される。拡張された類似性は、拡張用語のベクトルモデルとサイトのコンテンツとの間の類似性を評価することによって決定される。拡張用語は、出現頻度がより高い履歴のクエリ用語を考慮して検索エンジンからマイニングされ、入札用語と意味上および／またはコンテキスト上類似していると決定される。カテゴリの類似性は、トレーニングされた類似性のカテゴリ化（分類器）モデルを拡張用語およびＷｅｂサイトのコンテンツに適用して、これらの入力の間のカテゴリの関係を決定することによって決定される。適切な名前の類似性は、適切な名前のデータベースを考慮して、入札用語およびＷｅｂサイトのコンテンツを評価することによって決定される。これらの複数の類似度測定値は、承諾／拒否の閾値を考慮してこれらのスコアから単一の関連性の信頼度を生成するためにトレーニングされた、結合された関連性分類器モデルを使用して結合される。信頼度は、これらの異なる複数の類似度測定値を考慮して、入札用語の関連性の客観的測定値をＷｅｂサイトに提供する。

次に、用語とＷｅｂサイトのコンテンツとの間の関連性を検証するためのシステムおよび方法のこれらおよび別の態様についてより詳しく説明する。

（編集検証（editorial verification)のシステム例）
図面を参照すると、同様の参照番号は同様の要素を示しており、用語とＷｅｂサイトのコンテンツとの間の関連性を検証するシステムおよび方法が、適当な編集検証コンピューティング環境で実施されるものとして記載され、示されている。必須ではないが、本発明は、パーソナルコンピュータによって実行されるコンピュータ実行可能命令（プログラムモジュール）の一般的なコンテキストで説明する。一般にプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。システムおよび方法を上記の状況で説明しているが、以下に記載した動作および操作は、ハードウェアでも実装することができる。

図１は、入札用語と入札Ｗｅｂサイトのコンテンツとの間の関連性を検証するシステム１００を示している。この実装では、システム１００は、ネットワーク１０４を介して検索エンジン１０６に結合される編集検証サーバ１０２を含む。ネットワーク１０４は、オフィス、全社規模のコンピュータネットワーク、イントラネット、インターネットでごく一般的なものなど、ローカルエリアネットワーク（ＬＡＮ）および一般の広域ネットワーク（ＷＡＮ）の通信環境の任意の組合せを含む。編集検証サーバ１０２は、例えば検索用語提案（ＳＴＳ）モジュール１１０、関連性検証モジュール１１２、分類モジュール１１４、用語照合モジュール１１６、およびＷｅｂサイトを識別する入札ユニバーサルリソースロケータ（ＵＲＬ）からサイトのコンテンツを取り出すＷｅｂページ巡回プログラム(crawler)などの他のプログラムモジュール１１８など、いくつかのプログラムモジュール１０８を含む。

エンドユーザ（広告主、Ｗｅｂサイトのプロモータなど）は、入札ＵＲＬのサイトのコンテンツとの入札用語の関連性を検証するために、編集検証サーバ１０２に入札入力１２０を提供する。入札入力１２０は、入札用語１２２および入札ＵＲＬ１２４を含む。一実装形態では、エンドユーザが入札入力１２０を編集検証サーバ１０２に提供できるように、編集検証サーバ１０２は、キーボード、マウス、音声認識システムなど、１つまたは複数のユーザ入力インターフェース（例えば図４のユーザ入力インターフェース４６０を参照）を含む。別の実装形態では、エンドユーザが入札入力１２０を編集検証サーバ１０２に提供できるように、編集検証サーバ１０２がネットワーク１０４を介してクライアントコンピューティングデバイス（図４のリモートコンピュータ４８０など）に結合される。

（検索用語提案の例）
エンドユーザからの入札入力１２０の受信に応答して、検索用語提案モジュール１０２は、検索用語提案リスト１２６を生成して、意味上および／またはコンテキスト上関連する用語によって用語１２２を拡張する。用語１２２の複数の意味またはコンテキストは、以下に示すように、追加の用語の意味を提供し得る。表１は、「ｍａｉｌ」の用語１２２に関連すると決定された用語の提案用語リスト１２６の例を示している。用語１２２に関連する用語は、この例では「提案用語」という名称の列１に示している。

表１を参照すると、提案用語（列１）ごとに、検索用語提案リスト１２６は、提案用語と用語１２２との間の関連を示すそれぞれの類似度測定値（列２参照）、および列１の提案用語がどのぐらいの頻度で検索エンジン１０６に提示されたかの表示を提供するそれぞれの使用頻度スコア（列３参照）も含むことに留意されたい。この例では、列２の各類似度値は、対応する提案用語（列１）と、この例では「ｍａｉｌ」である入札用語１２２との間の類似度の測定値またはスコアを提供する。頻度の各値またはスコアは、提案用語がエンドユーザの検索クエリで特定の検索エンジン１０６によって使用された回数を示す。提案用語リスト１２６は、エンドユーザに提示される場合、ビジネスゴールのファンクション、例えば提案用語、類似度、および／または頻度のスコアによってソートされる。

任意の所与の用語１２２（ｍａｉｌなど）は、入札用語がその中で使用される可能性がある複数のコンテキストを有する可能性がある。これを考慮するために、検索用語提案モジュール１１０は、コンテキストによって提案用語を分離する。例えば、表１を参照すると、「ｍａｉｌ」の用語１２２は、（１）従来のオフラインの郵便物、および（２）オンラインの電子メールという２つのコンテキストを有している。提案用語のそれぞれの（分離されたまたは独立した）リストは、こうした２つの入札用語のコンテキストごとに示されていることに留意されたい。

提案用語リスト１２６の提案用語は、単に用語１２２の類義語にとどまらない場合がある。例えば、表１を参照すると、提案用語「ｕｓｐｓ」はメールを扱う組織の頭文字であり、「ｍａｉｌ」の入札用語の類義語ではない。しかし、「ｕｓｐｓ」は、「ｍａｉｌ」入札用語にコンテキスト上非常に関連性のある用語でもあり、したがって提案用語リスト１２６に示されている。一実装形態では、検索用語提案モジュール１１０は、「ｉｔｒ」が「関係がある」ことを表す場合、相関規則：ｉｔｒ（Ｔ）→ｉｔｒ（Ｒ）のファンクションのように、関連用語Ｒ（「ｕｓｐｓ」など）とターゲット用語Ｔ（「ｍａｉｌ」など）との間の関係を決定する。すなわち、エンドユーザ（広告主、Ｗｅｂサイトのプロモータなど）がＲに関心がある場合、エンドユーザはＴにも関心がある可能性がある。

検索用語提案リスト１２６を生成するために、検索用語提案モジュール１１０は、クエリログ１３０からマイニングされた履歴クエリのうちの選択したものを検索エンジン１０６に提示する。検索エンジン１０６に提示するための履歴クエリのうちの選択したものは、検索用語提案モジュール１２６によって、クエリログ１３０からマイニングされた履歴クエリ用語の他のものに比べて、実質的に高い出現頻度（ＦＯＯ）を有するものとして識別される。この実装形態では、設定可能な閾値を使用して、履歴クエリが相対的に高い出現頻度を有しているか、低い出現頻度を有しているかが決定される。例えば、少なくとも閾値回数出現する履歴クエリ用語は出現頻度がより高いと言われる。同じように、閾値回数未満出現する履歴クエリ用語は出現頻度が低いと言われる。説明上、こうした閾値を「他のデータ」１３２のそれぞれの部分として示している。ＦＯＯが高いおよび低いクエリ用語を「他のデータ」１３２の「ＦＯＯが高い／低いクエリ」部分として示している。

検索用語提案モジュール１１０は、クエリ用語ごとに、返却された検索結果のうちの選択されたもの（１つまたは複数の上位にランクされた検索結果など）から１組の特徴または説明文(snippet description)を抽出する。検索用語提案モジュール１１０は、抽出されたデータに対してテキストの前処理操作を実行して、個々の用語トークンを生成する。トークンの次元数を低減するために、検索用語提案モジュール１１０は、任意のストップワード（「ｔｈｅ」、「ａ」、「ｉｓ」など）を削除し、共通の接尾語を削除し、それによって例えば既知のＰｏｒｔｅｒステミングアルゴリズムを使用して用語を正規化する。検索用語提案モジュール１１０は、結果として得られた用語および抽出された他の特徴を１つまたは複数の検索用語提案（ＳＴＳ）ベクトル（用語ベクトル１３４のそれぞれの部分として示した）にまとめる。各ＳＴＳベクトル１３４は、用語の頻度と逆文書頻度(inverted document frequency)（ＴＦＩＤＦ）のスコアに基づく次元を有する。

ｉ番目のベクトルのｊ番目の用語の重みは、次のように計算される。

ｗ_ｉｊ＝ＴＦ_ｉｊｘｌｏｇ（Ｎ／ＤＦ_ｊ）
式中、ＴＦ_ｉｊは用語頻度（ｉ番目のレコード内の用語ｊの出現回数）、Ｎはクエリ用語の総数、ＤＦ_ｊは用語ｊを含むレコード数である。検索用語提案モジュール１１０は、これらのそれぞれの重みを使用して、ＳＴＳベクトル１３４からの類似の用語およびコンテキストをグループ化して用語クラスタ１３６を生成する。このため、この実装形態では、各用語のベクトル表現が与えられると、余弦関数を使用して１対の用語の間の類似性が測定される（用語が正規化されたことを思い出されたい）。

したがって、２つの用語の間の距離（類似度測定値）は次のように定義される。

ｄｉｓｔ（ｑ_ｉ，ｑ_ｋ）＝１−ｓｉｍ（ｑ_ｉ，ｑ_ｋ）
こうした検索用語提案（ＳＴＳ）類似度測定値は、「他のデータ」１３２のそれぞれの部分として示される。こうした類似度例を、上記の表１の提案用語リスト例１２６に示している。

検索用語提案モジュール１１０は、計算された用語の類似度測定値を使用して、ＳＴＳベクトル１３４内の用語を、用語クラスタ１３６のＦＯＯが高い履歴クエリ用語ベース部分にクラスタ化／グループ化する。より詳細には、この実装形態では、検索用語提案モジュール１１０は、既知の密度ベースのクラスタ化アルゴリズム（ＤＢＳＣＡＮ）を使用して、これらの用語クラスタ１３６を生成する。ＤＢＳＣＡＮは、ＥｐｓおよびＭｉｎＰｔｓの２つのパラメータを使用する。Ｅｐｓは、用語クラスタ１３６内のポイント間の最大距離を表す。１つのポイントは、ある用語の特徴ベクトルである。高次元空間において、ベクトルはポイントと等しい。ＭｉｎＰｔｓは、用語クラスタ１３６内の最小数のポイントを表す。クラスタ１３６を生成するために、ＤＢＳＣＡＮは、任意のポイントｐで始まり、ＥｐｓおよびＭｉｎＰｔｓに関してｐから密度的に到達可能(density-reachable)なすべてのポイントを取り出す。ｐが中心的ポイントである場合、この操作によって、ＥｐｓおよびＭｉｎＰｔｓに関して用語クラスタ１３６が得られる。ｐがより広いポイントである場合、ｐから密度的に到達可能なポイントはなく、ＤＢＳＣＡＮは次のポイントにアクセスする。

次いで検索用語提案モジュール１１０は、用語１２２を用語クラスタ１３６内の用語のそれぞれと比較する。用語クラスタは意味上および／またはコンテキスト上互いに関連する特徴を含むため、用語１２２は、拡張用語１２２に関連する複数のコンテキストまたは「意味」を考慮して評価され、それによって検索用語提案リスト１２６が生成される。一実装形態では、検索用語提案モジュール１１０が用語１２２はたった１つのクラスタ１３６からの用語に一致すると決定した場合、検索用語提案モジュール１１０は、提案用語リスト１２６を単一のクラスタ１３６から生成する。この実装形態では、一致とは、完全一致、または単一／複数の形、ミススペル、句読点など、わずかなバリエーションとの一致とすることができる。生成された用語リストは、ある基準によって順序付けられる。これは例えばＦＯＯ、および用語１２２と提案用語との間の類似性の線形結合とすることができる。
Ｓｃｏｒｅ（ｑ_ｉ）＝αＦＯＯ（ｑ_ｉ）＋βｓｉｍ（ｑ_ｉ，Ｑ）
ここでは、α＋β＝１である。

検索用語提案モジュール１１０が用語１２２は複数の用語クラスタ１３６内の用語に一致すると決定した場合、検索用語提案モジュール１１０は、複数の用語クラスタの用語から提案用語リスト１２６を生成する。各クラスタからの提案用語は、上述の方法を使用して順序付けられる。

（関連性の検証例）
関連性検証モジュール１１２は、検索用語提案リスト１２６の提案用語（入札入力１２０の用語１２２を拡張する用語）、および入札入力１２０（すなわち用語１２２およびＵＲＬ１２４からのサイトコンテンツ）を使用して、入札用語１２２と入札ＵＲＬ１２４のサイトのコンテンツとの間の関連性を測定する信頼度１３８を生成する。このために、関連性検証モジュール１１２は、説明上、関連性検証（ＲＶ）の類似度測定値１４０として示されている複数の類似度測定値から信頼度１３８を計算する。この実装形態では、ＲＶ類似度測定値１４０は、例えばコンテンツの類似性、分類の類似性、および適切な名前の類似性のスコアを含む。次に、ＲＶ類似度測定値１４０のこうした各タイプについて説明する。

ＲＶ類似度測定値１４０のコンテンツの類似度測定値部分は、直接の類似度測定値、および拡張された類似度測定値を含む。直接の類似度を計算するには、関連性検証モジュール１１２は、いずれもベクトル空間でモデル化される用語１２２とＵＲＬ１３のサイトコンテンツとの間の類似性／関連を測定する。拡張された類似性を計算するために、例えば「他のプログラムモジュール」１１８のそれぞれの部分によって表されるＷｅｂページ巡回プログラムモジュールによってＵＲＬ１２４のサイトのコンテンツが取り出される。関連性検証モジュール１１２は、検索用語提案リスト１２６の提案用語とＵＲＬ１２４のサイトコンテンツとの間の類似性を決定する。また、これらの両方の入力はベクトル空間でモデル化されている。上述したように、検索用語提案リスト１２６の提案用語は、（ａ）提示されたＦＯＯが高い履歴クエリ用語を考慮して検索エンジン１０６によって返却された結果からマイニングされた。したがって、提案用語は、入札用語１２２に意味上および／またはコンテキスト上関連していると決定される。

ＲＶ類似度測定値１４０の適切な名前の類似度測定値部分は、入札用語１２２で検出された任意の適切な名前とＵＲＬ１２４のサイトのコンテンツとの間の類似性／関連を示す。説明上、適切な名前のデータベースは、「他のデータ」１３２のそれぞれの部分で表される。こうした適切な名前は、例えば国、市、有名な登録商標の名前などを含む。より詳細には、入札入力１２０内の任意の適切な名前を検出すると、関連性検証モジュール１１２は、適切な名前の類似性を次のように計算する。
Ｐｒｏｐ＿Ｓｉｍ（ｔｅｒｍ，ｐａｇｅ）＝
・ １−ｔｅｒｍが適切な名前Ｐを含んでおり、ｐａｇｅが適合した適切な名前Ｑを含んでいる場合
・ ０−ｔｅｒｍが適切な名前Ｐを含んでおり、ｐａｇｅは適合しない適切な名前Ｑのみを含んでいる場合
・ ０．５−その他
適切な名前は、それ自体およびその祖先に適合する。例えばミラノはイタリアに適合するなど、低レベルの地理的位置は、それを含む高レベルの地理的位置に適合する。

ＲＶ類似度測定値１４０の分類の類似度測定値部分は、検索用語提案リスト１２６の提案用語とＵＲＬ１２４のサイトのコンテンツとの間の関連を測定する。より詳細には、分類の類似度測定値は、提案用語およびＷｅｂサイトのコンテンツをトレーニングされた類似性分類器（カテゴリ化）１４２に提示することによって生成される。関連性検証モジュール１２２は、次に説明するように、いくつかの異なる分類技術（ナイーブベイズ（ＮＢ）、サポートベクトルマシン（ＳＶＭ）、Ｎ−ｇｒａｍ統計ベースのナイーブベイズ（ｓｔａｔｉｓｔｉｃａｌ ｎ−ｇｒａｍ ｂａｓｅｄ ｎａｉｖｅ Ｂａｙｅｓｉａｎ）（Ｎ−Ｇｒａｍ）、最近傍法（ＫＮＮ）、決定ツリー、ｃｏ−ｔｒａｉｎｉｎｇ、ブースト法（ｂｏｏｓｔｉｎｇ）など）のうちのいずれかで類似性分類器１４２をトレーニングする。

（オフラインの類似性分類器トレーニング例）
関連性検証モジュール１１２は、ディレクトリデータ（「他のデータ１３２」参照）に対してΦ：Ｘ→Ｌとして類似性分類器１４２をトレーニングする。この場合、Ｘは入力（単一の用語からいくつかのＷｅｂページのコンテンツまでのスケールの文字列ストリーム）、Ｌは出力（カテゴリの上位２レベル全体にわたる確率）である。カテゴリの分類は、階層構造のものである。この実装形態では、ＬｏｏｋＳｍａｒｔ（登録商標）ディレクトリデータの第２レベルのカテゴリを使用し、これらのカテゴリの合計は、分類の何らかの数（例えば７４）である。関連性検証モジュール１１２は、ディレクトリデータに対して特徴の抽出および特徴の選択の操作を実行する。さらに、関連性検証モジュール１１２は、ディレクトリデータによって識別されたＷｅｂページから説明文（抽出データ）を抽出する。Ｗｅｂページは、例えば「他のプログラムモジュール」１１８のそれぞれの部分で表されるＷｅｂページ巡回プログラムモジュールによって取り出される。特定のＷｅｂページの各説明文は、例えばタイトル、メタデータ、本文、アンカーテキスト、フォントサイズ、ハイパーリンク、画像、生のＨＴＭＬ（要約、ページレイアウト情報など）などのうちの１つまたは複数を含む。

関連性検証モジュール１１２は、簡単なテキストの前処理を適用して、抽出された特徴／データから言語トークンを生成する（すなわち個々の用語をトークン化する）。トークンの次元数を低減するために、関連性検証モジュール１１２は、任意のストップワードを削除し、共通の接頭語を削除して、例えば既知のＰｏｒｔｅｒステミングアルゴリズムを使用して用語を正規化する。関連性検証モジュール１１２は、結果として得られた抽出された特徴を１つまたは複数の関連性検証（ＲＶ）用語ベクトル（すなわちＲＶベクトル１３４）にまとめる。したがって、各Ｗｅｂは、特徴ベクトルとして表され、その要素は、重み付けｘ_ｉ＝＜ｘ_ｉ１，ｘ_ｉ２．．．ｘ_ｉｎ＞を備える単語である。重み付けｘ_ｉｊは、以下の形式を有する、長さが正規化されたｌｏｇ（ｔｆ）．ｉｄｆによって計算される。

式中、ｄは元の文書、ｔは用語、ｆ_ｄ，ｔはｄ内の用語ｔの出現頻度、ｉｄｆ_ｔは用語ｔの逆文書頻度、ｄｌｂ_ｄはｄ内の一意の用語の数、ａｖｅｆ_ｄはｄ内の用語の出現頻度の平均、およびａｖｅｄｌｂは集合内のｄｌｂ_ｄの平均を表す。

関連性検証モジュール１１２の特徴選択操作は、さらにＲＶベクトル１３４の特徴を低減する（特徴が多すぎると、分類システムの性能および精度を低下させる可能性がある）。この実装形態では、特徴の選択のために情報利得（ＩＧ）選択方法が使用される。用語の情報利得は、次のように、文書内の用語の有無によってカテゴリ予測のために取得される情報のビット数を測定する。

式中、ｔは用語、ｃはカテゴリ、ｍはカテゴリの合計数を表す。相互情報量（ＭＩ）、文書頻度（ＤＦ）、および線形判別分析（ＬＤＡ）など、他の特徴選択方法を使用することもできる。

この実装形態では、関連性検証モジュール１１２の分類器トレーニング操作はＮ−ｇｒａｍ統計モデルベースのナイーブベイズ分類器（Ｎ−Ｇｒａｍ）を使用しているが、他のタイプの分類器を使用することもできる。特に、Ｎ−ｇｒａｍ統計モデルは、ナイーブベイズ分類器とは異なり、単語ストリームに無関係であることを前提としていない。マルコフのＮ−ｇｒａｍの独立性を前提としており、すなわちある単語は、次の式に従って前のｎ−１の単語に依存する。

ｐ（ｗ_ｉ｜ｗ_１，ｗ_２，．．．，ｗ_ｉ−１）＝ｐ（ｗ_ｉ｜ｗ_{ｉ−ｎ＋１}，．．．，ｗ_ｉ−ｌ）
トレーニングコーパスからのこの確率の単純な推測が次の観察された頻度によって得られる。

＃（ｗ_{ｉ−ｎ＋１}，．．．ｗ_ｉ），＃（ｗ_{ｉ−ｎ＋１}，．．．ｗ_ｉ−ｌ）の値のほとんどは、トレーニングデータにおいてゼロである。そのため、任意のデータの過疎性を扱うためにゼロ確率を予測するためのスムージング技術が提案される。バックオフＮ−ｇｒａｍモデルは、次のように、この問題を扱う１つの方法である。

式中、

は条件付き割引確率(discounted conditional probability）であり、β（ｗ_{ｉ−ｎ＋１}，．．．，ｗ_ｉ−ｌ）はｎ−ｇｒａｍを（ｎ−１）−ｇｒａｍにバックオフさせるためのバックオフ係数である。

割引確率を計算するアルゴリズムはいくつかある。この実装形態では、次のように「絶対的スムージング(absolute smoothing)」が使用される。

式中、

は、トレーニングデータ中に正確にｉ回出現する単語の数である。したがって、ＮＢ分類器をＮ−ｇｒａｍ分類器として変更することができる。

この実装形態では、ｎ＝３であり、Ｎ−ｇｒａｍ分類器は３−ｇｒａｍ分類器と呼ばれる。

（類似度測定値の上手な組合せ）
関連性検証モジュール１１２は、結合済み関連性分類器１４４を考慮して複数のＲＶ類似性測定値１４０を評価して信頼度１３８を生成する。信頼度は、入札用語１２２の入札ＵＲＬ１２４のサイトのコンテンツとの客観的関連性を示す。結合済み関連性分類器１４４は、用語／フレーズの拒否／承諾閾値を考慮して、＜用語、Ｗｅｂページ（ＵＲＬ）、承諾／拒否＞の形のデータで、例えばＳＶＭ分類器など、教師有り学習(supervised learning)でトレーニングされる。説明上、用語の拒否／承諾閾値を「他のデータ」１３２のそれぞれの部分として示している。

ＲＶ類似度測定値１４０は、入札入力１２０の特徴ベクトル（すなわち＜用語、ページ＞の対）として扱われる。説明上、特徴ベクトルとしてのＲＶ類似度測定値（ＳＭ）は、ＲＶＳＭ特徴ベクトル１４０として示されている。以下の入札入力１２０およびＲＶ類似度測定値１４０の計算がある。
・ 入札入力１２０：＜用語１２２、ＵＲＬ１２４＞
・ 用語１２２、ＵＲＬ１２４のコンテンツベースのＲＶ類似度測定値１４０。Ｓｉｍ（用語１２２、ＵＲＬ１２４）として表される
・ 拡張されたコンテンツベースのＲＶ類似度測定値１４０−Ｅｘ＿Ｓｉｍ（拡張用語１２６、ＵＲＬ１２４）
・ 類似性分類器１４２ベースのＲＶ類似度測定値１４０−Ｃａｔｅ＿Ｓｉｍ（拡張用語１２６のカテゴリ、ＵＲＬのカテゴリ）
・ 適切な名前ベースのＲＶ類似度測定値１４０−Ｐｒｏｐｅｒ＿Ｓｉｍ（適切な名前、用語１２２、ＵＲＬ１２４）
関連性検証モジュール１１２は、＜用語、クエリ＞のＲＶＳＭ特徴ベクトル１４０を結合済み関連性分類器１４４に適用して、関連性の拒否／承諾閾値を考慮して複数のＲＶ類似度１４０をマッピングして、それぞれのＲＶ類似度タイプの重み（すなわちコンテンツ、拡張されたカテゴリ、および適切な名前の類似度測定値タイプ）、および最終的な信頼度１３８を計算する。

（ＦＯＯが低い用語の分類）
設定可能な閾値を考慮して、信頼度１３８がＵＲＬ１２４のサイトのコンテンツとは無関係なものとして用語１２２を拒否すべきであることを示した場合、分類モジュール１１４は、エンドユーザがＵＲＬ１２４のサイトのコンテンツを考慮して評価できるように、出現頻度（ＦＯＯ）が低いクエリ用語に基づいて提案用語リスト１２６を生成する。この実装形態では、提案用語リスト１２６は、評価するためにエンドユーザに伝えられるメッセージ１４６として示される。特に、分類モジュール１１４は、上述したように、出現頻度（ＦＯＯ）が高いクエリログ用語から生成された用語クラスタ１３６からのＳＴＳ分類器１４８を使用する。分類モジュール１１４は、ＳＴＳ分類器１４８を使用して、それぞれの用語のコンテンツに応じて、高ＦＯＯベースの用語クラスタ１３６を１つまたは複数のＳＴＳカテゴリ（「他のデータ」１３２参照）にグループ化する。用語クラスタ１３６は、分類操作に適したベクトル空間モデルにすでにある。さらに、ストップワードの削除およびワードステミング（接頭語の削除）によって、用語クラスタ１３６のコンテンツの次元数がすでに低減されている。一実装形態では、追加の次元数の低減技術、例えば特徴の選択または再パラメータ化を使用してもよい。

この実装形態では、クラスのわからない用語クラスタ１３６を分類するために、分類モジュール１１４は、ｋ最近傍法分類器アルゴリズムを使用して、用語ベクトル間のクラスのわからないクラスタの近傍データをランク付けし、ｋ個の最も類似の近傍データのクラスラベルを使用して、クラスのわからない用語のクラスを予想する。これらの近傍データのクラスに、Ｘへの各近傍データの類似性を使用して重みが付けられる。この場合、類似性は、２つの文書ベクトル間のユークリッド距離または余弦値によって測定される。余弦類似度は次の通りである。

式中、Ｘはベクトルで表されるテスト文書、Ｄ_ｊはｊ番目のトレーニング文書、ｔ_ｉはＸおよびＤ_ｊによって共有される単語、ｘ_ｉはＸ内の用語ｔ_ｉの重み、ｄ_ｉｊは文書内の用語ｔ_ｉの重み、

はＸの平均、および‖Ｄ_ｊ‖_２はＤ_ｊの平均である。カットオフ閾値は、新しい文書を既知のクラスに割り当てるために使用される。

別の実装形態では、最近傍法分類技術以外の異なる統計分類および機械学習技術（例えば回帰モデル、ベイズ分類器、決定ツリー、ニューラルネットワーク、およびサポートベクトルマシンなどを含む）を使用してトレーニングされたＳＴＳ分類器を生成する。

分類モジュール１１４は、出現頻度（ＦＯＯ）が低いクエリ用語（「他のデータ」１３２の高い／低いクエリ用語部分を参照）を１つずつ検索エンジン１０６に提示する。検索エンジンに提示されたクエリごとの対応する検索結果の受信に応答して、上述した技術を使用して、分類モジュール１１４は、検索結果で識別された１つまたは複数の取り出されたＷｅｂページのそれぞれから説明文等の特徴を抽出する。この実装形態では、特徴は、最上位にランク付けされたＷｅｂページから抽出される。抽出されたこうした特徴は、「他のデータ」１３２のそれぞれの部分に表される。別の実装形態では、特徴は、上位にランク付けされた複数のＷｅｂページから抽出される。取り出され、構文解析されたＷｅｂページごとに、分類モジュール１１４は、抽出された特徴のそれぞれのレコードに、説明文、取り出されたＷｅｂページの取得に使用した検索クエリ、および取り出されたＷｅｂページのユニバーサルリソース識別子（ＵＲＩ）の情報を格納する。次に、分類モジュール１１４は、次元数をトークン化し、低減し、ＦＯＯが低いクエリ用語から導出された抽出された特徴１３８を正規化して、別の組の用語ベクトル（すなわちＳＴＳベクトル１３４）を生成する。

分類１１４は、ＳＴＳベクトル１３４内の用語をそれぞれの組の用語クラスタ１３６にクラスタ化する。これらは、ＦＯＯが低いクエリ用語に基づいてクラスタ化される。このクラスタ化操作は、上述したように、ＦＯＯが高いクエリ用語から生成されたトレーニングされたＳＴＳ分類器１４８を使用して実行される。分類モジュール１１４は、これらの用語クラスタを考慮して用語を評価して、これらの他の用語を含む提案用語リスト１２６を識別し、エンドユーザに戻す。

（用語の照合例）
設定可能な閾値を考慮して、信頼度１３８がＵＲＬ１２４のサイトのコンテンツとは無関係なものとして用語１２２を承諾すべきであることを示した場合、入札入力１２０は、エンドユーザから受信したその後のクエリ１５２の解決用に入札データベース１５０に格納される。例えば、Ｗｅｂページを検索しているエンドユーザからのクエリ１５２の受信に応答して、用語照合モジュール１１６は、クエリ１５２の用語と入札データベース１５０からの用語との間の距離を編集して、クエリ１５２の用語の入札用語１２２との関連を決定する。特に、用語照合モジュール１１６は、関連性を次のように決定する。

式中、ｆＣｏｍｍｏｎは共通の用語の数、ｆＤｉｓｔａｎｃｅは入札用語１２２がクエリ１５２の用語と交換された回数を表す。

（手順例）
図２は、用語とＷｅｂサイトのコンテンツとの間の関連性を検証する手順例２００を示している。説明上、手順の操作は、図１の構成要素と関連して説明する（参照番号はすべて、構成要素が最初に導入された図面の数字で始まる）。ブロック２０２で、検索用語提案モジュール１１０は、検索エンジン１０６の検索結果から第１の組の用語クラスタ１３６を生成する。説明上、こうした検索結果を「他のデータ」１３２のそれぞれの部分として示す。検索結果を取得するために、検索用語提案モジュール１１０は、クエリログ１３０からマイニングされた出現頻度が高い履歴クエリを伝える。用語クラスタ１３６は、検索用語提案モジュール１１０によって、提示された出現頻度が高い履歴クエリに意味上および／またはコンテキスト上関連すると決定された説明文、対応する検索クエリ、Ｗｅｂページを含む。

ブロック２０４で、編集検証サーバ１０２が用語１２２およびＵＲＬ１２４を含む入札入力１２０を受信することに応答して、検索用語提案モジュール１１０は、出現頻度が高い履歴クエリから生成された用語クラスタ１３６から拡張用語を識別する。こうした拡張用語は、用語１２２および／または入札ＵＲＬ１２４のサイトのコンテンツに意味上および／またはコンテキスト上関連する用語を含む。拡張用語を図１の提案用語リスト１２６として示している。ブロック２０６で、関連性検証モジュール１１２は、入札用語１２２、入札ＵＲＬ１２４、提案用語リスト１２６の拡張用語、トレーニングされた類似性分類器１４２、および／または適切な名前のデータベースの組合せからそれぞれコンテンツの類似度、拡張の類似度、分類の類似度、および適切な名前の類似度（すなわちＲＶ類似度測定値１４０）を計算する。ブロック２０８で、関連性検証モジュール１１２は、トレーニングされた結合済み関連性分類器１４４および承諾／拒否閾値（「他データ」１３２参照）を考慮して、ＲＶ類似度測定値１４０を結合して信頼度１３８を取得する。信頼度１３８は、入札用語１２２と入札ＵＲＬ１２４との間の関連性の客観的測定値を提供する。

ブロック２１０で、関連性検証モジュール１１２は、承諾／拒否閾値を考慮して信頼度１３８が低すぎるかどうかを決定する。そうである場合、手順はブロック２１２に進む。ブロック２１２で、分類モジュール１１４は、ＦＯＯが低い履歴クエリに対する検索エンジン１０６の結果に基づいた第２の組の用語クラスタ１３６、および第１の組の用語クラスタ１３６に対してトレーニングされた分類器から提案用語リスト１２６を生成する。提案用語リスト１２６の用語は、分類モジュール１１４によって、入札ＵＲＬ１２４に関連付けられたサイトのコンテンツと意味上および／またはコンテキスト上類似していると決定される。説明上、分類器をＳＴＳ分類器１４８として示している。この例では、提案用語リスト１２６は、評価するためにエンドユーザに伝えられるメッセージ１４６として示される。

ブロック２０８で、関連性検証モジュール１１２が信頼度１３８は承諾可能である（承諾／拒否閾値を考慮して低すぎない）と決定した場合、ページ上の参照「Ａ」によって示すように、手順は図３のブロック３０２に進む。

図３は、用語とＷｅｂサイトのコンテンツとの間の関連性を検証する手順例３００を示している。特に、図３は図２の操作例の続きである。ブロック３０２で、関連性検証モジュール１１２は、入札用語１２２および入札ＵＲＬ１２４を入札データベース１５０に格納／キャッシュする。ブロック３０４で、任意のエンドユーザクエリ１５２の編集検証サーバ１０２による受信に応答して、用語照合モジュール１１６は、クエリ用語が入札用語１２２に正確には一致しない確率を考慮して、検索クエリ１５２の用語が入札データベース１５０に格納されている用語１２２に関連しているかどうかを決定する。ブロック３０６で、クエリ１５２の用語が入札用語１２２に関連していることが決定されると、編集検証サーバ１０２は、対応する入札ＵＲＬ１２４を検索結果としてエンドユーザに伝える。

（動作環境例）
図４は、用語とＷｅｂサイトのコンテンツとの間の関連性を検証するための図１のシステム１００および図２および図３の方法を完全にまたは部分的に実施するのに適したコンピューティング環境例４００を示している。コンピューティング環境例４００は、適したコンピューティング環境の一例にすぎず、本明細書に記載したシステムおよび方法の使用または機能の範囲に関する限定を示唆するものではない。また、コンピューティング環境４００を、コンピューティング環境４００に示した構成要素のいずれか１つ、またはその組合せに関連する依存性または必要条件を有しているものと解釈すべきではない。

本明細書に記載した方法およびシステムは、他の多くの汎用または専用コンピューティングシステム環境または構成で動作可能である。本発明との使用に適したよく知られているコンピューティングシステム、環境、および／または構成の例には、それだけには限定されないが、パーソナルコンピュータ、サーバコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースのシステム、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記の任意のシステムまたはデバイスを含む分散コンピューティング環境などがある。フレームワークのコンパクトまたはサブセットバージョンは、ハンドヘルドコンピュータや他のコンピューティングデバイスなど、限定されたリソースのクライアントにおいても実装できる。本発明は、タスクが通信ネットワークによってリンクされているリモート処理デバイスによって実行される分散コンピューティング環境で実施される。分散コンピューティング環境では、プログラムモジュールを、ローカルおよびリモートのメモリ記憶デバイスに置くことができる。

図４を参照すると、用語とＷｅｂサイトのコンテンツとの間の関連性を検証するシステムの例は、汎用コンピューティングデバイスをコンピュータ４１０の形で含んでいる。コンピュータ４１０の以下に記載した態様は、クライアントコンピューティングデバイスＰＳＳサーバ１０２（図１）および／またはクライアントコンピューティングデバイス１０６の実装例である。コンピュータ４１０の構成要素は、それだけには限定されないが、処理ユニット４２０、システムメモリ４３０、およびシステムメモリを含む様々なシステム構成要素を処理ユニット４２０に結合するシステムバス４２１を含み得る。システムバス４２１は、様々なバスアーキテクチャのうちの任意のものを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のうちどんなものでもよい。こうしたアーキテクチャには、それだけには限定されないが一例として、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ電子装置規格化協会（ＶＥＳＡ）ローカルバス、およびメザニンバスとしても知られている周辺部品相互接続（ＰＣＩ）バスなどがある。

コンピュータ４１０は、一般に様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ４１０からアクセスできる使用可能な任意の媒体とすることができ、揮発性および不揮発性の媒体、取外式および固定式の媒体を含む。コンピュータ可読媒体は、それだけには限定されないが一例として、コンピュータ記憶媒体および通信媒体を含み得る。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、他のデータなど、情報を格納するための任意の方法または技術で実施される揮発性および不揮発性の取外式および固定式媒体がある。コンピュータ記憶媒体には、それだけには限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光ディスク記憶デバイス、磁気カセット、磁気テープ、磁気ディスク記憶デバイスまたは他の磁気記憶デバイス、または所望の情報の格納に使用でき、コンピュータ４１０からアクセスできる他の任意の媒体などがある。

通信媒体は一般に、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを搬送波または他の移送機構などの変調されたデータ信号に組み込む。これには任意の情報配送媒体がある。「変調されたデータ信号」という用語は、信号に情報を符号化するように１つまたは複数のその特性が設定または変更された信号を意味する。通信媒体には、それだけには限定されないが一例として、有線ネットワーク、直接配線された接続などの有線媒体、および音響、ＲＦ、赤外線、その他の無線媒体などの無線媒体がある。また、上記のどんな組合せでもコンピュータ可読媒体の範囲内に含まれるものとする。

システムメモリ４３０は、読み取り専用メモリ（ＲＯＭ）４３１やランダムアクセスメモリ（ＲＡＭ）４３２など、揮発性および／または不揮発性メモリの形のコンピュータ記憶媒体を含む。基本入出力システム４３３（ＢＩＯＳ）は、例えば起動中など、コンピュータ４１０内の要素間での情報の転送を助ける基本ルーチンを含み、一般にＲＯＭ４３１に格納されている。ＲＡＭ４３２は一般に、処理ユニット４２０から直接アクセス可能な、かつ／または処理ユニット４２０が現在処理しているデータおよび／またはプログラムモジュールを含む。図４は、それだけには限定されないが一例として、オペレーティングシステム４３４、アプリケーションプログラム４３５、他のプログラムモジュール４３６、およびプログラムデータ４３７を示している。一実装形態では、アプリケーションプログラム４３５は、図１のプログラムモジュール１０８を含む。この同じシナリオでは、プログラムデータ４３７は、図１のプログラムデータ１２８を含む。

コンピュータ４１０は、他の取外式／固定式、揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。一例にすぎないが、図４は、固定式不揮発性磁気媒体から読み取り、あるいはそこに書き込むハードディスクドライブ４４１、取外式不揮発性磁気ディスク４５２から読み取り、あるいはそこに書き込む磁気ディスクドライブ４５１、およびＣＤ−ＲＯＭや他の光媒体など、取外式不揮発性光ディスク４５６から読み取り、あるいはそこに書き込む光ディスクドライブ４５５を示している。動作環境の例で使用できる他の取外式／固定式、揮発性／不揮発性コンピュータ記憶媒体には、それだけには限定されないが、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、半導体ＲＡＭ、半導体ＲＯＭなどがある。ハードディスクドライブ４４１は一般に、インターフェース４４０などの固定式メモリインターフェースを介してシステムバス４２１に接続され、磁気ディスクドライブ４５１および光ディスクドライブ４５５は一般に、インターフェース４５０などの取外式メモリインターフェースによってシステムバス４２１に接続される。

上述し、図４に示したドライブおよびその関連のコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータ４１０の他のデータの記憶域を提供する。図４では例えば、ハードディスクドライブ４４１は、オペレーティングシステム４４４、アプリケーションプログラム４４５、他のプログラムモジュール４４６、およびプログラムデータ４４７を記憶するものとして示されている。これらの構成要素は、オペレーティングシステム４３４、アプリケーションプログラム４３５、他のプログラムモジュール４３６、およびプログラムデータ４３７と同じであっても、異なっていてもよいことに留意されたい。オペレーティングシステム４４４、アプリケーションプログラム４４５、他のプログラムモジュール４４６、およびプログラムデータ４４７は少なくとも異なるコピーであることを示すために、ここではそれらに異なる番号を付している。

ユーザは、キーボード４６２、および一般にマウス、トラックボール、またはタッチパッドと呼ばれるポインティングデバイス４６１などの入力デバイスを介してコマンドおよび情報をコンピュータ４１０に入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナなどがある。これらおよび他の入力デバイスは、しばしばシステムバス４２０に結合されているユーザ入力インターフェース４６０を介して処理ユニット４２１に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）など他のインターフェースおよびバス構造で接続してもよい。

モニタ４９１または他のタイプの表示デバイスもまた、ビデオインターフェース４９０などのインターフェースを介してシステムバス４２１に接続される。モニタに加えて、コンピュータは、出力周辺インターフェース４９５を介して接続できるスピーカ４９７、プリンタ４９６などの他の周辺出力デバイスを含むこともできる。

コンピュータ４１０は、リモートコンピュータ４８０など１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク式環境で動作する。リモートコンピュータ４８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般のネットワークノードでよく、その特定の実装に応じて、コンピュータ４１０に関連して上述した多くまたはすべての要素を含むが、図４にはメモリ記憶デバイス４８１のみを示している。図４に示した論理接続は、ローカルエリアネットワーク（ＬＡＮ）４７１および広域ネットワーク（ＷＡＮ）４７３を含むが、他のネットワークを含んでいてもよい。こうしたネットワーキング環境は、オフィス、全社規模のコンピュータネットワーク、イントラネット、およびインターネットではごく一般的である。

ＬＡＮネットワーキング環境で使用する場合、コンピュータ４１０は、ネットワークインターフェースまたはアダプタ４７１を介してＬＡＮ４７０に接続される。ＷＡＮネットワーキング環境で使用する場合、コンピュータ４１０は一般に、モデム４７２、またはインターネットなどＷＡＮ４７３を介して通信を確立する他の手段を含む。モデム４７２は、内蔵のものでも外付けのものでもよく、ユーザ入力インターフェース４６０または他の適切な機構を介してシステムバス４２１に接続することができる。ネットワーク式環境では、コンピュータ４１０に関連して示したプログラムモジュール、またはその一部をリモートメモリ記憶デバイスに格納することができる。図４は、それだけには限定されないが一例として、リモートアプリケーションプログラム４８５をメモリデバイス４８１上に存在するものとして示している。図示したネットワーク接続は例であり、コンピュータ間の通信リンクを確立する他の手段を使用してもよい。

（結言）
用語とＷｅｂサイトのコンテンツとの間の関連性を検証するシステムおよび方法について、構造的な特徴および／または方法の操作または動作に限定した言葉で説明してきたが、添付の特許請求の範囲で定義した実装は、記載した特定の特徴または動作に必ずしも限定されるものではないことを理解されたい。したがって、特定の特徴および動作は、請求した主題を実施する形式例として開示される。

用語とＷｅｂサイトのコンテンツとの間の関連性を検証するシステム例を示す図である。 用語とＷｅｂサイトのコンテンツとの間の関連性を検証する手順例を示す図である。 用語とＷｅｂサイトのコンテンツとの間の関連性を検証する手順例を示す図である。特に図３は、図２の操作例の続きを示す。 用語とＷｅｂサイトのコンテンツとの間の関連性を検証する上記のシステム、デバイス、および方法を完全にまたは部分的に実装するのに適したコンピューティング環境例を示す図である。

符号の説明

１０２ 編集検証サーバ
１０６ 検索エンジン
１０８ プログラムモジュール
１１０ 検索用語提案
１１２ 関連性検証
１１４ 分類モジュール
１１６ 用語照合
１１８ 他のプログラムモジュール
１２０ 入札入力
１２２ 用語
１２６ 提案用語リスト
１２８ プログラムデータ
１３０ クエリログ
１３２ 他のデータ
１３４ 用語ベクトル（ＳＴＳベクトルおよびＲＶベクトル）
１３６ 用語クラスタ（高／低ＦＯＯベースのクラスタ）
１３８ 信頼度
１４０ ＲＶ類似度測定値およびＲＶＳＭ特徴ベクトル
１４２ 類似性分類器
１４４ 結合済み関連性分類器
１４８ ＳＴＳ分類器
１５０ 入札データベース
１５２ クエリ
４２０ 処理ユニット
４２１ システムバス
４３０ システムメモリ
４３４ オペレーティングシステム
４３５ アプリケーションプログラム
４３６ 他のプログラムモジュール
４３７ プログラムデータ
４４０ 固定式不揮発性インターフェース
４４４ オペレーティングシステム
４４５ アプリケーションプログラム
４４６ 他のプログラムモジュール
４４７ プログラムデータ
４５０ 取外式不揮発性インターフェース
４６０ ユーザ入力インターフェース
４６１ マウス
４６２ キーボード
４７０ ネットワークインターフェース
４７１ ローカルエリアネットワーク
４７２ モデム
４７３ 広域ネットワーク
４８０ リモートコンピュータ
４８５ リモートアプリケーションプログラム
４９０ ビデオインターフェース
４９１ モニタ
４９４ 入力周辺インターフェース
４９５ 出力周辺インターフェース
４９６ プリンタ
４９７ スピーカ

Claims (45)

1. 用語とＷｅｂサイトのコンテンツとの間の関連性を検証する方法であって、
   入札ＵＲＬからサイトのコンテンツを取り出すステップと、
   入札用語に意味上および／またはコンテキスト上関連する拡張用語を構築するステップと、
   前記入札用語、前記サイトのコンテンツ、および前記拡張用語のそれぞれの組合せからコンテンツの類似度測定値および拡張の類似度測定値を生成するステップであって、前記類似度測定値は前記入札用語、サイトのコンテンツ、および／または拡張用語のそれぞれのものの間の関連性を示すステップと、
   類似性分類器を考慮して前記拡張用語と前記サイトのコンテンツとの間のカテゴリの類似度測定値を計算するステップであって、前記類似性分類器は、ディレクトリデータに関連付けられたマイニングされたＷｅｂサイトのコンテンツからトレーニングされているステップと、
   複数の類似度測定値のうちの結合されたものから信頼度を計算するステップであって、前記結合されたものはコンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値を含み、前記信頼度は前記入札用語と前記サイトのコンテンツとの間の関連性の客観的測定値を提供するステップと
   を含むことを特徴とする方法。
2. 前記類似性分類器は、Ｎ−ｇｒａｍ統計ベースのナイーブベイズ（Ｎ−Ｇｒａｍ）、ナイーブベイズ（ＮＢ）、サポートベクトルマシン（ＳＶＭ）、最近傍法（ＫＮＮ）、決定ツリー、ｃｏ−ｔｒａｉｎｉｎｇ、またはブースト分類モデルに基づくことを特徴とする請求項１に記載の方法。
3. 前記拡張用語を構築するステップは、計算された用語の類似性に基づいて用語ベクトルから用語クラスタを生成するステップであって、前記用語ベクトルは履歴クエリから生成され、各履歴クエリは高い出現頻度を有し、前記用語クラスタは前記拡張用語を含むステップをさらに含むことを特徴とする請求項１に記載の方法。
4. 前記コンテンツの類似度測定値を生成するステップは、前記入札用語および前記サイトのコンテンツからそれぞれの用語ベクトルを生成するステップと、前記それぞれの用語ベクトル間の類似性を計算して前記入札用語と前記サイトのコンテンツとの間の直接の類似性を決定するステップとをさらに含むことを特徴とする請求項１に記載の方法。
5. 前記拡張の類似度測定値を生成するステップは、
   前記入札用語、前記サイトのコンテンツ、および前記拡張用語からそれぞれの用語ベクトルを生成するステップと、
   前記それぞれの用語ベクトル間の類似性を計算して、前記入札用語と前記サイトのコンテンツとの間の前記拡張の類似度測定値を決定するステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
6. 前記カテゴリの類似度測定値を生成するステップは、
   前記ディレクトリデータに関連付けられているＷｅｂサイトのコンテンツから特徴を抽出するステップであって、前記特徴は、タイトル、メタデータ、本文、ハイパーテキストリンク、視覚的特徴、および／またはページレイアウト分析情報による要約の組合せを含むステップと、
   特徴の選択を介して前記特徴の次元数を低減するステップと、
   分類器モデルを介して前記特徴をカテゴリ化して前記類似性分類器を生成するステップと、
   前記入札用語、前記サイトのコンテンツ、および前記拡張用語からそれぞれの用語ベクトルを生成するステップと、
   前記類似性分類器に応じて前記それぞれの用語ベクトル間の類似性を計算して、前記カテゴリの類似度測定値を決定するステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
7. 前記信頼度を計算するステップは、
   承諾／拒否閾値を考慮して、＜用語、Ｗｅｂサイトのコンテンツ、承諾／拒否＞の形のデータで結合済み関連性分類器をトレーニングするステップと、
   前記コンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値から関連性検証の類似度測定値（ＲＳＶＭ）の特徴ベクトルを生成するステップと、
   前記結合済み関連性分類器を介して前記ＲＳＶＭ特徴ベクトルから前記信頼度に複数のスコアをマッピングするステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
8. 前記方法は、
   前記入札用語および入札ＵＲＬを入札データベースにキャッシュするステップと、
   検索クエリの受信に応答して、前記検索クエリの用語が前記入札用語に正確には一致していない確率を考慮して、前記検索クエリの前記用語が前記入札用語に関連しているかどうかを決定するステップと、
   検索クエリの前記用語が前記入札用語に関連していると決定されると、前記入札ＵＲＬを前記エンドユーザに伝えるステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
9. 前記方法は、
   前記入札用語およびサイトのコンテンツから適切な名前の類似度測定値を決定するステップであって、前記適切な名前の類似度測定値は、１組の適切な名前を考慮して前記入札用語で検出された任意の適切な名前と前記サイトのコンテンツとの間の関連を示すステップ
   をさらに含み、複数の類似度測定値のうちの前記結合したものは前記適切な名前の類似度測定値を含む
   ことを特徴とする請求項１に記載の方法。
10. 前記適切な名前の類似度測定値を決定するステップは、
    前記入札用語および／または前記サイトのコンテンツでの適切な名前の検出に応答して、
    Ｐｒｏｐ＿Ｓｉｍ（用語、サイトのコンテンツ）
    の適切な名前の類似度スコアを算出するステップ
    をさらに含み、Ｐｒｏｐ＿Ｓｉｍ（用語、サイトのコンテンツ）は、用語が適切な名前Ｐを含み、サイトのコンテンツが適合する適切な名前Ｑを含む場合は１、用語が適切な名前Ｐを含み、サイトのコンテンツが適合しない適切な名前のみを含む場合は０、そうでない場合は０．５に等しい
    ことを特徴とする請求項９に記載の方法。
11. 前記方法は、
    前記信頼度は相対的に低いと決定するステップと、
    前記決定に応答して、前記入札ＵＲＬに意味上および／またはコンテキスト上関連する１つまたは複数の他の用語を識別するステップと
    をさらに含むことを特徴とする請求項１に記載の方法。
12. 識別するステップは、
    計算された用語の類似性に基づいて用語ベクトルから１組の用語クラスタを生成するステップであって、前記用語ベクトルは提示された履歴クエリの検索エンジン結果から生成され、各履歴クエリはクエリログ内の他のクエリ用語に比べて相対的に低い出現頻度を有するステップと、
    前記用語クラスタによって指定された用語を考慮して前記サイトのコンテンツを評価して意味上および／またはコンテキスト上関連する１つまたは複数の用語を識別するステップであって、前記用語は前記１つまたは複数の他の用語であるステップと
    をさらに含むことを特徴とする請求項１１に記載の方法。
13. 用語とＷｅｂサイトのコンテンツとの間の関連性を検証するコンピュータ実行可能命令を含むコンピュータ可読媒体であって、前記コンピュータ実行可能命令は
    入札ＵＲＬからサイトのコンテンツを取り出す命令と、
    入札用語に意味上および／またはコンテキスト上関連する拡張用語を構築する命令と、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語のそれぞれの組合せからコンテンツの類似度測定値および拡張の類似度測定値を生成する命令であって、前記類似度測定値は前記入札用語、サイトのコンテンツ、および／または拡張用語のそれぞれのものの間の関連性を示す命令と、
    類似性分類器を考慮して前記拡張用語と前記サイトのコンテンツとの間のカテゴリの類似度測定値を計算する命令であって、前記類似性分類器は、ディレクトリデータに関連付けられたマイニングされたＷｅｂサイトのコンテンツからトレーニングされている命令と、
    複数の類似度測定値のうちの結合されたものから信頼度を計算する命令であって、前記結合されたものはコンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値を含み、前記信頼度は前記入札用語と前記サイトのコンテンツとの間の関連性の客観的測定値を提供する命令と
    を含むことを特徴とするコンピュータ可読媒体。
14. 前記類似性分類器は、Ｎ−ｇｒａｍ統計ベースのナイーブベイズ（Ｎ−Ｇｒａｍ）、ナイーブベイズ（ＮＢ）、サポートベクトルマシン（ＳＶＭ）、最近傍法（ＫＮＮ）、決定ツリー、ｃｏ−ｔｒａｉｎｉｎｇ、またはブースト分類モデルに基づくことを特徴とする請求項１３に記載のコンピュータ可読媒体。
15. 前記拡張用語を構築する前記コンピュータ実行可能命令は、計算された用語の類似性に基づいて用語ベクトルから用語クラスタを生成する命令であって、前記用語ベクトルは履歴クエリから生成され、各履歴クエリは高い出現頻度を有し、前記用語クラスタは前記拡張用語を含む命令をさらに含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
16. 前記コンテンツの類似度測定値を生成する前記コンピュータ実行可能命令は、前記入札用語および前記サイトのコンテンツからそれぞれの用語ベクトルを生成する命令、および前記それぞれの用語ベクトル間の類似性を計算して前記入札用語と前記サイトのコンテンツとの間の直接の類似性を決定する命令をさらに含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
17. 前記拡張の類似度測定値を生成する前記コンピュータ実行可能命令は、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語からそれぞれの用語ベクトルを生成する命令と、
    前記それぞれの用語ベクトル間の類似性を計算して、前記入札用語と前記サイトのコンテンツとの間の前記拡張の類似度測定値を決定する命令と
    をさらに含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
18. 前記カテゴリの類似度測定値を生成する前記コンピュータ実行可能命令は、
    前記ディレクトリデータに関連付けられているＷｅｂサイトのコンテンツから特徴を抽出する命令であって、前記特徴は、タイトル、メタデータ、本文、ハイパーテキストリンク、視覚的特徴、および／またはページレイアウト分析情報による要約の組合せを含む命令と、
    特徴の選択を介して前記特徴の次元数を低減する命令と、
    分類器モデルを介して前記特徴をカテゴリ化して前記類似性分類器を生成する命令と、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語からそれぞれの用語ベクトルを生成する命令と、
    前記類似性分類器に応じて前記それぞれの用語ベクトル間の類似性を計算して、前記カテゴリの類似度測定値を決定する命令と
    をさらに含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
19. 前記信頼度を計算する前記コンピュータ実行可能命令は、
    承諾／拒否閾値を考慮して、＜用語、Ｗｅｂサイトのコンテンツ、承諾／拒否＞の形のデータで結合済み関連性分類器をトレーニングする命令と、
    前記コンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値から関連性検証の類似度測定値（ＲＳＶＭ）の特徴ベクトルを生成する命令と、
    前記結合済み関連性分類器を介して前記ＲＳＶＭ特徴ベクトルから前記信頼度に複数のスコアをマッピングする命令と
    をさらに含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
20. 前記コンピュータ実行可能命令は、
    前記入札用語および入札ＵＲＬを入札データベースにキャッシュする命令と、
    検索クエリの受信に応答して、前記検索クエリの用語が前記入札用語に正確には一致していない確率を考慮して、前記検索クエリの前記用語が前記入札用語に関連しているかどうかを決定する命令と、
    検索クエリの前記用語が前記入札用語に関連していると決定されると、前記入札ＵＲＬを前記エンドユーザに伝える命令と
    をさらに含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
21. 前記コンピュータ実行可能命令は、
    前記入札用語およびサイトのコンテンツから適切な名前の類似度測定値を決定する命令であって、前記適切な名前の類似度測定値は、１組の適切な名前を考慮して前記入札用語で検出された任意の適切な名前と前記サイトのコンテンツとの間の関連を示す命令
    をさらに含み、複数の類似度測定値のうちの前記結合したものは前記適切な名前の類似度測定値を含む
    ことを特徴とする請求項１３に記載のコンピュータ可読媒体。
22. 前記適切な名前の類似度測定値を決定する前記コンピュータ実行可能命令は、
    前記入札用語および／または前記サイトのコンテンツでの適切な名前の検出に応答して、
    Ｐｒｏｐ＿Ｓｉｍ（用語、サイトのコンテンツ）
    の適切な名前の類似度スコアを算出する命令
    をさらに含み、Ｐｒｏｐ＿Ｓｉｍ（用語、サイトのコンテンツ）は、用語が適切な名前Ｐを含み、サイトのコンテンツが適合する適切な名前Ｑを含む場合は１、用語が適切な名前Ｐを含み、サイトのコンテンツが適合しない適切な名前のみを含む場合は０、そうでない場合は０．５に等しい
    ことを特徴とする請求項２１に記載のコンピュータ可読媒体。
23. 前記コンピュータ実行可能命令は、
    前記信頼度は相対的に低いと決定する命令と、
    前記決定に応答して、前記入札ＵＲＬに意味上および／またはコンテキスト上関連する１つまたは複数の他の用語を識別する命令と
    をさらに含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
24. 識別する前記コンピュータ実行可能命令は、
    計算された用語の類似性に基づいて用語ベクトルから１組の用語クラスタを生成する命令であって、前記用語ベクトルは提示された履歴クエリの検索エンジン結果から生成され、各履歴クエリはクエリログ内の他のクエリ用語に比べて相対的に低い出現頻度を有する命令と、
    前記用語クラスタによって指定された用語を考慮して前記サイトのコンテンツを評価して意味上および／またはコンテキスト上関連する１つまたは複数の用語を識別する命令であって、前記用語は前記１つまたは複数の他の用語である命令と
    をさらに含むことを特徴とする請求項２３に記載のコンピュータ可読媒体。
25. 用語とＷｅｂサイトのコンテンツとの間の関連性を検証するコンピューティングデバイスであって、
    プロセッサと、
    入札ＵＲＬからサイトのコンテンツを取り出す命令と、
    入札用語に意味上および／またはコンテキスト上関連する拡張用語を構築する命令と、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語のそれぞれの組合せからコンテンツの類似度測定値および拡張の類似度測定値を生成する命令であって、前記類似度測定値は前記入札用語、サイトのコンテンツ、および／または拡張用語のそれぞれのものの間の関連性を示す命令と、
    類似性分類器を考慮して前記拡張用語と前記サイトのコンテンツとの間のカテゴリの類似度測定値を計算する命令であって、前記類似性分類器は、ディレクトリデータに関連付けられたマイニングされたＷｅｂサイトのコンテンツからトレーニングされている命令と、
    複数の類似度測定値のうちの結合されたものから信頼度を計算する命令であって、前記結合されたものはコンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値を含み、前記信頼度は前記入札用語と前記サイトのコンテンツとの間の関連性の客観的測定値を提供する命令と
    を前記プロセッサによって実行可能なコンピュータプログラム命令を含む、前記プロセッサに結合されるメモリと
    を含むことを特徴とするコンピューティングデバイス。
26. 前記類似性分類器は、Ｎ−ｇｒａｍ統計ベースのナイーブベイズ（Ｎ−Ｇｒａｍ）、ナイーブベイズ（ＮＢ）、サポートベクトルマシン（ＳＶＭ）、最近傍法（ＫＮＮ）、決定ツリー、ｃｏ−ｔｒａｉｎｉｎｇ、またはブースト分類モデルに基づくことを特徴とする請求項２５に記載のコンピューティングデバイス。
27. 前記拡張用語を構築する前記コンピュータ実行可能命令は、計算された用語の類似性に基づいて用語ベクトルから用語クラスタを生成する命令であって、前記用語ベクトルは履歴クエリから生成され、各履歴クエリは高い出現頻度を有し、前記用語クラスタは前記拡張用語を含む命令をさらに含むことを特徴とする請求項２５に記載のコンピューティングデバイス。
28. 前記コンテンツの類似度測定値を生成する前記コンピュータ実行可能命令は、前記入札用語および前記サイトのコンテンツからそれぞれの用語ベクトルを生成する命令、および前記それぞれの用語ベクトル間の類似性を計算して前記入札用語と前記サイトのコンテンツとの間の直接の類似性を決定する命令をさらに含むことを特徴とする請求項２５に記載のコンピューティングデバイス。
29. 前記拡張の類似度測定値を生成する前記コンピュータ実行可能命令は、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語からそれぞれの用語ベクトルを生成する命令と、
    前記それぞれの用語ベクトル間の類似性を計算して、前記入札用語と前記サイトのコンテンツとの間の前記拡張の類似度測定値を決定する命令と
    をさらに含むことを特徴とする請求項２５に記載のコンピューティングデバイス。
30. 前記カテゴリの類似度測定値を生成する前記コンピュータ実行可能命令は、
    前記ディレクトリデータに関連付けられているＷｅｂサイトのコンテンツから特徴を抽出する命令であって、前記特徴は、タイトル、メタデータ、本文、ハイパーテキストリンク、視覚的特徴、および／またはページレイアウト分析情報による要約の組合せを含む命令と、
    特徴の選択を介して前記特徴の次元数を低減する命令と、
    分類器モデルを介して前記特徴をカテゴリ化して前記類似性分類器を生成する命令と、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語からそれぞれの用語ベクトルを生成する命令と、
    前記類似性分類器に応じて前記それぞれの用語ベクトル間の類似性を計算して、前記カテゴリの類似度測定値を決定する命令と
    をさらに含むことを特徴とする請求項２５に記載のコンピューティングデバイス。
31. 前記信頼度を計算する前記コンピュータ実行可能命令は、
    承諾／拒否閾値を考慮して、＜用語、Ｗｅｂサイトのコンテンツ、承諾／拒否＞の形のデータで結合済み関連性分類器をトレーニングするステップと、
    前記コンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値から関連性検証の類似度測定値（ＲＳＶＭ）の特徴ベクトルを生成する命令と、
    前記結合済み関連性分類器を介して前記ＲＳＶＭ特徴ベクトルから前記信頼度に複数のスコアをマッピングする命令と
    をさらに含むことを特徴とする請求項２５に記載のコンピューティングデバイス。
32. 前記コンピュータ実行可能命令は、
    前記入札用語およびサイトのコンテンツから適切な名前の類似度測定値を決定する命令であって、前記適切な名前の類似度測定値は、１組の適切な名前を考慮して前記入札用語で検出された任意の適切な名前と前記サイトのコンテンツとの間の関連を示す命令
    をさらに含み、複数の類似度測定値のうちの前記結合したものは前記適切な名前の類似度測定値を含む
    ことを特徴とする請求項２５に記載のコンピューティングデバイス。
33. 前記適切な名前の類似度測定値を決定する前記コンピュータ実行可能命令は、
    前記入札用語および／または前記サイトのコンテンツでの適切な名前の検出に応答して、
    Ｐｒｏｐ＿Ｓｉｍ（用語、サイトのコンテンツ）
    の適切な名前の類似度スコアを算出する命令
    をさらに含み、Ｐｒｏｐ＿Ｓｉｍ（用語、サイトのコンテンツ）は、用語が適切な名前Ｐを含み、サイトのコンテンツが適合する適切な名前Ｑを含む場合は１、用語が適切な名前Ｐを含み、サイトのコンテンツが適合しない適切な名前のみを含む場合は０、そうでない場合は０．５に等しい
    ことを特徴とする請求項３２に記載のコンピューティングデバイス。
34. 前記コンピュータ実行可能命令は、
    前記信頼度は相対的に低いと決定する命令と、
    前記決定に応答して、前記入札ＵＲＬに意味上および／またはコンテキスト上関連する１つまたは複数の他の用語を識別する命令と
    をさらに含むことを特徴とする請求項２５に記載のコンピューティングデバイス。
35. 識別する前記コンピュータ実行可能命令は、
    計算された用語の類似性に基づいて用語ベクトルから１組の用語クラスタを生成する命令であって、前記用語ベクトルは提示された履歴クエリの検索エンジン結果から生成され、各履歴クエリはクエリログ内の他のクエリ用語に比べて相対的に低い出現頻度を有する命令と、
    前記用語クラスタによって指定された用語を考慮して前記サイトのコンテンツを評価して意味上および／またはコンテキスト上関連する１つまたは複数の用語を識別する命令であって、前記用語は前記１つまたは複数の他の用語である命令と
    をさらに含むことを特徴とする請求項３４に記載のコンピューティングデバイス。
36. 用語とＷｅｂサイトのコンテンツとの間の関連性を検証するコンピューティングデバイスであって、
    入札ＵＲＬからサイトのコンテンツを取得する取り出し手段と、
    入札用語に意味上および／またはコンテキスト上関連する拡張用語を識別する構築手段と、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語のそれぞれの組合せからコンテンツの類似度測定値および拡張の類似度測定値を作成する生成手段あって、前記類似度測定値は前記入札用語、サイトのコンテンツ、および／または拡張用語のそれぞれのものの間の関連性を示す手段と、
    類似性分類器を考慮して前記拡張用語と前記サイトのコンテンツとの間のカテゴリの類似度測定値を決定する計算手段であって、前記類似性分類器は、ディレクトリデータに関連付けられたマイニングされたＷｅｂサイトのコンテンツからトレーニングされている手段と、
    複数の類似度測定値のうちの結合されたものから信頼度を生成する計算手段であって、前記結合されたものはコンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値を含み、前記信頼度は前記入札用語と前記サイトのコンテンツとの間の関連性の客観的測定値を提供する手段と
    を含むことを特徴とするコンピューティングデバイス。
37. 前記コンピュータ構築手段は、計算された用語の類似性に基づいて用語ベクトルから用語クラスタを作成する生成手段であって、前記用語ベクトルは履歴クエリから生成され、各履歴クエリは高い出現頻度を有し、前記用語クラスタは前記拡張用語を含む手段をさらに含むことを特徴とする請求項３６に記載のコンピューティングデバイス。
38. 前記生成手段は、前記入札用語および前記サイトのコンテンツからそれぞれの用語ベクトルを生成する作成手段と、前記それぞれの用語ベクトル間の類似性を決定して前記入札用語と前記サイトのコンテンツとの間の直接の類似性を決定する計算手段をさらに含むことを特徴とする請求項３６に記載のコンピューティングデバイス。
39. 前記生成手段は、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語からそれぞれの用語ベクトルを生成する作成手段と、
    前記それぞれの用語ベクトル間の類似性を決定して、前記入札用語と前記サイトのコンテンツとの間の前記拡張の類似度測定値を決定する計算手段と
    をさらに含むことを特徴とする請求項３６に記載のコンピューティングデバイス。
40. 前記生成手段は、
    前記ディレクトリデータに関連付けられているＷｅｂサイトのコンテンツから特徴を取得する抽出手段であって、前記特徴は、タイトル、メタデータ、本文、ハイパーテキストリンク、視覚的特徴、および／またはページレイアウト分析情報による要約の組合せを含む手段と、
    特徴の選択を介して前記特徴の次元数を低減する低減手段と、
    分類器モデルを介して前記特徴を整理して前記類似性分類器を生成するカテゴリ化手段と、
    前記入札用語、前記サイトのコンテンツ、および前記拡張用語からそれぞれの用語ベクトルを作成する生成手段と、
    前記類似性分類器に応じて前記それぞれの用語ベクトル間の類似性を識別して、前記カテゴリの類似度測定値を決定する計算手段と
    をさらに含むことを特徴とする請求項３６に記載のコンピューティングデバイス。
41. 前記計算手段は、
    承諾／拒否閾値を考慮して、＜用語、Ｗｅｂサイトのコンテンツ、承諾／拒否＞の形のデータで結合済み関連性分類器をトレーニングするトレーニング手段と、
    前記コンテンツの類似度測定値、拡張の類似度測定値、およびカテゴリの類似度測定値から関連性検証の類似度測定値（ＲＳＶＭ）の特徴ベクトルを生成する生成手段と、
    前記結合済み関連性分類器を介して前記ＲＳＶＭ特徴ベクトルから前記信頼度に複数のスコアを関連付けるマッピング手段と
    をさらに含むことを特徴とする請求項３６に記載のコンピューティングデバイス。
42. 前記コンピューティングデバイスは、
    前記入札用語およびサイトのコンテンツから適切な名前の類似度測定値を決定する決定手段であって、前記適切な名前の類似度測定値は、１組の適切な名前を考慮して前記入札用語で検出された任意の適切な名前と前記サイトのコンテンツとの間の関連を示す手段
    をさらに含み、複数の類似度測定値のうちの前記結合したものは、前記適切な名前の類似度測定値を含む
    ことを特徴とする請求項３６に記載のコンピューティングデバイス。
43. 前記適切な名前の類似度測定値を決定する前記決定手段は、前記入札用語および／または前記サイトのコンテンツでの適切な名前の検出に応答して、適切な名前の類似度スコアを算出する計算手段をさらに含むことを特徴とする請求項４２に記載のコンピューティングデバイス。
44. 前記コンピューティングデバイスは、
    前記信頼度は相対的に低いと決定する決定手段と、
    前記決定に応答して、前記入札ＵＲＬに意味上および／またはコンテキスト上関連する１つまたは複数の他の用語を識別する識別手段と
    をさらに含むことを特徴とする請求項３６に記載のコンピューティングデバイス。
45. 前記識別手段は、
    計算された用語の類似性に基づいて用語ベクトルから１組の用語クラスタを生成する生成手段であって、前記用語ベクトルは提示された履歴クエリの検索エンジン結果から生成され、各履歴クエリはクエリログ内の他のクエリ用語に比べて相対的に低い出現頻度を有する手段と、
    前記用語クラスタによって指定された用語を考慮して前記サイトのコンテンツを評価して意味上および／またはコンテキスト上関連する１つまたは複数の用語を識別する評価手段であって、前記用語は前記１つまたは複数の他の用語である手段と
    をさらに含むことを特徴とする請求項４４に記載のコンピューティングデバイス。
    

Images