JP2009500729A - 広告ネットワークへの参加のためのウェブサイトの適性レビュー - Google Patents

Abstract

広告ネットワーク中での使用に対してウェブサイトをレビューする方法を改良する。（ａ）１つ以上の文書を含む収集物を受け入れ、（ｂ）収集物が広告ネットワークのポリシーに準拠しているか否かを決定し、（ｃ）収集物がポリシーに準拠していると決定された場合、収集物を認可してもよい。収集物が認可された場合、収集物に含まれる文書のレンダリングに関連して、広告が供給されてもよいように、収集物を広告ネットワークに追加する。１つ以上の文書を含む収集物は、１つ以上のウェブページを含むウェブサイトである。ポリシーは、（Ａ）収集物の１つ以上の文書のコンテンツに関係し、（Ｂ）ウェブサイトの使い易さに関係し、１つ以上の文書を含む収集物は１つ以上のウェブページを含むウェブサイトであり、（Ｃ）広告ネットワークにおけるまたは広告ネットワークの参加者に対する、収集物による潜在的な不正または詐欺に関係する。
【選択図】 図２

Description

発明の分野

本発明は、広告ネットワークにおけるすばらしい経験を確実なものにするための支援に関連する。より詳細には、本発明は、ウェブサイトがポリシーに準拠しているか否か、および／または、ウェブサイトが広告ネットワークの特定の品質標準を満たすか否かを決定することに関連する。

発明の背景

テレビジョン、ラジオ、新聞、および雑誌のような、従来のメディアを使用している広告は周知である。残念なことに、さまざまなメディア手段の典型的聴衆についての人口統計学研究および完全に適正な仮定で準備しているときでさえも、広告主は彼らの広告予算の多くが単に無駄になっていることを認識している。さらに、このような無駄を識別することや、なくすことは非常に困難である。

近年、よりインタラクティブなメディアを通しての広告が人気となってきた。例えば、インターネットを使用する人の数が爆発的に増加したので、インターネットを通して提供されるメディアとサービスは、潜在的に強力な広告方法であるとして、広告主は理解するようになってきた。

インタラクティブ広告は、受け取り聴衆に対して広告主の広告をターゲット付けする機会を広告主に提供する。すなわち、広告は（例えば、検索エンジンに対するユーザの検索クエリに関連性のある、ユーザにより要求された文書中のコンテンツに関連性のある等のような）何らかのユーザ動作から推論される、要求に関連性があるかもしれないので、エンドユーザにとって、ターゲット付けされた広告は、より有用であることが多い。クエリキーワードターゲット付けは、関連性のある広告を配信するために検索エンジンによって使用されてきた。例えば、カリフォルニア州、マウンテンビューのグーグル（Ｇｏｏｇｌｅ）（登録商標）による、アドワーズ（ＡｄＷｏｒｄｓ）（登録商標）広告システムは、検索クエリからのキーワードに対してターゲット付けされた広告を配信する。同様に、コンテンツターゲット付けされた広告配信システムが提案されてきた。例えば、“関連性のある広告を供給する方法および装置”と題され、２００２年１２月６日に出願され、Jeffrey A. Dean氏、 Georges R. Harik氏、および Paul Buchheit氏を発明者として記載する、（ここに参照により組み込まれ、“‘４２７出願”として呼ばれる）米国特許出願シリアル番号第１０/３１４，４２７号と、“コンテンツに基づいた広告供給”と題され、２００３年２月２６日に出願され、Darrell Anderson氏、 Paul Buchheit氏、 Alex Carobus氏、 Claire Cui氏、 Jeffrey A. Dean氏、 Georges R. Harik氏、 Deepak Jindal氏、および Narayanan Shivakumar氏を発明者として記載する、（ここに参照により組み込まれ、“‘９００出願”として呼ばれる）米国特許出願シリアル番号第１０/３７５，９００号は、例えば、ウェブページのような文書のコンテンツに関連性のある広告を提供する方法および装置を説明している。例えば、グーグルによるアドセンス（ＡｄＳｅｎｓｅ）（登録商標）広告システムのような、コンテンツターゲット付けされた広告配信システムが、ウェブページ上で広告を供給するのに使用されてきた。

上記のことから理解できるように、テキスト中のテキスト概念に関連性のある広告を供給することは有用であり、これは、このような広告が現在のユーザの関心におそらく関わっているためである。結果として、このようなコンテンツターゲット付けされた広告は、ますます人気になってきた。しかしながら、このような広告システムには、依然として改善の余地がある。

例えば、グーグル アドセンスプログラムのようなコンテンツターゲット付けされた広告ネットワークの成功は、３つの重要な構成要素、すなわち、広告主、（以下で“ウェブ発行者”として呼ぶ）ウェブサイト発行者、およびエンドユーザに依拠している。数多くの広告主は、高品質のものであることと、肯定的な投資利益率（ＲＯＩ）を発生させることと、広告主に対して何の論争も呼ばないことが彼らの広告が表示されるウェブサイトに保証されることを望む。ウェブ発行者は、関連性があって高品質なコンテンツを通して、エンドユーザを引き寄せ続けることを望む。最後に述べるが決して軽んじられるべきでないこととして、エンドユーザは一般的に、よい経験を提供するウェブサイトのみを訪問することを望む。さらに、エンドユーザは一般的に、ウェブページの文脈に関連性がある広告であって、そして、エンドユーザの要求を満たす製品またはサービスをエンドユーザが見つけるのを助ける広告のみを選択する。したがって、新しい発行者、広告主、およびエンドユーザを引き寄せることによって、広告ネットワークを拡大させるのを助ける、よい循環を確実に生み出すようにするためには、高品質なネットワークが重要である。

広告ネットワークに参加しているウェブサイトを、確実に高品質にするための現在の方法は、例えば、（例えば、ウェブサイトがポリシーガイドラインに確実に準拠しているようにするため、ウェブサイトが劣悪なエンドユーザ経験を確実に生み出さないようにするため、そして、コンテンツに関連性のある広告を確実にターゲット付けできるようにするために）ウェブサイトをマニュアルでレビューすることを含む。残念なことに、ウェブサイトのマニュアルレビューは、オンライン広告ネットワークが経験している爆発的成長を取り扱うのにふさわしくない。

時間対および費用対効果の大きい方法で、数多くの新しいウェブサイトをマニュアルでレビューすることの困難性を考慮して、いくつかの広告ネットワークは、このようなマニュアルレビューを、広告主、および／またはエンドユーザが苦情を付けたウェブサイトに対してのみに制限している。残念なことに、エンドユーザ、および／または広告主は、より事前対応型のアプローチを要求するかもしれない。したがって、より事前対応型の広告ウェブサイト認可プロセスが有用であろう。

発明の概要

本発明と一貫した実施形態は、広告ネットワーク中での使用のためにウェブサイトをレビューする方法を改良する。本発明と一貫した少なくともいくつかの実施形態は、（ａ）１つ以上の文書を含む収集物を受け入れ、（ｂ）収集物が広告ネットワークのポリシーに準拠しているか否か決定し、（ｃ）収集物がポリシーに準拠していると決定された場合、収集物を認可してもよい。

本発明と一貫した少なくともいくつかの実施形態において、収集物が認可された場合、収集物に含まれる文書のレンダリングに関連して、（例えば、コンテンツターゲット付けされた）広告が供給されてもよいように、収集物を広告ネットワークに追加する。

本発明と一貫した少なくともいくつかの実施形態において、１つ以上の文書を含む収集物は、１つ以上のウェブページを含むウェブサイトである。

本発明と一貫した少なくともいくつかの実施形態において、ポリシーは、（Ａ）収集物の１つ以上の文書のコンテンツに関係し、（Ｂ）ウェブサイトの使い易さに関係し、１つ以上の文書を含む収集物は、１つ以上のウェブページを含むウェブサイトであり、（Ｃ）広告ネットワークまたは広告ネットワークの参加者に対する、収集物による潜在的な不正または詐欺に関係する。

実施形態の詳細な説明

本発明は、ポリシー違反に対してウェブサイトをチェックするための、ならびに／あるいはウェブサイトに対する品質スコアを決定するための、新規な方法、装置、メッセージフォーマット、および／またはデータ構造を含んでいてもよく、これらは、広告ネットワークが高品質のウェブサイトだけを確実に含むのを助けるために使用される。以下の説明は、当業者が本発明を実施および使用できるように提示し、特定の応用と特定の応用の要求の情況で提供する。したがって、本発明と一貫した実施形態の以下の説明は、図示および説明を提供するが、網羅的なものであることを意図するものではなく、または、開示する正確な形態に本発明を制限することを意図するものではない。開示する実施形態に対するさまざまな修正が当業者に明らかになり、以下に述べる一般的原則は、他の実施形態および応用に適用されてもよい。例えば、フロー図を参照して一連の動作を説明するが、１つの動作の実行が他の動作の完了に依拠していないときは、他の実施では動作の順序が異なっていてもよい。さらに、従属していない動作は並列に実行されてもよい。詳細な説明中で使用されるどのエレメント、動作、または命令も、そうであるとして明示的に示さない限り、本発明に対して重大または不可欠であるとして解釈すべきでない。ここで使用するように、冠詞“ａ”は１つ以上のアイテムを含むことを意図している。１つだけのアイテムを意図するところでは、用語“１つの（ｏｎｅ）”または類似の言葉を使用する。したがって、本発明は示している実施形態に制限されることを意図しておらず、発明者は、何らかの特許可能な記述された主題を含むものとして本発明を考えている。

以下において、詳細な説明で使用する用語の定義をセクション４．１において提供する。次に、本発明がその中で動作してよい、または本発明がそれを用いて動作し得る環境をセクション４．２において説明する。本発明の例示的な実施形態をセクション４．３において説明する。最後に、本発明に関するいくつかの結論をセクション４．４において述べる。

セクション４．１ 定義
オンライン広告はさまざまな固有の特徴を持つことがある。このような特徴は、応用および／または広告主によって特定されてもよい。これらの特徴は、以下で“広告特徴”として呼ぶ。例えば、テキスト広告のケースでは、広告特徴はタイトルライン、広告テキスト、および組み込みリンクを含んでいてもよい。画像広告のケースでは、広告特徴は、画像、実行可能コード、および埋め込みリンクを含んでいてもよい。オンライン広告のタイプに依拠して、広告特徴はテキスト、リンク、音声ファイル、ビデオファイル、画像ファイル、実行可能コード、埋め込み情報等のうちの１つ以上を含んでいてもよい。

オンライン広告が供給されるとき、広告がどのように、いつ、および／またはどこで供給されたのかを記述するために１つ以上のパラメータを使用してもよい。これらのパラメータを、以下では“供給パラメータ”と呼ぶ。供給パラメータは、例えば、以下のうちの１つ以上を含んでよい。すなわち、その上に、または、それとともに、広告が供給されている文書（その上の情報を含む）の特徴、広告の供給に関連付けられた検索クエリ、または検索結果、（例えば、ユーザの地理的ロケーション、ユーザによって使用される言語、使用されるブラウザのタイプ、過去のページビュー、過去の挙動、ユーザアカウント、システムにより使用される任意のウェブクッキー、ユーザデバイス特性等のような）ユーザ特性、（例えば、アメリカオンライン、グーグル、ヤフー(登録商標)のような）要求を開始したホストまたはアフェリエイトのサイト、広告が供給されたページ上の広告の絶対位置、供給された他の広告を基準にした広告の（空間的または時間的）位置、広告の絶対サイズ、他の広告を基準にした広告のサイズ、広告の色、供給された他の広告数、供給された他の広告のタイプ、供給時刻、供給曜日、供給時期等。本発明の文脈で使用してもよい、他の供給パラメータがあるのは当然である。

供給パラメータは、広告特徴にとっては付帯的であってよいが、これらは供給条件または制約として、広告と関連付けられてよい。供給条件または制約として使用されるとき、このような供給パラメータは単に“供給制約”（または“ターゲット付け基準”）として呼ぶ。例えば、いくつかのシステムにおいては、広告主は、その広告が平日にのみ、一定の位置より高く、一定のロケーションのユーザにのみ等、供給されなければならないと指定することで、その広告の供給をターゲット付けすることができる。他の例としては、いくつかのシステムにおいて、広告主は、ページまたは検索クエリが一定のキーワードまたは言い回しを含む場合にだけ、その広告が供給されなければならないと指定してもよい。さらに別の例としては、その上に、または、それとともに、供給されている文書が一定のトピックまたは概念を含む場合、または、特定のクラスタ、もしくは（例えば、垂直型のような）何らかの他の分類に該当する場合にのみ、その広告が供給されなければならないと広告主が指定できるシステムもある。いくつかのシステムにおいて、広告主は、特定の特性を持つユーザデバイスのみに対して、その広告が供給されること（または供給されないこと）を特定してもよい。最後に、いくつかのシステムにおいて、特定のロケーションから発信される要求に応答して、または、特定のロケーションに関する要求に応答して、広告が供給されるように広告をターゲット付けしてもよい。

“広告情報”は、広告特徴、広告供給制約、（“広告導出情報”として呼ばれる）広告特徴もしくは広告供給制約から導出可能な情報、および／または、（“広告関連情報”として呼ばれる）広告に関連した情報、とともに（例えば、広告関連情報から導出される情報のような）このような情報の拡張を含んでいてもよい。

広告のインプレッション数（すなわち、広告がレンダリングされる回数）に対する、広告を選択する数（例えば、クリックスルー）の比は、広告の“選択レート”（すなわち“クリックスルーレート”）として定義される。

“変換”は、ユーザが以前に供給された広告に関連するトランザクションを完了させるときに発生すると言われている。変換を構成する内容はケースによって異なり、さまざまな方法で決定できる。例えば、ユーザが広告をクリックし、広告主のウェブページに導かれ、そのウェブページを離れる前にそこで購入を完了するときに、変換が発生するというケースがある。代わりに、変換は、ユーザが広告を見て、予め定められた時間（例えば７日間）内に広告主のウェブページで購入することとして定義されてよい。さらに別の代替案では、変換は、例えば、白書をダウンロードする、ウェブサイトの少なくとも所定の深さまでナビゲーションする、少なくとも一定数のウェブページを見る、少なくとも予め定められた時間量をウェブサイトまたはウェブページで費やす、ウェブサイトに登録する等の任意の測定可能／観察可能なユーザアクションであるとして、広告主によって定義されてよい。変換を構成するユーザアクションはこれらに制限されないが、ユーザアクションが購入の完了を示さない場合であっても、これらはセールスリードを示すことが多い。実際に、何が変換を構成するかについて他の多くの定義が考えられる。

広告のインプレッション数（すなわち、広告がレンダリングされる回数）に対する変換数の比と、選択の数（または、何らかの他の以前のイベントの数）に対する変換数の比との両方が、“変換レート”と呼ばれる。変換レートのタイプは、それが使用される文脈から明らかになるだろう。広告の供給から予め定められた時間内に発生し得ることと変換が定義される場合、変換レートの１つの考えられる定義は、過去に、予め定められた時間より長く供給されていた広告だけを考慮するかもしれない。

“プロパティ”は、その上に広告を提示することができる何らかのものである。プロパティは（例えば、ウェブサイト、ＭＰ３音声プログラム、オンラインゲーム等のような）オンラインコンテンツ、（例えば、新聞、雑誌、劇プロダクション、コンサート、スポーツイベント等のような）オフラインコンテンツ、ならびに／あるいは、（例えば、電光掲示板、スタジアムスコアボード、および外野壁、トラックトレーラーの側面等のような）オフライン物体を含む。（例えば、雑誌、新聞、ウェブサイト、ｅメールメッセージ等のような）コンテンツを伴うプロパティは、“メディアプロパティ”として呼んでもよい。プロパティそれら自体は、オフラインであってもよいが、プロパティについての（例えば、属性、トピック、概念、カテゴリ、キーワード、関連性情報、サポートされる広告のタイプ等のような）関係情報は、オンラインで利用可能であってもよい。例えば、野外ジャズ音楽フェスティバルでは、トピック“音楽”および“ジャズ”、コンサートのロケーション、コンサートの時刻、フェスティバルに出演予定のアーティスト、ならびに、（例えば、印刷されたプログラム、ステージ上のスポット、座席背面のスポット、スポンサーの音声アナウンス等のような）利用可能な広告スポットのタイプが入力されてもよい。

“文書”は、何らかの機械読取可能および機械記憶可能な作業生産物を含むものとして幅広く解釈すべきである。文書は、ファイル、ファイルの組み合わせ、他のファイルへのリンクが埋め込まれた１つ以上のファイル等であってもよい。ファイルは、テキスト、音声、画像、ビデオ等の任意のタイプのものであってもよい。エンドユーザにレンダリングされる文書の一部は、文書の“コンテンツ”と見なすことができる。文書は、コンテンツ（言葉、絵等）とそのコンテンツの意味の何らかの表示（例えば、ｅメールフィールドおよび関連データ、ＨＴＭＬタグ、および関連データ等）との両方を含む“構造化されたデータ”を含んでいてもよい。文書中の広告スポットは埋め込まれた情報または命令で定義されてもよい。インターネットの文脈において、普通の文書はウェブページである。ウェブページはコンテンツを含むことが多く、（メタ情報、ハイパーリンク等のような）埋め込まれた情報、および／または（Java(登録商標)script等のような）埋め込まれた命令を含んでいてもよい。多くのケースでは、文書はアドレス指定可能な記憶ロケーションを有し、したがってこのアドレス指定可能なロケーションによって一意的に特定できる。ユニバーサルリソースロケータ（ＵＲＬ）は、インターネット上の情報にアクセスするために使用されるアドレスである。

“ウェブ文書”はウェブ上で発行される任意の文書を含む。ウェブ文書の例は、例えば、ウェブサイトまたはウェブページを含む。

“文書情報”は、文書に含まれる任意の情報、（“文書導出情報”と呼ばれる）文書内に含まれる情報から導き出すことができる情報、および／または（“文書関連情報”と呼ばれる）文書に関連する情報、とともに、このような情報の拡張版（例えば、関連情報から導き出される情報）も含んでいてもよい。文書導出情報の例は、文書のテキストコンテンツに基づいた分類である。文書関連情報の例は、当該文書にリンクする他の文書からの文書情報、とともに、当該文書がリンクする他の文書からの文書情報も含む。

文書からのコンテンツは、“コンテンツレンダリングアプリケーションまたはデバイス”上でレンダリングされてよい。コンテンツレンダリングアプリケーションの例は、インターネットブラウザ（例えば、エクスプローラまたはネットスケープ、オペラ、ファイアフォックス等）、メディアプレーヤ（例えば、ＭＰ３プレーヤ、Ｒｅａｌ ｎｅｔｗｏｒｋｓストリーミング音声ファイルプレーヤ等）、ビューワ（例えば、アドビアクロバット（登録商標）ｐｄｆリーダ）等を含む。

“コンテンツオーナ”は、文書のコンテンツに何らかの財産権を有する人物またはエンティティである。コンテンツオーナはコンテンツの著者であってよい。加えて、または代わりに、コンテンツオーナはコンテンツを再生する権利、コンテンツの派生作品を作成する権利、コンテンツを公表するもしくは公演する権利、および／またはコンテンツの中の他の禁止された権利を持っていてもよい。コンテンツサーバは、それが供給する文書のコンテンツ中のコンテンツオーナである可能性があるが、これは必須ではない。“ウェブ発行者”は、コンテンツオーナの一例である。

広告ネットワークの“ポリシー”は、ウェブページまたはウェブサイト（または何らかの他の文書または文書の収集物）が、広告ネットワーク中に参加してもよいか否かの決定力のあるルールである。すなわち、ウェブページまたはウェブサイトがポリシーに違反する場合、（ウェブサイトは不正の、または違法な手段を使用して広告ネットワークに参加しようと試みるかもしれないが、）広告ネットワークは、そのウェブページまたはウェブサイトが広告ネットワークに参加することを禁止するだろう。ポリシーは広告ネットワークによって定義されてもよいので、１つの広告ネットワークにおけるポリシーに違反するウェブサイトが、他の広告ネットワークにおける何らかのポリシーに違反していないかもしれないというように、異なる広告ネットワークが異なるポリシーを持っていてもよい。

“品質スコア”は、一般的にウェブサイトまたはウェブページ（または何らかの他の文書または文書の収集物）の広告ネットワーク中への参加の価値または相対価値の量的なインジケータである。質的なインジケータを決定するためにしきい値に対して品質スコアを適用してもよい。

“ユーザ情報”はユーザ挙動情報、および／またはユーザプロファイル情報を含んでいてもよい。

“ｅメール情報”は、（“内部ｅメール情報”とも呼ばれる）ｅメールに含まれる情報や、ｅメールに含まれる情報から導き出すことのできる情報、および／またはｅメールに関連する情報、とともに、このような情報の拡張版（例えば、関連情報から導き出される情報）も含んでいてもよい。ｅメール情報から導き出される情報の例は、ｅメールの件名から抽出された用語で構成された検索クエリに応答して戻された検索結果から抽出されまたはそうでなければ導き出された情報である。ｅメール情報に関連する情報の例は、所定のｅメールと同じ送信者によって送信される１つ以上の他のｅメールについてのｅメール情報、またはｅメール受取人についてのユーザ情報を含む。ｅメール情報から導き出される、またはｅメール情報に関連する情報を“外部ｅメール情報”と呼ぶことがある。

セクション４．２ その中で本発明が使用され得る、あるいはそれを用いて本発明が使用され得る例示的環境
図１は例示的な環境１００において、広告ネットワーク１２０と対話することができる関係者またはエンティティを示す図である。環境１００は、エンドユーザ１４０により閲覧される、ウェブ発行者１１０からの多数のウェブサイト上に、またはそうでなければ多数のウェブサイトに関係して、広告を供給する広告ネットワーク１２０を含む。ウェブ発行者１１０は、広告を彼らのウェブサイト上にレンダリングさせることによって収益を得るために、広告ネットワーク１２０中に参加することを要求してもよい。広告主１３０は、広告ネットワーク１２０上に彼らの広告を入力し、追跡し、保持してもよい。広告はいわゆるバナー広告のようなグラフィック広告、テキストのみの広告、画像広告、音声広告、ビデオ広告、このような任意の構成要素の１つ以上の組み合わせの広告等の形態であってもよい。広告はリンクのような埋め込み情報、および／または、機械実行可能命令を含んでいてもよい。エンドユーザ１４０がこれらのウェブサイトにアクセスするときに、ウェブ発行者１１０のウェブサイト上に、またはそうでなければ、ウェブサイトに関係して、これらの広告をレンダリングしてもよい。

結果として、広告ネットワーク１２０に参加しているウェブサイトの品質が、広告主１３０およびエンドユーザ１４０の満足に関して重要であることが理解される。繰り返すと、広告主１３０は、高品質のものであることと、肯定的な投資利益率を発生させることと、広告主に対して何の論争も呼ばないこととが彼らの広告が表示されるウェブサイトに保証されることを望むことが多い。ウェブ発行者１１０は、関連性のある、高品質のコンテンツを通して、エンドユーザ１４０を引き寄せ続けることを望む。エンドユーザ１４０は一般的に、よい経験を提供するウェブサイトを訪問することを望みがちであり、また、ウェブページの文脈に関連性がある広告であって、エンドユーザの要求を満たす製品またはサービスをエンドユーザが見つけるのを助ける広告を選択しがちである。

上記から、ポリシー準拠、および／またはウェブサイトの品質を自動的に査定できるシステムが有用であることは明らかである。本発明と一貫した少なくともいくつかの実施形態は、広告ネットワーク１２０のポリシーの準拠に関してウェブサイトを自動的に査定してもよい。ウェブサイトが広告ネットワークに参加できるようになる前に、このような査定を行ってもよい。このような査定を定期的に繰り返してもよい。認可されたウェブサイトのコンテンツは、ウェブ発行者により変更されるかもしれないので、このような定期的な再査定は、広告システムにとって非常に有用であるだろう。このようなポリシー準拠査定は、認証されていない手段を使用して広告ネットワークに参加可能になったウェブサイトを発見するのを助けるのに有用であるかもしれない。このような実施形態は、ウェブサイトを査定する際に、ウェブサイトを自動的に認可または不認可してもよく、または、マニュアルレビューによる支援を要求してもよい。

本発明と一貫した少なくともいくつかの実施形態は、ウェブサイトを自動的に解析して、１つ以上の品質メトリクス（スコア）を決定してもよい。このような品質スコアを使用して、広告ネットワークへのウェブサイトの参加（または、除外するイベント）に対する誘因または阻害要因を決定してもよい。代わりに、または、加えて、このような品質スコアを使用して、広告ネットワークに参加していない高品質なウェブサイトを探してもよい。

セクション４．３において、本発明のさまざまな例示的な実施形態を説明する。

セクション４．３ 例示的な実施形態
図２は、本発明と一貫した方法でポリシー準拠に対してウェブサイトをレビューするための例示的な動作、とともに、このような動作により使用され、および／または発生されてもよい情報のデータフロー図である。ウェブサイトレビュー動作２１０は、（例えば、広告ネットワークに参加することを求めているウェブ発行者からのもののような）ウェブサイト２０５を受け入れてもよい。このような動作２１０は、このようなウェブサイト２０５がポリシーに準拠しているか否かを査定してもよく、および／または、ウェブサイトに対する１つ以上の品質スコアを決定してもよい。

高品質であり、広告ネットワークのポリシーに準拠しているウェブサイトを提供および促進してもよく、広告ネットワークのポリシーに違反しているウェブサイトを広告ネットワークから除外してもよく、低品質のウェブサイトには（広告ネットワークから除外することを含むような）ペナルティーを科してもよい。ウェブサイトレビュー動作２１０は、広告ネットワークに参加しているウェブサイト、または、広告ネットワークの外部のウェブサイトをレビューすることができる。ウェブサイトレビュー動作２１０によりレビューされる、広告ネットワーク中にあるウェブサイトは、以前に調査され、認可されていてもよい。したがって、追跡ルーチンの一部としてこのようなウェブサイトを再査定するために、ウェブサイトレビュー動作２１０を使用することができる。このことは、ウェブサイトがポリシーに違反すること、および／または、ウェブサイトの品質を低下させることを引き起こすような方法で、ウェブ発行者が彼らのウェブサイトを変更するケースにおいて有用である。このことは、新しいポリシーに対してウェブサイトを再査定するのにも有用である。さらに、広告ネットワーク中のウェブサイトは認証されていないかもしれない。認証されたウェブサイトとは、広告ネットワークに参加するための（例えば、広告ネットワークに参加することを正式に要求することのような）適切な手続を経て、広告ネットワークにより認可されたウェブサイトである。他方、認証されていないウェブサイトとは、広告ネットワークに不適正に参加したウェブサイトである。このようなウェブサイトは、広告ネットワークに参加することを要求したことがないかもしれず、または、広告ネットワークに参加することを要求したが、認可されなかったのかもしれない。したがって、ウェブサイトレビュー動作２１０の１つの使用は、広告ネットワーク中の認証されていないウェブサイトを調査して、これらのウェブサイトを供給し続けるべきか（例えば、広告ネットワーク中の正当な参加として承認されるべきか）、または、広告ネットワークから除外すべきかを決定することであってもよい。

それでもなお、ウェブサイトレビュー動作２１０は、広告ネットワークに参加していないが、広告ネットワークに参加することを求めているいくつかのウェブサイト２０５をレビューすることが期待される。本発明と一貫した少なくともいくつかの方法では、広告ネットワークに参加を要求しているすべてのウェブサイト２０５は、ウェブサイトレビュー動作２１０を通ってポリシー準拠のチェックを受ける。いったんウェブサイトレビュー動作２１０がウェブサイトを認可すると、ウェブサイトは合法な参加者として広告ネットワークに認可される。広告ネットワークが高品質なウェブサイトを確実に含むようにするために、定期的に追跡チェックを行ってもよい。

加えて、広告ネットワークに参加しておらず、広告ネットワークに参加することを要求していない他のウェブサイトを動作２１０によってレビューして、広告ネットワークへの参加を勧誘するための、高品質なウェブサイトの予備軍を見つけるのを助けてもよい。

ウェブサイトレビュー動作２１０は、ウェブサイト２０５を査定するためのさまざまなタスクを実行する数々の動作を含んでいてもよい。特に、ウェブサイトレビュー動作２１０は、ポリシー準拠チェック動作２１５、品質スコア付け動作２２０、キューイング動作２３０、およびマニュアルレビュー機構２５０を含んでいてもよい。ポリシー準拠チェック動作２１５は、初期および追跡のチェックを実行して、ウェブサイト２０５が何らかのポリシー違反を有するか否かを決定してもよい。ポリシー準拠チェック動作２１５により認可されたウェブサイトを、認可されたウェブサイト２４０として記憶してもよいが、認可されなかったウェブサイトを、拒否されたウェブサイト２３５として記憶してもよい。認可されなかったが、不確実性を有しており、不認可することができないウェブサイトを、待ち行列に入れる動作２３０によってフラグ付けして、適切なマニュアルレビュー待ち行列２４５に送ってもよい。さらに、ポリシー準拠チェック動作２１５は、ウェブサイトを品質スコア付け動作２２０に進めてもよい。

ウェブサイトに対する品質スコアを決定するために、品質スコア付け動作２２０を使用してもよい。サーバのケースでは、品質スコア付け動作２２０は広告ネットワークからウェブサイトを除去してもよい。他のケースでは、品質スコア付け動作２２０は低品質のウェブサイトをフラグ付けして、低品質のウェブサイトを待ち行列に入れる動作２３０に送ってもよく、そこで、低品質のウェブサイトをマニュアルレビューのために待ち行列に入れる。ウェブサイト品質スコア情報２２５は、さらなる解析のため、もしくは他の使用の目的で、人によって使用してもよく、および／または、（示していない）他の自動化された動作によって使用してもよい。

ウェブサイトを待ち行列に入れる動作２３０は、ポリシー準拠チェック動作２１５により決定された、タイプ、および／または、ポリシー違反の重大度に基づいて、ならびに／あるいは、品質スコア付け動作２２０により決定された低品質スコアに基づいて、ウェブサイトを待ち行列に入れてもよい。したがって、フラグ付けされたウェブサイトは、マニュアルレビューのために、１つ以上の待ち行列２４５中に配置されてもよい。マニュアルレビュー機構２５０において、待ち行列に入れられ、フラグ付けされたウェブサイトを人が取得して、ウェブサイトを認可するか、拒否するかのいずれかを決定してもよい。したがって、ウェブサイトは連続的に処理されてもよい。

ポリシー準拠チェック動作２１５によりチェックされることになるポリシーは、特定の広告ネットワークにより定義されてもよい。本発明の文脈では、ウェブサイトが何らかのポリシーに違反する場合、ウェブサイトが（合法的には）その広告ネットワークに参加することのないようにポリシーが定義される。したがって、ポリシーとはその違反が許容されないルールである。したがって、ポリシー準拠チェック動作２１５は、ウェブサイト２０５を認可または不認可してもよい。ポリシー違反は一般的に、（ａ）ウェブサイトのコンテンツに関連した違反（例えば、特定のターゲット付けを提供するには一般的すぎるコンテンツ、不十分なコンテンツ、悪質な、または論争を呼ぶコンテンツ等）、（ｂ）ウェブサイトの発行者またはソースに関連した違反、（ｃ）ウェブサイトの使い易さに関連した違反（例えば、工事中、壊れたリンク、遅いページロード、不適切なフレームの使用等）、（ｄ）不正に関する違反（例えば、広告主および／または広告ネットワークに詐欺行為をする試み）として分類してもよい。

潜在的なウェブサイトコンテンツポリシー違反の例は、以下のものを含んでいてもよい。すなわち、憎悪中心のウェブサイト（例えば、人種差別主義、反ユダヤ人主義、反ホモセクシャル主義、反移民主義等）と、個別の憎悪キャンペーンに主に関係するウェブサイト（例えば、ブッシュ憎悪、Ｍｉｃｒｏｓｏｆｔｓｕｃｋｓ．ｃｏｍ等）と、暴力またはテロを擁護または助長するウェブサイト（例えば、アルカイダ等）と、悪意のあるアドバイスを提供し、あるいは、悪意のある活動を擁護または助長するウェブサイト（例えば、自家製爆弾、危険な悪ふざけ等）と、違法薬物または麻薬に必要な装具の販売を提供または助長するウェブサイトと、（処方薬であるとして偽装しない場合、医師の処方不要の売薬、および、草薬に対する除外が行われてもよいが、）医薬品の違法な販売を提供または助長するウェブサイトと、ソフトウェアまたはネットワークのハッキングを助長または擁護するウェブサイト（例えば、ＩＴインフラストラクチャをどのようにハッキングするかに関連する、または示唆を与えるウェブサイト）と、ソフトウェアまたはネットワークのクラッキングを助長または擁護するウェブサイト（例えば、ソフトウェアアプリケーションをどのようにクラッキングするかに関連する、または示唆を与えるウェブサイト）と、銃砲（もしくは他の武器）の販売、または、銃砲（もしくは他の武器）の違法な販売を提供または助長するウェブサイトと、ポルノグラフィー、ハードコアポルノグラフィー、および／または成人向けコンテンツ（例えば、成人向け画像、成人向けテキスト、成人向けデートサービス、成人向け扇情小説、または成人向けリンクを含むウェブサイト）を含むウェブサイトと、冒涜または過剰な冒涜を伴うウェブサイトと、模造品または偽造品の販売を提供、助長、または促進するウェブサイトと、デマまたは詐欺の犯行を促進または助長するウェブサイト（例えば、ネズミ講式販売）と、商標の誤植をあてにしたウェブサイト（例えば、誤植サイバースクワッティング）と、偽造文書の販売を提供または助長するウェブサイト（例えば、偽造パスポート、偽造運転免許証、偽造出生証明書等）と、学期末レポートの販売を提供または助長するウェブサイト（例えば、“ｐａｐｅｒ ｍｉｌｌｓ”）と、著作権のあるコンテンツの認証されていないダウンロードまたはレンダリングを提供または助長するウェブサイトと、アルコールの販売を提供するウェブサイトと、ワイン以外のアルコールの販売を提供するウェブサイトと、未成年者に対するアルコールの販売を提供するウェブサイトと、タバコの販売を提供または助長するウェブサイトと、未成年者に対するタバコの販売を提供または助長するウェブサイトと、オンライン賭博を助長するウェブサイトと、未成年者に対してオンライン賭博を助長するウェブサイト等。

上記のコンテンツポリシー違反の少なくともいくつかのものは、例えば、ウェブサイトが特定の単語、フレーズ、または、単語および／またはフレーズの収集物を含むか否かと、ウェブサイトが特定の単語および／またはフレーズの予め定められたパーセンテージおよび／または数より多くを含むか否かと、ウェブサイトが特定の画像（例えば、かぎ十字、賭けボード、ヌード、銃、たばこブランド、ハードアルコールブランド等）を持つか否かとを決定することによって発見することができる。さらに、所定のタイプまたはクラスのポリシー違反を伴うウェブサイトのマニュアルリストを使用して、エキスパートシステム（例えば、ニューラルネットワーク、ベイズのネットワーク、サポートベクトルマシン等）を訓練して、ポリシー違反を持っている、または、持っていないとして他のウェブサイトを分類するようにしてもよい。

ウェブサイトの発行者またはソースに関連したポリシー違反のいくつかの例は、ブラックリストされた国（例えば、キューバ）、不正の履歴を有しているウェブ発行者、以前に広告ネットワークから除外されたウェブ発行者等によりサポートされているウェブサイトを含む。これらのポリシー違反の少なくともいくつかは、ウェブサーバのロケーションを使用して決定することができる。発行者に関連する違反の決定を支援するために利用可能な他の情報は、住所、社会保障番号、ｅメール、ウェブサーバのＩＰアドレス、ウェブサイト名称等を含んでいてもよい。

ウェブサイトの使い易さのポリシー違反は、ドメインネームサーバ（ＤＮＳ）エラーを伴うウェブサイト（例えば、存在しないＵＲＬ、ＵＲＬダウン等）、正しくないリンクを伴うウェブサイト、“オフラインの”ウェブサイトと、“工事中の”ウェブサイトと、過剰なポップアップ／ポップアンダーを伴うウェブサイト（例えば、何らかの所定のウェブページロードにおける、Ｎ（例えば、１）個より多いポップアップ／ポップアンダー広告）と、チャット用ウェブサイトと、ＨＴＭＬでないウェブサイト（例えば、ディレクトリインデックス、フラッシュ、ＷＡＰ）と、スパイウェアのウェブサイトと、ホームページ乗っ取りウェブサイト等を含む。他の例は、ユーザのコンピュータ上に悪意のあるソフトウェアをインストールしようとするウェブサイト、または、戻るボタンを禁止すること、過剰なポップアップ／ポップアンダー等により使い易さに影響を与えるウェブサイトを含んでいてもよい。これらのポリシー違反の少なくともいくつかは、エラーコードおよび／または不審な実行可能コードを識別することにより決定することができる。これは、ブラウザ中にウェブサイトを自動的にロードしようとすることによって、そして、ブラウザレベルにおいて、またはオペレーティングシステムレベルにおいて、“悪い”イベントを自動的に取り込むことによって達成されるかもしれない。

最後に、不正に関連するウェブサイト違反のいくつかの例は、（例えば、その主目的は、人々にｐａｙ−ｐｅｒ−ｃｌｉｃｋ広告を選択させることである）いわゆる“ｐａｙ−ｔｏ−ｃｌｉｃｋ”ウェブサイト等を含む。例えば、クリックスパムウェブサイトは、一般的に、テンプレートを使用して発生されたコンテンツを持っており、および／または、テキストに対して高い広告の比を持っている。さらに、インデックススパマー（すなわち、検索結果上でより高くランキングされるために違法な手段を使用するウェブサイト）を検出する既存の技術が存在する。インデックススパムに関係するウェブサイトと、クリックスパムに関係するウェブサイトとの間に相関があるかもしれない。このような相関を使用して、インデックススパマーを見つけることにより、クリックスパマーを見つけるのを助けてもよい。これらのタイプの違反の発見を助けるために、上記の情報の任意のものを使用することができる。他のアプローチでは、すべてのウェブサイトに対する平均クリックスルーレートからの、調査されているウェブサイト上の実際のクリックスルーレートの偏差を測定することにより、上記のタイプの違反を発見してもよい。さらに、（ナイーブベイズ、ＳＶＭ等の）学習アルゴリズムを採用してもよい。例えば、このようなアルゴリズムを用いて、任意の周知の“ｐａｙ−ｔｏ−ｃｌｉｃｋ”ウェブサイトの統計を使用して、ネットワークを訓練してもよい。次に、新しいウェブサイトを識別するために、このような訓練されたネットワークを使用してもよい。

ウェブサイト品質スコア付けは、定義された品質基準を使用して決定してもよい。ウェブサイトの品質基準のいくつかの例は、広告ネットワークまたは他のソースからのデータの使用法（例えば、インプレッション、選択、ユーザ地理的ロケーション、変換、および、このような情報の偏差）；（広告ネットワーク中の、またはそうでない）ウェブサイトの（例えば、グーグルツールバーにより測定されるような）人気；ウェブサイトスパム（例えば、検索エンジンスコアを押し上げるために、互いにほとんど関連性のないコンテンツを持つが、数多くのリンクを持つようにウェブサイトが設定されている、いわゆる“リンクファーム”、検索エンジンスコアを押し上げるために、黒い背景とポルノグラフィーに関する白いテキストとを持つが、デジタルカメラや他の人気のあるクエリに言及する黒い（したがって、隠れている）テキストも持つポルノグラフィーのウェブサイトのようなページ上にある不適正なコンテンツ）；等を含む。ウェブサイトスパムのいくつかの例は、“履歴データに基づいた情報検索”と題され、２００３年１２月３１日に出願され、Anurag Acharya氏、Matt Cutts氏、Jeffrey Dean氏、Paul Haahr氏、Monika Henzinger氏、Urs Hoelzle氏、Steve Lawrence氏、Karl Pfleger氏、Olcan Sercinoglu氏、およびSimon Tong氏を発明者として記載し、（ここで参照により組み込まれ、“‘６６４出願” として呼ばれる）米国特許出願シリアル番号第１０／７４８，６６４号に説明されている。

セクション４．３．１ 例示的な方法
図３は、本発明と一貫した方法でポリシー違反に対してウェブサイトを自動的にチェックするのに使用してもよい例示的な方法３００のフロー図である。イベントブロック３０５により示したように、方法３００の主要動作は、ウェブサイトをチェックするための要求の受け取りに応答して実行してもよい。チェック要求の受け取りに応答して、方法３００は、ウェブサイトを受け入れて（ブロック３１０）、潜在的なポリシー違反に対してウェブサイトを調べる（ブロック３１５）。何のポリシー違反も見つからない場合（決定ブロック３２０）、方法３００は、単にウェブサイトを認可して（ブロック３２５）、追跡ポリシーチェックをスケジュールした（ブロック３３０）後で、方法３００は終了する（ノード３６０）。

戻って決定ブロック３２０を参照すると、他方、ポリシー違反が見つかった場合、方法３００はウェブサイトを不認可する（ブロック３３５）。方法３００は、ポリシー違反決定における信頼度に基づいて、さらなる動作を実行してもよい（ブロック３４０）。より詳細には、ポリシー違反決定における信頼度が低い場合、ウェブサイトをマニュアルレビューのためにフラグ付け（および／または待ち行列入れ）してもよく（ブロック３４５）（例えば、図２の待ち行列に入れる動作２３０を想起）、ウェブサイト発行者に知らせた（ブロック３５５）後で、方法３００は終了する（ノード３６０）。このことは、手動で、潜在的ポリシー違反を確認できるようにしてもよく、または、潜在的ポリシー違反を無効にできるようにしてもよい。このことはまた、ウェブ発行者のウェブサイトが、なぜ実際にはポリシーを違反していないのかに関して、ウェブ発行者がウェブサイトを検証できるようにしてもよく、または、改善策をとることができるようにしてもよい。戻って決定ブロック３４０を参照すると、違反決定における信頼度が高い場合、方法３００はウェブサイトをフラグ付けして、ウェブサイトが拒否されたこと（例えば、マニュアルレビューが何ら必要でないこと）を示した（ブロック３５０）後、方法３００が終了する（ノード３６０）。

戻ってイベントブロック３０５を参照すると、調査に対する要求は、異なるソースから発信されてもよい。特に、方法３００は、広告発行者からの広告ネットワークへの参加を望む要求、追跡ルーチンの一部としての要求等を受け取ってもよい。要求はビジネス開発ソースから発信されてもよい。例えば、以下により詳細に説明するが、ウェブサイト品質スコア付け動作（例えば、図２のエレメント２２０を想起）を使用して、ウェブサイトの品質スコアに基づいて、広告ネットワーク中にまだ参加していないが、優良な潜在的候補ウェブサイトを広告ネットワークが探すのを助けてもよい。ビジネス開発ソースは、勧誘するためのウェブサイト予備軍に対する検索を狭くするために、ポリシー違反に関してウェブサイトを予備選別することを望むかもしれない。

戻ってブロック３１５を参照すると、方法３００は受け取ったウェブサイトを調査して、ウェブサイトが広告ネットワークにより設定された何らかのポリシーに違反しているか否かを決定する。ポリシーの例は、上のセクション４．３に記載した。

図４は、本発明と一貫した方法でウェブサイト品質をスコア付けするための例示的な方法４００のフロー図である。ウェブサイトを受け入れる（ブロック４０２）。ブロック４０４により示すように、例示的方法４００において、異なるタイプのウェブサイトは異なる方法で処理されてもよい。例えば、ウェブサイトは“以前に認可”されて（例えば、以前にポリシーチェックに合格して）いるかもしれない。他の例として、ウェブサイトは広告ネットワーク中にあるが、違法または認証されていない手段によりアクセスを得たのかもしれない。他の例として、ウェブサイトは１つ以上のポリシー違反で以前に拒否されたものであるかもしれない。さらに他の例として、ウェブサイトは以前にチェックされていないもの（例えば、広告ネットワークへの参加を一度も要求していないウェブサイト）であるかもしれない。

受け入れられたウェブサイトが（例えば、ポリシー準拠チェック動作２１５により認可された）“認可された”ウェブサイトである場合、方法４００は、ウェブサイトから１以上の品質スコアを決定してもよい（ブロック４０６）。方法４００は、次に、決定されたスコアが受け入れ可能か否かに依拠して異なる動作を実行する（ブロック４０８）。スコアが受け入れ可能である場合、方法４００はスコア値に依拠して、（例えば、広告主に請求される価格、ウェブ発行者への収益分与、ウェブ発行者への料金等に関する）誘因または阻害要因のいずれかを提供してもよく、あるいは、単に何もしなくてもよく（ブロック４１０）、この後で方法４００は終了する（ノード４９０）。スコアが低すぎる場合、方法４００は低い品質スコアについてウェブ発行者に警告し、および／または、広告ネットワーク中への参加からウェブサイトを除去し（ブロック４１２および４１４）、この後に方法４００は終了する（ノード４９０）。

戻ってブロック４０４を参照すると、受け取られたウェブサイトが広告ネットワーク中で認証されていないウェブサイトであった場合、方法４００は認証されていないウェブサイトが何らかのポリシーに違反しているか否かを最初に決定してもよい（ブロック４１６）。ブロック４１８を参照すると、認証されていないウェブサイトがポリシーチェックに不合格であった場合、方法４００はウェブサイトの広告ネットワークへの参加を禁止してもよく（ブロック４２４）、おそらく、拒否されたウェブサイトを含めるために不正レポジトリを更新してもよく（ブロック４２６）、この後で方法４００は終了する（ノード４９０）。戻ってブロック４１８を参照すると、認証されていないウェブサイトがポリシーチェックに合格した場合、方法４００は品質スコアを決定するために進む（ブロック４２０）。ブロック４２２を参照すると、決定された品質スコアが受け入れ可能である場合、方法４００はウェブサイトの広告ネットワークへの参加を認証または認可してもよく（ブロック４２８）、この後に方法４００は終了する（ノード４９０）。再びブロック４２２を参照すると、他方、決定された品質スコアが低すぎる（受け入れ可能でない）場合、方法４００はウェブサイトの広告ネットワークへの参加を禁止してもよく（ブロック４２４）、おそらく、拒否されたウェブサイトを含めるために不正リポジトリを更新し（ブロック４２６）、この後に方法４００は終了する（ノード４９０）。

戻ってブロック４０４を参照すると、受け取られたウェブサイトがポリシー違反で以前に拒否されたウェブサイトである場合、方法４００は単にこのウェブサイトを無視し、さらに何の動作も取らなくてもよい。これは、いずれにしろポリシー違反のために広告ネットワーク中に参加することができないウェブサイトの品質スコアをチェックすることがリソースの無駄となるかもしれないためである。

戻ってブロック４０４を参照すると、広告ネットワークの一部でなく、そして広告ネットワークに参加することを以前に要求したことのないウェブサイトの受け取りの際に、方法４００は、最初に、任意のポリシー違反に対してウェブサイトをチェックする（ブロック４３０）。ブロック４３２を参照すると、ウェブサイトがポリシー調査に不合格であった場合、方法４００は単にこのウェブサイトを無視してもよい。他方、ウェブサイトがポリシー調査に合格した場合、方法４００は品質スコアを決定するために進む（ブロック４３４）。ブロック４３６を参照すると、決定された品質スコアが高い場合、方法４００は、広告ネットワークのメンバー予備軍として、追跡勧誘するためにウェブサイトをマークしてもよく（ブロック４３８）、この後に方法４００は終了する（ノード４９０）。戻って再びブロック４３６を参照すると、他方、決定された品質スコアが低すぎる（受け入れ可能でない）場合、方法４００は単にウェブサイトを無視してもよい。

戻ってブロック４０６、４２０および４３４を参照すると、方法４００は１つ以上の関数を使用して、１以上の品質スコアを決定してもよい。上記のように、品質スコアは広告ネットワークに対するウェブサイトの価値の何らかの測定値を反映してもよい。

さらにブロック４０６、４２０および４３４を参照すると、スコア値を決定した後、方法４００は（例えば、予め定められた）しきい値を使用して、どのウェブサイトが受け入れられ、どのウェブサイトが拒否されるのかを決定してもよい。

戻ってブロック４０４を参照すると、方法４００はさまざまなタイプのウェブサイトを受け取ってもよく、これらのうちのいくつかはポリシーチェック（例えば、図２のポリシー準拠チェック動作２１５を想起）を通過していない。例えば、広告ネットワーク中で認証されていないウェブサイトと、広告ネットワークに参加することを以前に要求したことのないウェブサイトとは、ポリシー違反に対してチェックされたことがないかもしれない。したがって、方法４００はポリシー準拠チェック動作２１５に対して要求を送ってもよく、ブロック４１６および４３０によって示すようにチェック結果を受け取ってもよい。

戻ってブロック４１０を参照すると、方法４００はスコア値に依拠して誘因または阻害要因のいずれかを提供してもよい。例えば、ウェブサイトスコア値が高い場合、ウェブ発行者は高品質のウェブサイトを提供するので、広告ネットワークはウェブ発行者に（例えば、選択ごとに割増される額、増加した割合の広告収益、割引された参加費用等のような）誘因を提供してもよい。他方、ウェブサイトスコア値が低い（しかし受け入れ可能である）場合、高品質のウェブサイトを提供していないことに対して、広告ネットワークはウェブ発行者に阻害要因（例えば、選択ごとに割引される額、減少した割合の広告収益、加算された費用等）を提供してもよい。このことは、ウェブ発行者が彼らのウェブサイトを改良することを奨励する。

図５は、本発明と一貫した方法で、マニュアルレビューのためにウェブサイトを待ち行列に入れるのに使用される例示的な方法５００のフロー図である。特に、方法５００は低い品質スコアを持つウェブサイト、または、潜在的ポリシー違反を含むウェブサイトを取得してもよい（例えば、図３のブロック３４５を想起）（ブロック５２０）。次に、マニュアルレビューのために提示される準備の整った、フラグ付けされたウェブサイトからなる適切な待ち行列に対して、フラグ付けされたウェブサイトを追加してもよい（ブロック５４０）。

戻ってブロック５２０を参照すると、方法５００は（例えば、図２のウェブサイト品質スコア付け動作２２０から）低く品質スコア付けされたウェブサイト、および／または、（例えば、図２のポリシー準拠チェック動作２１５から）潜在的ポリシー違反を含むウェブサイトを取得してもよい。例えば、潜在的な違反を含むウェブサイトは、ポリシー準拠チェック動作２１５により低い信頼度で不認可にされたウェブサイトであってもよい。これらの動作２１５は、ウェブサイトを待ち行列に入れる動作２３０にウェブサイトを進めることによって、マニュアルレビューのために、単にこのようなウェブサイトにフラグ付けしてもよいことを想起されたい。低い品質スコアのウェブサイトは、ポリシー違反に対して調べられた後に認可されたが、低いスコア値を取得した（しかし、おそらく自動的終了するほどには低くない）ウェブサイトであるかもしれない。したがって、方法５００は、品質スコアが受け入れ可能であるか否かに関して、人が最終決定を行うマニュアルレビューのために、これらのウェブサイトをスケジュールしてもよい。

戻ってブロック５４０を参照すると、方法５００は１つ以上のフラグ付けされたウェブサイトの待ち行列に対して、フラグ付けされたウェブサイトを加えてもよい。異なる待ち行列は異なる優先度、および／または、異なるタイプのポリシー違反待ち行列を反映してもよい。例えば、異なるレベルの優先度に対して異なる待ち行列を提供してもよい。より詳細な例として、違反の重大度、違反タイプ、違反の数等の組み合わせを使用して、待ち行列を優先度付けしてもよい。このことは単一の、より深刻でないポリシー違反を持つ（これらの拒否がマニュアルで覆される高い可能性を持っている）ウェブサイトが、（認可される可能性のより少ない）複数の深刻なポリシー違反を持つウェブサイトよりもより早くレビューされるようにする。

他の例として、ポリシー違反のタイプに基づいて、待ち行列を提供してもよい。このことは、ポリシー違反を持つウェブサイトのマニュアルレビューを特化できるようにする。例えば、１人以上の人々が、憎悪中心であると考えられるウェブサイトのレビューに対して責任を持っていてもよく、１人以上の他の人々が、アルコールを販売していると考えられるウェブサイトのレビューに対して責任を持っていてもよい。このような特化は、より一様で適切なポリシーの適用を可能にする。

図６は、本発明と一貫した方法で、マニュアルレビューされたウェブサイトを処理するのに使用される例示的な方法６００のフロー図である。特に、方法６００は人的レビュワーの（例えば、フラグ付けされたウェブサイトを認可または不認可し、あるいは、おそらく、他のレビュワー／部門にレビューを再割り当てする）決定を受け入れてもよい（ブロック６１０）。ブロック６２０を参照すると、ウェブサイトがマニュアルで認可された場合、次に、方法６００は、認可されたとして（または、広告ネットワークに追加されるウェブサイトがしなければならない、何らかの動作を実行するとして）、このウェブサイトをマーク付けし、追跡ポリシーチェックをスケジュールする（ブロック６３０および６４０）。この後に方法６００は終了する（ノード６９０）。さらに、方法６００は品質スコアを決定するのに必要とされるステップをとってもよい（ブロック６５０）。

戻ってブロック６２０を参照すると、ウェブサイトがマニュアルで不認可された場合、次に、方法６００は、ウェブサイトがアクティブである場合、ネットワーク参加からウェブサイトを除去してもよく（ブロック６６０）、この後に方法６００は終了する（ノード６９０）。このようなケースでは、方法６００は拒否されたウェブサイトについての情報を記録してもよく、および／または、ウェブサイト発行者に知らせてもよい（ブロック６７０および６８０）。

上記に対する追加として、ウェブページスコア付け動作（例えば、図４の方法４００を想起）を（例えば、過去の人的オペレータ決定に基づいて）訓練し、そして、調整するために、（ナイーブベイズ、ＳＶＭ等の）学習アルゴリズムに関連して、人的オペレータの決定を使用してもよい。このように行うことにより、より効率的で正確なスコア付け手続となり、これによって、人的介入（マニュアルレビュー）を減少させつつ、より効率的なシステムが実現される。

セクション４．３．２ 例示的な装置
図７は、上記の動作のうちの１つ以上を実行してよく、上記のさまざまな情報を記憶してよい機械７００の高水準ブロック図である。機械７００は、基本的に１つ以上のプロセッサ７１０、１つ以上の入力／出力インターフェイスユニット７３０、１つ以上の記憶デバイス７２０、ならびに、結合されたエレメント間での情報の通信を容易にするための１つ以上のシステムバスおよび／またはネットワーク７４０を含む。１つ以上の入力デバイス７３２および１つ以上の出力デバイス７３４が１つ以上の入力／出力インタフェース７３０と結合されていてもよい。

１つ以上のプロセッサ７１０は、本発明の１つ以上の観点を達成するために（例えば、カリフォルニア州パロアルトのサンマイクロシステムズ社から入手できるソラリスオペレーティングシステム上で、または、ノースカロライナ州ダーハムのレッドハット社のような多くのベンダから幅広く手に入るリナックス (登録商標)オペレーティングシステム上で実行するＣまたはＣ＋＋のような）機械実行可能命令を実行してもよい。少なくとも一部の機械実行可能命令を、１つ以上の記憶デバイス７２０に（一時的に、もしくは、より恒久的に）記憶してもよく、および／または、１つ以上の入力インターフェイスユニット７３０を介して外部ソースから受け取ってもよい。

１つの実施形態では、機械７００は１つ以上の従来のパーソナルコンピュータであってもよい。このケースでは、処理ユニット７１０は１つ以上のマイクロプロセッサであってもよい。バス７４０はシステムバスを含んでいてもよい。記憶デバイス７２０は、リードオンリーメモリ（ＲＯＭ）および／またはランダムアクセスメモリ（ＲＡＭ）のようなシステムメモリを含んでいてもよい。記憶デバイス７２０は、ハードディスクから読み取るための、またはハードディスクに書き込むためのハードディスクドライブや、（例えばリムーバブル）磁気ディスクから読み取るための、または（例えばリムーバブル）磁気ディスクに書き込むための磁気ディスクドライブ、および、コンパクトディスクもしくは他の（磁気）光学媒体のようなリムーバブル（磁気）光ディスクから読み取るための、またはコンパクトディスクもしくは他の（磁気）光学媒体のようなリムーバブル（磁気）光ディスクに書き込むための光ディスクドライブも含んでいてもよい。

ユーザは、例えばキーボードおよびポインティングデバイス（例えば、マウス）のような入力デバイス７３２を通して、パーソナルコンピュータにコマンドと情報を入力してよい。これには、マイク、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナのような他の入力デバイスも（または、代わりに）含まれてよい。これらの、および他の入力デバイスは、システムバス７４０に結合される適切なインタフェース７３０を通して処理ユニット７１０に接続されることが多い。出力デバイス７３４は、モニタ、または、適切なインタフェースを介してシステムバス７４０に接続され得る他のタイプの表示デバイスを含んでよい。モニタに加えて（または、代わりに）、パーソナルコンピュータは、例えばスピーカとプリンタのような、他の（示していない）（周辺）出力デバイスを含んでよい。

セクション４．３．３ 改良と代替物
本発明は、上に説明した特定のポリシー違反に制限されておらず、また、本発明は上に説明した特定の品質スコアに制限されていない。

ウェブサイトポリシー準拠チェックと、ウェブサイトスコア付けの両方を説明したが、これら両方を実行する必要はない。

ポリシー準拠チェックは、さまざまな関係者により要求されてもよく、さまざまな回数発生させてもよい。例えば、ウェブ発行者は、ウェブ発行者のウェブサイトが広告ネットワークに追加されるように要求してもよい。広告ネットワーク、または、広告ネットワークに対するエージェントは、ウェブサイトが広告ネットワークに追加される前に、ポリシー準拠に対してそのウェブサイトをチェックしてもよい。他の例として、ウェブサイトは、広告ネットワークに受け入れられた後に変更されるかもしれないため、広告ネットワーク、または、広告ネットワークに対するエージェント（集合的に“広告ネットワーク”と呼ぶ）は、ポリシー準拠に対してウェブサイトを再チェックしてもよい。さらに他の例では、（例えば、緩和され、より厳格にされ、拡張され、減少される等のように）ポリシーが変更されるかもしれないため、広告ネットワークがポリシー変更を考慮して（以前に受け入れられた、および／または、以前に拒否された）ウェブサイトを再査定することが望ましい。さらに他の例として、広告ネットワークは、認証されていないウェブサイトの発見を助けるために、ポリシー準拠に対して、その広告ネットワーク中の参加ウェブサイトをチェックしてもよい。またさらに他の例として、広告ネットワークに関するビジネス開発は、ウェブ発行者を誘致して、広告ネットワークに参加させることを望むかもしれない。ビジネス開発は、本発明を使用して、広告ネットワークの１つ以上のポリシーに違反している潜在的な候補をふるい分けしてもよい。

予め定められたヒューリスティクス、予め定められた、または動的に決定された（絶対的および／または相対的な）しきい値等を使用して、品質スコアが低いか否かを決定してもよい。

品質スコア付けは、さまざまな関係者により要求されてもよく、さまざまな回数発生させてもよい。例えば、広告ネットワークは、（例えば、広告主および／またはエンドユーザを満足させるために）それらの広告ネットワークに参加しているウェブサイトの品質を測定してもよい。広告ネットワーク上のウェブサイトの品質を改良する目的で、または、少なくとも広告主の支払および／またはウェブ発行者の報酬をしかるべく調整する目的で、広告ネットワークは誘因および／または阻害要因を提供することを望むかもしれない。

数多くの例示的実施形態は、ウェブサイトの情況で説明したが、これらはウェブページおよび他のタイプの文書または文書の収集物に適用されてもよい。１つの例として、例えば、グーグルにより提供されているＧ−Ｍａｉｌのような、ｅメールとともに広告を供給してもよい。ｅメールのコンテンツは、ポリシー違反に対して（例えば、リアルタイムで）チェックされるかもしれない。

セクション４．４ 結論
上記から理解できるように、本発明と一貫した実施形態は、広告ネットワークが、（ｉ）善良な企業市民であることと、（ｉｉ）広告ネットワーク中のウェブサイトが攻撃的または論議を呼ぶものでないことを確実にすることと、（ｉｉｉ）違法行為を避けることと、（ｉｖ）広告ネットワーク上のウェブサイトの品質を改良することと、（ｖ）彼らのブランドを保護し、強化することと、（ｖｉ）広告主の支払および／またはウェブ発行者の報酬および／または料金をウェブサイト品質に基づいて調整することを助ける。このような実施形態は、さらに、広告ネットワークがより効率的により早く、このような手段を達成できるようにする。

図１は、例えば、コンテンツターゲット広告ネットワークのような、広告ネットワークと対話することができる関係者またはエンティティを示す図である。 図２は、本発明と一貫した方法で実行してもよい、ポリシー準拠に対してウェブサイトを自動的にチェックし、および／またはウェブサイトを自動的にスコア付けするための例示的な動作と、このような動作により使用され、および／または発生されてもよい情報とのデータフロー図である。 図３は、本発明と一貫した方法で、ウェブサイトがポリシーに準拠しているか否か決定するのに使用してもよい例示的な方法のフロー図である。 図４は、本発明と一貫した方法で、ウェブサイトに対する品質スコアを決定するのに使用してもよい例示的な方法のフロー図である。 図５は、本発明と一貫した方法で、（例えば、マニュアルのような）より詳細なレビューのためにウェブサイトをフラグ付けし、待ち行列に入れるのに使用してもよい例示的な方法のフロー図である。 図６は、本発明と一貫した方法で、マニュアルレビューされたウェブサイトを処理するのに使用してもよい例示的な方法のフロー図である。 図７は、本発明と一貫した方法で、さまざまな動作を実行してもよい例示的な装置のブロック図である。

Claims (17)

1. ａ）１つ以上の文書を含む収集物を受け入れることと、
   ｂ）前記収集物が広告ネットワークのポリシーに準拠しているか否か決定することと、
   ｃ）前記収集物が前記ポリシーに準拠していると決定された場合、前記収集物を認可することと
   を含む、コンピュータにより実現される方法。
2. ｄ）前記収集物が認可された場合、前記収集物に含まれる文書のレンダリングに関連して、広告が供給されてもよいように、前記収集物を前記広告ネットワークに追加すること
   をさらに含む、請求項１記載のコンピュータにより実現される方法。
3. ｄ）前記収集物が認可された場合、前記収集物に含まれる文書のレンダリングに関連して、コンテンツターゲット付けされた広告が供給されてもよいように、前記収集物を前記広告ネットワークに追加すること
   をさらに含む、請求項１記載のコンピュータにより実現される方法。
4. ｄ）前記収集物が前記広告ネットワークのポリシーに準拠しているか否かの追跡決定をスケジュールすること
   をさらに含む、請求項１記載のコンピュータにより実現される方法。
5. １つ以上の文書を含む収集物は、１つ以上のウェブページを含むウェブサイトである、請求項１記載のコンピュータにより実現される方法。
6. 前記ポリシーは、前記収集物の前記１つ以上の文書のコンテンツに関係する、請求項１記載のコンピュータにより実現される方法。
7. 前記ポリシーは、
   （Ａ）憎悪中心の文書収集物でないことと、
   （Ｂ）個別の憎悪キャンペーンに主に関係する文書収集物でないことと、
   （Ｃ）暴力またはテロを擁護または助長する文書収集物でないことと、
   （Ｄ）悪意のあるアドバイスを提供し、あるいは、悪意のある活動を擁護または助長する文書収集物でないことと、
   （Ｅ）違法薬物または麻薬に必要な装具の販売を提供または助長する文書収集物でないことと、
   （Ｆ）医薬品の違法な販売を提供または助長する文書収集物でないことと、
   （Ｇ）ソフトウェアまたはネットワークのハッキングを助長または擁護する文書収集物でないことと、
   （Ｈ）ソフトウェアまたはネットワークのクラッキングを助長または擁護する文書収集物でないことと、
   （Ｉ）銃砲の販売を提供または助長する文書収集物でないこと、
   （Ｊ）ポルノグラフィーを伴う文書収集物でないことと、
   （Ｋ）ハードコアポルノグラフィーを伴う文書収集物でないことと、
   （Ｌ）冒涜を伴う文書収集物でないことと、
   （Ｍ）過剰な冒涜を伴う文書収集物でないことと、
   （Ｎ）模造品または偽造品の販売を提供、助長、または促進する文書収集物でないことと、
   （Ｏ）デマまたは詐欺の犯行を促進または助長する文書収集物でないことと、
   （Ｐ）商標の誤植をあてにした文書収集物でないことと、
   （Ｑ）偽造文書の販売を提供または助長する文書収集物でないことと、
   （Ｒ）学期末レポートの販売を提供または助長する文書収集物でないことと、
   （Ｓ）著作権のあるコンテンツの非認証のダウンロードまたはレンダリングを提供または助長する文書収集物でないことと、
   （Ｔ）所望されない発行者によりサポートされた文書収集物でないことと、
   （Ｕ）アルコールの販売を提供する文書収集物でないことと、
   （Ｖ）ワイン以外のアルコールの販売を提供する文書収集物でないことと、
   （Ｗ）未成年者に対するアルコールの販売を提供する文書収集物でないことと、
   （Ｘ）タバコの販売を提供または助長する文書収集物でないことと、
   （Ｙ）未成年者に対するタバコの販売を提供または助長する文書収集物でないことと、
   （Ｚ）オンライン賭博を助長する文書収集物でないことと、
   （ＡＡ）未成年者に対してオンライン賭博を助長する文書収集物でないことと
   からなるポリシーのグループから選択された少なくとも１つのポリシーを含む、請求項１記載のコンピュータにより実現される方法。
8. １つ以上の文書を含む前記収集物は、１つ以上のウェブページを含むウェブサイトであり、前記ポリシーは、前記ウェブサイトの使い易さに関係する、請求項１記載のコンピュータにより実現される方法。
9. 前記収集物は１つ以上のウェブページを含むウェブサイトであり、
   前記ポリシーは、
   （Ａ）ドメインネームシステム（ＤＮＳ）エラーを伴うウェブサイトと、
   （Ｂ）オフラインのウェブサイトと、
   （Ｃ）工事中のウェブサイトと、
   （Ｄ）過剰なポップアップを伴うウェブサイトと、
   （Ｅ）過剰なポップアンダーを伴うウェブサイトと、
   （Ｆ）チャット用ウェブサイトと、
   （Ｇ）ＨＴＭＬでないウェブサイトと、
   （Ｈ）スパイウェアのウェブサイトと、
   （Ｉ）ホームページ乗っ取りウェブサイトと
   からなるポリシーのグループから選択された少なくとも１つのポリシーを含む、請求項１記載のコンピュータにより実現される方法。
10. 前記ポリシーは、前記広告ネットワークにおけるまたは前記広告ネットワークの参加者に対する、前記収集物による潜在的な不正または詐欺に関係する、請求項１記載のコンピュータにより実現される方法。
11. ｄ）前記収集物が前記ポリシーに準拠していないと決定された場合、前記収集物に含まれる文書を前記広告ネットワークの広告に供給しないという表示を記憶すること
    をさらに含む、請求項１記載のコンピュータにより実現される方法。
12. ｅ）前記収集物が前記ポリシーに準拠していないという決定における信頼度レベルを決定することと、
    ｆ）前記決定された信頼度レベルが予め定められたしきい値を下回る場合、ポリシー準拠のマニュアル決定のために前記収集物を保存することと
    をさらに含む、請求項１１記載のコンピュータにより実現される方法。
13. ｇ）前記収集物のポリシー準拠のマニュアル決定を受け入れることと、
    ｈ１）前記収集物が前記ポリシーに準拠しているとマニュアルで決定された場合、前記収集物を認可することと
    をさらに含む、請求項１２記載のコンピュータにより実現される方法。
14. ｈ２）前記収集物が認可された場合、前記収集物に含まれる文書のレンダリングに関連して広告が供給されるように、前記収集物を前記広告ネットワークに追加すること
    をさらに含む、請求項１３記載のコンピュータにより実現される方法。
15. ｈ２）前記収集物が前記ポリシーに準拠していないとマニュアルで決定された場合、前記収集物に含まれる文書を前記広告ネットワークの広告に供給しないという表示を記憶すること
    をさらに含む、請求項１３記載のコンピュータにより実現される方法。
16. ａ）１つ以上の文書を含む収集物を受け入れる手段と、
    ｂ）前記収集物が広告ネットワークのポリシーに準拠しているか否か決定する手段と、
    ｃ）前記収集物が前記ポリシーに準拠していると決定された場合、前記収集物を認可する手段と
    を具備する装置。
17. コンピュータにより実行されるときに、方法を実行するコンピュータ読取可能命令を記憶したコンピュータ読取可能媒体において、
    方法は、
    ａ）１つ以上の文書を含む収集物を受け入れることと、
    ｂ）前記収集物が広告ネットワークのポリシーに準拠しているか否か決定することと、
    ｃ）前記収集物が前記ポリシーに準拠していると決定された場合、前記収集物を認可することと
    を含むコンピュータ読取可能媒体。

Images