JP2018529150A - デマンド・サイド・プラットフォームのリフト値分析における偏りの低減 - Google Patents

Abstract

デマンド・サイド・プラットフォーム（ＤＳＰ）は、エンティティによって提供された１つ以上の広告のリフト値分析を実行して、１つ以上の広告がユーザに様々なアクションを実行させる効果を判断する。リフト値分析における偏りを低減するために、ＤＳＰがユーザに広告を提示する機会を識別すると、ＤＳＰはユーザへの提示のための候補広告を識別して候補広告を選択する。候補広告がリフト値分析を受けており、候補広告が提示されないホールドアウト・グループにユーザが含まれる場合、ＤＳＰは、代替広告を選択して選択広告の入札額を代替広告に関連付ける。代替広告がユーザに提示される場合には、ＤＳＰは、代替広告に関連付けられたエンティティと選択広告に関連付けられたエンティティとの間で請求金額を割り当てることができる。

Description

本開示は、概してスポンサード・コンテンツの提示に関し、詳しくは、デマンド・サイド・プラットフォーム（ＤＳＰ）のホールドアウト・グループにおける偏りを低減することに関する。

デマンド・サイド・プラットフォーム（ＤＳＰ）は、様々なオンライン・システムによって提示されるコンテンツのスポンサーシップをエンティティが自動化することを可能にする。ＤＳＰは、様々なスポンサード・コンテンツ・アイテムに関連付けられたターゲティング基準とともに、エンティティから１つ以上のスポンサード・コンテンツ・アイテムを受け取る。スポンサード・コンテンツ・アイテムに関連付けられたターゲティング基準は、スポンサード・コンテンツ・アイテムとともに提示される資格を有するユーザの特性を識別する。例えば、スポンサード・コンテンツ・アイテムに関連付けられた少なくともしきい値数のターゲティング基準を満たす特性を有するユーザは、スポンサード・コンテンツ・アイテムとともに提示される資格がある。次いで、ＤＳＰは、スポンサード・コンテンツ・アイテムのターゲティング基準に基づいてユーザにコンテンツを提供するオンライン・システムから、スポンサード・コンテンツ・アイテムのインプレッション（すなわち、ユーザへの広告の提示）を自動的に購入する。ＤＳＰは、オンライン・システムからユーザにコンテンツが提示されているときに様々なＤＳＰまたは他のコンテンツプロバイダがオンライン・システムに入札額を提供するリアルタイム・オークションを通じてコンテンツを提示するオンライン・システムからインプレッションを購入することができる。ＤＳＰとリアルタイム・オークションとの組み合わせにより、スポンサード・コンテンツ・アイテムを提示するエンティティのコストを低減しながら、エンティティは、スポンサード・コンテンツ・アイテムを様々なユーザにより効果的に提示することが可能になる。

典型的には、ＤＳＰおよびエンティティは、取引所またはサプライ・サイド・プラットフォーム（ＳＳＰ）からスポンサード・コンテンツ・アイテムのインプレッションを購入する。コンテンツを提示するオンライン・システムは、ＳＳＰ上のオンライン・システムを介して、最低価格、在庫数、およびその他の購買インプレッション条件を設定することができる。ＳＳＰは、多数のインプレッションを管理し、ＤＳＰと通信して、コンテンツとともにスポンサード・コンテンツ・アイテムを提示するオンライン・システムにもたらされる収益を最大化しつつ、これらのオンライン・システムにおけるオーバーヘッドコストを最小化する。

また、１つ以上のオンライン・システムによって提示されるスポンサード・コンテンツ・アイテムを提供するエンティティは、ユーザに提示されるスポンサード・コンテンツ・アイテムの有効性を判断しようとする場合がある。例えば、エンティティは、スポンサード・コンテンツ・アイテムが提示された後にユーザが実行することを望む１つ以上のアクションを特定する。スポンサード・コンテンツ・アイテムが提示されたユーザがその特定アクションの１つを実行するとコンバージョンが特定される。したがって、エンティティは、スポンサード・コンテンツ・アイテムとともに提示されユーザによって実行された、スポンサード・コンテンツ・アイテムに関連付けられた特定アクションの数を測定するスポンサード・コンテンツ・アイテムのコンバージョン・レートを決定しようとし得る。スポンサード・コンテンツ・アイテムをユーザに提示すると、スポンサード・コンテンツ・アイテムを提供するエンティティによって特定されるアクションをユーザに実行させることができるが、ユーザはスポンサード・コンテンツ・アイテムの影響を受けずにアクションを自然に実行する場合もある。したがって、エンティティは、ユーザに対するスポンサード・コンテンツ・アイテムの提示がユーザにアクションを実行させる原因となったかどうかを判断するために、ユーザによって実行されたアクションのリフト値分析を実行し得る。これにより、エンティティは、ユーザによって提供されたスポンサード・コンテンツ・アイテムがエンティティの収益を得るのに有効であるかどうかを判断することができる。しかしながら、ＤＳＰはエンティティのスポンサード・コンテンツ・アイテムに関してリフト値分析を行うことができるが、ＤＳＰによるリフト値分析を実装することが、スポンサード・コンテンツ・アイテムを提示のために選択するプロセス中に偏りをもたらし得る。

広告主などのエンティティは、広告を管理し、様々なオンライン・システムにより広告を提示する機会を識別するデマンド・サイド・プラットフォーム（ＤＳＰ）に広告を提供する。ＤＳＰによって受信される様々な広告は、その広告が提示される資格のあるユーザの特性を指定するターゲティング基準を含む。例えば、広告に関連付けられた少なくともしきい値数のターゲティング基準を満たす特性を有するユーザは、その広告が提示される資格を有する一方、しきい値数のターゲティング基準を満たさない特性を有する別のユーザは、その広告が提示される資格を有さない。また、広告は、その広告を提供するエンティティが、広告を提示するための報酬としてまたは広告が提示されるユーザが１つ以上の指定されたアクションを実行するための報酬として提示することを望む最大報酬額を記述する入札情報を含む。広告に含まれる入札情報は、広告が受信されたエンティティによって指定されてもよい。例えば、広告に含まれる入札情報は、広告に含まれる異なる数のターゲティング基準を満たす特性を有するユーザに対して広告を提示するための異なる最大報酬額（例えば、より大きな数またはより高い割合のターゲティング基準を満たす特性を有するユーザに対して広告を提示するためのより大きな報酬額）を指定する。ＤＳＰは、広告に含まれるターゲティング基準とインプレッションを記述する情報とに基づいて、ＤＳＰによって受信された広告に関連付けられたターゲティング基準に少なくとも部分的に基づいてコンテンツを提供する１つ以上のオンライン・システムによって広告（「インプレッション」）を提示する機会を識別する。

いくつかの実施形態では、オンライン・システムは、１つ以上の広告を提示する機会を識別して、ＤＳＰから広告を要求する。あるいは、オンライン・システムは、１つ以上の広告を提示する機会の識別情報を受け取って、ＤＳＰから広告を要求する。例えば、オンライン・システムは、オンライン・システムによって提供されるウェブ・ページに広告を提示する機会や、オンライン・システムによって提供されるビデオ・コンテンツに広告を提示する機会や、オンライン・システムによって提供される仮想世界に広告を提示する機会や、オンライン・システムによって提供される任意の適切なコンテンツに広告を提示する機会を識別する。ＤＳＰは、このような機会を識別するオンライン・システムから１つ以上の広告に関する要求を受信する。いくつかの実施形態では、１つ以上の広告に関する要求は、オンライン・システムによってコンテンツが提示されるユーザに関連付けられた情報を含む。１つ以上の広告に関する要求に含まれるユーザに関連付けられた情報の例としては、ユーザの人口統計情報、オンライン・システムによってユーザに提示されるコンテンツの識別子または記述子、ユーザに以前に提示された追加のコンテンツ、ユーザに関連付けられた位置、または他の適切な情報が含まれる。

ＤＳＰによって管理される広告に関連付けられた１つ以上の広告およびターゲティング基準に対する受信された要求に基づいて、ＤＳＰは、管理された広告のうちから１つ以上の候補広告を選択する。候補広告は、ユーザの特性によって満たされる少なくともしきい値数のターゲティング基準に関連付けられている。例えば、候補広告は、ＤＳＰによって受信された１つ以上の広告に関する要求に含まれるユーザに関連付けられた人口統計情報をそれぞれ満たす位置、性別、および年齢範囲に関連付けられている。

ＤＳＰは、各候補広告に含まれた入札情報と、ユーザの特性と、各候補広告に含まれたターゲティング基準とを用いて、各候補広告の入札額を計算する。候補広告の入札額は、候補広告がオンライン・システムによってユーザに提示された場合、またはオンライン・システムによって広告が提示されたユーザがエンティティにより候補広告に関連付けられた１つ以上のアクションを実行した場合における、オンライン・システムに対する、候補広告に関連付けられたエンティティからの最大報酬額を表す。いくつかの実施形態では、候補広告の入札額によって表される最大報酬額はＤＳＰがオンライン・システムに提供する最大報酬額を表し、これは候補広告に関連付けられ１つ以上の広告を要求するエンティティによって指定された最大報酬額と異なっていてもよい。候補広告に含まれる入札情報は、ユーザの特性によって満たされる候補広告に含まれるターゲティング基準の数または割合に少なくとも部分的に基づいて候補広告の入札額を決定することができる。

ＤＳＰは、候補広告の入札額に少なくとも部分的に基づいて候補広告に対する１つ以上の選択プロセスを実行する。例えば、ＤＳＰは、候補広告をそれらに関連付けられた入札額に基づいてランク付けし、ランク付けにおいて最も高い位置にある候補広告か、またはランク付けにおいて少なくともしきい値位置を有する候補広告を選択する。次に、ＤＳＰは、選択された候補広告がリフト値分析を受けているか否かを判定して、広告が提示されたユーザに広告を提供するエンティティによって指定された１つ以上のアクションを実行させることにおける広告の有効性を判定する。広告に関するリフト値分析を行うために、提示すべき広告が選択される特定のユーザが、広告に関連付けられたホールドアウト・グループに含めるためにランダムに選択される。ホールドアウト・グループのユーザに対しては、ホールドアウト・グループのユーザに提示するために広告が選択されている場合でも、その広告は提示されない。したがって、ＤＳＰは、選択された候補広告が提示されたユーザが、選択された候補広告についてホールドアウト・グループに含まれているかどうかを判定する。

ＤＳＰは、ユーザが選択された候補広告に関連付けられたホールドアウト・グループに含まれていると判定したことに応じて、選択された候補広告のリフト値分析の精度を減少させ得る偏りを低減しつつ、ユーザに対して広告を提示するための１つ以上のアクションを実行する。いくつかの実施形態では、ＤＳＰは、候補広告の入札額に基づく候補広告のランク付けでより低い位置を有する候補広告を特定する。例えば、ＤＳＰは、ランク付けで２番目に高い位置を有する候補広告を特定する。ＤＳＰは、特定された候補広告をオンライン・システムに伝達する一方、ホールドアウト・グループに存在していたユーザに対して選択された候補広告の入札額をその特定された候補広告に関連付ける。オンライン・システムは、オンライン・システムによって受信されたＤＳＰや他のＤＳＰまたはエンティティからの追加の広告に関連付けられた入札額とともに、選択された候補広告の入札額を使用して、識別された機会を通じてユーザに提示するための広告を選択する。オンライン・システムが特定された候補広告を選択すると、オンライン・システムは、特定された候補広告をユーザに提示する。その後、オンライン・システムは、特定された候補広告が提示されたユーザを識別する情報とともに、特定された候補広告がＤＳＰに提示された後にユーザによって実行されるアクションを提供し、これによって、ＤＳＰは、選択された候補広告が提示されたユーザに、選択された候補広告をＤＳＰに提供するエンティティによる選択された候補広告に関連付けられたアクションを実行させる際における選択された候補広告の影響を判定することが可能となる。いくつかの実施形態では、選択された候補広告をＤＳＰに提供したエンティティは、特定された候補広告が提示されたユーザによって実行されたアクションを記述する情報もＤＳＰに提供する。

一実施形態にかかるデマンド・サイド・プラットフォーム（ＤＳＰ）のシステム環境のブロック図である。 一実施形態にかかるＤＳＰのアーキテクチャの例示的なブロック図である。 一実施形態にかかる広告の提示が防止されるホールドアウト・グループのユーザへの提示のためにオンライン・システムに広告を提供するための方法の相互作用図である。

図面は、例示のみを目的として様々な実施形態を示している。当業者であれば、本明細書に記載された原理から逸脱することなく、本明細書に例示される構造および方法の代替実施形態を使用できることを容易に認識し得る。

［システム・アーキテクチャ］
図１は、デマンド・サイド・プラットフォーム（ＤＳＰ）１４０のシステム環境１００のブロック図の一実施形態である。図１に示されたシステム環境１００は、１つ以上のクライアント・デバイス１１０と、ネットワーク１２０と、１つ以上のオンライン・システム１３０と、ＤＳＰ１４０とを備える。代替構成では、異なるおよび／または追加の構成要素をシステム環境１００に含めることができる。

クライアント・デバイス１１０は、ネットワーク１２０を介してユーザ入力を受信するだけでなく、データを送信および／または受信することができる１つ以上のコンピューティング・デバイスである。一実施形態では、クライアント・デバイス１１０は、デスクトップまたはラップトップ・コンピュータなどの汎用コンピュータ・システムである。あるいは、クライアント・デバイス１１０は、パーソナル・デジタル・アシスタント（ＰＤＡ）、携帯電話、スマートフォン、スマートウォッチ、または他の適切なデバイスなどのコンピュータ機能を有するデバイスであってもよい。クライアント・デバイス１１０は、ネットワーク１２０を介して通信するように構成されている。一実施形態では、クライアント・デバイス１１０は、クライアント・デバイス１１０のユーザがオンライン・システム１３０またはＤＳＰ１４０と対話することを可能にするアプリケーションを実行する。例えば、クライアント・デバイス１１０は、ブラウザ・アプリケーションを実行することにより、ネットワーク１２０を介したクライアント・デバイス１１０とオンライン・システム１３０との対話を可能にする。別の実施形態では、クライアント・デバイス１１０は、ＩＯＳ（登録商標）やＡＮＤＲＯＩＤ（登録商標）などの固有のオペレーティング・システム上で動作するアプリケーション・プログラミング・インタフェース（ＡＰＩ）を介してオペレーティング・システムと対話する。

クライアント・デバイス１１０は、有線および／または無線の通信システムを使用してローカルエリアおよび／またはワイドエリアネットワークの任意の組み合わせを含み得るネットワーク１２０を介して通信するように構成されている。一実施形態では、ネットワーク１２０は、標準的な通信技術および／またはプロトコルを使用する。例えば、ネットワーク１２０は、イーサネット（登録商標）、８０２．１１、ＷｉＭＡＸ（登録商標）、３Ｇ、４Ｇ、コード分割多重アクセス（ＣＤＭＡ）、デジタル加入者回線（ＤＳＬ）などの技術を使用する通信リンクを含む。ネットワーク１２０を介して通信するために用いられるネットワーキング・プロトコルの例としては、マルチプロトコル・ラベル・スイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ハイパーテキスト・トランスポート・プロトコル（ＨＴＴＰ）、簡易メール転送プロトコル（ＳＭＴＰ）、およびファイル転送プロトコル（ＦＴＰ）が挙げられる。ネットワーク１２０を介してやり取りされるデータは、ハイパーテキスト・マークアップ言語（ＨＴＭＬ）または拡張可能マークアップ言語（ＸＭＬ）などの任意の適切なフォーマットを使用して表すことができる。いくつかの実施形態では、ネットワーク１２０の通信リンクのすべてまたは一部は、任意の適切な技術を使用して暗号化されてもよい。

１つ以上のオンライン・システム１３０は、クライアント・デバイス１１０またはＤＳＰ１４０と通信するためにネットワーク１２０に結合され得る。これについては、図２に関連して以下で詳述する。オンライン・システム１３０は、クライアント・デバイス１１０を介してユーザに提示するためのコンテンツを提供することができる。例えば、オンライン・システム１３０は、ウェブ・ページ、ビデオ・データ、メッセージ、仮想世界、または他の適切なコンテンツをユーザに提供する。オンライン・システム１３０により提示されるコンテンツは、広告の提示のための機会（すなわち、広告の「インプレッション」）を含み得る。これにより、エンティティは、図３に関連して以下で詳述するように、コンテンツとともに提示するための広告をオンライン・システム１３０に提供することができる。

他の実施形態では、オンライン・システム１３０は、他のオンライン・システム１３０によってユーザに提供されるコンテンツとともに広告を提示する機会の指示を他のオンライン・システム１３０から受信するサプライ・サイド・プラットフォーム（ＳＳＰ）である。図２に関連して以下で詳述するように、他のオンライン・システム１３０はＤＳＰ１４０と通信することにより、提示のために他のオンライン・システム１３０と通信するための広告を特定する。例えば、ユーザにウェブ・ページを提供するオンライン・システム１３０は、ＤＳＰ１４０と通信する他のオンライン・システム１３０にウェブ・ページとともにまたはウェブ・ページ内の広告を提示する機会を識別することにより、図３に関連して以下で詳述するように、オンライン・システム１３０のための広告を特定する。

図２は、ＤＳＰ１４０のアーキテクチャの例示的なブロック図である。図２に示されたＤＳＰ１４０は、広告ストア２１０と、広告エンジン２２０と、広告統計ストア２３０と支払いモジュール２４０とを含む。他の実施形態では、ＤＳＰ１４０は、図２に関連して説明する構成よりも多い、少ない、またはそれらの構成とは異なる構成を含んでいてもよい。ネットワーク・インタフェース、セキュリティ機能、負荷バランサ、フェイルオーバー・サーバ、マネジメントおよびネットワーク・オペレーション・コンソールなどの従来の構成は、システム・アーキテクチャの詳細を不明瞭にすることを避けるべく図示されていない。

広告ストア２１０は、広告および関連データを格納する。様々な実施形態では、広告ストア２１０内の広告は、様々なオンライン・システム１４０または他のエンティティから受信される。広告は、広告クリエイティブ、ターゲティング基準、入札情報、識別子を含むが、さらなる情報を含んでいてもよい。識別子は、ＤＳＰ１４０またはＤＳＰ１４０に広告を提供したエンティティに対して広告を一意に識別する。広告クリエイティブは、ユーザに提示されるコンテンツであり、テキスト、画像、オーディオ、ビデオ、またはユーザに提示される他の任意の適切なデータを含むことができる。１つ以上の広告クリエイティブは、広告がアクセスされたときにユーザが導かれるネットワーク・アドレスを指定するランディング・ページを含み得る。

広告に含まれるターゲティング基準は、広告に含まれる広告クリエイティブが提示される資格を有するユーザの１つ以上の特性を指定する。例えば、ターゲティング基準は、ユーザの人口統計情報を有するユーザを識別するため、または広告クリエイティブが提示される資格を有する場合に少なくとも１つのターゲティング基準を満たすアクションを実行したユーザを識別するために使用される。広告に関連付けられたエンティティは、広告に含まれる広告クリエイティブが提示される資格のあるユーザについて、そのユーザの特性によって満たされる広告に含まれるターゲティング基準のしきい値数または割合を指定し得る。したがって、ターゲティング基準により、広告主またはエンティティは特定の特性を有するユーザを識別可能となり、異なるユーザへのコンテンツのその後の配信を単純化することができる。

広告内における入札情報は、オンライン・システム１３０が広告内において広告クリエイティブを提示する場合、または広告クリエイティブが提示されたオンライン・システム１３０のユーザがその広告に関連付けられたエンティティによってその広告に関連付けられた１つ以上のアクションを実行する場合に、オンライン・システム１３０がその広告に関連付けられたエンティティ（例えば、広告主）から受け取る金額を指定する１つ以上の入札額を含む。いくつかの実施形態において、入札情報は、異なる基準に関連付けられた異なる入札額を含み、この場合には、少なくともしきい値数を満たした基準に関連付けられた入札額が選択される。例えば、ユーザの特性によって満たされる異なる数または異なる割合のターゲティング基準に異なる入札額が関連付けられ、この場合には、異なる数または異なる割合のターゲティング基準を満たす特性を有するユーザに対して異なる入札額が選択される。入札額を選択するために入札情報によって使用され得る追加の基準には、広告から広告クリエイティブを提示するオンライン・システム１３０、広告から広告クリエイティブが提示される時刻、広告からの広告クリエイティブが提示されるユーザの位置、または他の適切な情報が含まれる。

ＤＳＰ１４０は、広告ストア２１０内に維持された広告に関連付けられたエンティティが様々な広告に関するリフト値分析を実行することを可能にする。広告のリフト値分析により、広告に関連付けられたエンティティは、広告が提示されたユーザに、エンティティにより広告に関連付けられた１つ以上のアクションを実行させる際における広告の有効性を評価することができる。エンティティにより広告に関連付けられたアクションの例には、広告にアクセスすること、広告に含まれるアイテムをオンライン・ショッピング・カートに加えること、エンティティに関連付けられたアイテムを購入すること、広告によって識別されるアプリケーションをインストールすること、または他の適切なアクションが含まれる。

様々な実施形態において、ＤＳＰ１４０は、広告が提示される資格はあるが広告が提示されないユーザを含むユーザのホールドアウト・グループを識別することによって、広告のリフト値分析を実行する。広告をＤＳＰ１４０に提供するとき、広告に関連付けられたエンティティは、広告に関するリフト値分析を実行するかどうかを指定することができる。エンティティが広告に関するリフト値分析の実行を指定する場合、エンティティは、広告に関連付けられたホールドアウト・グループの大きさや、リフト値分析を実行するためのエンティティからＤＳＰ１４０に対する報酬額を特定する情報とともに、リフト値分析を行うためにＤＳＰ１４０によって使用される追加の情報を提供する。

広告エンジン２２０は、広告ストア２１０内における情報に基づいて１つ以上の広告をＤＳＰ１４０に提示する機会を識別したオンライン・システム１３０に対する広告および入札金額を識別する。いくつかの実施形態では、オンライン・システム１３０は、オンライン・システム１３０が１つ以上の広告をオンライン・システム１３０のユーザに提示する機会を識別したときに、１つ以上の広告に関する要求をＤＳＰ１４０に提示する。１つ以上の広告に関する要求は、１つ以上の広告を提示する機会を記述した情報を含む。例えば、１つ以上の広告に関する要求は、オンライン・システム１３０を識別するとともに、１つ以上の広告を提示する機会に関連付けられたオンライン・システム１３０のユーザに関連付けられた情報を含み得る。オンライン・システムのユーザに関連付けられた情報には、ユーザに関連付けられた位置、現在時刻、ユーザ識別子、ユーザによって以前にアクセスされたコンテンツ、ユーザに関連付けられた人口統計情報、ユーザによって実行された１つ以上のアクション、または、任意の他の適切な情報が含まれ得る。いくつかの実施形態において、ＤＳＰ１４０は、オンライン・システム１３０のユーザに関連付けられた情報、例えば、オンライン・システム１３０からの広告に関して以前に受信された要求に関連付けられたオンライン・システム１３０のユーザなどを記憶する。これにより、ＤＳＰ１４０は、オンライン・システム１３０からの１つ以上の広告に関する要求に含まれたユーザ識別子または他の識別情報から、ユーザに関連付けられた情報を取得することができる。例えば、ＤＳＰ１４０は、オンライン・システム１４０のユーザに以前に提示されたコンテンツを識別する情報をオンライン・システム１４０によってユーザに関連付けられたユーザ識別子と関連付けて記憶することにより、オンライン・システム１４０は、ＤＳＰ１４０に提供される広告に関する要求内にユーザに関連付けられたより少ない情報を含めることが可能となる。

広告エンジン２２０は、オンライン・システム１４０から１つ以上の広告に関する要求を受信すると、その受信した要求によって識別されるユーザに関連付けられた情報を広告ストア２１０内の様々な広告に含まれたターゲティング基準と比較する。広告エンジン２２０は、広告ストア２１０から、ユーザに関連付けられた情報によって満たされる少なくともしきい値数のターゲティング基準を有する広告を候補広告として選択する。したがって、候補広告は、受信した要求によって識別されるユーザに対する提示に相応しい広告である。様々な候補広告について、広告エンジン２２０は、様々な候補広告に含まれる入札情報に基づいて入札額を決定する。一例として、広告エンジン２２０は、各候補広告に含まれる入札情報に基づいて各候補広告の入札額を決定する。様々な実施形態では、候補広告に含まれる入札情報は、受信した要求において識別されるユーザに関連付けられた情報によって満たされる候補広告に含まれるターゲティング基準の数または割合に少なくとも部分的に基づいて候補広告の入札額を決定する。

広告エンジン２２０は、候補広告について決定された入札額に少なくとも部分的に基づいて候補広告を選択する。例えば、広告エンジン２２０は、候補広告をその入札額に基づいてランク付けし、そのランク付けにおいて最も高い位置を有する候補広告、またはランク付けにおいて少なくともしきい値の位置を有する候補広告を選択する。あるいは、広告エンジン２２０は最大入札額を有する候補広告を選択する。広告エンジン２２０は、選択された候補広告（または選択された候補広告の識別子）と、オンライン・システム１４０に対してその候補広告に関連付けられた入札額とを含む応答を、オンライン・システム１３０に伝達する。オンライン・システム１３０によって受信された様々な広告に関連付けられた入札額に少なくとも部分的に基づいて、オンライン・システム１３０は、その受信した広告に１つ以上の選択プロセスを適用して、１つ以上の広告を提示する機会を介して提示するための１つ以上の広告を選択する。いくつかの実施形態において、広告エンジン２２０は、１つ以上の広告に関する要求を受信するしきい値時間内（例えば、１００ミリ秒以内）にオンライン・システム１３０に応答を送信する。これにより、オンライン・システム１３０は、広告とともに提示されるコンテンツがユーザに提供される直前に、提示すべき広告を選択することが可能となり、エンティティは、オンライン・システムにより提示すべき広告を、ユーザへのコンテンツの提示に対してほぼリアルタイムで提供することが可能となる。

広告エンジン２２０がオンライン・システム１３０に応答を送る場合、広告エンジン２２０は、トラッキング・ピクセルなどの、広告を介して提示するためのトラッキング機構を含み得る。トラッキング機構は、クライアント・デバイス１１０によって実行されるとき、クライアント・デバイス１１０からＤＳＰ１４０に情報を伝達する命令を含む。オンライン・システム１３０が提示のためにＤＳＰ１４０によって識別された選択された候補広告を選択する場合、オンライン・システム１３０は、選択された候補広告を別のオンライン・システム１３０に提示するか、または選択された候補広告を特定する情報（例えば、選択された候補広告へのリンク）を提示するべく別のオンライン・システム１３０に伝達する。クライアント・デバイス１１０が選択された候補広告を提示する場合、クライアント・デバイス１１０はトラッキング機構を実行してそのトラッキング機構により識別される情報（例えば、選択された候補広告が提示されたユーザ、提示された候補広告やユーザに提示されたコンテンツに対するユーザによる１つ以上の対話、クライアント・デバイス１１０の位置、クライアント・デバイス１１０のパラメータなどを識別する情報）を取得する。例えば、クライアント・デバイス１１０上で動作してコンテンツや選択された候補広告を提示するブラウザは、選択された候補広告内の命令を実行することにより、クライアント・デバイス１１０からの要求を伝達する。要求は、その要求に付加された１つ以上のクエリ文字列を有し、このクエリ文字列は、選択された候補広告との対話または提示を記述した情報を含む。選択された候補広告を提示のためにクライアント・デバイス１１０に提供するオンライン・システム１３０によって、選択された候補広告に関連付けられたエンティティからの要求に対する報酬額などの追加の情報がＤＳＰ１４０に伝達されてもよい。

広告統計ストア２３０は、広告ストア２１０内に維持された様々な広告を様々なオンライン・システム１３０のユーザに提示することを記述した情報を含む。広告統計ストア２３０内に含まれる例示的な情報には、提示のためにオンライン・システム１３０によって様々な広告が選択された日時、ＤＳＰ１４０からオンライン・システム１３０に伝達された広告を提示したオンライン・システム１３０の識別子、オンライン・システム１３０によって提示された広告に関連付けられたエンティティへの請求額、オンライン・システム１３０に対してＤＳＰ１４０により特定された広告との対話、オンライン・システム１３０に対してＤＳＰ１４０により特定された広告との対話がエンティティによってその広告に関連付けられたアクションと一致するかどうか、ＤＳＰ１４０によって選択された広告が提示されたオンライン・システム１３０のユーザに関連付けられた人口統計情報、および他の任意の適切な情報が含まれる。広告統計ストア２３０は、広告の提示についてその後の分析を可能とするために、上記した情報のいずれかまたは他の情報を、広告内に含まれる識別子に関連付けてもよい。広告統計モジュール２３０に含まれる情報は、ＤＳＰ１４０によって選択された広告に含まれるトラッキング機構を実行する様々なクライアント・デバイス１１０から受信されてもよい。

様々な実施形態では、ＤＳＰ１４０は、様々な広告に関連付けられたエンティティから要求する報酬額を識別する支払いモジュール２４０を含む。例えば、支払いモジュール２４０は、追加の広告の提示が保留されるとの理由により、オンライン・システム１３０に伝達される広告に関連付けられたエンティティに対して請求する金額を特定する。いくつかの実施形態では、選択された候補広告がリフト値分析を受けている場合、支払いモジュール２４０は、選択された候補広告の代わりにオンライン・システム１３０に伝達される代替広告と関連付ける金額を決定する。ＤＳＰ１４０により評価された様々な広告に関連付けられたエンティティに対して請求する金額の決定については、図３に関連して以下で詳述する。

［広告に関するリフト値分析の実行とユーザへの広告の提供］
図３は、広告の提示が防止されているホールドアウト・グループ内のユーザに提示するための広告をオンライン・システム１３０に提供する方法の一実施形態の相互作用図である。説明を目的として、図３は、クライアント・デバイス１１０と、オンライン・システム１３０と、デマンド・サイド・プロバイダ（ＤＳＰ）１４０とを含む実施形態を示している。しかしながら、他の実施形態では、異なるおよび／または追加のデバイスが含まれてもよい。例えば、オンライン・システム１３０は、広告に関する要求を別のオンライン・システム１３０に伝達し、この別のオンライン・システム１３０がその後にＤＳＰ１４０に対してその要求を伝達してもよい。また、他の実施形態では、方法のステップは、図３に関連して説明する順序とは異なる順序で実行されてもよいし、あるいは、この方法は、図３に関連して説明するステップとは異なるステップおよび／または追加のステップを含んでもよい。

クライアント・デバイス１１０は、オンライン・システム１３０にコンテンツを要求する（３０５）。例えば、クライアント・デバイス１１０は、オンライン・システム１３０にウェブ・ページや、ビデオ・データや、または任意の適切なコンテンツを要求する（３０５）。この要求されたコンテンツは、そのコンテンツとともに１つ以上の広告を提示するための機会を含む。例えば、要求されたコンテンツは、１つ以上の広告を提示するための１つ以上の位置を含むウェブ・ページである。オンライン・システム１３０は、要求されたコンテンツとともに１つ以上の広告を提示する機会に応答して、ＤＳＰ１４０に１つ以上の広告を要求する（３１０）。図３は、オンライン・システム１３０がＤＳＰ１４０に１つ以上の広告を要求する例を示しているが、他の実施形態では、オンライン・システム１３０が１つ以上の広告を提示する機会を特定する情報を別のオンライン・システム１３０に伝達し、この別のオンライン・システム１３０がＤＳＰ１４０に１つ以上の広告を要求する（３１０）。他の実施形態では、オンライン・システム１３０は、クライアント・デバイス１１０にコンテンツを伝達し、クライアント・デバイス１１０がコンテンツを提示している間にＤＳＰ１４０に１つ以上の広告を要求する（３１０）。

ＤＳＰ１４０は、１つ以上の広告に関する要求を受信した後に、ＤＳＰ１４０によって格納された広告の中から候補広告を選択する。図２に関連して上述したように、候補広告は、オンライン・システム１３０にコンテンツを要求（３０５）したクライアント・デバイス１１０に関連付けられたユーザに関連付けられた情報によって満たされる少なくともしきい値数のターゲティング基準を含む広告である。様々な実施形態において、オンライン・システム１３０は、ＤＳＰ１４０に伝達される１つ以上の広告に関する要求内に、ユーザに関連付けられた情報（例えば、人口統計情報、オンライン・システム１３０またはクライアント・デバイス１１０によってユーザに提示される追加のコンテンツ、オンライン・システム１３０またはＤＳＰ１４０によってユーザに関連付けられたユーザ識別子）を含む。ＤＳＰ１４０は、要求内に含まれるユーザに関連付けられた情報に基づいて、様々な候補広告を選択する（３１５）。

ＤＳＰ１４０は、候補広告に含まれる入札情報に基づいて、候補広告の入札額を決定する（３２０）。いくつかの実施形態では、ＤＳＰ１４０は、候補広告毎に入札額を決定する（３２０）。図２に関連して上述したように、候補広告内の入札情報により、ＤＳＰ１４０は、ユーザに関連付けられた情報によって満たされる候補広告に含まれる多数のターゲティング基準に少なくとも部分的に基づいて候補広告の入札額を決定し得る（３２０）。例えば、候補広告に含まれるより多くの数またはより高い割合のターゲティング基準がユーザに関連付けられた情報によって満たされる場合、候補広告はより大きな入札額に決定される。ＤＳＰ１４０は、決定された入札額に少なくとも部分的に基づいて候補広告を選択する（３２５）。例えば、ＤＳＰ１４０は、候補広告をそれらについて決定された入札額に少なくとも部分的に基づいてランク付けし、そのランク付けにおいて最も高い位置を有する候補広告、またはそのランク付けにおいて少なくともしきい値の位置を有する候補広告を選択する（３２５）。別の例として、ＤＳＰ１４０は、最大入札額を有する候補広告を選択する（３２５）。

ＤＳＰ１４０は、選択された候補広告に関連付けられた情報に基づいてその選択された候補広告がリフト値分析を受けているかどうかを判定し、ＤＳＰ１４０に広告を提供したエンティティによってその選択された候補広告に関連付けられたアクションをユーザに行わせることについてのその選択された候補広告の有効性を評価する。選択された候補広告がリフト値分析を受けていない場合、ＤＳＰ１４０は、選択された候補広告とその入札額をオンライン・システム１３０に伝達し、選択された候補広告および他の広告に１つ以上の選択プロセスを適用して、クライアント・デバイス１１０に関連付けられたユーザにクライアント・デバイス１１０を介して提示するための広告を選択させる。

一方、選択された候補広告がリフト値分析を受けているとＤＳＰ１４０が判定した場合は、ＤＳＰ１４０は、選択された候補広告に関するホールドアウト・グループにユーザが含まれているかどうかを判定する（３３０）。ホールドアウト・グループに含まれるユーザは、選択された候補広告が提示される資格を有する一方でその選択された候補広告が提示されないユーザである。ＤＳＰ１４０は、選択された候補広告に関連付けられた情報と、要求内に含まれるユーザに関連付けられた情報とを使用して、その選択された候補広告のホールドアウト・グループにユーザが含まれているかどうかを判定する（３３０）。いくつかの実施形態では、ＤＳＰ１４０は、受信された要求内に含まれるユーザを識別する情報にハッシュ関数などの関数を適用して、その関数の結果値と、ＤＳＰ１４０、選択された候補広告をＤＳＰ１４０に提供するエンティティ、オンライン・システム１３０、またはホールドアウト・グループに含まれるユーザを識別する任意の適切なエンティティによって以前に決定された値とを比較する。そして、ユーザを識別する情報に関数を適用することによって、以前に決定された値に一致する値が得られた場合、ＤＳＰ１４０は、選択された候補広告のホールドアウト・グループにユーザが含まれていると決定する（３３０）。また、ＤＳＰ１４０は、選択された候補広告のホールドアウト・グループにユーザが含まれていないと決定（３３０）した場合、ＤＳＰ１４０は、選択された候補広告を特定する情報とその入札額とをオンライン・システム１３０に伝達し、図２に関連して上述したように、オンライン・システム１３０は、選択された候補広告の入札額に少なくとも部分的に基づいて、その選択された候補広告をユーザにクライアント・デバイス１１０を介して提示すべきかどうかを決定する。

ＤＳＰ１４０は、選択された候補広告のホールドアウト・グループにユーザが含まれていると決定（３３０）したことに応答して、代替候補広告を特定する（３３５）。これは、ホールドアウト・グループにユーザが含まれている場合、そのユーザに対しては、選択された候補広告の提示が行われないためである。例えば、ＤＳＰ１４０は、候補広告のランク付けにおいてより低い位置を有する候補広告をその候補広告に関連付けられた入札額に基づいて特定する（３３５）。一例として、ＤＳＰ１４０は、候補広告のランク付けにおいて２番目に高い位置を有する候補広告を代替候補広告として特定する（３３５）。他の実施形態では、ＤＳＰ１４０は、選択された候補広告の入札額よりも低い入札額を有する広告（例えば、２番目に高い入札額を有する広告）を代替候補広告として特定する（３３５）。代替候補広告が特定（３３５）されると、ＤＳＰはさらに、その代替候補広告がリフト値分析を受けているかどうか、また、その代替候補広告がリフト値分析を受けている場合にはその代替候補広告のホールドアウト・グループにユーザが含まれているかどうかも判断する。ユーザが代替候補広告のホールドアウト・グループに含まれていると判断した場合、ＤＳＰは、上述したように追加の候補広告を特定する。

ＤＳＰ１４０は、選択された候補広告の入札額を代替候補広告の入札額の代わりに代替候補広告に関連付け（３４０）、その代替候補広告と、その代替候補広告に関連付けられた選択された候補広告の入札額とを特定する応答をオンライン・システム１３０に伝達（３４５）する。いくつかの実施形態では、オンライン・システム１４０に伝達（３４５）される応答は、選択された候補広告を識別する情報（例えば、選択された候補広告に関連付けられた識別子）と、選択された候補広告がリフト値分析を受けているため代替候補広告が特定された旨の指示とを含み得る。これにより、ＤＳＰは、選択された候補広告のホールドアウト・グループが、選択された候補広告が提示されたであろうユーザを代表するものであることを保証することによって、リフト値分析を実行するときに生じ得る１つ以上の偏りを軽減することができる。これは、ホールドアウト・グループのユーザは、選択された候補広告に関連付けられた少なくともしきい値数のターゲティング基準を満たしているためである。いくつかの実施形態では、ＤＳＰ１４０は、応答によって特定される代替候補広告に含まれるトラッキング機構を修正することにより、そのトラッキング機構がクライアント・デバイス１１０によって実行されるときに、クライアント・デバイス１１０が、選択された候補広告のホールドアウト・グループにユーザが存在していたために代替候補広告が提示された旨の情報とともにその選択された候補広告を特定する情報をＤＳＰ１４０に伝達するようにする。代替候補広告のホールドアウト・グループにユーザが含まれているとの理由のためにＤＳＰ１４０が追加の候補広告を特定する場合には、ＤＳＰ１４０は、選択された候補広告の入札額をその追加の候補広告に関連付け（３４０）、追加の候補広告と選択された候補広告の入札額とを特定する応答をオンライン・システム１３０に伝達（３４５）する。

また、選択された候補広告の入札額を代替候補広告に関連付ける（３４０）ことによってオンライン・システム１３０に提供される入札額が人為的に減少しないので、リフト値分析はオンライン・システム１３０への潜在的収入を減少させない。代替候補広告を評価する際に、オンライン・システム１３０が、選択された候補広告の入札額を使用可能とすることにより、選択された候補広告のホールドアウト・グループに含まれるユーザに広告を提示するための機会（それによりユーザに広告が提示されること）の割合が、選択された候補広告のホールドアウト・グループに含まれないユーザに広告を提示するための機会（それによりユーザに広告が提示されること）の割合よりも減少することが防止される。さらに、選択された候補広告のホールドアウト・グループのユーザは、代替候補広告の少なくともしきい値数のターゲティング基準も満足する特性を有するので、選択された候補広告と代替候補広告との間の類似性の可能性が高まる。リフト値分析を実行する際の偏りが低減することで、リフト値分析が選択された候補広告の有効性を正確に記述する可能性が高まる。

オンライン・システム１３０は、応答内における代替候補広告に関連付けられた入札額と、ＤＳＰ１４０または他のソースから受信された他の広告に関連付けられた入札額とに基づいて、コンテンツとともに提示すべき広告を選択する。オンライン・システム１３０が代替候補広告を選択する場合、オンライン・システム１４０は、提示のためにクライアント・デバイス１１０に伝達されたコンテンツ内の代替候補広告を識別する情報（例えば、代替候補広告へのリンク）を含む。

図２に関連して上述したように、代替候補広告がその代替候補広告に含まれるトラッキング機構を介してクライアント・デバイス１１０によって提示される場合、ＤＳＰ１４０はクライアント・デバイス１１０から情報を受信し得る。例えば、代替候補広告との対話やユーザによるクライアント・デバイス１１０との他の対話は、クライアント・デバイス１１０がトラッキング機構を実行するときにＤＳＰ１４０に伝達される。いくつかの実施形態では、トラッキング機構は、代替候補広告との対話を記述する情報とともに候補広告を識別する情報（例えば、ＤＳＰ１４０により候補広告に関連付けられた識別子）を含む。代替広告候補との対話を記述する情報とともに候補広告を識別する情報を含めることにより、候補広告が提示された場合に候補広告との可能な対話を記述する情報をＤＳＰ１４０が維持することが可能となる。また、ＤＳＰ１４０は、代替候補広告に関連付けられたエンティティ（例えば、広告主）などの他のソースからのユーザによる対話を記述する情報を受信してもよい。ＤＳＰ１４０は、様々なユーザによって実行されるアクションおよびユーザに対する広告の提示に基づいて、ユーザに様々なアクションを実行させる際における広告の提示の有効性を判断する。いくつかの実施形態において、ＤＳＰ１４０は、１つ以上の属性モデルに基づいてアクションを実行するユーザへの広告の提示の寄与度を決定する。例えば、属性モデルは、ユーザに最も直近に提示された広告を、ユーザがその広告に関連付けられた特定のアクションを実行する要因として識別する。そのようなモデルは、広告のホールドアウト・グループに含まれるユーザが、広告をユーザに提示することなく広告に関連付けられた特定のアクションを実行したことを示す。１つ以上の属性モデルを適用することにより、ＤＳＰ１４０は、ユーザへの広告の提示に続いてユーザがアクションを実行するレートとともに、別の広告の提示に続いてユーザがそのアクションを実行するレートを決定することができる。これらの２つのレートの比率により、エンティティは、ユーザにアクションを実行させる際における広告の有効性を判断することができる。

［広告のリフト値分析に対する支払いの決定］
広告に対するリフト値分析を実行する場合、ＤＳＰ１４０は、その広告に関連付けられたエンティティに請求する金額を、リフト値分析が実行されていないときにエンティティに請求された金額とは異なる金額で決定することができる。例えば、広告のホールドアウト・グループ内にユーザが含まれており、オンライン・システム１３０に伝達される代替広告が、選択された広告の入札額とともにオンライン・システム１３０（代替広告が選択されたことをＤＳＰ１４０に通知するオンライン・システム１３０）によって選択されているために、その選択された広告がユーザへの提示を評価するためにオンライン・システム１３０に伝達されていない場合、ＤＳＰ１４０は、選択された広告の入札額と代替広告の入札額との差を決定する。そして、ＤＳＰ１４０は、選択された広告に関連付けられたエンティティにその差を請求する。あるいは、ＤＳＰ１４０は、代替広告がオンライン・システム１３０による提示のために選択されている場合、選択された広告に関連付けられたエンティティと、代替広告に関連付けられたエンティティとに、選択された広告に関する入札額の異なる部分を請求する。例えば、選択された広告に関連付けられたエンティティおよび代替広告に関連付けられたエンティティは各々、選択された広告に関する入札額の５０％を支払う。他の実施形態では、ＤＳＰ１４０は、代替広告に関連付けられたエンティティに代替広告の入札額を請求し、ＤＳＰ１４０またはＤＳＰ１４０に関連付けられたエンティティは、選択された広告の入札額と代替広告の入札額との差を提示する。

オンライン・システム１３０は、ＤＳＰ１４０によってオンライン・システム１３０に提供されオンライン・システム１３０による提示のために選択された広告に関連付けられたエンティティへの請求額をＤＳＰ１４０に提供することができる。ＤＳＰ１４０は、このオンライン・システム１３０によって提供される金額を使用して、１つ以上の広告主への請求額を決定する。例えば、オンライン・システム１３０は、オンライン・システム１３０によって選択されなかった広告の入札額（例えば、オンライン・システム１３０によって選択されなかった広告の入札額であって、オンライン・システム１３０によって選択された広告よりも低い入札額を有する広告の入札額）に基づく金額を、オンライン・システム１３０によって選択された広告に関連付けられたエンティティに請求する。オンライン・システム１３０が、オンライン・システム１３０によって選択された広告に関連付けられたエンティティに請求する金額は、ＤＳＰ１４０によって選択された広告をユーザに提示することができない場合にＤＳＰ１４０によってオンライン・システム１３０に提供される代替広告の入札額以下とすることができる。この例では、代替広告がオンライン・システム１３０によって選択された場合、ＤＳＰ１４０は、代替広告に関連付けられたエンティティに、オンライン・システム１３０によって請求された金額を請求し、代替広告の入札額とＤＳＰ１４０によって選択された広告の入札額との差をさらなるエンティティに請求しない。

いくつかの実施形態では、ＤＳＰ１４０は、リフト値分析を受ける広告に関連付けられたエンティティに対する総コストを計算する。広告のリフト値分析の間において、エンティティは、広告のホールドアウト・グループのユーザに広告が提示されないときに報酬を提供してもよい。したがって、エンティティに対する総コストは、広告を提示するときに使用されるリソースに加えてリフト値分析を実行するためにＤＳＰ１４０によって消費されるリソースを考慮する。したがって、リフト値分析を実行するためのコストは、エンティティに対して個別に評価されてもよく、または広告またはエンティティに関連付けられた他の広告が提示されたときにエンティティに請求される金額が考慮されてもよい。

［概要］
上述の実施形態の説明は、例示の目的で提示されるものであり、包括的であること、または開示された正確な形態に特許権を限定することを意図するものではない。当業者であれば、上記の開示に照らして多くの変更および変形が可能であることを理解し得る。

この説明のいくつかの部分では、情報に関する動作のアルゴリズムおよび記号表現に関する実施形態を説明する。これらのアルゴリズムの説明および表現は、データ処理技術の当業者によって、その研究の内容を他の当業者に効果的に伝えるために一般的に使用される。これらの動作は、機能的に、計算的に、または論理的に記載されているが、コンピュータ・プログラムや、同等の電気回路、またはマイクロコードなどによって実現されると理解される。さらには、これらの動作の構成を、一般性を失うことなくモジュールと呼ぶことが時には便利であることも判明している。記載された動作およびそれらに関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具体化され得る。

本明細書に記載のステップ、動作、またはプロセスのいずれかは、単独で、または他のデバイスと組み合わせて、１つ以上のハードウェアまたはソフトウェアモジュールで実行または実装され得る。一実施形態において、ソフトウェアモジュールは、記述されたステップ、動作、またはプロセスのいずれかまたはすべてを実行するコンピュータ・プロセッサによって実行されるコンピュータ・プログラム・コードを含むコンピュータ可読媒体を含むコンピュータ・プログラム製品で実装される。

また、実施形態は、本明細書の動作を実行するための装置に関連し得る。この装置は、必要な目的のために特別に構成することができ、および／またはコンピュータに格納されたコンピュータ・プログラムによって選択的に起動または再構成された汎用コンピューティング・デバイスを含み得る。そのようなコンピュータ・プログラムは、非一時的、有形のコンピュータ可読記憶媒体、またはコンピュータ・システム・バスに結合され得る電子命令を格納するのに適した任意のタイプの媒体に格納することができる。さらに、本明細書で言及する任意のコンピューティング・システムは、単一のプロセッサを含むことができ、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。

また、実施形態は、本明細書で説明されるコンピューティング・プロセスによって生成される製品に関連し得る。そのような製品は、情報が非一時的で有形のコンピュータ可読記憶媒体に格納される計算プロセスから生じる情報を含むことができ、本明細書に記載のコンピュータ・プログラム製品または他のデータ組み合わせの任意の実施形態を含むことができる。

最後に、本明細書で使用される言語は、主として、読みやすさおよび教示目的のために選択されたものであり、特許権を描写または制限するために選択されていない。したがって、特許権の範囲は、この詳細な説明によってではなく、本明細書に基づいた出願に与えられる任意の請求項によって制限されることが意図される。したがって、実施形態の開示は、請求項に記載されている特許権の範囲を例示するものであって、これに限定されるものではない。

Claims (20)

1. 方法であって、
   複数の広告を管理することであって、各広告が、前記広告が提示される資格のあるユーザの特性を識別するターゲティング基準と、前記広告の提示と引き換えに前記広告に関連付けられたエンティティからの報酬の額を指定する入札情報とを含む、前記複数の広告を管理すること、
   オンライン・システムからユーザに提示するための１つ以上の広告に関する要求であって、前記１つ以上の広告が提示されるユーザに関連付けられた情報を含む要求を受信すること、
   前記管理された複数の広告のうちから１つ以上の候補広告を選択することであって、各候補広告が、前記ユーザに関連付けられた情報によって満たされる少なくともしきい値数のターゲティング基準を含む、前記１つ以上の候補広告を選択すること、
   前記各候補広告の入札額を計算することであって、前記候補広告に関連付けられた入札情報と、前記ユーザに関連付けられた情報によって満たされる、前記候補広告に含まれたターゲティング基準とに少なくとも部分的に基づいて候補広告の入札額を計算すること、
   前記計算された入札額に少なくとも部分的に基づいて候補広告を選択すること、
   前記選択された候補広告が前記選択された候補広告の有効性を判定するためのリフト値分析を受けていると判定すること、
   前記ユーザが前記選択された候補広告に関するホールドアウト・グループの一部であると判定することであって、前記選択された候補広告が提示されないユーザを特定するホールドアウト・グループの一部であると判定すること、
   前記計算された入札額に少なくとも部分的に基づいて代替候補広告を特定すること、
   前記オンライン・システムに対する前記選択された候補広告の前記入札額に関連した前記代替候補広告を含む応答を前記オンライン・システムに伝達すること、
   を備える方法。
2. 前記選択された候補広告は最も高い入札額を有する候補広告からなり、
   前記計算された入札額に少なくとも部分的に基づいて代替候補広告を特定することは、前記代替候補広告を２番目に高い入札額を有する候補広告として特定することを含む、請求項１に記載の方法。
3. 前記ユーザに提示するための前記代替候補広告が選択されたとの指示を受信することに応答して、前記選択された候補広告の前記入札額と、前記代替候補広告の入札額との差を決定すること、
   前記代替候補広告に関連付けられたエンティティに前記代替候補広告の入札額を請求すること、
   前記選択された候補広告に関連付けられたエンティティに前記決定された差を請求すること、をさらに備える請求項１に記載の方法。
4. 前記ユーザに提示するための前記代替候補広告が選択されたとの指示を受信することに応答して、前記選択された候補広告の前記入札額を、前記選択された候補広告に関連付けられたエンティティに部分的に請求するとともに、前記代替候補広告に関連付けられたエンティティに部分的に請求することをさらに備える請求項１に記載の方法。
5. 前記ユーザに提示するための前記代替候補広告が選択されたとの指示を受信することに応答して、前記代替候補広告の前記入札額を前記代替候補広告に関連付けられたエンティティに請求することをさらに備える請求項１に記載の方法。
6. 前記計算された入札額に少なくとも部分的に基づいて代替候補広告を特定することは、
   前記代替候補広告が前記代替候補広告の有効性を判定するためのリフト値分析を受けていると判定すること、
   前記ユーザが前記代替候補広告に関するホールドアウト・グループの一部であると判定することであって、前記代替候補広告が提示されないユーザを特定するホールドアウト・グループの一部であると判定すること、
   前記決定された入札額に少なくとも部分的に基づいて追加の候補広告を特定すること、を含む、請求項１に記載の方法。
7. 前記オンライン・システムに対する前記選択された候補広告の前記入札額に関連した前記代替候補広告を含む応答を前記オンライン・システムに伝達することは、前記オンライン・システムに対する前記選択された候補広告の前記入札額に関連した前記追加の候補広告を含む応答を前記オンライン・システムに伝達することを含む、請求項６に記載の方法。
8. 前記決定された入札額に少なくとも部分的に基づいて追加の候補広告を特定することは、前記代替候補広告の入札額よりも低い入札額を有する候補広告を前記追加の候補広告として特定することを含む、請求項６に記載の方法。
9. 前記代替候補広告は、前記代替候補広告を提示するクライアント・デバイスにより実行されるときに、前記選択された候補広告を特定し前記クライアント・デバイスからの前記代替候補広告との１つ以上の相関性を記述した情報を伝達するトラッキング機構を含む、請求項１に記載の方法。
10. 前記選択された候補広告に関連付けられたエンティティは、前記選択された候補広告の前記ホールドアウト・グループの大きさを特定する、請求項１に記載の方法。
11. コンピュータ可読記憶媒体を備えたコンピュータ・プログラム製品であって、前記コンピュータ可読記憶媒体は符号化された命令を有し、前記命令は、プロセッサによって実行されるときに前記プロセッサに、
    複数の広告を管理することであって、各広告が、前記広告が提示される資格のあるユーザの特性を識別するターゲティング基準と、前記広告の提示と引き換えに前記広告に関連付けられたエンティティからの報酬の額を指定する入札情報とを含む、前記複数の広告を管理すること、
    オンライン・システムからユーザに提示するための１つ以上の広告に関する要求であって、前記１つ以上の広告が提示されるユーザに関連付けられた情報を含む要求を受信すること、
    前記管理された複数の広告のうちから１つ以上の候補広告を選択することであって、各候補広告が、前記ユーザに関連付けられた情報によって満たされる少なくともしきい値数のターゲティング基準を含む、前記１つ以上の候補広告を選択すること、
    前記各候補広告の入札額を計算することであって、前記候補広告に関連付けられた入札情報と、前記ユーザに関連付けられた情報によって満たされる、前記候補広告に含まれたターゲティング基準とに少なくとも部分的に基づいて候補広告の入札額を計算すること、
    前記計算された入札額に少なくとも部分的に基づいて候補広告を選択すること、
    前記選択された候補広告が前記選択された候補広告の有効性を判定するためのリフト値分析を受けていると判定すること、
    前記ユーザが前記選択された候補広告に関するホールドアウト・グループの一部であると判定することであって、前記選択された候補広告が提示されないユーザを特定するホールドアウト・グループの一部であると判定すること、
    前記計算された入札額に少なくとも部分的に基づいて代替候補広告を特定すること、
    前記オンライン・システムに対する前記選択された候補広告の前記入札額に関連した前記代替候補広告を含む応答を前記オンライン・システムに伝達すること、
    を実行させる、コンピュータ・プログラム製品。
12. 前記選択された候補広告は、最も高い入札額を有する候補広告からなり、
    前記計算された入札額に少なくとも部分的に基づいて代替候補広告を特定することは、前記代替候補広告を２番目に高い入札額を有する候補広告として特定することを含む、請求項１１に記載のコンピュータ・プログラム製品。
13. 前記コンピュータ可読記憶媒体は、前記プロセッサによって実行されるときに前記プロセッサに、
    前記ユーザに提示するための前記代替候補広告が選択されたとの指示を受信することに応答して、前記選択された候補広告の前記入札額と、前記代替候補広告の入札額との差を決定すること、
    前記代替候補広告に関連付けられたエンティティに前記代替候補広告の入札額を請求すること、
    前記選択された候補広告に関連付けられたエンティティに前記決定された差を請求すること、
    を実行させる符号化された命令をさらに有する、請求項１１に記載のコンピュータ・プログラム製品。
14. 前記コンピュータ可読記憶媒体は、前記プロセッサによって実行されるときに前記プロセッサに、
    前記ユーザに提示するための前記代替候補広告が選択されたとの指示を受信することに応答して、前記選択された候補広告の前記入札額を、前記選択された候補広告に関連付けられたエンティティに部分的に請求するとともに、前記代替候補広告に関連付けられたエンティティに部分的に請求すること、
    を実行させる符号化された命令をさらに有する、請求項１１に記載のコンピュータ・プログラム製品。
15. 前記コンピュータ可読記憶媒体は、前記プロセッサによって実行されるときに前記プロセッサに、
    前記ユーザに提示するための前記代替候補広告が選択されたとの指示を受信することに応答して、前記代替候補広告の前記入札額を前記代替候補広告に関連付けられたエンティティに請求すること、
    を実行させる符号化された命令をさらに有する、請求項１１に記載のコンピュータ・プログラム製品。
16. 前記計算された入札額に少なくとも部分的に基づいて代替候補広告を特定することは、
    前記代替候補広告が前記代替候補広告の有効性を判定するためのリフト値分析を受けていると判定すること、
    前記ユーザが前記代替候補広告に関するホールドアウト・グループの一部であると判定することであって、前記代替候補広告が提示されないユーザを特定するホールドアウト・グループの一部であると判定すること、
    前記決定された入札額に少なくとも部分的に基づいて追加の候補広告を特定すること、を含む、請求項１１に記載のコンピュータ・プログラム製品。
17. 前記オンライン・システムに対する前記選択された候補広告の前記入札額に関連した前記代替候補広告を含む応答を前記オンライン・システムに伝達することは、前記オンライン・システムに対する前記選択された候補広告の前記入札額に関連した前記追加の候補広告を含む応答を前記オンライン・システムに伝達することを含む、請求項１６に記載のコンピュータ・プログラム製品。
18. 前記決定された入札額に少なくとも部分的に基づいて追加の候補広告を特定することは、前記代替候補広告の入札額よりも低い入札額を有する候補広告を前記追加の候補広告として特定することを含む、請求項１６に記載のコンピュータ・プログラム製品。
19. 前記代替候補広告は、前記代替候補広告を提示するクライアント・デバイスにより実行されるときに、前記選択された候補広告を特定し前記クライアント・デバイスからの前記代替候補広告との１つ以上の相関性を記述した情報を伝達するトラッキング機構を含む、請求項１１に記載のコンピュータ・プログラム製品。
20. 前記選択された候補広告に関連付けられたエンティティは、前記選択された候補広告の前記ホールドアウト・グループの大きさを特定する、請求項１１に記載のコンピュータ・プログラム製品。