JP2022517458A - 寄与増分機械学習モデル - Google Patents

Abstract

機械学習モデルを訓練および使用するための方法、システム、およびコンピュータ記憶媒体上に符号化されたコンピュータプログラムが開示される。方法は、特定のユーザによるターゲットアクションの実行前に、指定された時間にわたって特定のユーザによって体験された1つまたは複数の有機的曝露を指定する有機的曝露データと、指定された時間にわたる特定のユーザへの指定されたタイプのデジタル構成要素のサードパーティ曝露を指定するサードパーティ曝露データとを使用して、ユーザ属性と、コンテンツ曝露と、ターゲットアクションに関する実行レベルとの間の関係を表すモデルを作成するステップを含む。モデルを使用して、ターゲットアクションが特定のユーザによって実行されたアクション時間におけるサードパーティ曝露の各々に起因する増分実行レベルが決定される。特定のユーザが曝露された少なくともいくつかのデジタル構成要素に関する送信基準が、増分実行に基づいて変更される。

Description

本明細書は、データ処理および機械学習モデルに関する。

ユーザは、様々なオンライン活動に従事し、これらの活動の各々の結果、ユーザは、異なる情報に曝露される。ユーザによる後続のオンライン活動は、ユーザの以前の活動と、ユーザが曝露された情報とによって影響を受ける可能性がある。しかしながら、後続の活動に対する各々の以前の活動の影響の量は、評価することが困難である。

一般に、本明細書で説明する主題の1つの革新的な態様は、ユーザ属性と、コンテンツ曝露(exposure)と、指定されたターゲットアクションに関する実行レベルとの間の関係を表すモデルを作成する動作と、特定のユーザによる指定されたターゲットアクションの実行前に、指定された時間にわたって特定のユーザによって体験された1つまたは複数の有機的曝露を指定する有機的曝露データを取得する動作であって、有機的曝露が、指定されたタイプのデジタル構成要素への曝露でも、指定されたターゲットアクションの実行でもない、動作と、指定された時間にわたる特定のユーザへの指定されたタイプのデジタル構成要素のサードパーティ曝露を指定するサードパーティ曝露データを取得する動作であって、サードパーティ曝露データが、サードパーティ曝露の各々について、サードパーティ曝露がいつ発生したかを指定する曝露時間を含む、動作と、モデルを使用して、指定されたターゲットアクションが特定のユーザによって実行されたアクション時間におけるサードパーティ曝露の各々に起因する増分実行レベルを決定する動作と、デジタル構成要素のうちの少なくともいくつかのサードパーティ曝露に起因する増分実行レベルに基づいて、特定のユーザが曝露された少なくともいくつかのデジタル構成要素に関する送信基準を変更する動作とを含む方法において具体化され得る。この態様の他の実施形態は、対応する方法と、装置と、コンピュータ記憶媒体上に符号化された、方法のアクションを実行するように構成されたコンピュータプログラムとを含む。これらおよび他の実施形態は、各々、以下の特徴のうちの1つまたは複数をオプションで含むことができる。

方法は、デジタル構成要素の特定のセットに曝露されない対照ユーザのセットに関する対照結果(control outcome)のセットを取得するためにアブレーション実験(ablation experiment)を実行するステップであって、対照結果が、対照ユーザのセット内の特定の対照ユーザごとに、特定の対照ユーザが指定されたアクションを実行したかどうかを指定する、ステップと、対照ユーザのセット内に含まれない曝露ユーザのセットに関する曝露結果を収集するステップであって、曝露結果が、曝露ユーザのセット内の曝露ユーザごとに、曝露ユーザが指定されたアクションを実行したかどうかを指定する、ステップとを含むことができる。

方法は、機械学習フレームワークを使用して、ユーザ属性と、各特定の対照ユーザに関する対照結果と、各曝露ユーザに関する曝露結果とを使用したモデルを作成することによってモデルを作成するステップを含むことができる。

方法は、サードパーティ曝露ごとに、サードパーティ曝露の曝露時間と指定されたターゲットアクションが発生したアクション時間との間の差を決定するステップと、サードパーティ曝露の曝露時間と指定されたターゲットアクションが発生したアクション時間との間の差に基づいて、アクション時間において残っているサードパーティ曝露からの実行レベル寄与の残余量を決定するステップと、実行レベルの残余量をサードパーティ曝露に帰属させるステップとを含む、サードパーティ曝露の各々に起因する増分実行レベルを決定するステップをさらに含むことができる。

方法は、異なるタイプのサードパーティ曝露ごとに、時間の関数として残っている実行レベル寄与の減衰率を指定する減衰関数を決定するステップと、サードパーティ曝露ごとに、減衰関数と、サードパーティ曝露の曝露時間とアクション時間との間の差とに基づいて、アクション時間において残っているサードパーティ曝露からの実行レベル寄与の残余量を決定するステップとを含むことができる。

方法は、特定のデジタル構成要素のサードパーティ曝露に起因する増分実行レベルの等級(magnitude)に比例して特定のデジタル構成要素に関する送信基準を調整するステップを含む、少なくともいくつかのデジタル構成要素に関する送信基準を変更するステップを含むことができる。

方法は、特定の送信のサードパーティ曝露に起因する増分実行レベルの指定された等級よりも低い等級を有する特定の送信基準を無効にするステップを含む、送信基準を調整するステップを含むことができる。

本明細書で説明する主題の特定の実施形態は、以下の利点のうちの1つまたは複数を実現するように実施され得る。機械学習モデルは、様々なイベントの発生後の任意の時点において、結果に対する様々なイベントの残りの影響を区別するように訓練され得る。結果の時点における各先行イベントの残りの影響の定量化は、各先行イベントに起因する結果の一部を表すことができる。残りの影響のこの定量化は、イベントが異なる時間において発生する可能性があっても、最終的な結果に対する各イベントの影響に関する直接的な比較を可能にする。本明細書で論じるモデルは、ターゲット結果に到達するユーザのベースライン傾向に対する各イベント(例えば、コンテンツ曝露)の増分効果を定量化することができる。本明細書で説明するデータ収集は、機械学習モデルが、ユーザがターゲット結果に到達する本質的尤度を特徴付けるように訓練され得、ユーザの本質的尤度に対するイベントの初期効果、ならびにイベント後の時間経過に伴う初期効果の変化を定量化するようにも訓練され得るように実行される。デジタル構成要素に関する送信基準は、デジタル構成要素がネットワークを介していつまたはどのように送信されるかを変更するために、機械学習モデルの出力に基づいて変更され得る。

本明細書で説明する主題の1つまたは複数の実施形態の詳細は、添付図面および以下の説明に記載されている。主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

オンラインコンテンツが配信される例示的な環境のブロック図である。 時間経過に伴うターゲットアクションの実行に対するコンテンツ曝露の例示的な影響を示すグラフである。 時間経過に伴うコンテンツ曝露の影響の例示的な減衰のグラフである。 ベースラインモデルを実装する例示的なモデル装置のブロック図である。 アブレーション実験を示すブロック図である。 単一のデジタル構成要素への曝露の増分効果を示すグラフである。 複数のデジタル構成要素への曝露の増分効果を示すグラフである。 デジタル構成要素の増分効果に基づいてデジタル構成要素に関する送信基準を変更する例示的なプロセスのフローチャートである。 本明細書で説明する動作を実行するために使用され得る例示的なコンピュータシステムのブロック図である。

インターネットに接続されたユーザは、様々なデジタルコンテンツ(例えば、検索結果、ウェブページ、デジタル構成要素、ニュース記事、ソーシャルメディアの投稿、デジタルアシスタントデバイスによって出力されたオーディオ情報)に曝露される。コンテンツへのこれらの曝露のいくつかは、ユーザが指定されたターゲットアクションを実行することに寄与する可能性がある。例えば、絶滅危惧種に関するウェブページに曝露されたユーザは、その絶滅危惧種を救済することに向けられたニュースレターに登録する可能性があり、ニュースレターへの登録は、指定されたターゲットアクションと見なされ得る。同様に、特定のタイプのモバイルデバイスに関する情報に曝露されたユーザは、その特定のタイプのモバイルデバイスを最終的に取得する可能性があり、モバイルデバイスの取得は、ターゲットアクションと見なされ得る。ターゲットアクションの例は、ウェブサイト/サービスに登録すること、オンラインカートにアイテムを追加すること、ホワイトペーパをダウンロードすること、または製品を取得することを含むこともできる。

ユーザへのコンテンツの各曝露が後続のターゲットアクションをユーザが実行することにどれだけ寄与するかを決定することは、困難である可能性がある。例えば、ユーザが「スポーツカー」を検索し、「スポーツカー」という検索クエリの提出に応答して返された検索結果を確認し、特定のブランドのスポーツカーを描いたデジタル構成要素に曝露され、スポーツカーに関する情報を提供する様々なウェブサイトを訪問すると想定する。この例におけるユーザが特定のブランドのスポーツカーを取得することに関する情報を取得するためのオンライン要求を後に提出するとさらに想定する。この例では、それらのオンライン活動の各々が特定のブランドのスポーツカーを取得することに関する情報を取得するための要求のユーザの後続の提出に寄与した量は、直接観測可能なものではなく、サードパーティ(すなわち、ユーザ以外のだれか)の観点から、特にオンライン活動と後続のユーザアクションとの間の時間が増加するにつれて、確認するのが困難である。しかしながら、導出可能な各オンライン活動およびコンテンツ曝露の相対的寄与に関する任意の情報が、ユーザに関連する情報をユーザにより効率的かつ効果的に提示するためにオンラインコンテンツ配信システムによって使用され得、また、サードパーティが作成および配信するコンテンツが後続のユーザアクションにどのように影響するかをサードパーティが理解することを可能にする。

この文書は、指定されたターゲットアクションのユーザ実行に対する異なるコンテンツ曝露の相対的寄与を決定するための技法について論じる。例えば、本文書で論じる技法は、指定されたターゲットアクションのユーザの後続の実行に関連するので、オンラインコンテンツへの各曝露の影響を決定することができるモデルを作成する。加えて、本文書で論じる技法は、システムが、指定されたターゲットアクションが実行された時間において残っていた各曝露の増分寄与を決定することを可能にする。

より具体的には、本文書で説明する技法は、ユーザの有機的オンライン活動に起因する指定されたターゲットアクションに関するベースライン実行レベルを決定し、ターゲットアクションのユーザの実行に対する、サードパーティによってオンラインリソースに注入されたデジタル構成要素にユーザが曝露されていることの増分効果を決定することができる。

本文書全体で使用される場合、「デジタル構成要素」というフレーズは、デジタルコンテンツまたはデジタル情報の個別のユニット(例えば、ビデオクリップ、オーディオクリップ、マルチメディアクリップ、画像、テキスト、または別のコンテンツのユニット)を指す。デジタル構成要素は、単一のファイルとして、またはファイルの集合体において、物理的記憶デバイス内に電気的に記憶され得、デジタル構成要素は、ビデオファイル、オーディオファイル、マルチメディアファイル、画像ファイル、またはテキストファイルの形態をとることができ、広告がデジタル構成要素の一種であるように、広告情報を含むことができる。本文書で使用される場合、デジタル構成というフレーズは、有機的イベントと呼ばれる、以下で詳細に論じる有機的コンテンツ曝露とは異なるコンテンツの個別のユニットを指す。

図1は、コンテンツが配信される例示的な環境100のブロック図である。以下でより詳細に説明するように、ユーザは、環境100内の様々なオンラインコンテンツに曝露され、本文書全体で論じる技法は、指定されたターゲットアクションを実行するユーザに対するそれらの曝露の各々の増分効果を決定することができる。

例示的な環境100は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、またはそれらの組合せなどのネットワーク102を含む。ネットワーク102は、コンテンツサーバ104、ユーザデバイス106、デジタル構成要素サーバ108、およびデジタル構成要素配信システム110(構成要素配信システムとも呼ばれる)を接続する。

電子文書は、クライアントデバイス106においてコンテンツのセットを提示するデータである。電子文書の例は、ウェブページ、ワードプロセッシング文書、ポータブルドキュメントフォーマット(PDF)文書、画像、ビデオ、検索結果ページ、およびフィードソースを含む。モバイル、タブレット、またはデスクトップコンピューティングデバイス上にインストールされたアプリケーションなどのネイティブアプリケーション(例えば、「アプリ」)も、電子文書の例である。電子文書は、コンテンツサーバ104によってユーザデバイス106に提供され得る。例えば、コンテンツサーバ104は、発行者のウェブサイトをホストするサーバを含むことができる。この例では、ユーザデバイス106は、所与の発行者ウェブページに対する要求を開始することができ、所与の発行者ウェブページをホストするコンテンツサーバ104は、クライアントデバイス106において所与のウェブページの提示を開始するマシン実行可能命令を送信することによって要求に応答することができる。

別の例では、コンテンツサーバ104は、ユーザデバイス106がアプリをダウンロードすることができるアプリサーバを含むことができる。この例では、ユーザデバイス106は、ユーザデバイス106においてアプリをインストールするために必要なファイルをダウンロードし、次いで、ダウンロードされたアプリをローカルで実行することができる。アプリは、有機的コンテンツ、例えば、アプリの開発者によって指定されたコンテンツを提示することができ、場合によっては、デジタル構成要素サーバ108から取得され、アプリがユーザデバイス106において実行されている間にアプリに挿入される1つまたは複数デジタル構成要素(例えば、サードパーティによって作成/配信されたコンテンツ)を提示することもできる。

電子文書は、様々なコンテンツを含むことができる。例えば、電子文書は、電子文書自体の中にある、および/または時間の経過とともに変化しない静的なコンテンツ(例えば、テキストまたは他の指定されたコンテンツ)を含むことができる。電子文書は、時間の経過とともに、または要求ごとに変化し得る動的コンテンツを含むこともできる。例えば、所与の電子文書の発行者は、電子文書の一部を入力するために使用されるデータソースを維持することができる。この例では、所与の電子文書は、所与の電子文書がユーザデバイス106によって処理される(例えば、レンダリングまたは実行される)とき、ユーザデータ106にデータソースからのコンテンツを要求させるタグまたはスクリプトを含むことができる。ユーザデバイス106は、データソースから取得されたコンテンツを含む複合電子文書を作成するために、データソースから取得されたコンテンツを所与の電子文書に統合する。

いくつかの状況では、所与の電子文書は、デジタル構成要素配信システム110を参照するデジタル構成要素タグまたはデジタル構成要素スクリプトを含むことができる。これらの状況では、デジタル構成要素タグまたはデジタル構成要素スクリプトは、所与の電子文書がユーザデバイス106によって処理されるとき、クライアントデバイス106によって実行される。デジタル構成要素タグまたはデジタル構成要素スクリプトの実行は、デジタル構成要素に対する要求112(「構成要素要求」と呼ばれる)を生成するようにユーザデバイス106を構成し、この要求は、ネットワーク102を介してデジタル構成要素配信システム110に送信される。例えば、デジタル構成要素タグまたはデジタル構成要素スクリプトは、ユーザデバイス106がヘッダおよびペイロードデータを含むパケット化されたデータ要求を生成することを可能にすることができる。構成要素要求112は、デジタル構成要素が要求されているサーバの名前(またはネットワーク位置)、要求しているデバイス(例えば、ユーザデバイス106)の名前(またはネットワーク位置)、および/またはデジタル構成要素配信システム110が要求に応答して提供される1つまたは複数のデジタル構成要素を選択するために使用することができる情報などの特徴を指定するイベントデータを含むことができる。構成要素要求112は、ユーザデバイス106によって、ネットワーク102(例えば、電気通信ネットワーク)を介して、デジタル構成要素配信システム110のサーバに送信される。

構成要素要求112は、要求されている電子文書、およびデジタル構成要素が提示され得る電子文書の場所の特性などの、他のイベント特徴を指定するイベントデータを含むことができる。例えば、デジタル構成が提示される電子文書(例えば、ウェブページ)への参照(例えば、URL)、デジタル構成要素を提示するために利用可能な電子文書の利用可能な場所、利用可能な場所のサイズ、および/またはその場所における提示に適格なメディアタイプを指定するイベントデータが、デジタル構成要素配信システム110に提供され得る。同様に、電子文書に関連付けられたキーワード(「文書キーワード」)または電子文書によって参照されるエンティティ(例えば、人、場所、または物)を指定するイベントデータも、構成要素要求112内に(例えば、ペイロードデータとして)含まれ得、電子文書での提示に適格なデジタル構成要素の識別を容易にするために、デジタル構成要素配信システム110に提供され得る。イベントデータは、検索結果ページを取得するためにユーザデバイス106から提出された検索クエリ、ならびに/または検索結果および/もしくは検索結果内に含まれるテキスト、可聴、もしくは他の視覚的コンテンツを指定するデータを含むこともできる。

構成要素要求112は、ユーザデバイスのユーザが提供した情報、構成要素要求が提出された州または地域を示す地理的情報、またはデジタル構成要素が表示される環境に関するコンテキストを提供する他の情報(例えば、構成要素要求の時刻、構成要素要求の曜日、モバイルデバイスまたはタブレットデバイスなどの、デジタル構成要素が表示されるデバイスのタイプ)などの他の情報に関連するイベントデータを含むこともできる。構成要素要求112は、例えば、パケット化ネットワークを介して送信され得、構成要素要求112自体は、ヘッダおよびペイロードデータを有するパケット化データとしてフォーマットされ得る。ヘッダは、パケットの宛先を指定することができ、ペイロードデータは、上記で論じた情報のいずれかを含むことができる。

1つまたは複数のデジタル構成要素配信サーバを含む構成要素配信システム110は、構成要素要求112を受信したことに応答して、および/または構成要素要求112内に含まれる情報を使用して、所与の電子文書で提示されるデジタル構成要素を選択する。いくつかの実装形態において、デジタル構成要素は、デジタル構成要素の遅延した選択によって引き起こされる可能性があるエラーを回避するために、1秒未満で選択される。例えば、構成要素要求112に応答してデジタル構成要素を提供する際の遅延は、ユーザデバイス106においてページロードエラーをもたらすか、または電子文書の他の部分がクライアントデバイス106において提示された後でも電子文書の一部を未入力のままにする可能性がある。また、クライアントデバイス106にデジタル構成要素を提供する際の遅延が増大するにつれて、デジタル構成要素がクライアントデバイス106に配信されるときに、電子文書がクライアントデバイス106において提示されなくなる可能性が高くなり、それによって、電子文書とのユーザ体験に悪影響を与える。さらに、デジタル構成要素を提供する際の遅延は、例えば、デジタル構成要素が提供されたときに、電子文書がクライアントデバイス106においてもはや提示されない場合、デジタル構成要素の配信の失敗をもたらす可能性がある。

電子文書の検索を容易にするために、環境100は、電子文書をクロールしてインデックス付けする(例えば、電子文書のクロールされたコンテンツに基づいてインデックス付けされる)ことによって電子文書を識別する検索システム150を含むことができる。電子文書に関するデータは、データが関連付けられている電子文書に基づいてインデックス付けされ得る。電子文書のインデックス付けされ、オプションでキャッシュされたコピーは、検索インデックス152(例えば、ハードウェアメモリデバイス)内に記憶される。電子文書に関連付けられているデータは、電子文書内に含まれるコンテンツおよび/または電子文書に関するメタデータを表すデータである。

ユーザデバイス106は、ネットワーク102を介して検索システム150に検索クエリを提出することができる。それに応答して、検索システム150は、検索クエリに関連する電子文書を識別するために、検索インデックス152にアクセスする。検索システム150は、検索結果の形態において電子文書を識別し、検索結果を検索結果ページにおいてユーザデバイス106に返す。検索結果は、特定の検索クエリに応答する(例えば、関連する)電子文書を識別する検索システム150によって生成されたデータであり、検索結果とのユーザ対話に応答して、クライアントデバイスに指定された場所からのデータを要求させるアクティブリンク(例えば、ハイパーテキストリンク)を含む。例示的な検索結果は、ウェブページのタイトル、ウェブページから抽出されたテキストのスニペットまたは画像の一部、およびウェブページのURLを含むことができる。別の例示的な検索結果は、ダウンロード可能なアプリケーションのタイトル、ダウンロード可能なアプリケーションを説明するテキストのスニペット、ダウンロード可能なアプリケーションのユーザインターフェースを示す画像、および/またはアプリケーションがユーザデバイス106にダウンロードされ得る場所に対するURLを含むことができる。別の例示的な検索結果は、ストリーミングメディアのタイトル、ストリーミングメディアを説明するテキストのスニペット、ストリーミングメディアのコンテンツを表す画像、および/またはストリーミングメディアがクライアントデバイス106にダウンロードされ得る場所に対するURLを含むことができる。他の電子文書と同様に、検索結果ページは、デジタル構成要素(例えば、広告、ビデオクリップ、オーディオクリップ、画像、または他のデジタル構成要素)が提示され得る1つまたは複数のスロットを含むことができる。上記で説明したように、ユーザがインターネットを介して利用可能なオンラインリソースと対話するとき、様々なオンラインコンテンツがユーザに提示され得る。そのオンラインコンテンツは、一般に、有機的コンテンツまたはデジタル構成要素として分類され得る。有機的コンテンツは、コンテンツが提示されているオンラインリソースの所有者または管理者によって指定および/または提供されるコンテンツである。有機的コンテンツの例は、検索エンジンによって提供される検索結果、および発行者によって提供されるウェブページ内に提示されるコンテンツを含む。これらの例の各々において、提示されるコンテンツは、オンラインリソースを提供するエンティティによって指定され、したがって、ファーストパーティコンテンツと見なされる。例えば、検索エンジンは、提出された検索クエリに関連するオンラインリソースを識別し、それらの関連するリソースを識別する検索結果を生成し、検索エンジンによって生成された検索結果を含む(検索エンジンのドメインにおける)検索結果ページを生成する。したがって、検索結果は、検索エンジンによって生成され、検索エンジンによって生成された検索結果ページ内に提示され、それによって、検索結果をファーストパーティコンテンツ、したがって、有機的コンテンツにする。同様に、ユーザが特定のウェブページを訪問すると、そのウェブページは、そのウェブページの発行者によって指定および/または生成されたコンテンツを含み、これも、ファーストパーティコンテンツと見なされ、現在の議論の目的のための有機的コンテンツとなる。

この議論の目的のために、デジタル構成要素は、デジタル構成要素が提示されるオンラインリソースを提供するエンティティとは異なるエンティティによって作成および/または提供されるので、デジタル構成要素は、サードパーティコンテンツと見なされる。検索結果ページのコンテキストにおいて、サードパーティコンテンツを含むデジタル文書は、オンラインリソースが提示されるときにオンラインリソース内に含めるために選択されるデジタル構成要素(例えば、気象データ、株式データ、または広告)であり得る。例えば、(例えば、現在の気象状態、株価、または広告を提示する)デジタル構成要素は、検索結果ページが生成され、検索結果ページ内に提示するために提供されるときに、サードパーティ(例えば、検索エンジンドメインとは異なるドメイン)によって選択され得る。上記で論じたように、検索結果ページで提示されるデジタル構成要素は、ユーザによって提出された検索クエリに少なくとも部分的に基づいて、検索結果ページを提供するエンティティ以外のエンティティによって選択され得る。発行者によって提供されるウェブページ(例えば、ブログ、ニュースウェブページ、天気ウェブページ、株式情報ウェブページ)のコンテキストにおいて、ウェブページがクライアントデバイスによって要求されたとき、ウェブページの発行者とは異なるサードパーティによって提供されるデジタル構成要素が、ウェブページ内に提示するために選択され得る。所与のウェブページで提示するために選択されるデジタル構成要素は、例えば、所与のウェブページの有機的コンテンツ、および/または所与のウェブページを訪問するユーザの特性(例えば、興味、プロファイル情報など)に基づいて選択され得る。

コンテンツへの各曝露は、ユーザの将来のオンライン(またはオフライン)活動に影響を与える可能性がある。例えば、特定のブランドの靴に関連するコンテンツ(例えば、レビュー、ニュース記事、または広告)を見るユーザは、曝露がなかった場合よりも、その特定のブランドの靴を取得する可能性が高くなる可能性がある。状況によっては、ユーザがその後にある特定のターゲットアクションを実行することに関連する様々なコンテンツ曝露の影響を定量化できることが有利である可能性がある。

いくつかの実装形態において、ターゲットアクションは、デジタル構成要素プロバイダによって指定され得る。例えば、デジタル構成要素プロバイダは、ターゲットアクションを、ユーザがホワイトペーパをダウンロードすること、ウェブサイトの少なくとも所与の深さまでナビゲートすること、少なくとも特定の数のウェブページを閲覧すること、ウェブサイトまたはウェブページ上で少なくとも所定の時間を費やすこと、ウェブサイト登録プロセスを完了すること、デジタルサービスに加入すること、ショッピングカートにアイテムを追加すること、または製品を購入することのうちの1つまたは複数として指定する。ユーザが指定されたターゲットアクションを実行するとき、指定されたターゲットアクションの実行は、変換と呼ばれる場合がある。

指定されたターゲットアクションのユーザの実行は、オンラインコンテンツに対する一連の曝露によって先行されることが多い。例えば、ユーザ160が特定のカメラに興味を持っており、そのカメラについてもっと知りたいと思っていると想定する。さらに、特定のカメラに関する情報を含むデジタル構成要素を配信するデジタル構成要素プロバイダが特定のカメラの取得としてターゲットアクションを指定したと想定する。

この例では、ユーザ160は、ネットワーク102を介して検索クエリを検索システム150に提出することによって、ユーザデバイス106における特定のカメラに関する情報を検索し得る。検索システム150は、検索クエリに応答して検索結果を識別し、表示するために検索結果をユーザデバイス106に返し、これは、(例えば、特定のカメラに関するデジタル構成要素が検索結果ページ上に提示されないと想定して)ユーザ160に対する特定のカメラに関する有機的コンテンツの曝露と見なされる。ユーザデバイス106において検索結果を閲覧するユーザ160は、各々が特定のカメラに関する情報を含むウェブサイト180、182、および184に(例えば、検索結果のうちのいくつかをクリックすることによって)訪問することができる。ユーザ160によるウェブサイトへのこれらの訪問の各々も、ユーザ160に対する有機的コンテンツの曝露と見なされ得る。ユーザ160が最終的に特定のカメラを取得する(すなわち、指定されたターゲットアクションを実行する)と想定すると、有機的イベントと呼ばれる有機的コンテンツへのこれらの曝露の各々は、指定されたターゲットアクションのユーザの実行に寄与し、これらの有機的曝露の相対的寄与は、以下でより詳細に説明するように定量化され得る。

上記の例では、ユーザ160が、指定されたターゲットアクションを実行する前に特定のカメラに関する有機的コンテンツに曝露されたが、ユーザ160が、特定のカメラに関するデジタル構成要素(例えば、指定されたタイプのデジタル構成要素)に曝露されなかったと想定されている。デジタル構成要素への曝露も、指定されたターゲットアクションのユーザの実行に寄与する可能性がある。例えば、指定されたターゲットアクションを実行する前に、ユーザ160が別の検索を実行すると想定する。さらに、この検索に応答して、検索システム150が、検索結果(例えば、SR1およびSR2)を含む検索結果ページ186を返し、デジタル構成要素サーバ108が、検索結果で提示するための特定のカメラに関するデジタル構成要素188を提供すると想定する。

この例では、ユーザ160が指定されたターゲットアクション(例えば、特定のカメラを取得する)をその後に実行すると、デジタル構成要素188に対するユーザの曝露も、指定されたターゲットアクションの実行に寄与することになる。しかしながら、特定のターゲットアクションのユーザのその後の実行に関連するので、デジタル構成要素の曝露の影響のレベルを決定することは、容易に明らかではなく、直接観測できず、困難である。さらに、ターゲットアクションのユーザのその後の実行に影響することに関連するので、有機的曝露の寄与とデジタル構成要素への曝露の寄与とをどのように区別するのかは、コンテンツ曝露に関連する生データのみからは容易に明らかではない。そのため、特に、デジタル構成要素に関連するので、コンテンツをユーザに効果的かつ効率的に配信することは、困難である可能性がある。

指定されたターゲットアクションを実行するユーザに関連するようにコンテンツ曝露の影響を決定するために、環境100は、コンテンツ曝露を評価し、指定されたターゲットアクションのユーザのその後の実行に対するそれらのコンテンツ曝露の各々の寄与のレベルを決定するように構成されたモデル装置130を含むことができる。この情報は、構成要素配信システム110によって配信される指定されたタイプのデジタル構成要素の実行を決定するために使用され得、例えば、デジタル構成がユーザに提示するためにいつ、どこで、またはどのように送信されるかを制御する送信基準を変更することによって、ユーザに提示されるコンテンツの関連性を改善するために使用され得る。

以下でより詳細に説明するように、モデル装置130は、モデル装置130がユーザの属性と指定されたターゲットアクションのベースライン実行レベル(例えば、特定の属性を有するユーザが指定されたターゲット対話を実行するレベル)との間の関係を学習することを可能にするデータ収集技法を実装するように構成される。これらの関係は、システムに入力された属性に基づいてベースライン実行レベルを出力することができるベースラインアクションモデルと呼ばれ得る。このベースライン実行モデルは、スタンドアロンモデルであり得、または以下でより詳細に説明するように他のデータも考慮に入れるより複雑なモデル構造に組み込まれ得る。

ベースライン実行レベルは、ユーザが指定されたターゲットアクションのデジタル構成要素に曝露されていない場合の、指定されたターゲットアクションの実行のレベルを表す。例えば、特定のベースライン実行レベルは、ユーザが特定のタイプの靴の販売者のために配信されたデジタル構成要素に曝露されていないときに、それらのユーザがそのタイプの靴を取得する割合を表すように作成され得る。特定の例では、ベースライン実行尺度は、ユーザが特定のタイプの靴のための広告に曝露されることなく、その特定のタイプの靴を取得する特定の属性のセットを有するそれらのユーザの部分を示すことができる。

モデル装置130によって実施されるデータ収集技法は、ユーザが指定されたターゲットアクションをその後に実行することに関連するように、モデル装置130が経時的な様々なコンテンツ曝露の影響をモデル化することも可能にする。例えば、モデル装置130は、特定のタイプのコンテンツ(例えば、有機的コンテンツまたはデジタル構成要素)への曝露の直後に指定されたターゲットアクションを実行するユーザの部分における初期変化を定量化し、以下でより詳細に説明するように、時間の経過に伴うその初期変化の(例えば、ベースライン実行測定値に向かう)減衰を表すモデルを作成することができる。ベースライン実行レベルと経時的な様々なコンテンツ曝露の残りの影響との間に線引きするこの能力は、モデル装置130が指定されたターゲットアクションが実行されるときに残っている各コンテンツ曝露の増分効果を決定することを可能にし、それによって、指定されたターゲットアクションが実行されるときに残る各コンテンツ曝露の相対的寄与を線引きすることができない従来の帰属モデルと比較して、改善された帰属モデルを提供する。

図2は、時間の経過に伴うターゲットアクションの実行に対するコンテンツ曝露デジタル構成要素の例示的な影響を示す例示的なグラフ200である。図2において、時間t0において、実行レベルは、PL1にあり、これは、所与の属性のセットを有するユーザのセットに関するベースライン実行レベルと見なされ得る。実行レベルは、様々な方法で表現され得る。いくつかの実装形態において、任意の所与の時点における実行レベルは、ユーザに関するアクションレートを表し、例えば、指定されたターゲットアクションを実行するユーザの部分を指定し、またはユーザが指定されたターゲットアクションを実行する頻度を指定する。いくつかの実装形態において、実行レベルは、ユーザが指定されたターゲットアクションを実行する尤度として表され得る。状況によっては、実行レベルは、限られた範囲(例えば、0～1、0～10、0～100など)に正規化される。

時間t1において、コンテンツ曝露(「曝露A」210)が発生し、これは、コンテンツ曝露によって引き起こされる実行レベルの即時の上昇を引き起こす。具体的には、実行レベルは、曝露Aの時点でPL1からPL2に変化する。実行レベルのこの変化は、曝露A210の結果として、指定されたターゲットアクションを実行するユーザの割合がPL1からPL2に変化することを示す。例示の目的のために、曝露A210は、ユーザが特定のタイプの靴に関する検索結果に曝露されていることを表していると想定する。この例では、図1のモデル化装置130は、検索結果への曝露がターゲットアクション(例えば、特定の靴の取得)の実行の増加を引き起こすことを示す。

t1における実行レベルの初期変化の後、実行レベルに対する曝露A210の影響は、グラフ200におけるt1とt2との間に位置する曲線によって示されるように、減衰し始め、PL1に戻る。この減衰は、時間が経過するにつれて、ユーザがその後にターゲットアクションを実行することに対する特定のコンテンツ曝露の寄与が減少する傾向があるという事実を表す。各々の特定のタイプのコンテンツ曝露に関する減衰率は、以下でより詳細に説明するように、モデル装置130によって収集されたデータに基づいて決定され得る。

図2によって示す例では、時間t2において、実行レベルは、ベースライン実行レベルであるPL1に戻り、t2において、もはや曝露A210がターゲットアクションの実行に寄与しているとは見なされないことを示す。時間t2において、第2の曝露(「曝露B」220)が発生し、これは、実行レベルをPL1からPL3に変化させ、それによって、曝露Bが、ターゲットアクションの実行のユーザのベースライン比率(例えば、PL1)と比較してより高い割合でユーザにターゲットアクションを実行させることを示す。t2の後、曝露B220によって寄与された増加した実行レベルは、特定のタイプのコンテンツ曝露について決定された減衰関数に従って減衰し始める。上記の例を続けると、曝露B220は、例えば、特定のタイプの靴の製造業者によって作成されたデジタル構成要素へのユーザの曝露であり得る。

t3において、実行レベルに対する曝露B220の寄与は、BL3からPL4を下回ったが、PL1までは戻っておらず、それによって、t3において、曝露B220がターゲットアクションのユーザの実行に寄与していると依然として見なされることを示す。したがって、曝露B220は、以下でより詳細に論じるように、時間t3におけるターゲットアクションの実行に関するクレジットに起因する可能性がある。この例では、別の曝露(「曝露C」230)が発生し、これは、実行レベルを再び変化させ、具体的には実行レベルをPL5に増加させる。曝露C230は、有機的曝露、またはデジタル構成要素の曝露であり得る。いずれの状況でも、曝露C230によって引き起こされる初期実行レベルの増加は、PL4とPL5との間の差、すなわち、曝露C230の直前に残っている実行レベル(例えば、PL4)と、曝露Cの直後に生じる実行レベル(例えば、PL5)との間の差となる。図示のように、PL5は、まだ完全には減衰していない曝露B220と、曝露C230の両方からの寄与を含む。したがって、t3におけるターゲットアクションの実行に対するそれらのそれぞれの寄与を適切に帰属させることは、実行レベルPL5を提供するために組み合わせるそれぞれの増分実行レベルの決定を必要とする。任意の所与の時点におけるコンテンツ曝露に関する増分実行レベルの決定について、以下でより詳細に論じる。

t3の後、実行レベルは、再び減衰(例えば、低下)し始めるが、今回、減衰は、曝露C230について決定された減衰だけでなく、以下でより詳細に論じるように、t3において残っていた曝露B220の実行レベルの減衰にもよるものである。例示の目的のため、ターゲットアクションがt3の後のt4においてユーザによって実行されると想定する。この例では、t4において、実行レベルは、ベースライン実行レベルであるPL1よりも高いPL4に戻っている。したがって、t0とt3との間に発生したコンテンツ曝露のうちの1つまたは複数は、t4におけるターゲットアクションの実行に寄与していると依然として見なされる。t4において残っている各コンテンツ曝露の相対的寄与は、以下で詳細に論じるように、例えば、そのコンテンツ曝露によって引き起こされる実行レベルの変化、そのコンテンツ曝露に関する減衰関数、ならびにそのコンテンツ曝露およびターゲットアクション240の実行から経過した時間に基づいて決定され得る。

上記の議論は、ターゲットアクションに関する実行レベルがコンテンツ曝露に基づいてどのように変化する可能性があるか、およびそれが全体的な実行レベルをどのように変化させるかを示す。任意の所与の時点における全体的な実行レベルを表現および/または定量化するために、数学的関係が使用され得る。いくつかの実装形態において、指定されたアクションに関する実行レベルは、
X(t)=X_I(t)+X_S(t)
によって表され、ここで、X(t)は、時間tにおける全体的な実行レベルを表し、X_I(t)は、コンテンツへの曝露がない場合のベースライン実行レベルであり、X_S(t)は、コンテンツへの曝露による実行レベルの増加である。いくつかの実装形態において、コンテンツへの曝露による実行レベルの増加は、
X_S(t)=a_SX_S(t-Δt)+b_SU_S(t)
としてモデル化され、ここで、a_Sは、実行レベルの減衰率であり、b_Sは、実行レベルの即時上昇であり、U_S(t)は、時間tにおけるデジタル構成要素への曝露である。a_Sおよびb_Sの値は、コンテンツ曝露の時間と、ターゲットアクションがそれらのコンテンツ曝露後に発生した時間とを指定するデータなどの履歴データを使用して決定され得る。

図3は、時間の経過に伴うコンテンツ曝露330の影響の例示的な減衰を示すグラフ300である。例えば、ユーザ160がインターネット検索を実行し、曝露330によって表されるように検索結果に曝露され、これが実行レベルの増加をもたらすと想定する。上記で論じたように、この増加した実行レベルは、例えば、検索結果の曝露について作成された減衰関数に従って、時間の経過に伴って減衰する。

いくつかの実装形態において、実行レベルの減衰は、区分的定数関数(または区分的線形関数などの別の区分的関数)を使用してモデル化される。例えば、時間間隔350の間の実行レベルの減衰は、短期的な減衰と見なされ、時間間隔360の間の実行レベルの減衰は、中期的な減衰と見なされ、時間間隔370の間の実行レベルの減衰は、長期的な減衰と見なされる。他の実装形態において、区分的定数関数は、減衰プロセスをより細かい時間間隔に分割し得、それによって、より高い粒度のレベルにおいて減衰をモデル化する。他の実装形態において、連続減衰関数を推定するために、他の方法論が使用され得る。区分的定数関数を使用することは、減衰を決定するために必要な計算リソースを低減し、減衰がより迅速に計算されることを可能にする。

そのような実装形態において、コンテンツ曝露後の時間は、より小さい時間間隔の合計としてモデル化される。例えば、時間t1とt4との間の実行レベルの減衰をモデル化するために、t1とt4との間の時間は、時間間隔t1～t2、t2～t3、およびt3～t4の合計としてモデル化される。各時間間隔は、対応する減衰、またはより具体的には減衰率を有すると想定される。対応する時間間隔の減衰率に基づいて、特定の時間間隔後の実行レベルは、特定の時間間隔の前の実行レベルを使用して計算され得る。いくつかの実装形態において、減衰率は、デジタル構成要素プロバイダ、またはベースラインモデルを生成することに関心のあるサードパーティによって設定され得る。いくつかの実装形態において、減衰率は、複数の学習可能なパラメータを使用して、ユーザの過去の活動に基づいて他の機械学習モデルによって決定され得る。他の実装形態において、減衰率は、訓練プロセス中に学習されたベースラインモデルのパラメータであり得る。コンテンツへの曝露後の実行レベルは、ベースラインモデルによって決定されることに留意すべきである。いくつかの実装形態において、ベースラインモデルは、特定のコンテンツへの曝露後の実行レベルが、ベースラインモデルの学習されたパラメータ、特定のコンテンツ、ユーザ、およびベースラインモデルを訓練するために収集された訓練データに基づいて、同じまま、または増加する可能性があると判断し得る。

図4は、ターゲットアクションの実行を時間の経過に伴って発生したコンテンツ曝露に帰属させるためにモデル装置130によって使用され得るモデル450を作成するように構成された例示的なシステム400のブロック図である。単純な形態において、モデルは、入力としてユーザ属性を受け入れ、ユーザ属性に基づいてベースライン実行レベルを出力するベースラインモデルであり得る。モデルは、ターゲットアクションの実行前に発生した有機的曝露に関連する入力(例えば、有機的曝露のタイプ、およびそれらの曝露の時間)を受け入れ、ターゲットアクションが発生した時点におけるターゲットアクションの実行に対する各有機的曝露の相対的寄与などの様々な情報を出力するように拡張され得る。モデルはまた、ターゲットアクションの実行の前に発生したデジタル構成要素曝露に関連する入力(例えば、デジタル構成要素のタイプ、および曝露の時間)を受け入れ、ターゲットアクションの時点におけるターゲットアクションの実行に対する各デジタル構成要素の相対的寄与を指定する情報を出力するように拡張され得る。以下の議論は、ベースラインモデルの作成に言及する。

システム400は、モデル450を訓練するための訓練サンプルを取得/準備するデータ収集器410を含む。モデル450は、例えば、ターゲットアクションを実行したユーザのセットおよびターゲットアクションを実行しなかったユーザの別のセットについて収集されたデータを使用して訓練され得る。例えば、ターゲットアクションが、ユーザがネイティブアプリケーションをダウンロード/インストールすることであると想定する。この例では、システムは、ネイティブアプリケーションの以前のダウンロード/インストールを識別し、ネイティブアプリケーションをダウンロード/インストールする前にユーザが体験したコンテンツ曝露を指定するデータを取得することができる。システムは、ユーザがネイティブアプリケーションをダウンロード/インストールしていなかった後にユーザが体験したコンテンツ曝露を指定するデータをさらに取得することができる。

そのような実装形態において収集されたデータは、ターゲットアクション(例えば、アプリケーションのダウンロード/インストール)の実行前のすべてのデジタル構成要素への曝露を表すユーザデータを含む。いくつかの実装形態において、モデル450は、様々なデジタル構成要素への曝露に基づいて、ユーザ属性と実行レベルとの間の関係を学習する。他の実装形態において、モデル450は、指定されたタイプのデジタル構成要素への曝露とは無関係に、ユーザ属性と実行レベルとの間の関係を学習するように構成される。例えば、モデル450は、ターゲットアクションのユーザの実行の前に、1つまたは複数の指定されたタイプのデジタル構成要素(例えば、特定のエンティティによって提供されるデジタル構成要素)に曝露されなかったユーザに対応する履歴曝露データに基づいて、ユーザ属性と実行レベルとの間の関係を学習することができる。これは、モデル450がユーザの属性に基づいてユーザに関するベースライン実行レベルを決定することを可能にする。そのような実装形態において、訓練サンプルは、ユーザがサードパーティのデジタル構成要素に曝露することなく、有機的コンテンツへのユーザの曝露を表すイベントデータ、例えば、有機的曝露データの収集を可能にするとともに、サードパーティによって提供されたデジタル構成要素へのユーザの曝露を表すサードパーティ曝露データを含む訓練サンプルの収集を可能にするアブレーション実験を使用して生成される。他の実装形態において、モデル450は、アブレーション実験を明示的に実行することなく、1つまたは複数の指定されたタイプのデジタル構成要素に曝露されなかったユーザから生成された訓練データを使用して訓練され得る。例えば、検索システム150および構成要素配信110は、ユーザ160からのすべての検索要求と、ユーザ160にサービスされたデジタル構成要素とを追跡し続けることができる。このデータを使用して、1つまたは複数の指定されたタイプのデジタル構成要素をサービスされず、それによって、指定されたデジタル構成要素に曝露させる必要があるユーザを表す訓練データが生成され得る。

図5は、図4のアブレーション実験装置415によって実施され得るアブレーション実験を示すブロック図である。アブレーション実験は、ユーザのセット510を使用して実行される。そのような実装形態において、対照ユーザのセット520が1つまたは複数の指定されたタイプのデジタル構成要素をサービスされない、それによって、評価されているデジタル構成要素への曝露が妨げられる指定された期間の間、対照ユーザのセット520が作成される。例えば、対照ユーザのセット520は、デジタル構成要素を配信する特定のエンティティに関する対照グループの一部としてマークされ得、この例では、対照グループ内へのユーザの包含は、それらのユーザがその特定のエンティティによって配信されたデジタル構成要素に曝露されるのを防ぐことができ、それによって、それらのデジタル構成要素が対照グループ520内のユーザによって実行される後続のアクションに影響を与えるのを防ぐ。

アブレーション実験は、指定された期間の間に曝露されたユーザのセット550も定義する。対照ユーザのセットとは異なり、曝露されたユーザのセット550は、指定されたタイプのデジタル構成要素とともに提供され、それによって、曝露されたユーザのセット550が指定されたタイプのデジタルコンテンツ(例えば、特定のエンティティによって配信されたデジタル構成要素)に曝露されることを保証する。例えば、ユーザのセット510は、ユーザ1～6を含む対照ユーザのセット520を含む。ユーザのセット510は、ユーザ7～12を含む曝露されたユーザのセット550も含む。対照ユーザのグループ内の各ユーザ1～6は、有機的曝露を体験することができるが、指定されたタイプのデジタル構成要素(例えば、特定のエンティティによって提供された、および/または特定のトピック、対象、製品、もしくはサービスに関連するデジタル構成要素)のサードパーティ曝露を体験しない。曝露されたユーザのグループ550内のユーザ7～12は、指定されたタイプのデジタル構成要素565(例えば、特定のエンティティによって提供されるデジタル構成要素)に曝露される。

いくつかの実装形態において、対照ユーザのセット520および曝露されたユーザのセット550内のユーザは、セット510内のユーザからランダムに選択される。他の実装形態において、このランダム選択プロセスは、特定の条件を使用して制御され得る。例えば、ベースラインモデルは、特定の年齢のユーザのグループに関する実行レベルを決定するために訓練され得る。そのような実装形態において、アブレーション実験装置415は、ユーザのセット510からの特定の年齢のグループからユーザを選択し、次いで、選択されたユーザを対照ユーザのセット520または曝露されたユーザのセット550のいずれかにランダムに割り当てることができる。

いくつかの実装形態において、曝露データ(例えば、有機的曝露データおよび/またはサードパーティ曝露データ)が、対照ユーザのセットおよび曝露されたユーザのセットについて収集される。例えば、対照ユーザのセット520内のユーザ4について収集された曝露データは、ユーザ4が両方とも有機的曝露である第1のウェブサイト532および第2のウェブサイト534に曝露されたことを特定することができる。収集されたデータによれば、第1のウェブサイト532および第2のウェブサイト534に曝露された後、ユーザ4は、指定されたターゲットアクション538を実行する、この例を続けると、曝露データは、指定された期間中、ユーザ6が第1のウェブサイト532および第3のウェブサイト536への曝露に続いて、指定されたターゲットアクション538を実行しなかったことを示すこともできる。この曝露データは、曝露のタイプ(例えば、有機的またはサードパーティ)の識別子、曝露時間、曝露の持続時間、ユーザ属性、および指定されたターゲットアクションが指定された時間期間内に実行されたかどうかを含む訓練サンプルにおいて使用され得る。

同様に、曝露されたユーザのセット550から、ユーザ10は、第1のウェブサイト532への最初の曝露、およびその後のサードパーティ曝露565(例えば、特定のエンティティによって提供された、および/または特定のトピック、サービス、もしくは製品に関連するデジタル構成要素への曝露)の後に、指定されたターゲットアクション538を実行する。この例では、ユーザ12は、第2のウェブサイト534への最初の曝露、およびその後のサードパーティ曝露565に続いて、指定されたターゲットアクション538を実行しない。

図4に戻ると、上記で論じたように曝露データ(例えば、有機的曝露データおよびサードパーティ曝露データ)を収集した後、曝露データは、モデル450を訓練するために使用される訓練データを生成するために処理される。例えば、プリプロセッサ420は、(i)ユーザ記述子または識別子、(ii)曝露のタイムスタンプ、(iii)イベント記述子または曝露記述子、(iv)次の時系列順の曝露のタイムスタンプ、(v)曝露の時間と次の曝露の時間とによって定義された間隔において発生した指定されたターゲットアクションを実行した顧客の数、および(vi)任意の他の適切な特徴に少なくとも部分的に基づいて、各訓練サンプルを生成する。いくつかの実装形態において、複数のプロセッサが、モデル450を訓練するために使用され得る。例えば、複数のワーカ430、432、および434が、モデル450を訓練するために使用される。

いくつかの実装形態において、モデル450は、モデルのパラメータが所与の時間間隔におけるユーザに関するアクションの数に対する予想される増分を特徴付けるモデルを使用して設計される。この文書では、これは、強度率(λ)と呼ばれる。そのような実装形態において、モデルは、

のように定義され得、ここで、Y_i(t)は、時間tにおけるユーザに関するコンバージョン数を計数することによってターゲットアクションの実行を表す計数プロセスであり、ここで、Xは、なんらかの特徴セットである。

いくつかの実装形態において、時間tにおける強度は、時間依存の特徴セットの関数としてモデル化され、様々な間隔において区分的に一定であると想定される。そのような実装形態において、ユーザの各曝露間隔の平均強度率の対数は、
log(λ_ij(t|X_ij(t)=x_ij(t))=log(λ₀(t))+β^T・x_ij(t)+η_i
としてモデル化され、ここで、t∈[t_j,t_j+1)であり、iは、ユーザのインデックスであり、jは、ターゲットアクションのユーザ実行をもたらさない曝露であり、η_iは、ユーザiに関するユーザレベルのランダム効果であり、t_jは、曝露jの開始時間である。

いくつかの実装形態において、各間隔[t_j,t_j+1)に関する尤度寄与は、

の形態をとり、ここで、Δt_ij=t_j+1-t_jおよびλ_ijは、所与の時間間隔におけるユーザに関する指定されたターゲットアクションの数に対する区分的増分である。いくつかの実装形態において、指定されたターゲットアクションの数に対するベースライン増分λ₀(t)は、一定であり得る。他の実装形態において、λ₀(t)は、区分的ステップ関数を使用して推定される。そのような実装形態において、上記のモデルは、各間隔における時間の対数長によって与えられるオフセットを有するポアソン回帰を使用して推定され得る。

いくつかの実装形態において、モデル450は、シミュレーション結果、実際の単語データ、および交差検証を使用して検証される。例えば、検証器460は、デジタル構成要素へのユーザ曝露と、指定されたターゲットアクションの実行とをシミュレートするために、モデル450の学習可能なパラメータの既知の値を使用することができる。それらの既知のパラメータは、訓練プロセスの良さを測定するために、学習されたパラメータと比較される。別の実装形態において、モデル予測は、モデル精度について、曝露を表す実際の単語データ、および指定されたターゲットアクションと比較され得る。

いくつかの実装形態において、特定のデジタル構成要素のプロバイダのようなパーティは、特定のデジタル構成要素の有効性に関心がある場合がある。例えば、プロバイダは、ターゲットアクションのユーザのその後の実行に対する特定のデジタル構成要素曝露の影響を測定したい場合がある。そのような実装形態において、ユーザについて決定された合計実行レベルに対するデジタル構成要素曝露の寄与と、デジタル構成要素の決定された減衰との間の差は、ターゲットアクションの実行を引き起こす上での特定のデジタル構成要素への曝露の有効性(例えば、増分効果)に対応する。

図6Aは、ターゲットアクションの実行に対する単一のデジタル構成要素への曝露の増分効果を示すグラフ600である。この例では、ユーザは、時間tにおいてデジタル構成要素曝露660を体験し、時間t+1において指定されたターゲットアクションを実行すると想定する。図示のように、時間tの前に、ユーザの実行レベルは、最初は、ユーザの属性に基づいて決定されたベースライン実行レベル630であった。時間tにおいて、ユーザは、デジタル構成要素曝露660を体験し、これは、実行レベルの上昇をもたらす。時間tと、ユーザが指定されたターゲットアクションを実行する時間t+1との間で、デジタル構成要素曝露660に起因する実行レベルは、ユーザが時間tにおいて曝露された特定のタイプのデジタル構成要素に対応する減衰関数に従って減衰する。グラフ600において見られるように、時間t+1において、残りの実行レベル650は、ベースライン実行レベル630および時間tにおけるデジタル構成要素曝露に起因する増分実行レベル640からの寄与を含む(例えば、それらの合計である)。増分実行レベル640は、一般に、時間t+1における指定されたターゲットアクションの実行に対してデジタル構成要素曝露660が有する影響を表し、これは、ユーザに指定されたターゲットアクションを実行させる上でのデジタル構成要素曝露660の有効性の尺度と見なされ得る。

前述のように、指定されたターゲットアクションの実行は、複数の異なる曝露(例えば、有機的曝露および/またはサードパーティ曝露)、ならびにユーザについて決定されたベースライン実行レベルに起因する可能性がある。上記で論じたように、ベースライン実行レベルは、デジタル構成要素への曝露および/または有機的曝露がない場合に指定されたターゲットアクションを実行することに対するユーザの傾向を表す。各構成要素曝露は、ターゲットアクションの時点において存在する実行レベルに漸増的に寄与する可能性もある。したがって、ターゲットアクションが実行される時点における実行レベルは、ユーザについて決定されたベースライン実行レベルと、ターゲットアクションの時点における各曝露について残っている実行レベル寄与の増分量とに起因する可能性がある。ユーザが複数の異なるコンテンツ曝露を体験する状況では、各曝露は、曝露によって提供される初期実行レベル寄与と、その曝露の時点とターゲットアクションが発生する時点との間の減衰量との間の差に基づく実行レベルの増分量に起因する可能性がある。

図6Bは、複数のデジタル構成要素への曝露の増分効果を示すグラフ665である。最初に、実行レベルは、ユーザの属性を使用して決定されるベースライン実行レベル690にある。ユーザが曝露A670を体験すると、実行レベルは、上昇し、次いで、時間とともに減衰し始める。ユーザは、次いで、曝露B675を体験し、実行レベルが上昇し、次いで、再び時間とともに減衰する。

曝露B675に続く時間tにおいて、ユーザは、ターゲットアクション(例えば、コンバージョン)を実行する。この例では、実行レベルは、最終的な実行レベル695まで減衰する。この例では、最終的な実行レベル695は、曝露670と曝露675の両方からの増分寄与を含む。これらの2つの曝露の残りの増分効果に関する説明の目的のために、曝露B675は、発生しなかったが、ターゲットアクションは、時間tにおいて依然として発生したと想定する。この例では、時間tにおいて残っている実行レベルは、曝露B675がない場合、697に減衰していた。この場合、曝露Bが実行レベル695と697との間の差に基づいてターゲットアクションの実行に関するクレジットの一部に帰属させることができるように、曝露B675に起因する増分実行680は、実行レベル695と697との間の差である。

この例を続けると、時間tにおける曝露A670の増分寄与685は、ベースライン実行レベル690と、曝露A670が発生したが、曝露B675が発生しなかった場合に存在していた実行レベル697との間の差を考慮することによって説明され得る。例えば、曝露A670に起因する、増分実行レベル685、したがって、ターゲットアクションの実行に関するクレジットの部分は、デジタル構成要素(または他のコンテンツ)へのいかなる曝露とも無関係にこのユーザにとって存在するベースライン実行レベル690を超える時間tにおける実行レベルの部分である。

いくつかの実装形態において、増分実行をコンテンツ曝露に帰属させることは、強度率に基づくことができる。そのような実装形態において、増分実行は、曝露前後の強度率の差に基づく。そのような実装形態において、ユーザが指定されたターゲットアクションを実行した時点における強度は、

として表すことができる。ここで、$は、指定されたターゲットアクションを実行することを指し、SおよびLは、短期的定数および長期的定数であり、kは、曝露タイプであり、k_iは、曝露タイプのカウンタである。そのような実装形態において、λ_$は、
λ_$=λ₀×λ₁×・・・×λ_j×λ_n
として表され得る。ここで、j=1、2...nは、合計nの曝露によるj番目の曝露を表す。増分実行は、次いで、

を使用して順次計算され得る。ここで、j=0および

である。

いくつかの実装形態において、1つまたは複数のエンティティが、指定されたターゲットアクションに関するユーザの実行レベルに影響を与えるようにユーザにサービスされるデジタル構成要素を知ることに関心がある場合がある。そのような実装形態において、コンテンツ曝露と指定されたアクションに関する実行レベルとの間の関係を表すモデルは、ターゲットアクションを実行するユーザの尤度を増加させるようにユーザにサービスされるデジタル構成要素を決定するために使用され得る。例えば、ユーザ160は、特定の製品に関してユーザデバイス106を使用してオンライン検索を実行する。検索システム150は、ユーザデバイス106を介してユーザ160に検索結果を提供しながら、特定の製品に関する情報を含むデジタル構成要素も提供する。いくつかの実装形態において、モデル装置130は、製品を取得することに関連する実行レベルを増加させるために、検索結果とともに示されるべきデジタル構成要素を決定するためにモデル450を使用する。いくつかの実装形態において、モデル装置130は、デジタル構成要素が曝露時に実行レベルの有意な増加をもたらさない可能性があると結論付けたとき、ユーザ属性に基づいて、特定のデジタル構成要素がユーザ160にサービスされないことを決定し得る。

図7は、デジタル構成要素の増分効果に基づいてデジタル構成要素に関する送信基準を変更する例示的なプロセスのフローチャートである。プロセス700の動作は、上記で論じたモデル装置130などの、1つまたは複数のデータ処理装置またはコンピューティングデバイスによって実行され得る。プロセス700の動作はまた、非一時的コンピュータ可読媒体上に記憶された命令として実装され得る。命令の実行は、1つまたは複数の処理装置またはコンピューティングデバイスに、プロセス700の動作を実行させることができる。プロセス700の動作はまた、1つまたは複数のデータ処理装置またはコンピューティングデバイスと、1つまたは複数のデータ処理装置またはコンピューティングデバイスにプロセス700の動作を実行させる命令を記憶するメモリデバイスとを含むシステムによって実施され得る。以下でより詳細に論じるように、プロセス700は、ユーザに関するベースライン実行レベルと、ユーザによる指定されたターゲットアクションの実行への各コンテンツ曝露の相対的寄与とを提供することができるモデルを構築および利用する。

アブレーション実験が、対照結果データと曝露結果データとを取得するために実行される(710)。アブレーション実験は、ユーザを対照ユーザのセットと曝露ユーザのセットとにセグメント化することによって実行される。対照ユーザのセットは、分析されている特定のタイプのデジタル構成要素に曝露されないユーザである。例えば、特定のカメラのメーカによって配信されたデジタル構成要素(例えば、広告)への曝露の相対的影響を決定するためにデータが収集されていると想定する。この例では、アブレーション実験は、対照ユーザのセット内のユーザの各々を、特定のカメラのメーカによって配信された特定のカメラに関するデジタル構成要素を受信するのに不適格であると指定するフラグを利用することができる。状況によっては、特定のタイプのデジタル構成要素は、メディアタイプ(または他の適切な特性)に基づいて定義され得る。例えば、対照ユーザのセットは、デジタルカメラのメーカによって提供されたビデオデジタル構成要素を見ることを防止され得るが、非ビデオデジタル構成要素への曝露の対象となり得る。

アブレーション実験は、システムが、特定のデジタル構成要素のセットに曝露されない対照ユーザのセットに関する対照結果のセットを取得することを可能にする。いくつかの実装形態において、対照結果は、対照ユーザのセット内の特定の対照ユーザごとに、特定の対照ユーザが指定されたアクションを実行したかどうかを指定する。例えば、その制御ユーザが指定されたターゲットアクションを実行したかどうか、対照ユーザによって実行された活動(例えば、提出された検索クエリ)、および対照ユーザによって体験されたコンテンツ曝露を決定するために、対照ユーザのセット内の各対照ユーザに関する履歴オンライン活動データが評価され得る。この情報は、ユーザに関する実行のベースラインレベルに対する各コンテンツ曝露の増分寄与を決定することができるモデルを作成するために使用される訓練例として処理および/または使用され得る。より具体的には、対照結果、および対照ユーザに関して収集された対応するデータは、対照ユーザが特定のタイプのデジタル構成要素に曝露されないので、対照ユーザのアクションに対する指定されたタイプのデジタル構成要素のいかなる影響とも無関係に、特定の特性のセットを有するユーザに関するベースライン実行レベル、および/または実行レベルに対する有機的曝露の影響を学習するために使用され得る。

アブレーション実験は、システムが対照ユーザのセット内に含まれない曝露されたユーザのセットに関する曝露結果を収集することも可能にすることができる。いくつかの実装形態において、曝露結果は、曝露ユーザのセット内の曝露ユーザごとに、曝露ユーザが指定されたアクションを実行したかどうかを指定する。この情報は、ユーザに関する実行のベースラインレベルに対する各サードパーティコンテンツ曝露の増分寄与を決定することができるモデルを作成するために使用される訓練例として処理および/または使用され得る。

モデルが、対照結果データと曝露結果データとに基づいて作成される(720)。モデルは、アブレーション実験中に収集されたデータに基づいて、この文書全体で論じている数学的関係を使用して作成(例えば、訓練)され得る。例えば、モデルは、ユーザの属性と、各特定の対照ユーザに関する対照結果と、曝露ユーザの各々に関する曝露結果とを使用する機械学習フレームワークを使用して作成され得る。いくつかの実装形態において、モデルは、ユーザ属性と、コンテンツ曝露と、指定されたターゲットアクションに関する実行レベルとの間の関係を表す。モデルは、特定のユーザに関するユーザ属性のセット、コンテンツ曝露(例えば、有機的曝露および/またはサードパーティ曝露)のセット、コンテンツ曝露が発生した時間、および特定のユーザが指定されたターゲットアクションを実行した時間を入力として受け入れるように生成され得る。モデルは、例えば、ユーザ属性に基づく特定のユーザに関するベースライン実行レベル、特定のユーザが指定されたターゲットアクションの実行の前に体験したコンテンツ曝露の増分寄与を含む情報を出力するように生成され得る。

有機的曝露データが、指定されたターゲットアクションを実行した特定のユーザについて取得される(730)。いくつかの実装形態において、有機的曝露データは、特定のユーザによる指定されたターゲットアクションの実行に至る(すなわち、その前の)指定された時間期間にわたって特定のユーザによって体験された1つまたは複数の有機的曝露を指定する。有機的曝露は、指定されたタイプのデジタル構成要素(例えば、サードパーティによって提供されたデジタル構成要素のサードパーティ曝露ではない)でも、指定されたターゲットアクションの実行でもない。有機的曝露の一例は、特定のユーザによる検索クエリの提出に応答して検索エンジンによって生成され、特定のユーザに提示された検索結果への曝露である。別の例示的な有機的曝露は、サードパーティのデジタル構成要素への曝露またはそれとの相互作用とは無関係に、ユーザがナビゲートするウェブページからのコンテンツへの曝露である。例えば、特定のユーザは、そのウェブページにナビゲートするために、ウェブページのアドレスをブラウザに手動で入力し得る。これは、コンテンツへの有機的曝露と見なされる。

サードパーティ曝露データが、指定されたターゲットアクションを実行した特定のユーザについて取得される(740)。いくつかの実装形態において、サードパーティ曝露データは、特定のユーザが指定されたターゲットアクションを実行した時間に至る(すなわち、その前の)指定された時間期間にわたる特定のユーザに対する指定されたタイプのデジタル構成要素のサードパーティ曝露を指定する。サードパーティ曝露データは、サードパーティ曝露ごとに、サードパーティ曝露がいつ発生したかを指定する曝露時間を含むことができる。サードパーティ曝露の例は、検索結果ページ、サードパーティとは異なる発行者によって提供されたウェブページ、または発行者とは異なるアプリ開発者によって提供されたネイティブアプリケーションのいずれかにおけるサードパーティによって提供されたコンテンツの提示を含む。

サードパーティ曝露の各々に起因する増分実行レベルが、モデルを使用して決定される(750)。例えば、有機的曝露データおよびサードパーティ曝露データは、モデルに入力され得、モデルは、サードパーティ曝露の各々に起因する増分実行レベルを出力することができる。増分実行レベルは、指定されたターゲットアクションが特定のユーザによって実行されたアクション時間の時点で決定され得る。増分実行レベルは、アクション時間において残っているサードパーティ曝露からの実行レベル寄与の残余量として決定され得る。例えば、サードパーティ曝露ごとに、サードパーティ曝露の曝露時間と、指定されたターゲットアクションが発生したアクション時間との間の差が決定され得る。曝露時間とアクション時間との間のこの差は、サードパーティ曝露に関する減衰関数に入力され得、これは、曝露時間とアクション時間との間に減衰した、サードパーティ曝露によって提供された実行レベル寄与の量を指定することになる。

アクション時間において残っている寄与の量(例えば、曝露時間とアクション時間との間に体験された減衰の量をサードパーティ曝露によって提供された初期実行レベル寄与から減算することによる)は、サードパーティ曝露に起因し得る、アクション時間において残っているサードパーティ曝露からの実行レベル寄与の残余量と見なされる。アブレーション実験中に取得されたデータに基づいて、異なるタイプのサードパーティ曝露ごとに異なる減衰関数が決定され得、各減衰関数は、時間の関数として実行レベル寄与の減衰率を指定する。

モデルは、アクション時間において残っている総実行レベルから有機的曝露の寄与が除去されるように、有機的曝露データとサードパーティ曝露データの両方を使用する。同様に、モデルは、アクション時間において残っている総実行レベルからベースライン実行レベルの寄与を考慮し(例えば、除去し)、それによって、サードパーティ曝露の寄与を分離する。

少なくともいくつかのデジタル構成要素に関する送信基準が、デジタル構成要素の曝露に起因する増分実行レベルに基づいて変更される(760)。状況によっては、デジタル構成要素に関する送信基準は、デジタル構成要素の曝露に起因する増分実行レベルが高い(例えば、他の利用可能なデジタル構成要素よりも高い)場合、デジタル構成要素がユーザに送信される頻度を増すように変更され得る。状況によっては、デジタル構成要素に関する送信基準は、デジタル構成要素の曝露に起因する増分実行レベルが低い(例えば、他の利用可能なデジタル構成要素よりも低い)場合、デジタル構成要素がユーザに送信される頻度を減らすように変更され得る。いくつかの実装形態において、特定のデジタル構成要素に関する送信基準は、特定のデジタル構成要素のサードパーティ曝露に起因する増分実行レベルの等級に比例して調整され得る。いくつかの実装形態において、特定の送信基準に基づくデジタル構成要素の送信からもたらされるサードパーティ曝露に起因する増分実行レベルが指定された等級よりも低い場合、特定の送信基準(例えば、キーワード)が無効にされ得る。例えば、「boot(ブーツ)」というキーワードが特定のサードパーティコンテンツプロバイダに関するデジタル構成要素を配信するために使用され、bootといキーワードによってトリガされるサードパーティ曝露に起因する増分実行レベルは、指定された最小許容レベル未満であると想定する。この例では、bootというキーワードは、サードパーティコンテンツプロバイダに関するデジタル構成要素の配信をトリガしないように無効にされ得る。

図8は、上記で説明した動作を実行するために使用され得る例示的なコンピュータシステム800のブロック図である。システム800は、プロセッサ810と、メモリ820と、記憶デバイス830と、入力/出力デバイス840とを含む。構成要素810、820、830、および840の各々は、例えば、システムバス850を使用して相互接続され得る。プロセッサ810は、システム800内で実行するための命令を処理することができる。一実装形態において、プロセッサ810は、シングルスレッドプロセッサである。別の実装形態において、プロセッサ810は、マルチスレッドプロセッサである。プロセッサ810は、メモリ820内または記憶デバイス830上に記憶された命令を処理することができる。

メモリ820は、システム800内の情報を記憶する。一実装形態において、メモリ820は、コンピュータ可読媒体である。一実装形態において、メモリ820は、揮発性メモリユニットである。別の実装形態において、メモリ820は、不揮発性メモリユニットである。

記憶デバイス830は、システム800のための大容量ストレージを提供することができる。一実装形態において、記憶デバイス830は、コンピュータ可読媒体である。様々な異なる実装形態において、記憶デバイス830は、例えば、ハードディスクデバイス、光ディスクデバイス、複数のコンピューティングデバイスによってネットワークを介して共有される記憶デバイス(例えば、クラウド記憶デバイス)、または何か他の大容量記憶デバイスを含むことができる。

入力/出力デバイス840は、システム800のための入力/出力動作を提供する。一実装形態において、入力/出力デバイス840は、ネットワークインターフェースデバイス、例えば、イーサネットカード、シリアル通信デバイス、例えば、RS-232ポート、および/またはワイヤレスインターフェースデバイス、例えば、802.11カードのうちの1つまたは複数を含むことができる。別の実装形態において、入力/出力デバイスは、入力データを受信し、出力データを他の入力/出力デバイス、例えば、キーボード、プリンタ、およびディスプレイデバイス860に送信するように構成されたドライバデバイスを含むことができる。しかしながら、モバイルコンピューティングデバイス、モバイル通信デバイス、セットトップボックステレビクライアントデバイスなど、他の実施形態も使用され得る。

例示的な処理システムが図8に記載されているが、本明細書で説明する主題および機能的動作の実装形態は、他のタイプのデジタル電子回路において、または本明細書で開示する構造を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうちの1つまたは複数の組合せにおいて実装され得る。

電子文書(簡潔にするために、単に文書と呼ばれる)は、必ずしもファイルに対応しない。文書は、他の文書を保持するファイルの一部内、問題の文書専用の単一のファイル内、または複数の協調ファイル内に記憶され得る。

本明細書で説明する主題および動作の実装形態は、デジタル電子回路において、または本明細書で開示する構造とそれらの構造的均等物とを含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうちの1つまたは複数の組合せにおいて実装され得る。本明細書で説明する主題の実施形態は、1つまた複数のコンピュータプログラム、すなわち、データ処理装置によって実行するため、またはデータ処理装置の動作を制御するための、記憶媒体(または媒体)上に符号化されたコンピュータプログラム命令の1つまた複数のモジュールとして実装され得る。代替的には、または加えて、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置によって実行するために適切なレシーバ装置に送信するための情報を符号化するために生成された、機械生成された電気信号、光信号、または電磁信号上に符号化され得る。コンピュータ記憶媒体は、コンピュータ可読記憶媒体、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうちの1つまた複数の組合せであるか、またはそれらの中に含まれ得る。さらに、コンピュータ記憶媒体は、伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号内に符号化されたコンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、1つまたは複数の別個の物理的構成要素または媒体(例えば、複数のCD、ディスク、または他の記憶デバイス)であるか、またはそれらの中に含まれ得る。

本明細書で説明する動作は、1つまた複数のコンピュータ可読記憶媒体上に記憶されるか、または他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実装され得る。

「データ処理装置」という用語は、例として、プログラム可能プロセッサ、コンピュータ、システムオンチップ、または上記の複数のものもしくは組合せを含む、データを処理するためのすべての種類の装置、デバイス、およびマシンを包含する。装置は、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置は、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらの1つまたは複数の組合せを構成するコードを含むこともできる。装置および実行環境は、ウェブサービスインフラストラクチャ、分散コンピューティングインフラストラクチャ、およびグリッドコンピューティングインフラストラクチャなどの、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイル言語またはインタープリタ言語、宣言型言語または手続き型言語を含む、任意の形式のプログラム言語において記述され得、それは、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境において使用するのに適した他のユニットとしてを含む、任意の形式において展開され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応する場合があるが、そうである必要はない。プログラムは、他のプログラムもしくはデータを保持するファイルの一部(例えば、マークアップ言語内に記憶された1つまたは複数のスクリプト)内、問題のプログラム専用の単一のファイル内、または複数の協調ファイル(例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイル)内に記憶され得る。コンピュータプログラムは、1つのコンピュータ上、または1つのサイトに配置されるか、もしくは複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開され得る。

本明細書で説明するプロセスおよび論理フローは、入力データに対して動作して出力を生成することによってアクションを実行するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実行され得る。プロセスおよび論理フローは、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によっても実行され得、装置は、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)としても実装され得る。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方を含む。一般に、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリまたはその両方から命令とデータとを受信する。コンピュータの本質的な要素は、命令に従ってアクションを実行するためのプロセッサと、命令とデータとを記憶する1つまたは複数のメモリデバイスである。一般に、コンピュータは、データを記憶するための1つまたは複数の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクを含むか、またはそれらからデータを受信するため、もしくはそれらにデータを送信するため、もしくはその両方を行うために動作可能に結合される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば、数例を挙げると、携帯電話、携帯情報端末(PDA)、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)レシーバ、またはポータブル記憶デバイス(例えば、ユニバーサルシリアルバス(USB)フラッシュドライブ)内に組み込まれ得る。コンピュータプログラム命令とデータとを記憶するのに適したデバイスは、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD ROMディスクおよびDVD-ROMディスクを含む、すべての形式の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路によって補完されるか、またはそれらに組み込まれ得る。

ユーザとの対話を提供するために、本明細書で説明する主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタと、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールとを有するコンピュータ上に実装され得る。同様にユーザとの対話を提供するために、他の種類のデバイスが使用され得、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚的フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックであり得、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態において受け取られ得る。加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、そこから文書を受信することによって、例えば、ユーザのクライアントデバイス上のウェブブラウザから受信された要求に応答してウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。

本明細書で説明する主題の実施形態は、バックエンド構成要素を、例えば、データサーバとして含むか、またはミドルウェア構成要素を、例えば、アプリケーションサーバとして含むか、またはフロントエンド構成要素を、例えば、ユーザが本明細書で説明する主題の実装形態と対話することができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータとして含むか、または1つまたは複数のそのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実装され得る。システムの構成要素は、任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)、ならびにピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)を含む。

コンピューティングシステムは、クライアントとサーバとを含むことができる。クライアントおよびサーバは、一般に、互いに離れており、典型的には、通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによって発生する。いくつかの実装形態において、サーバは、データ(例えば、HTMLページ)をクライアントデバイスに(例えば、クライアントデバイスと対話するユーザにデータを表示し、ユーザからユーザ入力を受信する目的のために)送信する。クライアントデバイスで生成されたデータ(例えば、ユーザの対話の結果)はサーバでクライアントデバイスから受信することができる。

本明細書は、多くの特定の実装形態の詳細を含むが、これらは、発明の範囲または特許請求され得るものに対する制限として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に固有の特徴の説明として解釈されるべきである。別々の実装形態の文脈において本明細書で説明される特定の特徴は、単一の実装形態において組み合わせて実装されることもできる。逆に、単一の実装形態の文脈において説明される様々な特徴は、別々に複数の実装形態において、または適切な部分的組合せにおいても実装され得る。さらに、特徴は、特定の組合せにおいて作用するものとして上記で説明されている場合があり、当初はそのように特許請求されている場合さえあるが、特許請求されている組合せからの1つまたは複数の特徴は、場合によっては、組合せから削除され得、特許請求されている組合せは、部分的組合せまたは部分的組合せの変形形態に向けられる場合がある。

同様に、動作は、特定の順序において図面中に描かれているが、これは、所望の結果を達成するために、そのような動作が示された特定の順序で、もしくは順番に実行されること、またはすべての図示された動作が実行されることを要求するものとして理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利な可能性がある。さらに、上記で説明した実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきではなく、説明したプログラム構成要素およびシステムが、一般に、単一のソフトウェア製品に一体化され得、または複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。

したがって、主題の特定の実装形態について説明してきた。他の実装形態は、以下の特許請求の範囲内にある。場合によっては、特許請求の範囲において列挙されているアクションは、異なる順序で実行され得、所望の結果を依然として達成することができる。加えて、添付図面中に示されたプロセスは、所望の結果を達成するために、示された特定の順序、または順番を必ずしも必要としない。特定の実装形態において、マルチタスクおよび並列処理が有利である可能性がある。

100 環境
102 ネットワーク
104 コンテンツサーバ
106 ユーザデバイス、クライアントデバイス
108 デジタル構成要素サーバ
110 デジタル構成要素配信システム、構成要素配信システム
112 デジタル構成要素に対する要求、構成要素要求
130 モデル装置、モデル化装置
150 検索システム
152 検索インデックス
160 ユーザ
180 ウェブサイト
182 ウェブサイト
184 ウェブサイト
186 検索結果ページ
188 デジタル構成要素
200 グラフ
210 曝露A
220 曝露B
230 曝露C
240 ターゲットアクション
300 グラフ
330 曝露
350 時間間隔
360 時間間隔
370 時間間隔
400 システム
410 データ収集器
415 アブレーション実験装置
420 プリプロセッサ
430 ワーカ
432 ワーカ
434 ワーカ
450 モデル
460 検証器
500 グラフ
510 ユーザのセット、セット
520 対照ユーザのセット、対照グループ
532 第1のウェブサイト
534 第2のウェブサイト
536 第3のウェブサイト
538 指定されたターゲットアクション
550 曝露されたユーザのセット
565 指定されたタイプのデジタル構成要素、サードパーティ曝露
600 グラフ
610 実行レベル
620 時間
630 ベースライン実行レベル
640 増分実行レベル
650 残りの実行レベル
660 デジタル構成要素曝露
665 グラフ
670 曝露A、曝露
675 曝露B、曝露
680 増分実行
685 増分寄与、増分実行レベル
690 ベースライン実行レベル
695 最終的な実行レベル、実行レベル
697 実行レベル
800 コンピュータシステム、システム
810 プロセッサ、構成要素
820 メモリ、構成要素
830 記憶デバイス、構成要素
840 入力/出力デバイス、構成要素
850 システムバス
860 キーボード、プリンタ、およびディスプレイデバイス

Claims (21)

1つまたは複数のコンピューティングデバイスによって、ユーザ属性と、コンテンツ曝露と、指定されたターゲットアクションに関する実行レベルとの間の関係を表すモデルを作成するステップと、
特定のユーザによる指定されたターゲットアクションの実行前に、指定された時間にわたって前記特定のユーザによって体験された1つまたは複数の有機的曝露を指定する有機的曝露データを取得するステップであって、
前記有機的曝露が、指定されたタイプのデジタル構成要素への曝露でも、前記指定されたターゲットアクションの実行でもない、ステップと、
前記指定された時間にわたる前記特定のユーザへの前記指定されたタイプのデジタル構成要素のサードパーティ曝露を指定するサードパーティ曝露データを取得するステップであって、
前記サードパーティ曝露データが、前記サードパーティ曝露の各々について、前記サードパーティ曝露がいつ発生したかを指定する曝露時間を含む、ステップと、
前記モデルを使用して、前記指定されたターゲットアクションが前記特定のユーザによって実行されたアクション時間における前記サードパーティ曝露の各々に起因する増分実行レベルを決定するステップと、
前記1つまたは複数のコンピューティングデバイスによって、前記デジタル構成要素のうちの少なくともいくつかの前記サードパーティ曝露に起因する前記増分実行レベルに基づいて、前記特定のユーザが曝露された前記少なくともいくつかのデジタル構成要素に関する送信基準を変更するステップと
を含む方法。

デジタル構成要素の特定のセットに曝露されない対照ユーザのセットに関する対照結果のセットを取得するためにアブレーション実験を実行するステップであって、
前記対照結果が、前記対照ユーザのセット内の特定の対照ユーザごとに、前記特定の対照ユーザが前記指定されたアクションを実行したかどうかを指定する、ステップと、
前記対照ユーザのセット内に含まれない曝露ユーザのセットに関する曝露結果を収集するステップであって、
前記曝露結果が、前記曝露ユーザのセット内の曝露ユーザごとに、前記曝露ユーザが前記指定されたアクションを実行したかどうかを指定する、ステップと
をさらに含む、請求項1に記載の方法。

前記モデルを作成するステップが、機械学習フレームワークを使用して、ユーザ属性と、各特定の対照ユーザに関する前記対照結果と、各曝露ユーザに関する前記曝露結果とを使用した前記モデルを作成するステップを含む、請求項2に記載の方法。

前記サードパーティ曝露の各々に起因する前記増分実行レベルを決定するステップが、
サードパーティ曝露ごとに、
前記サードパーティ曝露の前記曝露時間と前記指定されたターゲットアクションが発生した前記アクション時間との間の差を決定するステップと、
前記サードパーティ曝露の前記曝露時間と前記指定されたターゲットアクションが発生した前記アクション時間との間の前記差に基づいて、前記アクション時間において残っている前記サードパーティ曝露からの実行レベル寄与の残余量を決定するステップと、
前記実行レベルの前記残余量を前記サードパーティ曝露に帰属させるステップと
を含む、請求項1に記載の方法。

異なるタイプのサードパーティ曝露ごとに、時間の関数として残っている前記実行レベル寄与の減衰率を指定する減衰関数を決定するステップと、
サードパーティ曝露ごとに、前記減衰関数と、前記サードパーティ曝露の前記曝露時間と前記アクション時間との間の前記差とに基づいて、前記アクション時間において残っている前記サードパーティ曝露からの実行レベル寄与の前記残余量を決定するステップと
をさらに含む、請求項4に記載の方法。

前記少なくともいくつかのデジタル構成要素に関する前記送信基準を変更するステップが、特定のデジタル構成要素のサードパーティ曝露に起因する前記増分実行レベルの等級に比例して前記特定のデジタル構成要素に関する前記送信基準を調整するステップを含む、請求項1に記載の方法。

前記送信基準を調整するステップが、前記特定の送信の前記サードパーティ曝露に起因する前記増分実行レベルの指定された等級よりも低い等級を有する特定の送信基準を無効にするステップを含む、請求項6に記載の方法。

1つまたは複数の評価ルールを記憶したデータストアと、
前記1つまたは複数の評価ルールと相互作用し、
ユーザ属性と、コンテンツ曝露と、指定されたターゲットアクションに関する実行レベルとの間の関係を表すモデルを作成する動作と、
特定のユーザによる指定されたターゲットアクションの実行前に、指定された時間にわたって前記特定のユーザによって体験された1つまたは複数の有機的曝露を指定する有機的曝露データを取得する動作であって、
前記有機的曝露が、指定されたタイプのデジタル構成要素への曝露でも、前記指定されたターゲットアクションの実行でもない、動作と、
前記指定された時間にわたる前記特定のユーザへの前記指定されたタイプのデジタル構成要素のサードパーティ曝露を指定するサードパーティ曝露データを取得する動作であって、
前記サードパーティ曝露データが、前記サードパーティ曝露の各々について、前記サードパーティ曝露がいつ発生したかを指定する曝露時間を含む、動作と、
前記モデルを使用して、前記指定されたターゲットアクションが前記特定のユーザによって実行されたアクション時間における前記サードパーティ曝露の各々に起因する増分実行レベルを決定する動作と、
前記デジタル構成要素のうちの少なくともいくつかの前記サードパーティ曝露に起因する前記増分実行レベルに基づいて、前記特定のユーザが曝露された前記少なくともいくつかのデジタル構成要素に関する送信基準を変更する動作と
を含む動作を実行するように構成された1つまたは複数のデータプロセッサと
を備えるシステム。

前記1つまたは複数のデータプロセッサが、
デジタル構成要素の特定のセットに曝露されない対照ユーザのセットに関する対照結果のセットを取得するためにアブレーション実験を実行する動作であって、
前記対照結果が、前記対照ユーザのセット内の特定の対照ユーザごとに、前記特定の対照ユーザが前記指定されたアクションを実行したかどうかを指定する、動作と、
前記対照ユーザのセット内に含まれない曝露ユーザのセットに関する曝露結果を収集する動作であって、
前記曝露結果が、前記曝露ユーザのセット内の曝露ユーザごとに、前記曝露ユーザが前記指定されたアクションを実行したかどうかを指定する、動作と
を含む動作を実行するように構成された、請求項8に記載のシステム。

前記モデルを作成する動作が、機械学習フレームワークを使用して、ユーザ属性と、各特定の対照ユーザに関する前記対照結果と、各曝露ユーザに関する前記曝露結果とを使用した前記モデルを作成する動作を含む、請求項9に記載のシステム。

前記サードパーティ曝露の各々に起因する前記増分実行レベルを決定する動作が、
サードパーティ曝露ごとに、
前記サードパーティ曝露の前記曝露時間と前記指定されたターゲットアクションが発生した前記アクション時間との間の差を決定する動作と、
前記サードパーティ曝露の前記曝露時間と前記指定されたターゲットアクションが発生した前記アクション時間との間の前記差に基づいて、前記アクション時間において残っている前記サードパーティ曝露からの実行レベル寄与の残余量を決定する動作と、
前記実行レベルの前記残余量を前記サードパーティ曝露に帰属させる動作と
を含む、請求項8に記載のシステム。

前記1つまたは複数のデータプロセッサが、
異なるタイプのサードパーティ曝露ごとに、時間の関数として残っている前記実行レベル寄与の減衰率を指定する減衰関数を決定する動作と、
サードパーティ曝露ごとに、前記減衰関数と、前記サードパーティ曝露の前記曝露時間と前記アクション時間との間の前記差とに基づいて、前記アクション時間において残っている前記サードパーティ曝露からの実行レベル寄与の前記残余量を決定する動作と
を含む動作を実行するように構成された、請求項11に記載のシステム。

前記少なくともいくつかのデジタル構成要素に関する前記送信基準を変更する動作が、特定のデジタル構成要素のサードパーティ曝露に起因する前記増分実行レベルの等級に比例して前記特定のデジタル構成要素に関する前記送信基準を調整する動作を含む、請求項8に記載のシステム。

前記送信基準を調整する動作が、前記特定の送信の前記サードパーティ曝露に起因する前記増分実行レベルの指定された等級よりも低い等級を有する特定の送信基準を無効にする動作を含む、請求項13に記載のシステム。

1つまたは複数のデータ処理装置によって実行されると、前記1つまたは複数のデータ処理装置に、
ユーザ属性と、コンテンツ曝露と、指定されたターゲットアクションに関する実行レベルとの間の関係を表すモデルを作成する動作と、
特定のユーザによる指定されたターゲットアクションの実行前に、指定された時間にわたって前記特定のユーザによって体験された1つまたは複数の有機的曝露を指定する有機的曝露データを取得する動作であって、
前記有機的曝露が、指定されたタイプのデジタル構成要素への曝露でも、前記指定されたターゲットアクションの実行でもない、動作と、
前記指定された時間にわたる前記特定のユーザへの前記指定されたタイプのデジタル構成要素のサードパーティ曝露を指定するサードパーティ曝露データを取得する動作であって、
前記サードパーティ曝露データが、前記サードパーティ曝露の各々について、前記サードパーティ曝露がいつ発生したかを指定する曝露時間を含む、動作と、
前記モデルを使用して、前記指定されたターゲットアクションが前記特定のユーザによって実行されたアクション時間における前記サードパーティ曝露の各々に起因する増分実行レベルを決定する動作と、
前記デジタル構成要素のうちの少なくともいくつかの前記サードパーティ曝露に起因する前記増分実行レベルに基づいて、前記特定のユーザが曝露された前記少なくともいくつかのデジタル構成要素に関する送信基準を変更する動作と
を含む動作を実行させる命令を記憶したコンピュータ可読記録媒体。

前記命令が、前記1つまたは複数のデータ処理装置に、
デジタル構成要素の特定のセットに曝露されない対照ユーザのセットに関する対照結果のセットを取得するためにアブレーション実験を実行する動作であって、
前記対照結果が、前記対照ユーザのセット内の特定の対照ユーザごとに、前記特定の対照ユーザが前記指定されたアクションを実行したかどうかを指定する、動作と、
前記対照ユーザのセット内に含まれない曝露ユーザのセットに関する曝露結果を収集する動作であって、
前記曝露結果が、前記曝露ユーザのセット内の曝露ユーザごとに、前記曝露ユーザが前記指定されたアクションを実行したかどうかを指定する、動作と
を含む動作を実行させる、請求項15に記載のコンピュータ可読記録媒体。

前記モデルを作成する動作が、機械学習フレームワークを使用して、ユーザ属性と、各特定の対照ユーザに関する前記対照結果と、各曝露ユーザに関する前記曝露結果とを使用した前記モデルを作成する動作を含む、請求項16に記載のコンピュータ可読記録媒体。

前記サードパーティ曝露の各々に起因する前記増分実行レベルを決定する動作が、
サードパーティ曝露ごとに、
前記サードパーティ曝露の前記曝露時間と前記指定されたターゲットアクションが発生した前記アクション時間との間の差を決定する動作と、
前記サードパーティ曝露の前記曝露時間と前記指定されたターゲットアクションが発生した前記アクション時間との間の前記差に基づいて、前記アクション時間において残っている前記サードパーティ曝露からの実行レベル寄与の残余量を決定する動作と、
前記実行レベルの前記残余量を前記サードパーティ曝露に帰属させる動作と
を含む、請求項15に記載のコンピュータ可読記録媒体。

前記命令が、前記1つまたは複数のデータ処理装置に、
異なるタイプのサードパーティ曝露ごとに、時間の関数として残っている前記実行レベル寄与の減衰率を指定する減衰関数を決定する動作と、
サードパーティ曝露ごとに、前記減衰関数と、前記サードパーティ曝露の前記曝露時間と前記アクション時間との間の前記差とに基づいて、前記アクション時間において残っている前記サードパーティ曝露からの実行レベル寄与の前記残余量を決定する動作と
を含む動作を実行させる、請求項18に記載のコンピュータ可読記録媒体。

前記少なくともいくつかのデジタル構成要素に関する前記送信基準を変更する動作が、特定のデジタル構成要素のサードパーティ曝露に起因する前記増分実行レベルの等級に比例して前記特定のデジタル構成要素に関する前記送信基準を調整する動作を含む、請求項15に記載のコンピュータ可読記録媒体。

前記送信基準を調整する動作が、前記特定の送信の前記サードパーティ曝露に起因する前記増分実行レベルの指定された等級よりも低い等級を有する特定の送信基準を無効にする動作を含む、請求項20に記載のコンピュータ可読記録媒体。

Images