JP2019523916A - モデルを使用したコンテンツ配信の最適化 - Google Patents

Abstract

コンテンツ提示を最適化するための、コンピュータ記憶媒体上で符号化されたコンピュータプログラムを含む方法、システム、および装置。一態様では、システムは、ユーザについての属性情報とコンテンツ提示に続くユーザによる挙動を定量化する対応するプロキシメトリックとを含むトレーニングデータを記憶するトレーニングデータベースと、コンテンツデータベースと、トレーニングデータにアクセスし、コンテンツ配信のためのモデルをトレーニングするモデル生成器と、コンテンツ要求を受信し、モデルを使用してコンテンツを選択し、選択されたコンテンツを識別するデータを送信するコンテンツ配信サーバとを含み、モデルは、要求に関連付けられたユーザについての属性のセットを取得することと、所与のコンテンツについての情報を受信し、属性のセットおよびコンテンツについての情報に基づいてプロキシメトリックを予測することであって、予測されるプロキシメトリックは、サブジェクト維持または認識についての情報を提供する、予測することと、予測されるプロキシメトリックがしきい値を満たす場合、配信用の所与のコンテンツを識別することとを行う。

Description

本明細書は、コンテンツ提示の最適化に関する。

ビデオコンテンツは、インターネットを介して、モバイルデバイスおよびパーソナルコンピュータなど、様々なクライアントデバイス上での表示用に配信され得る。特定のユーザに提供されるコンテンツのタイプは、特定のユーザにとって興味のあるコンテンツを提示するために、様々なやり方で選択され得る。

概して、本明細書に記載する本主題の1つの発明的態様は、システムで具現化することができ、システムは、複数のユーザについての属性情報とコンテンツ提示に続く複数のユーザによるオンライン挙動を定量化する対応するプロキシメトリックとを含む、トレーニングデータを記憶するトレーニングデータベースと、様々なサードパーティコンテンツプロバイダから受信されたサードパーティコンテンツを記憶するコンテンツデータベースと、トレーニングデータベース中のトレーニングデータにアクセスし、トレーニングデータに基づいて、サードパーティコンテンツ配信のためのモデルをトレーニングするモデル生成器と、クライアントデバイスにおいてコンテンツの別の部分とともに提示されるべきサードパーティコンテンツに対する要求を受信するコンテンツ配信サーバとを備え、コンテンツ配信サーバは、要求に応答して、モデルを使用して、クライアントデバイスに配信されるべきサードパーティコンテンツを選択し、選択されたサードパーティコンテンツを識別するデータをクライアントデバイスに送信し、モデルは、要求から属性のセットを取得することであって、属性のセットは、要求に関連付けられたユーザについての情報に関する、取得することと、コンテンツデータベースに記憶された所与のサードパーティコンテンツについての情報を受信することと、所与のサードパーティコンテンツについて、属性のセットおよびサードパーティコンテンツについての情報に基づいてプロキシメトリックを予測することであって、予測されるプロキシメトリックは、所与のサードパーティコンテンツの提示から生じることになるサブジェクト維持またはサブジェクト認識のうちの少なくとも1つについての情報を提供する、予測することと、しきい値を満たす予測されるプロキシメトリックに基づいて、予測されるプロキシメトリックを使用して、およびコンテンツ配信サーバ用に、配信のための所与のサードパーティコンテンツを識別することとを行う。この態様の他の実施形態は、コンピュータ記憶デバイス上で符号化された方法のアクションを実施するように構成された、対応する方法、装置およびコンピュータプログラムを含む。

これらおよび他の実施形態は各々、任意選択で、以下の特徴のうちの1つまたは複数を含み得る。いくつかの実装形態では、コンテンツデータベース中の所与のサードパーティコンテンツについての情報は、所与のサードパーティコンテンツのカテゴリ、所与のサードパーティコンテンツのための持続時間、および所与のサードパーティコンテンツの特徴のうちの少なくとも1つを含む。トレーニングデータベースは、特定のサードパーティコンテンツをクライアントデバイスに表示することに関連付けられたプロキシメトリックをさらに受信することができ、モデル生成器は、特定のサードパーティコンテンツをクライアントデバイスに表示することに関連付けられた、受信されたプロキシメトリックを使用して、モデルをさらに再トレーニングすることができる。いくつかの実装形態では、モデルは、属性情報のいくつかのカテゴリをさらに重み付けし、重み付けされた属性情報に基づいてプロキシメトリックを予測する。

サードパーティコンテンツに対する要求は、既知の属性情報を含まない場合があるが、モデルは、属性情報にかかわらず、トレーニングデータを識別することができる。いくつかの実装形態では、プロキシメトリックは、ビデオコンテンツのクリック、ビデオコンテンツに関連付けられた視聴時間、ビデオコンテンツに関連付けられたスキップ時間、ビデオコンテンツに関連付けられた視認性(viewability)メトリック、およびビデオコンテンツに関連付けられた聴認性(audioability)のうちの少なくとも1つを含む。いくつかの実装形態では、様々なサードパーティコンテンツプロバイダから受信されたサードパーティコンテンツの各サードパーティコンテンツは、サブジェクト維持またはサブジェクト認識に対する選好を含む。

いくつかの実装形態では、モデルは、選好に基づいて、所与のサードパーティコンテンツを識別する。いくつかの実装形態では、モデル生成器は、特定のプロキシメトリックとサブジェクト維持との間の相関を識別し、記憶する。いくつかの実装形態では、モデル生成器は、特定のプロキシメトリックとサブジェクト認識との間の相関を識別し、記憶する。いくつかの実装形態では、モデルは、ロジスティック回帰機械学習および線形回帰機械学習のうちの少なくとも1つを使用して、プロキシメトリックを予測する。

本明細書に記載する本主題の別の発明的態様は、コンピュータ実装方法で具現化することができ、この方法は、複数のユーザについての属性情報と、コンテンツ提示に続くオンライン挙動を定量化する対応するプロキシメトリックとを含む、トレーニングデータをトレーニングデータベース中に記憶するステップと、様々なサードパーティコンテンツプロバイダから受信されたサードパーティコンテンツを、コンテンツデータベース中に記憶するステップと、モデル生成器によって、トレーニングデータベース中のトレーニングデータにアクセスし、トレーニングデータベースに基づいて、サードパーティコンテンツ配信のためのモデルをトレーニングするステップと、クライアントデバイスにおいてコンテンツの別の部分とともに提示されるべきサードパーティコンテンツに対する要求を、コンテンツ配信サーバによって受信するステップと、要求に応答して、クライアントデバイスに配信されるべきサードパーティコンテンツを、コンテンツ配信サーバによって、およびモデルを使用して選択するステップであって、モデルは、要求から属性のセットを取得することであって、属性のセットは、要求に関連付けられたユーザについての情報に関する、取得することと、コンテンツデータベースに記憶された所与のサードパーティコンテンツについての情報を受信することと、所与のサードパーティコンテンツについて、属性のセットおよびサードパーティコンテンツについての情報に基づいてプロキシメトリックを予測することであって、予測されるプロキシメトリックは、所与のサードパーティコンテンツの提示から生じることになるサブジェクト維持またはサブジェクト認識のうちの少なくとも1つについての情報を提供する、予測することと、しきい値を満たす予測されるプロキシメトリックに基づいて、予測されるプロキシメトリックを使用して、およびコンテンツ配信サーバ用に、配信のための所与のサードパーティコンテンツを識別する、こととを行う、ステップと、選択されたサードパーティコンテンツを識別するデータを、コンテンツ配信サーバによってクライアントデバイスに送信するステップとを含む。

これらおよび他の実施形態は各々、任意選択で、以下の特徴のうちの1つまたは複数を含み得る。いくつかの実装形態では、コンテンツデータベース中の所与のサードパーティコンテンツについての情報は、所与のサードパーティコンテンツのカテゴリ、所与のサードパーティコンテンツのための持続時間、および所与のサードパーティコンテンツの特徴のうちの少なくとも1つを含む。いくつかの実装形態では、方法は、トレーニングデータベースによって、特定のサードパーティコンテンツをクライアントデバイスに表示することに関連付けられたプロキシメトリックを受信するステップと、特定のサードパーティコンテンツをクライアントデバイスに表示することに関連付けられた、受信されたプロキシメトリックを使用してモデルを再トレーニングするステップとをさらに含む。いくつかの実装形態では、モデルは、属性情報のいくつかのカテゴリをさらに重み付けし、重み付けされた属性情報に基づいてプロキシメトリックを予測する。いくつかの実装形態では、プロキシメトリックは、ビデオコンテンツのクリック、ビデオコンテンツに関連付けられた視聴時間、ビデオコンテンツに関連付けられたスキップ時間、ビデオコンテンツに関連付けられた視認性メトリック、およびビデオコンテンツに関連付けられた聴認性のうちの少なくとも1つを含む。いくつかの実装形態では、様々なサードパーティコンテンツプロバイダから受信されたサードパーティコンテンツの各サードパーティコンテンツは、サブジェクト維持またはサブジェクト認識に対する選好を含む。いくつかの実装形態では、方法は、特定のプロキシメトリックとサブジェクト維持との間の相関を識別し、記憶するステップをさらに含む。いくつかの実装形態では、方法は、特定のプロキシメトリックとサブジェクト認識との間の相関を識別し、記憶するステップをさらに含む。

本明細書に記載する本主題の別の発明的態様は、コンピュータ可読媒体で具現化することができ、これは、1つまたは複数のプロセッサによって実行されると、本明細書に記載するいずれかの方法を含む動作の実施を引き起こす命令を記憶した非一時的コンピュータ可読媒体であってよいが、本態様がそれに限定されるわけではない。

オンラインコンテンツのプロバイダは、それらのコンテンツの提示に関連付けられた様々な目標を有する。いくつかのコンテンツプロバイダは、特定の根拠または商標など、コンテンツに関連付けられたサブジェクトの認識を推進することに注力する。サブジェクト認識を推進することに注力するコンテンツプロバイダは、人々に、コンテンツに関連したサブジェクトまたはトピックを学習し、認識するために、コンテンツを見させることを優先する。いくつかのコンテンツプロバイダは、コンテンツに関連付けられたサブジェクトの維持を向上するという目標を有する。特に、コンテンツプロバイダは、視聴者に、どのコンテンツを以前見たかを覚えているととともに、コンテンツに関連付けられたサブジェクトまたはトピックを後になって思い出すことができてもらいたいと思っている。ただし、特定のコンテンツプロバイダの目標がどのようなものであっても、コンテンツプロバイダは常に、リソース効率的なやり方で、ユーザにコンテンツを提供したいと思っている。たとえば、コンテンツプロバイダは、コンテンツプロバイダを1つまたは複数のユーザデバイスに接続する通信ネットワーク(たとえば、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤレスネットワーク、および/またはインターネット)の帯域幅を、ネットワークがユーザデバイスに搬送するデータの量を削減することによって節約したいであろう。ユーザが、興味のないコンテンツを送られた場合、そのコンテンツをユーザに送る際に使用されるネットワークリソースは、事実上無駄にされる。本明細書に記載する実装形態は、コンテンツのリソース効率的な提示および配信を提供するために、コンテンツプロバイダが、それらのコンテンツを提示および配信を最適化するのを助けることができると同時に、依然として、たとえば、サブジェクト認識またはサブジェクト維持のいずれかのうちの少なくとも1つを向上するという、コンテンツプロバイダの目標を満足する。

本明細書で使用する限り、属性情報は、人口統計情報など、ユーザについての情報に関する。プロキシメトリックは、ビデオクリック、コンテンツ視聴時間、スキップ時間、および視認性を含む、コンテンツの閲覧に応答する、ユーザの挙動に関する量的値を指す。

サードパーティコンテンツは、テキスト、画像、ビデオファイル、サウンドクリップ、またはそれらの任意の組合せを含む、サードパーティによって提供されるどのタイプのコンテンツも指し得る。サードパーティコンテンツの例が、ビデオクリップである。サブジェクト維持は、ユーザが、コンテンツ項目に関連したサブジェクトまたはトピックを後になって覚えている見込みを指す。サブジェクト認識は、コンテンツ項目に関連した特定のサブジェクトまたはトピックを、誰かが熟知しているかどうか、または誰かがどれだけ熟知しているかを指す。

本明細書に記載する本主題の特定の実装形態は、以下の利点のうちの1つまたは複数を実現するように実装され得る。本技術は、コンテンツプロバイダが、ユーザが興味深いと感じ、対話する見込みが最もあるコンテンツを選択し、そうすることによって、ユーザにとって興味のないユーザコンテンツを送る際のネットワークリソースの浪費を削減することを可能にすることによって、コンテンツの、よりリソース効率的な提示および配信を提供する。さらに、本明細書に記載する実装形態は、ユーザがコンテンツに対してどのように応答するかを直接示すデータがない場合、リソース効率的なコンテンツ提示を可能にする。そうではなく、本明細書に記載する実装形態は、たとえば、十分に直接的に測定されたユーザ応答データが利用可能でないとき、コンテンツ提示に対する、見込みのあるユーザ応答についてのインジケータとしてのプロキシメトリックの使用を可能にする。さらに、本明細書に記載する特定の実装形態は、特定のユーザの興味についてのデータが既知でない状況における、増大した柔軟性、および特定のユーザについてのデータが記憶される必要がない場合の、より小さいメモリ要件を含む他の利益を達成する。

本明細書において説明される主題の1つまたは複数の実装形態の詳細は、添付の図面および以下の説明に記載される。本主題の他の特徴、態様および利点は、説明、図面および特許請求の範囲から明らかになるであろう。

コンテンツ配信システムがコンテンツの配信を管理する例示的環境のブロック図である。 コンテンツ配信を最適化するための例示的プロセスのフローチャートである。 ビデオコンテンツ用の例示的トレーニングデータを示すテーブルである。 ビデオコンテンツ用の追加の例示的トレーニングデータを示すテーブルである。 サードパーティコンテンツを表示用に選択するための例示的プロセスのフローチャートである。 ビデオコンテンツ用のトレーニングデータのさらなる例を示すテーブルである。 ビデオコンテンツ用のトレーニングデータのさらなる例を示すテーブルである。 本明細書に記載するコンピュータ実装方法および他の技法を実装するのに使われ得るコンピューティングデバイスおよびモバイルコンピューティングデバイスの例を示す図である。

様々な図面における同様の参照番号および名称は、同様の要素を示す。

本文書は、サブジェクト「リフト」、すなわち特定のサブジェクトに対する興味の上昇を最適化するための、プロキシメトリックの使用について記載する。たとえば、サブジェクト「リフト」に関連した情報が、フィードバックループ、または別のフィードバック機構を通して直接利用可能でないとき、特定のサブジェクトに関する「リフト」メトリックに関する直接測定可能なメトリックとの強い相関を有するプロキシメトリックが、コンテンツの様々な部分によって(たとえば、コンテンツの属性に基づいて)与えられる、予想される「リフト」を予測することができる予測モデルを生成するのに使用されてよい。「リフト」メトリックは、コンテンツの所与の部分にさらされているユーザのサブジェクト維持およびサブジェクト認識など、コンテンツの所与の部分にさらされているユーザによる、特定のサブジェクトに対する興味の上昇、認識、または思い起こしを示す量的値に関する。

サブジェクトリフトとの強い相関を有するビデオコンテンツの表示に関する例示的プロキシメトリックは、ビデオコンテンツのどの物理的クリック、コンテンツ視聴時間、コンテンツスキップ時間、視認性、および聴認性も含む。コンテンツの物理的クリックは、ユーザが、コンテンツをクリックすること(たとえば、ユーザが、提示されているビデオをクリックすること、またはコンテンツを提供したサードパーティに関連付けられたウェブサイトへのリンクをクリックすること)を含み得る。コンテンツ視聴時間は、ビデオが停止されるか、またはビデオが提示されているアプリケーション(たとえば、ウェブページもしくはビデオプレーヤアプリケーション)が閉じられる前に、ビデオコンテンツがクライアントデバイスにおいて提示される時間の量を指す。コンテンツスキップ時間は、スキップ可能なビデオコンテンツを(たとえば、他のコンテンツを閲覧するために)閲覧するのをスキップまたはパスするための入力が、スキップ可能なビデオコンテンツの再生を中断する(たとえば、休止またはスキップする)前に、スキップ可能なビデオコンテンツがクライアントデバイスにおいて提示される時間の量を指す。視認性は、ユーザが実際に、物理的に存在し、表示されたコンテンツを視聴している見込みを指す。たとえば、ユーザが、コンピュータ上に表示された他のエリアをクリックしているか、またはコンピュータ上に表示されたコンテンツと対話している場合、ユーザは、存在している見込みがあり、コンテンツを閲覧することができる。聴認性は、ユーザが実際に、物理的に存在し、オーディオを有する、提供されたコンテンツを聴いている見込みを指す。聴認性は、たとえば、ユーザにオーディオコンテンツが聞こえているかどうかを判断するために、ユーザのコンピューティングデバイスのオーディオレベルを識別することによって判断され得る。

本出願は、コンテンツ提示を最適化するための、サブジェクトリフトメトリックと相関する、これらのプロキシメトリックの使用について論じる。たとえば、本出願は、その後で表示されるコンテンツ用のプロキシメトリックを予測するのにプロキシメトリックトレーニングデータを使用する、モデルのトレーニングについて論じる。所定のしきい値を上回る(たとえば、平均または他の現在の値よりも高い)、予測されるプロキシメトリックをもつコンテンツが、コンテンツに関するサブジェクトについてのサブジェクト維持またはサブジェクト認識を最適化する(またはそうでなければ向上する)ために、表示のために選択されてよい。

図1は、コンテンツ提示を最適化するためのプロキシメトリックを使用するための例示的環境100の概略図である。いくつかの実装形態では、例示的環境は、属性についてのプロキシメトリックを分析することによって、コンテンツに対する要求104および要求に関連付けられた属性に応答してコンテンツを選択する。

例示的環境100は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、またはそれらの組合せなどのデータ通信ネットワーク102を含む。ネットワーク102は、複数の電子デバイスとシステムとの間のデータ通信を可能にする。具体的には、ネットワーク102は、クライアントデバイス106、コンテンツ配信サーバ108、コンテンツデータベース110、トレーニングデータベース112、複数のサードパーティコンテンツプロバイダ114、およびモデル生成器116を接続する。ネットワークの通信リンクは、ワイヤーラインもしくはワイヤレスリンクまたは両方であってよい。クライアントデバイス106は、ユーザの制御下にある電子デバイスであり、ネットワーク102を介してリソースを要求し、受信することが可能である。例示的クライアントデバイス106は、ラップトップコンピュータ、デスクトップコンピュータ、オンラインビデオコンテンツをストリーミングすることに対応しているテレビジョンデバイス、モバイル通信デバイス(たとえば、スマートフォン、タブレットコンピューティングデバイス、ネットブック、ノートブックコンピュータ、または装着可能デバイス)、およびネットワーク102を介してデータを送り、受信することができる他のデバイスを含む。

クライアントデバイス106は通常、ネットワーク102を介したデータの送付および受信を容易にするために、ウェブブラウザなどのユーザアプリケーションを含む。コンテンツ配信サーバ108、コンテンツデータベース110、トレーニングデータベース112、およびモデル生成器116は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータを含み得る。サーバは概して、1つまたは複数のコンピュータの集合体を備えることができ、1つまたは複数の地理的に離れたロケーションにある1つまたは複数のコンピュータにわたる処理を実施することができる。

多くのケースでは、コンテンツプロバイダ114は、他者と共有するための独自のコンテンツ(たとえば、ビデオ)を組織的に作成した当事者を含み得るが、コンテンツプロバイダ114は、1人または複数の他の当事者によって実際に作成されたが、ファーストパーティが共有することを望むコンテンツをアップロードする当事者も指す場合がある。コンテンツプロバイダ114は、オリジナルコンテンツをコンテンツデータベース110にアップロードし得る。コンテンツデータベース110は概して、配信用に利用可能にされているサードパーティコンテンツの記憶を担う。

コンテンツ配信サーバ108、コンテンツデータベース110、およびトレーニングデータベース112、およびモデル生成器116の各々は概して、図7に関して記載するコンピュータなど、1つまたは複数のロケーションにある1つまたは複数のコンピュータのハードウェアとソフトウェアの組合せとして実装されてよい。コンテンツ配信サーバ108、コンテンツデータベース110、およびトレーニングデータベース112、およびモデル生成器116の各々は、ネットワーク通信を可能にするための、それぞれのネットワークインターフェースを含み得る。いくつかの実装形態では、配信サーバ108、コンテンツデータベース110、および/またはトレーニングデータベースのうちの1つまたは複数は、データを処理するのに複数の異なるコンピュータおよび/またはサーバを使用する配信型コンピューティング環境において実装されてよい。

いくつかの実装形態では、クライアントデバイス106は、ネットワークを介して、コンテンツに対する要求104を提出する。クライアントデバイス106のユーザは、クライアントデバイス106上のウェブブラウザにおいて、HTMLページ、電子文書、画像ファイル、ビデオファイル、およびオーディオファイルなどのコンテンツを求めてブラウズしている場合がある。たとえば、要求されたウェブページは、コンテンツ配信サーバ108に対して要求される特定のコンテンツ118を含み得る。要求されたコンテンツ118は、クライアントデバイスにおいて、コンテンツの別の部分と一緒に提示される場合がある。クライアントデバイス106上での表示のためにどのコンテンツを提供するかを判断するために、コンテンツ配信サーバ108は、コンテンツデータベース110からサードパーティコンテンツを選択するためのモデルを使えばよい。

モデルは、トレーニングデータベース112中に記憶されたトレーニングデータにアクセスするモデル生成器116を使用して生成される。トレーニングデータベース112はトレーニングデータを記憶し、このデータは、属性情報(たとえば、ユーザ人口統計)および対応するプロキシメトリックを含む様々なデータを含む。プロキシメトリックは、特定のコンテンツの提示に続くユーザのオンライン挙動を定量化し、オンライン挙動を呈する1人のユーザまたは複数のユーザについての特定の属性情報に対応する。たとえば、トレーニングデータベースは、記憶されたデータの中でも、18〜24の間の年齢の男性は、スポーツカーに関するビデオを提示されたとき、肯定的に(たとえば、ビデオコンテンツをクリックし、または高いコンテンツ視聴時間を有することによって)応答する傾向があることを示すデータを含むトレーニングデータを記憶することができる。トレーニングデータベースは同様に、18〜24の間の年齢の女性は、スポーツカーに関する同じビデオを提示されたとき、否定的に(たとえば、ビデオコンテンツをスキップし、または低いコンテンツ視聴時間を有する)応答する傾向があることを示すトレーニングデータを記憶することができる。トレーニングデータの例は、さらに以下で論じる図3、図4、および図6A〜図6Bに示される。

コンテンツ配信サーバ108が、クライアントデバイスにおいて提示されるべきサードパーティコンテンツに対する要求104を受信すると、コンテンツ配信サーバ108は、要求104に応答して、クライアントデバイスに配信されるべきサードパーティコンテンツを選択するために、モデル生成器116によって生成されたモデルを使用する。モデルは、最初に、コンテンツに対する要求から、属性のセットを取得することによって、表示用のコンテンツを識別する。モデルは次いで、コンテンツに対する要求からの属性情報のセットに一致する属性情報に対応するプロキシメトリックを(たとえば、記憶されたトレーニングデータベース112中で)識別する。次に、モデルは、コンテンツデータベース110中に記憶された特定のサードパーティコンテンツについての情報を受信する。コンテンツに対する要求104からの属性のセット、属性のセットに対応するプロキシメトリック、および特定のサードパーティコンテンツについての情報に基づいて、モデルは次いで、特定のサードパーティコンテンツについての属性のセット用のプロキシメトリックを予測する。

いくつかの実装形態では、予測されるプロキシメトリックは、サブジェクト維持またはサブジェクト認識のうちの少なくとも1つに相関する。つまり、予測されるプロキシメトリックの値が増大すると、コンテンツに関するサブジェクトをユーザが思い出すことが、またはコンテンツに関するサブジェクトにおけるユーザの認識が、対応して増大する。モデルは次いで、予測されるプロキシメトリックが、しきい値(たとえば、あらかじめ指定された値)を満たすか、または超えることに基づいて、サードパーティコンテンツを選択する。コンテンツ配信サーバ108は次いで、選択されたサードパーティコンテンツを識別するデータをクライアントデバイス106に送信する。いくつかの実装形態では、モデルが、予測されるプロキシメトリックに基づいてサードパーティコンテンツを選択した後、サードパーティコンテンツに関連付けられた選択基準が調節される。

図2は、コンテンツ提示を最適化するための例示的プロセス200のフローチャートである。202において、トレーニングデータベース112がトレーニングデータを記憶する。トレーニングデータは、属性情報(たとえば、ユーザ人口統計)および対応するプロキシメトリックを含む様々なデータを含む。プロキシメトリックは、特定のコンテンツの提示に続くユーザのオンライン挙動を定量化し、オンライン挙動を呈する1人のユーザまたは複数のユーザについての特定の属性情報に対応する。例示的プロキシメトリックは、コンテンツの物理的クリック、コンテンツ視聴時間、コンテンツスキップ時間、視認性、および聴認性を含む。

トレーニングデータベース112は、異なる属性情報を含む様々なデータを記憶することができる。たとえば、トレーニングデータベース112は、18〜24の間の年齢の男性は、スポーツカーに関するビデオを提示されたとき、肯定的に(たとえば、ビデオコンテンツをクリックし、または高いコンテンツ視聴時間を有することによって)応答する傾向があることを示すデータを含むトレーニングデータを記憶することができる。トレーニングデータベース112は同様に、18〜24の間の年齢の女性は、スポーツカーに関する同じビデオを提示されたとき、否定的に(たとえば、ビデオコンテンツをスキップし、または低いコンテンツ視聴時間を有する)応答する傾向があることを示すトレーニングデータを記憶することができる。この傾向は、たとえば、図3に示されるように、スポーツカーに関するビデオに対する肯定的応答を示す、対応するプロキシメトリックをもつ、18〜24の間の年齢の男性についての、トレーニングデータベース112中のトレーニングデータの多数のエントリを有することによって示され得る。

図3に示す例示的トレーニングデータでは、18〜24の間の年齢の男と女の両方を含む14人のユーザに、スポーツカーに関するビデオコンテンツが提示される。ビデオコンテンツは、2分の長さを有する。第1の列はユーザを識別し、第2の列は、ユーザが男か女かを識別し、第3の列は、ユーザの年齢を示し、第4の列は、ユーザが2分間のビデオを視聴するのに費やした時間の量を識別する。14人すべてのユーザに対する平均視聴時間は、ほぼ59秒である。ただし、女のユーザの場合の平均視聴時間はわずか約27秒であり、男のユーザの場合の平均視聴時間は約91秒である。したがって、トレーニングデータは、18〜24の間の年齢の男のユーザは、18〜24の間の年齢の女のユーザよりも肯定的に、スポーツカーに関するビデオコンテンツに応答する(たとえば、ビデオコンテンツのより多くを視聴することによって)傾向があったことを示す。トレーニングデータには外れ値があるが(たとえば、ユーザ5は、スポーツカービデオコンテンツのほぼすべてを視聴した21才の女であり、ユーザ11は、スポーツカービデオコンテンツのわずか7秒間を視聴した22才の男である)、プロキシメトリックおよび属性情報において、一般的傾向を見ることができる。

図4に示す別の例では、トレーニングデータベース112は、18〜24の間の年齢の男性と女性の両方が、近々公開されるどたばた喜劇映画に関するコンテンツを提示されたとき、肯定的に応答する傾向があり、65才以上の年齢の男性と女性の両方が、同じコンテンツを提示されたとき、否定的に応答する傾向があることを示すデータを含むトレーニングデータを記憶し得る。図3と同様に、第1の列はユーザを識別し、第2の列は、ユーザが男か女かを識別し、第3の列は、ユーザの年齢を示し、第4の列は、ユーザが2分間のビデオを視聴するのに費やした時間の量を識別する。14人すべてのユーザに対する平均視聴時間は、ほぼ1分10秒である。18〜24の間の年齢の男および女のユーザの場合の平均視聴時間はほぼ1分42秒であり、65才を超える男および女のユーザの場合の平均視聴時間は約38秒である。したがって、トレーニングデータは、18〜24の間の年齢の男および女のユーザの両方が、65才よりも上の男および女のユーザの両方よりも肯定的に、どたばた喜劇に関するビデオコンテンツに対して応答する(たとえば、ビデオコンテンツのより多くを視聴することによって)傾向があったことを示す。データには外れ値があるが(たとえば、ユーザ12は、どたばた喜劇の予告編の全2分を視聴した77才の女である)、プロキシメトリックおよび属性情報において、一般的傾向を見ることができる。

204において、コンテンツデータベースは、1つまたは複数のサードパーティコンテンツプロバイダ114からのサードパーティコンテンツを受信し、記憶する。コンテンツは、様々な資産(たとえば、HTMLコンテンツ、Java(登録商標)スクリプト、画像ファイル、ビデオファイルなど)を含む圧縮ファイルの形であってよい。いくつかの実装形態では、コンテンツは、圧縮されていない個々のコンテンツファイル(たとえば、ビデオファイル)の形であってよい。コンテンツデータベース110は、所与のコンテンツ項目についての、タイトル、短いテキスト記述、および制作者IDを含む、すべてのコンテンツのインデックスを含み得る。

いくつかの実装形態では、サードパーティコンテンツプロバイダ114は、サードパーティコンテンツとともに、サブジェクト認識またはサブジェクト維持を推進するための選好を含み得る。サードパーティコンテンツプロバイダ114は、サブジェクト認識もしくはサブジェクト維持または両方のいずれかを推進したいという欲求を示す場合がある。この選好は、サブジェクト認識またはサブジェクト維持のいずれかを最適化するための特定のモデルを使用することによって、表示用のコンテンツを選択するとき、考慮に入れることができる。コンテンツに関連した特定の主題またはトピックの認識を増大することを望むサードパーティコンテンツプロバイダ114は、コンテンツを閲覧した後に主題またはトピックを認識する見込みがあるユーザに提供をする必要がある。サブジェクト維持を推進することを望むサードパーティコンテンツプロバイダ114は、コンテンツ提示の後の一定の時間量(たとえば、コンテンツを見てから2週間)だけ、コンテンツを見たことまたは提示されたことを覚えている見込みがある人達にコンテンツを提示することに注力すればよい。サブジェクト「リフト」の見込みを直接示すデータがない場合、他のデータが、サブジェクト「リフト」データ用のプロキシとして使用されてよい。この、他のデータは、ユーザの属性およびコンテンツの属性が既知である個々のユーザから、直接フィードバックを通して取得することができる。

206において、モデル生成器116は、トレーニングデータベース112中のトレーニングデータにアクセスし、コンテンツ配信のためのモデルをトレーニングする。いくつかの実装形態では、大規模な教師あり機械学習を許可するフレームワークが、モデルをトレーニングするために使用されてよい。いくつかの実装形態では、ロジスティック回帰および線形回帰が、モデルをトレーニングするための機械学習アルゴリズムとして使用される。たとえば、ロジスティック回帰は物理的クリック、視認性、および聴認性のために使用されてよく、線形回帰は、視聴時間およびスキップ時間のために使用されてよい。モデル生成器116は、サードパーティコンテンツに関する特徴およびユーザに関する属性を含む様々なタイプの情報を、モデルをトレーニングするのに使用する。サードパーティコンテンツに関する特徴の例は、コンテンツの持続時間(たとえば、ビデオクリップの長さ)、コンテンツに関連付けられたサードパーティコンテンツプロバイダ、およびコンテンツのサブジェクトまたはカテゴリ(たとえば、コンテンツが、スポーツカー、旅行の行先、それとも女性の衣服に関するか)を含む。ユーザに関する属性の例は、ユーザが男か女か、ユーザの年齢またはユーザに関連付けられた年齢範囲、ユーザの興味、およびユーザに関連付けられたロケーションを含む。

個々のモデルは、サードパーティコンテンツ特徴および属性を使用して、各プロキシメトリックについて生成され、トレーニングされ得る。たとえば、モデル生成器116は、ビデオクリックに関するプロキシメトリック用の第1のモデル、視認性に関するプロキシメトリック用の第2のモデル、視聴時間に関するプロキシメトリック用の第3のモデル、スキップ時間に関するプロキシメトリック用の第4のモデルなどを生成することができる。フレームワークにおける個々のパラメータ(たとえば、正規化パラメータ)は、各モデル用に調整されてよい。パラメータは、トレーニングデータへの過剰適合を避けるように調整され得る。過剰適合とは、モデルが、微細な特徴を選び、それらにより高い重みを割り当て、結果として正確さを低下させるときを指す。調整は、データのテストに対する、モデルの正確さのレベルがどのように影響されるかを判断するために、パラメータ向けの異なる値をテストすることを伴う。いくつかの実装形態では、モデルは、定期的間隔で(たとえば、3分おきに)新たなトレーニングデータで更新される。トレーニングデータは、ユーザがサードパーティコンテンツを提示される度に集めることができる。

モデルは、たとえば、コンテンツ配信サーバ108中を含む、サーバ中に記憶されてよい。コンテンツ配信サーバ108中にモデルが記憶されない実装形態では、コンテンツ配信サーバ108は、ネットワーク102を介して、リモートデータベースまたはサーバ中のモデルにアクセスし得る。

208において、コンテンツ配信サーバ108は、サードパーティコンテンツに対する要求を受信する。要求は、クライアントデバイスにおいてコンテンツの別の部分とともに提示されるべきサードパーティコンテンツについてであってよい。要求されるコンテンツは、テキスト、画像、ビデオコンテンツ、オーディオコンテンツ、またはそれらの任意の組合せについてであってよい。要求は、いくつかの属性に関連付けられ得る。いくつかの実装形態では、要求は、コンテンツを要求するユーザおよび/またはクライアントデバイスに関連付けられた属性のセットを含み得る。たとえば、要求は、スマートフォンまたはパーソナルコンピュータなど、コンテンツを要求するクライアントデバイスのタイプを識別することができる。要求は、クライアントデバイスの製造元およびモデルを含む、特定のタイプのクライアントデバイスをさらに識別することができる。いくつかの実装形態では、要求は、クライアントデバイス上で稼動するオペレーティングシステムまたはサードパーティコンテンツに対する要求に関連付けられたアプリケーションを識別することができる。これらの属性は、デバイス能力に合致する適切なコンテンツを選択するのを支援することができる。

いくつかの実装形態では、要求は、クライアントデバイスのユーザに関連付けられた属性のセットを識別することができる。属性のセットは、たとえば、ユーザの性別、年齢、ロケーション、および興味を含む、たとえば、クライアントデバイスのユーザについての人口統計情報を含み得る。いくつかの実装形態では、要求は、ユーザが閲覧しているか、またはすでに提示されているコンテンツに関連付けられた属性のセットを、そのコンテンツと関連して提示されるべきサードパーティコンテンツのより良い選択をするために識別することができる。たとえば、ユーザが、特定のカテゴリ(たとえば、車または料理)に関連付けられたビデオを閲覧している場合、そのユーザが、追加サードパーティコンテンツにより興味をもつ見込みがあるように、その同じトピックに関連した、ユーザに提示するための追加サードパーティコンテンツを選択することが有利な場合がある。

210において、コンテンツ配信サーバ108は、要求に応答してサードパーティコンテンツを選択する。具体的には、コンテンツ配信サーバ108は、サードパーティコンテンツを選択するために、モデル生成器116によって生成されたモデルにアクセスする。モデルを使用してサードパーティコンテンツを選択するプロセスについては、図5を参照して以下でより詳細に記載する。

212において、コンテンツ配信サーバ108は、選択されたサードパーティコンテンツを識別するデータを送信する。いくつかの実装形態では、コンテンツ配信サーバ108は、選択されたサードパーティコンテンツを識別するデータをクライアントデバイス106に送信する。いくつかの実装形態では、クライアントデバイス106に送信されるデータは、選択されたサードパーティコンテンツの提示を開始する機械可読命令を含む。たとえば、命令は、クライアントデバイス106に、選択されたサードパーティコンテンツがそこから取得されることになる別のオンラインサーバへの要求を開始させることができる。代替として、選択されたサードパーティコンテンツは、クライアントデバイス106に送信されるデータに含めることができ、命令は、クライアントデバイス106に、クライアントデバイス106のディスプレイにおいてサードパーティコンテンツを提示させることができる。

図5は、モデルを用いてコンテンツを選択するための例示的プロセス500のフローチャートである。いくつかの実装形態では、プロセス500の動作の一部または全部は、コンテンツ配信サーバ108、モデル生成器116、別個のコンテンツ配信システム、またはそれらの任意の組合せによって実施され得る。以下で論じるモデルは、たとえば、トレーニングデータベース112に記憶されたプロキシメトリックおよび属性情報を含むトレーニングデータを使用して、モデル生成器116によってトレーニングされ得る。説明の目的で、プロセス500は、コンテンツ配信システムに関して広く論じられるが、コンテンツ配信サーバ108、モデル生成器116、および別個のコンテンツ配信システムのどの組合せによって遂行されてもよい。

502において、コンテンツ配信システムは、サードパーティコンテンツに対する要求から属性のセットを取得する。たとえば、サードパーティコンテンツに対する要求は、要求が、スマートフォンデバイスを使用している、ミネソタ州ミネアポリスにいる22才の男のユーザによって使用されているクライアントデバイスからであると識別し得る。追加または代替として、属性のセットは、ユーザがすでに閲覧しているか、またはまさに閲覧しようとしているコンテンツに関し得る。たとえば、サードパーティコンテンツに対する要求は、ユーザがすでに視聴しているビデオが、スポーツ、車、または料理など、特定のカテゴリに関すると識別し得る。

504において、コンテンツ配信システムは、コンテンツデータベースに記憶された所与のサードパーティコンテンツについての情報を受信する。上の例を続けると、コンテンツ配信システムは、Minnesota Pucksホッケーチームに関するコンテンツ項目を識別し得る。コンテンツ項目についての情報は、コンテンツ項目がビデオクリップであること、ビデオクリップが2分の長さであること、およびビデオクリップに関するキーワードが「スポーツ」、「ホッケー」、「ミネソタ」、および「Pucks」を含むことを示し得る。

506において、コンテンツ配信システムは、所与のサードパーティコンテンツについて、要求からの属性のセットおよびサードパーティコンテンツについての情報に基づいてプロキシメトリックを予測するために、モデルを使用する。いくつかの実装形態では、モデルは、要求からの属性のセットおよびサードパーティコンテンツについての情報を受信すること、受信された属性および情報に割り当てるべき重みを識別すること、ならびにプロキシメトリックを算出することによって、プロキシメトリックを予測することができる。モデルは、モデルがプロキシメトリックを予測する同じときに重みが算出される必要がないように、早期データに基づく所定の重み値を有し得る。予測されるプロキシメトリックは、所与のサードパーティコンテンツの提示から生じる、サブジェクト維持またはサブジェクト認識のうちの少なくとも1つについての情報を提供し得る。いくつかの実装形態では、サードパーティコンテンツプロバイダ114は、サブジェクト維持またはサブジェクト認識のいずれかに対する選好を含み得る。

上述したように、いくつかのプロキシメトリックは、サブジェクト認識またはサブジェクト維持のうちの少なくとも1つとの強い相関を有する。特定のプロキシメトリック(たとえば、視聴時間)とサブジェクト認識またはサブジェクト想起との間の相関を判断するために、サードパーティコンテンツプロバイダは、そのコンテンツを分析用に提供すればよい。ユーザは、露出グループまたは制御グループのいずれかにランダムに割り当てられ得る。サードパーティコンテンツプロバイダからの当事者は、露出グループのユーザに対しては示されるが、制御グループのユーザに対しては示されない。ユーザがグループに割り当てられ、サードパーティコンテンツにさらされるか、またはさらされないかのいずれかから一定の時間量の後、両方のグループからのユーザは、いくつかの質問(たとえば、サードパーティコンテンツを最近見たかどうか)を尋ねられる。尋ねられた特定の質問に対する、露出グループと制御グループとの間の肯定的応答レートの間の差が、その質問に対するサブジェクトリフトとして知られる。たとえば、100人のユーザを有する露出グループの各ユーザは、映画Aの映画予告編を見せられており、100人のユーザを有する制御グループのユーザは、映画予告編を見せられなくてよい。次いで、2日後、露出グループと制御グループの両方からのユーザは、映画Aの映画予告編を見たかどうかを尋ねられる。露出グループの80人のユーザが、映画Aの映画予告編を見たと答え、制御グループの0人のユーザが、映画Aの映画予告編を見たと答えた場合、その質問に対するサブジェクトリフトは80である。残念ながら、サブジェクトリフトメトリックに関して、多くのデータが利用可能なわけではない。したがって、サブジェクトリフトとの強い相関を有することが示されている、コンテンツの物理的クリック、ビデオコンテンツに関連付けられた視聴時間、ビデオコンテンツに関連付けられたスキップ時間、および視認性メトリックなど、いくつかのプロキシメトリックを使用することが、特に有益である。サブジェクトリフトはさらに、サブジェクト認識およびサブジェクト維持に関し得る。概して、ほとんどのプロキシメトリックがサブジェクト認識との強い相関を有し、視聴時間およびスキップ時間はサブジェクト維持との強い相関を有する。

上述したように、サードパーティコンテンツプロバイダ114は、提供されるサードパーティコンテンツとともに、サブジェクト認識もしくはサブジェクト維持のいずれか、または両方を推進するための選好を含み得る。いくつかの実装形態では、この選好は、表示用のコンテンツを選択するときに考慮に入れられてよい。

上の例を続けると、コンテンツ配信システムは、Minnesota Pucksホッケーチームビデオクリップについて、ユーザについての属性のセット(男、22才、ミネアポリス、スマートフォン)、およびサードパーティコンテンツについての情報(「スポーツ」、「ホッケー」、「ミネソタ」、および「Pucks」に関する、2分の長さのビデオクリップ)に基づくプロキシメトリックを予測する。たとえば、コンテンツ配信システムは、図6Aおよび図6Bに示すプロキシメトリックを識別することができる。図6Aおよび図6Bに示すプロキシメトリックおよび属性情報は、トレーニングデータベース112中に記憶され、モデル生成器116によって、モデルを生成するのに使用され得る。図6Aおよび図6Bは、プロキシメトリックと属性情報の両方を含む。たとえば、第2、第3、および第4の列は、属性情報(M/F、年齢、ロケーション)を含み、第5の列は、プロキシメトリック(視聴時間)を含む。図6Aは、Minnesota Seafarersに関するビデオコンテンツを提示された18人のユーザについての視聴時間を示し、図6Bは、歴代の上位10個のホッケーゴールに関するビデオコンテンツを提示された18人のユーザに対する視聴時間を示す。列は、ユーザが男か女か、ユーザの年齢、ユーザのロケーション、およびコンテンツに対する視聴時間を示す。

図6Aは、トレーニングデータに対する平均視聴時間が、Minnesota Seafarersに関する2分間のクリップに対して1分4秒であることを示す。ただし、この例におけるユーザに一致するユーザ、つまり、ミネアポリスにいる18〜24の間の年齢の男のみについての平均視聴時間は、約1分41秒である。予想され得るように、トレーニングデータは、イリノイ州、ミシガン州、およびウィスコンシン州からの、ミネソタの外のユーザは、Minnesota Seafarersに関するビデオクリップにほとんど興味を示さなかったが、ミネアポリスからのユーザ、および年齢が特に、18〜24才の男のユーザはより高い視聴時間を有していたことを示す。

図6Bは、歴代の上位10個のホッケーゴールに関する2分間のビデオクリップに関する。図6Bに示すトレーニングデータは、ビデオクリップに対する平均視聴時間が1分6秒であることを示す。ただし、この例におけるユーザに一致するユーザ、つまり、ミネアポリスにいる18〜24の間の年齢の男のみについての平均視聴時間は、約1分51秒である。

図6Aおよび図6Bに示すトレーニングデータ、および特に、ミネソタ州ミネアポリスにいるとともに、18〜24の間の年齢のいる男についてのトレーニングデータは、Minnesota Pucksビデオクリップ用のプロキシメトリックを予測するのに使用することができる。たとえば、図6Aにおけるトレーニングデータは、「スポーツ」、「フットボール」、「ミネソタ」、および「Seafarers」というキーワードに関連付けられ得る、Minnesota Seafarersに関するビデオクリップに関連付けられ、図6Bにおけるトレーニングデータは、「スポーツ」、「ホッケー」、「ゴール」、および「ハイライト」というキーワードに関連付けられ得る、歴代の上位10個のホッケーゴールに関するビデオクリップに関連付けられる。したがって、図6Aおよび図6Bに示すトレーニングデータは、Minnesota Pucksに関する類似のサブジェクトまたはトピック、すなわち、「スポーツ」、「ミネソタ」、および「ホッケー」を、サードパーティコンテンツと共有する。このトレーニングデータに基づいて、次いで、コンテンツ配信システムは、1分46秒という予測視聴時間(すなわち、それぞれ、図6Aおよび図6Bにおける共有される属性をもつユーザについての、1分41秒および1分51秒という平均視聴時間の平均)など、特定のユーザについてのプロキシメトリックを予測することができる。

508において、コンテンツ配信システムは、予測されるプロキシメトリックが、所与のサードパーティコンテンツについてのしきい値を満たすか、または超えると判断する。しきい値は、あらかじめ設定された値または割合(たとえば、ビデオクリップの長さ全体の割合である視聴時間)であってよい。いくつかの実装形態では、しきい値は平均値に基づき得る。上の例において、しきい値は、所与のサードパーティコンテンツについての平均視聴時間であり得る。たとえば、Minnesota Pucksビデオクリップは、表示のためにユーザに提供されるとき、1分25秒の平均視聴時間を有し得る。したがって、視聴時間についての予測されるプロキシメトリックが1分46秒である場合、コンテンツ配信システムは、1分46秒の予測されるプロキシメトリックが、1分25秒のしきい値を超えると判断する。いくつかの実施形態では、サードパーティコンテンツプロバイダは、しきい値を定義するか、またはしきい値を決定するための1つもしくは複数のパラメータを定義することができる。

いくつかの実装形態では、モデルは、モデル中のいくつかの属性を重み付けするようにトレーニングされ得る。たとえば、特定の属性が、他の属性よりも重要な場合、モデルは、その属性を、他の属性と比較して重み付けしてよい。これらの実装形態では、コンテンツ配信システムは、属性の重み付けされた値に基づいてプロキシメトリックを予測する。

510において、コンテンツ配信システムは、予測されるプロキシメトリックに基づいて、配信のための所与のサードパーティコンテンツを識別する。上の例を続けると、1分46秒の予測されるプロキシメトリックが、1分25秒のしきい値を超えると判断したことに応答して、コンテンツ配信システムは、Minnesota Pucksビデオクリップを、表示用に、およびコンテンツ配信サーバ用に識別する。

いくつかの実装形態では、コンテンツ配信システムが、予測されるプロキシメトリックに基づいて、配信のための所与のサードパーティコンテンツを識別した後、コンテンツ配信サーバは、所与のサードパーティコンテンツに関する選択基準の値を増大する。コンテンツ配信システムは、配信のための複数のサードパーティコンテンツ項目を選択し、サードパーティコンテンツ項目の各々に、予測されるプロキシメトリックに対して評価されたそれぞれの選択基準値を割り当ててよい。たとえば、予測されるプロキシメトリックが高いほど、それぞれの選択基準が高くなる。より高い選択基準値をもつサードパーティコンテンツ項目が、クライアントデバイス上で提示されるために選択される見込みがよりあり得る。

図6Aおよび図6Bに示すトレーニングデータはさらに、特定のコンテンツが、コンテンツ提示にどのように望ましくない場合があるかを示すのに使用することができる。たとえば、502において、サードパーティコンテンツに対する要求は、要求が、ミネソタ州ミネアポリスにいる19才の女のユーザによって使用されているクライアントデバイスからであると識別し得る。504において、コンテンツ配信システムは、Minnesota Pucksに関するとともに「スポーツ」、「ホッケー」、「ミネソタ」、および「Pucks」というキーワードに関する2分間のビデオクリップを識別する。

506において、コンテンツ配信システムは、Minnesota Pucksビデオクリップについて、ユーザについての属性のセット(女、19才、ミネアポリス)、およびサードパーティコンテンツについての情報(「スポーツ」、「ホッケー」、「ミネソタ」、および「Pucks」に関する、2分の長さのビデオクリップ)に基づくプロキシメトリックを予測する。図6Aは、ミネアポリスにいる18〜24の間の年齢の女が、1分4秒という平均に対して、Minnesota Seafarersビデオクリップに対する48秒の平均視聴時間を有することを示す。図6Bは、ミネアポリスにいる18〜24の間の年齢の女が、1分6秒という平均に対して、上位10個のホッケーゴールに対する45秒の平均視聴時間を有することを示す。コンテンツ配信システムは次いで、モデルを、Minnesota Pucksビデオクリップと、Minnesota Seafarersビデオクリップと上位10個のホッケーゴールのビデオクリップの両方との間の類似に基づいて、ミネアポリスにいる19才の女についての、Minnesota Pucksビデオクリップに対する47.5秒(45秒および48秒の平均)のプロキシメトリックを予測するのに使えばよい。47秒という、この予測されるプロキシメトリック(視聴時間)に基づいて、コンテンツ配信システムは次いで、予測されるプロキシメトリックが、所与のサードパーティコンテンツについてのしきい値(たとえば、1分25秒の平均視聴時間)を満たさない、または超えることはないと判断することができるので、コンテンツ配信システムは、特定のサードパーティコンテンツを表示用に選択しない。いくつかの実装形態では、コンテンツ配信システムが、所与のサードパーティコンテンツについての予測されるプロキシメトリックがしきい値を満たさないと判断した後、コンテンツ配信サーバは、所与のサードパーティコンテンツに関する選択基準の値を減少させる。

コンテンツ配信システムは、特定のサードパーティコンテンツ項目についての予測されるプロキシメトリックが特定のサードパーティコンテンツ項目についてのしきい値を超えるまで、複数のサードパーティコンテンツ項目用に、ステップ504および506を繰り返せばよい。ステップ504および506の各ループを通して、コンテンツ配信サーバは、それぞれの選択基準を、それぞれの予測されるプロキシメトリックに基づいて、各サードパーティコンテンツ項目に合わせて上方または下方のいずれかの調節をすることができる。

図7は、本明細書に記載するコンピュータ実装方法および他の技法を実装するのに使用され得るコンピューティングデバイス700およびモバイルコンピューティングデバイスの例を示す。コンピューティングデバイス700は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、様々な形のデジタルコンピュータを表すことを意図している。モバイルコンピューティングデバイスは、携帯情報端末、セルラー電話、スマートフォン、および他の同様のコンピューティングデバイスなど、様々な形のモバイルデバイスを表すことを意図している。ここに示される構成要素、それらの接続および関係、ならびにそれらの機能は、例示であることのみを目的としており、本文書において記載および/または特許請求される本発明の実装形態を限定することは目的としていない。

コンピューティングデバイス700は、プロセッサ702と、メモリ704と、記憶デバイス706と、メモリ704および複数の高速拡張ポート710に接続する高速インターフェース708と、低速拡張ポート714および記憶デバイス706に接続する低速インターフェース712とを含む。プロセッサ702、メモリ704、記憶デバイス706、高速インターフェース708、高速拡張ポート710、および低速インターフェース712の各々は、様々なバスを使用して相互接続され、共通マザーボード上に、または必要に応じて他の様式で搭載され得る。プロセッサ702は、GUIについてのグラフィカル情報を、高速インターフェース708に結合されたディスプレイ716などの外部入力/出力デバイス上に表示するための、メモリ704中または記憶デバイス706上に記憶された命令を含む、コンピューティングデバイス700内での実行のための命令を処理することができる。他の実装形態では、複数のプロセッサおよび/または複数のバスが、必要に応じて、複数のメモリおよびタイプのメモリとともに使用されてよい。また、複数のコンピューティングデバイスが接続されてよく、各デバイスは、必要な動作の部分を(たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)提供する。

メモリ704は、コンピューティングデバイス700内に情報を記憶する。いくつかの実装形態において、メモリ704は、1つまたは複数の揮発性メモリユニットである。いくつかの実装形態において、メモリ704は、1つまたは複数の不揮発性メモリユニットである。メモリ704は、磁気または光ディスクなど、別の形のコンピュータ可読媒体であってもよい。

記憶デバイス706は、コンピューティングデバイス700に大容量記憶を提供することが可能である。いくつかの実装形態において、記憶デバイス706は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリもしくは他の同様の固体メモリデバイス、または記憶エリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどのコンピュータ可読媒体であるか、またはそれらを含み得る。コンピュータプログラム製品はまた、実行されると、上述したような1つまたは複数の方法を実施する命令を含み得る。コンピュータプログラム製品はまた、メモリ704、記憶デバイス706、またはプロセッサ702上のメモリなどのコンピュータまたは機械可読媒体で有形に実施され得る。

高速インターフェース708は、コンピューティングデバイス700向けの帯域消費型動作を管理し、低速インターフェース712は、より帯域低消費型動作を管理する。機能のそのような割振りは、例示にすぎない。いくつかの実装形態において、高速インターフェース708は、メモリ704、ディスプレイ716に(たとえば、グラフィックスプロセッサまたはアクセラレータを通して)、および様々な拡張カード(図示せず)を受け得る高速拡張ポート710に結合される。本実装形態において、低速インターフェース712は、記憶デバイス706および低速拡張ポート714に結合される。低速拡張ポート714は、様々な通信ポート(たとえば、USB、Bluetooth(登録商標)、イーサネット(登録商標)、ワイヤレスイーサネット(登録商標))を含み得るが、キーボード、ポインティングデバイス、スキャナなど、1つもしくは複数の入力/出力デバイス、またはスイッチもしくはルータなどのネットワークデバイスに、たとえば、ネットワークアダプタを通して結合され得る。

コンピューティングデバイス700は、図に示すように、いくつかの異なる形で実装されてよい。たとえば、標準サーバ720として、またはそのようなサーバのグループで複数回、実装され得る。さらに、ラップトップコンピュータ722などのパーソナルコンピュータで実装され得る。また、ラックサーバシステム724の一部として実装され得る。代替として、コンピューティングデバイス700からの構成要素は、モバイルコンピューティングデバイス750などのモバイルデバイス(図示せず)中の他の構成要素と組み合わせることができる。そのようなデバイスの各々は、コンピューティングデバイス700およびモバイルコンピューティングデバイス750のうちの1つまたは複数を含んでよく、システム全体が、互いと通信する複数のコンピューティングデバイスから作られてよい。

モバイルコンピューティングデバイス750は、他の構成要素の中でも、プロセッサ752、メモリ764、ディスプレイ754などの入力/出力デバイス、通信インターフェース766、およびトランシーバ768を含む。モバイルコンピューティングデバイス750には、追加記憶を提供するために、マイクロドライブまたは他のデバイスなどの記憶デバイスが設けられてもよい。プロセッサ752、メモリ764、ディスプレイ754、通信インターフェース766、およびトランシーバ768の各々は、様々なバスを使用して相互接続され、構成要素のうちのいくつかは、共通マザーボード上に、または必要に応じて他の方式で搭載されてよい。

プロセッサ752は、メモリ764中に記憶された命令を含む、モバイルコンピューティングデバイス750内の命令を実行することができる。プロセッサ752は、別個および複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサ752は、たとえば、ユーザインターフェース、モバイルコンピューティングデバイス750によって稼働されるアプリケーション、およびモバイルコンピューティングデバイス750によるワイヤレス通信の制御など、モバイルコンピューティングデバイス750の他の構成要素の協調を可能にし得る。

プロセッサ752は、ディスプレイ754に結合された制御インターフェース758およびディスプレイインターフェース756を通してユーザと通信し得る。ディスプレイ754は、たとえば、TFT(薄膜トランジスタ液晶ディスプレイ)ディスプレイもしくはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術であってよい。ディスプレイインターフェース756は、グラフィカルおよび他の情報をユーザに対して提示するようにディスプレイ754を駆動するための適切な回路機構を備え得る。制御インターフェース758は、コマンドを、ユーザから受信し、プロセッサ752への提出のために変換し得る。さらに、外部インターフェース762が、モバイルコンピューティングデバイス750と他のデバイスの近距離通信を可能にするように、プロセッサ752との通信を提供し得る。外部インターフェース762は、たとえば、いくつかの実装形態ではワイヤード通信を、または他の実装形態ではワイヤレス通信を提供することができ、複数のインターフェースが使用されてもよい。

メモリ764は、モバイルコンピューティングデバイス750内に情報を記憶する。メモリ764は、1つもしくは複数のコンピュータ可読媒体、1つもしくは複数の揮発性メモリユニット、または1つもしくは複数の不揮発性メモリユニットのうちの1つまたは複数として実装され得る。拡張メモリ774が設けられ、拡張インターフェース772を通してモバイルコンピューティングデバイス750に接続されてもよく、インターフェース772は、たとえば、SIMM(シングルインラインメモリモジュール)カードインターフェースを含み得る。拡張メモリ774は、モバイルコンピューティングデバイス750に余剰記憶空間を提供することができ、またはモバイルコンピューティングデバイス750向けのアプリケーションもしくは他の情報を記憶することもできる。特に、拡張メモリ774は、上述したプロセスを実践し、または補うための命令を含むことができ、セキュアな情報も含むことができる。したがって、たとえば、拡張メモリ774は、モバイルコンピューティングデバイス750用のセキュリティモジュールとして設けられてよく、モバイルコンピューティングデバイス750のセキュアな使用を許可する命令でプログラムされ得る。さらに、ハッキングできないようにSIMMカード上に識別情報を置くなど、付加情報とともに、SIMMカードを介して、セキュアなアプリケーションが提供されてよい。

メモリは、たとえば、以下で論じるように、フラッシュメモリおよび/またはNVRAMメモリ(不揮発性ランダムアクセスメモリ)を含み得る。コンピュータプログラム製品は、実行されると、上述したような1つまたは複数の方法を実施する命令を含む。コンピュータプログラム製品は、メモリ764、拡張メモリ774、またはプロセッサ752上のメモリなどのコンピュータまたは機械可読媒体であってよい。いくつかの実装形態において、コンピュータプログラム製品は、たとえば、トランシーバ768または外部インターフェース762を介して、伝搬される信号中で受信され得る。

モバイルコンピューティングデバイス750は、必要な場合はデジタル信号処理回路機構を含み得る通信インターフェース766を通してワイヤレスに通信することができる。通信インターフェース766は、中でも特に、GSM(登録商標)ボイスコール(広域移動通信システム)、SMS(ショートメッセージサービス)、EMS(拡張メッセーングサービス)、もしくはMMSメッセージ通信(マルチメディアメッセーングサービス)、CDMA(符号分割多元接続)、TDMA(時分割多元接続)、PDC(パーソナルデジタルセルラー)、WCDMA(登録商標) (広帯域符号分割多元接続)、CDMA2000、またはGPRS(汎用パケット無線サービス)など、様々なモードまたはプロトコルの下で通信を提供し得る。そのような通信は、たとえば、無線周波数を使用するトランシーバ768を通して起こり得る。さらに、たとえばBluetooth(登録商標)、WiFi、または他のそのようなトランシーバ(図示せず)を使用して、短距離通信が起こり得る。さらに、GPS(全地球測位システム)受信機モジュール770が、追加ナビゲーションおよびロケーション関連ワイヤレスデータをモバイルコンピューティングデバイス750に提供してよく、このデータは、必要に応じて、モバイルコンピューティングデバイス750上で稼動するアプリケーションによって使用され得る。

モバイルコンピューティングデバイス750は、オーディオコーデック760を使用して可聴的に通信することもでき、コーデック760は、発話情報を、ユーザから受信し、使用可能なデジタル情報に変換し得る。オーディオコーデック760は同様に、たとえば、モバイルコンピューティングデバイス750のハンドセット中のスピーカーを通すなどして、ユーザ向けの可聴音を生成し得る。そのような音は、ボイス通話からの音を含んでよく、記録された音(たとえば、ボイスメッセージ、音楽ファイルなど)を含んでよく、モバイルコンピューティングデバイス750上で動作するアプリケーションによって生成された音も含んでよい。

モバイルコンピューティングデバイス750は、図に示すように、いくつかの異なる形で実装されてよい。たとえば、セルラー電話780として実装され得る。また、スマートフォン782、携帯情報端末、または他の同様のモバイルデバイスの一部として実装され得る。

ここに記載するシステムおよび技法の様々な実装形態は、デジタル電子回路機構、集積回路機構、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合せで実現され得る。これらの様々な実装形態は、少なくとも1つのプログラム可能プロセッサを含むプログラム可能システム上で実行可能および/または翻訳可能な1つまたは複数のコンピュータプログラムでの実装を含んでよく、プログラム可能プロセッサは、記憶システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受信するように、ならびにそれらにデータおよび命令を送信するように結合された、特殊または一般的目的であってよい。

これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる)は、プログラム可能プロセッサ用の機械命令を含み、高度手続型および/もしくはオブジェクト指向プログラミング言語で、ならびに/またはアセンブリ/機械言語で実装され得る。本明細書で使用する機械可読媒体およびコンピュータ可読媒体という用語は、機械命令を機械可読信号として受信する機械可読媒体を含むプログラム可能プロセッサに、機械命令および/またはデータを提供するのに使用される、どのコンピュータプログラム製品、装置および/またはデバイス(たとえば、磁気ディスク、光ディスク、メモリ、プログラム可能論理デバイス(PLD))も指す。機械可読信号という用語は、プログラム可能プロセッサに機械命令および/またはデータを提供するのに使用されるどの信号も指す。

ユーザとの対話を可能にするために、ここで記載するシステムおよび技法は、ユーザに情報を表示するためのディスプレイデバイス(たとえば、CRT(陰極線管)やLCD(液晶ディスプレイ)モニタ)と、ユーザがコンピュータに入力を与え得るためのキーボードおよびポインティングデバイス(たとえば、マウスやトラックボール)とを有するコンピュータ上で実装することができる。他の種類のデバイスも、ユーザとの対話を可能にするのに使用することができ、たとえば、ユーザに与えられるフィードバックは、どの形の感覚フィードバック(たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)でもよく、ユーザからの入力は、音響、発話、または触覚入力を含む、どの形でも受信することができる。

ここで記載するシステムおよび技法は、バックエンド構成要素を(たとえば、データサーバとして)含む、もしくはミドルウェア構成要素(たとえば、アプリケーションサーバ)を含む、もしくはフロントエンド構成要素(たとえば、ここで記載するシステムおよび技法の実装形態とユーザが対話し得るためのグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ)、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素のどの組合せも含むコンピューティングシステムで実装することができる。システムの構成要素は、どの形または媒体のデジタルデータ通信(たとえば、通信ネットワーク)によっても相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、およびインターネットがある。

コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントとサーバは概して、互いから離れており、通常、通信ネットワークを通して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で稼動するとともに互いとのクライアント-サーバ関係を有するコンピュータプログラムにより発生する。

ここでのシステム、方法、デバイス、および他の技法がユーザについての個人情報(たとえば、コンテキストデータ)を収集するか、または個人情報を利用することができる状況において、ユーザには、プログラムまたは特徴がユーザ情報(たとえば、ユーザのソーシャルネットワーク、ソーシャルアクションもしくはアクティビティ、職業、ユーザの選好、またはユーザの現在のロケーションについての情報)を収集するかどうかを制御するための、あるいはユーザにより関連し得るコンテンツをコンテンツ配信システムから受信するかどうか、および/またはどのようにして受信するかを制御するための機会が与えられ得る。さらに、特定のデータが、記憶され、または使用される前に、個人的に識別可能な情報が削除されるように1つまたは複数のやり方で扱われ得る。たとえば、ユーザのアイデンティティが、ユーザについての個人を識別できる情報が判断され得ないように扱われてよく、またはユーザの地理的ロケーションが、ユーザの特定のロケーションを判断することができないように、ロケーション情報が取得されるように(たとえば、市、郵便番号、または州レベルに)一般化されてよい。したがって、ユーザは、情報がどのように、ユーザについて収集され、コンテンツ配信システムによって使用されるかに対する制御を有することができる。

以上、様々な実装形態を詳しく記載したが、他の修正が可能である。さらに、図面に示される論理フローは、望ましい結果を達成するのに、図示される特定の順序、または順番を求めない。さらに、他のステップが提供されてよく、またはステップが、記載したフローからなくされてよく、他の構成要素が、記載したシステムに追加され、もしくはそこから削除されてよい。したがって、他の実装形態は、以下の特許請求の範囲内である。たとえば、態様および実装形態を、ビデオクリップなどのサードパーティコンテンツに関して記載したが、態様および実装形態は、テキスト、画像、ビデオファイル、サウンドクリップ、広告、ビデオクリップなど、またはそれらの任意の組合せを含む、サードパーティによって提供されるどのタイプのコンテンツに適用されてもよい。

102 データ通信ネットワーク、ネットワーク
106 クライアントデバイス
108 コンテンツ配信サーバ
110 コンテンツデータベース
112 トレーニングデータベース
114 サードパーティコンテンツプロバイダ、コンテンツプロバイダ
116 モデル生成器
700 コンピューティングデバイス
702 プロセッサ
704 メモリ
706 記憶デバイス
708 高速インターフェース
710 高速拡張ポート
712 低速インターフェース
714 低速拡張ポート
716 ディスプレイ
720 標準サーバ
722 ラップトップコンピュータ
724 ラックサーバシステム
750 モバイルコンピューティングデバイス
752 プロセッサ
754 ディスプレイ
756 ディスプレイインターフェース
758 制御インターフェース
760 オーディオコーデック
762 外部インターフェース
764 メモリ
766 通信インターフェース
768 トランシーバ
770 GPS(全地球測位システム)受信機モジュール
772 拡張インターフェース
774 拡張メモリ
780 セルラー電話
782 スマートフォン

Claims (20)

1. 複数のユーザについての属性情報と、コンテンツ提示に続く前記複数のユーザによるオンライン挙動を定量化する対応するプロキシメトリックとを含む、トレーニングデータを記憶するトレーニングデータベースと、
   様々なサードパーティコンテンツプロバイダから受信されたサードパーティコンテンツを記憶するコンテンツデータベースと、
   前記トレーニングデータベース中の前記トレーニングデータにアクセスし、前記トレーニングデータに基づいて、サードパーティコンテンツ配信のためのモデルをトレーニングするモデル生成器と、
   クライアントデバイスにおいてコンテンツの別の部分とともに提示されるべきサードパーティコンテンツに対する要求を受信するコンテンツ配信サーバであって、前記要求に応答して、前記モデルを使用して、前記クライアントデバイスに配信されるべきサードパーティコンテンツを選択し、前記選択されたサードパーティコンテンツを識別するデータを前記クライアントデバイスに送信する、コンテンツ配信サーバと
   を備えるシステムであって、
   前記モデルは、
   前記要求から属性のセットを取得することであって、前記属性のセットは、前記要求に関連付けられたユーザについての情報に関する、取得することと、
   前記コンテンツデータベースに記憶された所与のサードパーティコンテンツについての情報を受信することと、
   前記所与のサードパーティコンテンツについて、前記属性のセットおよび前記サードパーティコンテンツについての前記情報に基づいてプロキシメトリックを予測することであって、前記予測されるプロキシメトリックは、前記所与のサードパーティコンテンツの提示から生じるサブジェクト維持またはサブジェクト認識のうちの少なくとも1つについての情報を提供する、予測することと、
   しきい値を満たす前記予測されるプロキシメトリックに基づいて、前記予測されるプロキシメトリックを使用して、および前記コンテンツ配信サーバ用に、配信のための前記所与のサードパーティコンテンツを識別することと
   を行う、システム。
2. 前記コンテンツデータベース中の前記所与のサードパーティコンテンツについての前記情報は、前記所与のサードパーティコンテンツのカテゴリ、前記所与のサードパーティコンテンツのための持続時間、および前記所与のサードパーティコンテンツの特徴のうちの少なくとも1つを含む、請求項1に記載のシステム。
3. 前記トレーニングデータベースは、特定のサードパーティコンテンツを前記クライアントデバイスに表示することに関連付けられたプロキシメトリックをさらに受信し、前記モデル生成器は、前記特定のサードパーティコンテンツを前記クライアントデバイスに表示することに関連付けられた、前記受信されたプロキシメトリックを使用して、前記モデルをさらに再トレーニングする、請求項1または2に記載のシステム。
4. 前記モデルは、属性情報のいくつかのカテゴリをさらに重み付けし、重み付けされた属性情報に基づいて前記プロキシメトリックを予測する、請求項1、2または3に記載のシステム。
5. サードパーティコンテンツについての前記要求は既知の属性情報を含まず、前記モデルは、属性情報にかかわらずトレーニングデータを識別する、請求項1から4のいずれか一項に記載のシステム。
6. 前記プロキシメトリックは、ビデオコンテンツのクリック、前記ビデオコンテンツに関連付けられた視聴時間、前記ビデオコンテンツに関連付けられたスキップ時間、前記ビデオコンテンツに関連付けられた視認性メトリック、および前記ビデオコンテンツに関連付けられた聴認性のうちの少なくとも1つを含む、請求項1から5のいずれか一項に記載のシステム。
7. 前記様々なサードパーティコンテンツプロバイダから受信された前記サードパーティコンテンツの各サードパーティコンテンツは、サブジェクト維持またはサブジェクト認識に対する選好を含む、請求項1から6のいずれか一項に記載のシステム。
8. 前記モデルは、前記選好に基づいて、前記所与のサードパーティコンテンツを識別する、請求項1から7のいずれか一項に記載のシステム。
9. 前記モデル生成器は、特定のプロキシメトリックとサブジェクト維持との間の相関を識別し、記憶する、請求項1から8のいずれか一項に記載のシステム。
10. 前記モデル生成器は、特定のプロキシメトリックとサブジェクト認識との間の相関を識別し、記憶する、請求項1から9のいずれか一項に記載のシステム。
11. 前記モデルは、ロジスティック回帰機械学習および線形回帰機械学習のうちの少なくとも1つを使用して、前記プロキシメトリックを予測する、請求項1から10のいずれか一項に記載のシステム。
12. コンピュータ実装方法であって、
    複数のユーザについての属性情報と、コンテンツ提示に続くオンライン挙動を定量化する対応するプロキシメトリックとを含む、トレーニングデータをトレーニングデータベース中に記憶するステップと、
    様々なサードパーティコンテンツプロバイダから受信されたサードパーティコンテンツを、コンテンツデータベース中に記憶するステップと、
    モデル生成器によって、前記トレーニングデータベース中の前記トレーニングデータにアクセスし、前記トレーニングデータベースに基づいて、サードパーティコンテンツ配信のためのモデルをトレーニングするステップと、
    クライアントデバイスにおいてコンテンツの別の部分とともに提示されるべきサードパーティコンテンツに対する要求を、コンテンツ配信サーバによって受信するステップと、
    前記要求に応答して、前記クライアントデバイスに配信されるべきサードパーティコンテンツを、前記コンテンツ配信サーバによって、および前記モデルを使用して選択するステップであって、前記モデルは、
    前記要求から属性のセットを取得することであって、前記属性のセットは、前記要求に関連付けられたユーザについての情報に関する、取得することと、
    前記コンテンツデータベースに記憶された所与のサードパーティコンテンツについての情報を受信することと、
    前記所与のサードパーティコンテンツについて、前記属性のセットおよび前記サードパーティコンテンツについての前記情報に基づいてプロキシメトリックを予測することであって、前記予測されるプロキシメトリックは、前記所与のサードパーティコンテンツの提示から生じるサブジェクト維持またはサブジェクト認識のうちの少なくとも1つについての情報を提供する、予測することと、
    しきい値を満たす前記予測されるプロキシメトリックに基づいて、前記予測されるプロキシメトリックを使用して、および前記コンテンツ配信サーバ用に、配信のための前記所与のサードパーティコンテンツを識別することと
    を行う、ステップと
    前記選択されたサードパーティコンテンツを識別するデータを、前記コンテンツ配信サーバによって前記クライアントデバイスに送信するステップと
    を含む方法。
13. 前記コンテンツデータベース中の前記所与のサードパーティコンテンツについての前記情報は、前記所与のサードパーティコンテンツのカテゴリ、前記所与のサードパーティコンテンツのための持続時間、および前記所与のサードパーティコンテンツの特徴のうちの少なくとも1つを含む、請求項12に記載のコンピュータ実装方法。
14. 前記トレーニングデータベースによって、特定のサードパーティコンテンツを前記クライアントデバイスに表示することに関連付けられたプロキシメトリックを受信するステップと、
    前記特定のサードパーティコンテンツを前記クライアントデバイスに表示することに関連付けられた、前記受信されたプロキシメトリックを使用して前記モデルを再トレーニングするステップと
    をさらに含む、請求項12または13に記載のコンピュータ実装方法。
15. 前記モデルは、属性情報のいくつかのカテゴリをさらに重み付けし、重み付けされた属性情報に基づいて前記プロキシメトリックを予測する、請求項12、13または14に記載のコンピュータ実装方法。
16. 前記プロキシメトリックは、ビデオコンテンツのクリック、前記ビデオコンテンツに関連付けられた視聴時間、前記ビデオコンテンツに関連付けられたスキップ時間、前記ビデオコンテンツに関連付けられた視認性メトリック、および前記ビデオコンテンツに関連付けられた聴認性のうちの少なくとも1つを含む、請求項12から15のいずれか一項に記載のコンピュータ実装方法。
17. 前記様々なサードパーティコンテンツプロバイダから受信された前記サードパーティコンテンツの各サードパーティコンテンツは、サブジェクト維持またはサブジェクト認識に対する選好を含む、請求項12から16のいずれか一項に記載のコンピュータ実装方法。
18. 特定のプロキシメトリックとサブジェクト維持との間の相関を識別し、記憶するステップをさらに含む、
    請求項12から17のいずれか一項に記載のコンピュータ実装方法。
19. 特定のプロキシメトリックとサブジェクト認識との間の相関を識別し、記憶するステップをさらに含む、
    請求項12から18のいずれか一項に記載のコンピュータ実装方法。
20. 1つまたは複数のプロセッサによって実行されると、動作の実施を引き起こす命令を記憶した1つまたは複数のコンピュータ可読記録媒体であって、前記動作は、
    複数のユーザについての属性情報と、コンテンツ提示に続くオンライン挙動を定量化する対応するプロキシメトリックと、を含むトレーニングデータをトレーニングデータベース中に記憶する動作と、
    様々なサードパーティコンテンツプロバイダから受信されたサードパーティコンテンツを、コンテンツデータベース中に記憶する動作と、
    前記トレーニングデータベース中の前記トレーニングデータにアクセスし、前記トレーニングデータベースに基づいて、サードパーティコンテンツ配信のためのモデルをトレーニングする動作と、
    クライアントデバイスにおいてコンテンツの別の部分とともに提示されるべきサードパーティコンテンツに対する要求を受信する動作と、
    前記要求に応答して、前記クライアントデバイスに配信されるべきサードパーティコンテンツを、前記モデルを使用して選択する動作であって、前記モデルは、
    前記要求から属性のセットを取得することであって、前記属性のセットは、前記要求に関連付けられたユーザについての情報に関する、取得することと、
    前記コンテンツデータベースに記憶された所与のサードパーティコンテンツについての情報を受信することと、
    前記所与のサードパーティコンテンツについて、前記属性のセットおよび前記サードパーティコンテンツについての前記情報に基づいてプロキシメトリックを予測することであって、前記予測されるプロキシメトリックは、前記所与のサードパーティコンテンツの提示から生じるサブジェクト維持またはサブジェクト認識のうちの少なくとも1つについての情報を提供する、予測することと、
    しきい値を満たす前記予測されるプロキシメトリックに基づいて、前記予測されるプロキシメトリックを使用して、およびコンテンツ配信サーバ用に、配信のための前記所与のサードパーティコンテンツを識別することと
    を行う、動作と、
    前記選択されたサードパーティコンテンツを識別するデータを前記クライアントデバイスに送信する動作と
    を含む、コンピュータ可読記録媒体。