JP2013502018A - リアルタイム広告入札に対して競争評価モデルを使用するための学習システム - Google Patents

リアルタイム広告入札に対して競争評価モデルを使用するための学習システム Download PDF

Info

Publication number
JP2013502018A
JP2013502018A JP2012524924A JP2012524924A JP2013502018A JP 2013502018 A JP2013502018 A JP 2013502018A JP 2012524924 A JP2012524924 A JP 2012524924A JP 2012524924 A JP2012524924 A JP 2012524924A JP 2013502018 A JP2013502018 A JP 2013502018A
Authority
JP
Japan
Prior art keywords
data
advertisement
real
advertising
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012524924A
Other languages
English (en)
Other versions
JP2013502018A5 (ja
JP5662446B2 (ja
Inventor
ウィラード エル シモンズ
サンドロ エヌ カタンザーロ
Original Assignee
データシュー インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by データシュー インコーポレイテッド filed Critical データシュー インコーポレイテッド
Publication of JP2013502018A publication Critical patent/JP2013502018A/ja
Publication of JP2013502018A5 publication Critical patent/JP2013502018A5/ja
Application granted granted Critical
Publication of JP5662446B2 publication Critical patent/JP5662446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0243—Comparative campaigns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0249—Advertisements based upon budgets or funds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G06Q30/0275—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination

Landscapes

  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本発明の一実施形態では、広告を掲載する要求の受信に応答して、複数の競争経済評価モデルを使用して複数の広告掲載、広告、及び広告−広告掲載の組合せの各々に対する経済評価を予測するための改良された機能を説明する。経済評価モデルは、リアルタイムイベントデータ、履歴イベントデータ、ユーザデータ、第三者商業データ履歴広告インプレッション、広告主データ、広告代理店データ、履歴広告パフォーマンスデータ、及びマシーン学習に少なくとも一部基づくことができる。更に、本発明の方法及びシステムに基づくコンピュータプログラム製品は、複数の競争経済評価モデルの各々によって生成された各経済評価を査定し、広告掲載、広告、及び／又は広告−広告掲載の組合せの現在の評価として１つを選択することができる。
【選択図】図１Ａ

Description

〔関連出願への相互参照〕
本出願は、本明細書にその全内容が引用により組み込まれている「広告の配信のためのリアルタイム入札システム」という名称の２００９年８月１４日出願の出願番号第６１／２３４，１８６号による本出願人所有の米国特許仮出願の利益を請求する。
本発明は、デジタル媒体に関連付けられた履歴及びリアルタイムデータの使用と広告媒体の価格設定及び配信の調節のためのその使用とに関連するものである。
デジタル媒体ユーザへの広告呈示の管理はバッチモード最適化方式によって特徴付けられることが多く、その場合、ユーザが選んだグループへ提示するために広告コンテンツが選択され、パフォーマンスデータが収集及び分析され、そして、最適化段階がより良好な将来の広告パフォーマンスに対して実施される。情報に基づく広告とユーザのペアリング及び他の技術を介し、例えば完了した取引などの広告パフォーマンス基準を改善する目的で、一連の最適化分析のために上記処理が繰返し実行される。しかし、この最適化フレームワークは、いくつかの重要な点で制限される。例えば、ソーシャルネットワーキングなどの一般的な革新技術によってもたらされたデジタル媒体ユーザの成長を考えると、産業界を導いてきた現在の殆どの広告パフォーマンスモデリングで行われている事前計画のバッチモード分析では対応かつ分析できないデジタル媒体の利用に関し、過剰なデータが存在する。更に、広告分析のバッチモードは、ユーザ行為又はユーザ集団に生じ、絶えず変化し続ける広告インプレッションシーケンスには対応しないコンテンツのグループ分けを強いる場合がある。この結果、広告コンテンツの提供者は、様々な広告ネットワークによって使用される複数の最適化技術及び基準に少なくとも一部基づき、彼らの広告を配信する上でいくつかの広告ネットワークを利用するよう不要に強制される場合がある。これは、冗長性を生じさせ、かつデジタル媒体ユーザ全体における時間の経過に伴う広告のインプレッションの価値と、そのパフォーマンスとを評価する機能を制限する場合がある。
したがって、広告パフォーマンスに関連する履歴及びリアルタイムデータを学習システムの一部として使用できるようにした自動分析技術を用いて、広告選択を最適化して広告提示の評価を助けるといった、デジタル媒体ユーザに対する広告インプレッション評価の方法及びシステムのニーズがある。
一実施形態では、本発明は、広告を掲載する要求の受信に応答して複数の広告掲載の各々に対する経済評価を予測するために複数の競争経済評価モデルを使用する方法及びシステムを提供することができる。経済評価モデルは、リアルタイムイベントデータ、履歴イベントデータ、ユーザデータ、第三者商業データ履歴広告インプレッション、広告主データ、広告代理店データ、履歴広告パフォーマンスデータ、及び機械学習に少なくとも一部基づくことができる。更に、本発明の方法及びシステムに基づくコンピュータプログラム製品は、１以上のコンピュータ上で実行された時、複数の競争経済評価モデルの各々によって生成された各経済評価を査定し、広告掲載の現在の評価として１つを選択する段階を実行することができる。
一実施形態においてでは、本発明の方法及びシステムに基づくコンピュータプログラム製品は、１以上のコンピュータ上で実行された時に、広告を掲載する要求の受信に応答して複数の広告掲載の各々に対する経済評価を予測するため、複数の競争経済評価モデルを配備する段階を実行することができる。一実施形態では、要求を提供者から受信することができ、推薦された入札額が提供者に自動的に送信される。別の実施形態では、要求を提供者から受信することができ、推薦された入札額に等しい入札を提供者の代わりに自動的に入れることができる。更に、推薦された入札額は、広告掲載の推薦された時間に関連付けることができる。一実施形態では、推薦された入札額は、リアルタイム入札マシーンに関連付けることができるリアルタイム入札ログの分析によって導出することができる。
一実施形態において、本発明の方法及びシステムに基づくコンピュータプログラム製品は、１以上のコンピュータ上で実行された時に、広告掲載の第１の評価として１つの評価を選択するために、複数の競争経済評価モデルの各々によって生成された各経済評価を査定する段階を実行することができる。更に、コンピュータプログラム製品は、複数の競争経済評価モデルの各々によって生成された各評価を再査定し、広告掲載の修正された評価として１つの評価を選択することができる。修正された評価は、第１の評価を選択した時に利用できなかったリアルタイムイベントデータを使用できる経済評価モデルの分析に少なくとも一部基づくことができる。更に、コンピュータプログラム製品は、第１の評価を、広告配置のための推奨入札額を導出する際に使用する第２の修正された評価で置換することができる。
一実施形態では、本発明の方法及びシステムに基づくコンピュータプログラム製品は、１以上のコンピュータ上で実行された時に、広告掲載の要求の受信に応答して、複数の利用可能な広告掲載に関する情報を査定するために複数の競争経済評価モデルを配備して、各広告掲載に対する経済評価を予測する段階を実行することができる。更に、コンピュータプログラム製品は、複数の競争経済評価モデルの各々によって生成された各経済評価を査定し、広告掲載の将来の評価として１つの評価を選択することができる。
一実施形態では、本発明の方法及びシステムに基づくコンピュータプログラム製品は、１以上のコンピュータ上で実行された時に、広告掲載の要求の受信に応答して、複数の競争経済評価モデルを配備して複数の広告掲載の各々に対する経済評価を予測し、複数の利用可能な広告掲載に関する情報を査定する段階を実行することができる。更に、コンピュータプログラム製品は、広告掲載の将来の評価として１つの評価を選択するために、複数の競争経済評価モデルの各々によって生成された各経済評価をリアルタイムで査定することができる。一実施形態では、将来の評価は、将来のイベントを説明するシミュレーションデータに少なくとも一部基づくことができる。更に、将来のイベントは、株価の変動とすることができる。更に、将来のイベントを説明するシミュレーションデータは、履歴イベントデータの分析から導出することができる。
一実施形態では、本発明の方法及びシステムに基づくコンピュータプログラム製品は、１以上のコンピュータ上で実行された時に、広告掲載の要求の受信に応答して、広告掲載に入札するために複数の利用可能な広告掲載に関する複数の競争リアルタイム入札アルゴリズムを配備する段階を実行することができる。競争リアルタイム入札アルゴリズムは、リアルタイム入札ログからのデータを使用することができる。更に、コンピュータプログラム製品は、好ましいアルゴリズムを選択するために各入札アルゴリズムを査定することができる。
一実施形態では、本発明の方法及びシステムに基づくコンピュータプログラム製品は、１以上のコンピュータ上で実行された時に、広告掲載の要求の受信に応答して、広告掲載に入札するために複数の利用可能な広告掲載に関する複数の競争リアルタイム入札アルゴリズムを配備することができる。更に、コンピュータプログラム製品は、競争リアルタイム入札アルゴリズムによって作成された各入札推薦を査定することができる。更に、コンピュータプログラム製品は、修正された入札推薦として１つの入札推薦を選択するために、競争リアルタイム入札アルゴリズムによって生成された各入札推薦を再査定することができる。修正された入札推薦は、入札推薦を選択した時に利用できなかったリアルタイムイベントデータを使用するリアルタイム入札アルゴリズムに少なくとも一部基づくことができる。更に、コンピュータプログラム製品は、広告掲載に対する推薦された入札額を導出する際に使用する修正された入札推薦で、この入札推薦を置換することができる。この置換は、広告を掲載する要求の受信に対してリアルタイムで実行することができる。
本発明を所定の好ましい実施形態に関して説明したが、他の実施形態も、当業者によって理解されると考えられ、かつ本明細書に含まれるものである。
本発明及び所定の実施形態の以下の詳細説明は、以下の図を参照することによって理解することができる。
広告の配信のためのリアルタイム入札方法及びシステムを示す図である。 複数の取引所にわたるリアルタイム入札システムの実行を示す図である。 入札管理を最適化するための学習方法及びシステムを示す図である。 主要パフォーマンス指標に関連付けられたメディア成功を予測するために使用することができるサンプルデータドメインを示す図である。 より良いアルゴリズムの実行が検出される広告キャンペーンに関する訓練マルチアルゴリズムを示す図である。 入札評価のためのマイクロ−セグメンテーションの使用を示す図である。 広告キャンペーンのマイクロセグメンテーション分析を示す図である。 広告閲覧回数分析を通じた価格設定の最適化を示す図である。 リアルタイム入札システム内の最新性分析を通じて価格設定を最適化することができる方法を示す図である。 入札評価のためのナノ−セグメンテーションの使用を示す図である。 主要メディア供給チェーン内のリアルタイム入札方法及びシステムのサンプル統合を示す図である。 リアルタイム入札方法及びシステムを使用した仮定事例研究を示す図である。 リアルタイム入札方法及びシステムを使用して２つの広告キャンペーンを比較する第２の仮定事例研究を示す図である。 リアルタイム入札方法及びシステムを使用する場合にユーザが用いることができる主な段階を要約したフロー図の形式の簡略化された使用事例を示す図である。 リアルタイム入札システムに関連付けることができるピクセルプロビジョニングシステムのためのユーザインタフェースの例示的な実施形態を示す図である。 リアルタイム入札システムに関連付けることができるインプレッションレベルデータの例示的な実施形態を示す図である。 仮定広告キャンペーンパフォーマンスレポートを示す図である。 オンライン広告掲載の購入のためのリアルタイム入札及び評価のための入札評価ユニットを示す図である。 オンライン広告掲載の購入のためのリアルタイム入札及び経済評価の方法を示す図である。 入札額を判断する方法を示す図である。 広告の最適掲載位置に自動的に入札する方法を示す図である。 本発明の実施形態によりオンライン広告購入のための入札をターゲットにするために使用することができる分析プラットフォームの機能を示す図である。 経済評価に基づく複数の利用可能な掲載位置の少なくとも１つを選択してユーザに呈示する方法を示す図である。 経済評価から導出される利用可能な広告掲載の優先順位付けの方法を示す図である。 オンライン広告の入札に対する購入価格傾向を予測するための代替アルゴリズムを選択するためのリアルタイムユニットを示す図である。 現在の市場条件に基づいて広告掲載のパフォーマンスを予測する方法を示す図である。 経済評価を予測する１次モデルと第２のモデル間の優先権を判断する方法を示す図である。 経済評価を予測する１次モデルと第２のモデル間の優先権を判断する方法を示す図である。 広告掲載に対するリアルタイム入札における複数の競争評価モデルから１つを選択する方法を示す図である。 広告掲載に対する推薦された入札額を導出するための第２の経済評価モデルによって、第１の経済評価モデルを置換する方法を示す図である。 複数の経済評価モデルを査定して広告掲載の将来の評価として１つの評価を選択する方法を示す図である。 リアルタイムで複数の経済評価モデルを査定し、広告掲載の将来の評価として１つの評価を選択する方法を示す図である。 広告を掲載するための好ましいアルゴリズムを選択するために、複数の入札アルゴリズムを評価する方法を示す図である。 入札推薦を広告掲載に対する修正された入札推薦で置換する方法を示す図である。 付加的な第三者データの価値を測定するためのリアルタイムユニットを示す図である。 付加的な第三者データの価値を測定する機能を有する広告評価の方法を示す図である。 第三者データセットの評価を計算し、広告主に評価の一部分を課金する方法を示す図である。 第三者データセットの評価を計算し、この評価に少なくとも一部基づいて、広告コンテンツの掲載位置に提供者が支払うための入札額推薦を較正する方法を示す図である。 一日の時間対一週間の曜日毎の広告パフォーマンスの要約を提示するデータ視覚化の実施形態を示す図である。 人口密度毎の広告パフォーマンスの要約を提示するデータ視覚化の実施形態を示す図である。 米国の地理的領域毎の広告パフォーマンスの要約を提示するデータ視覚化の実施形態を示す図である。 個人の収入毎の広告パフォーマンスの要約を提示するデータ視覚化の実施形態を示す図である。 性別毎の広告パフォーマンスの要約を提示するデータ視覚化の実施形態を示す図である。 広告キャンペーンに対するカテゴリ毎の親和性指標を示す図である。 インプレッション数毎のページ訪問の要約を提示するデータ視覚化の実施形態を示す図である。
図１Ａを参照すると、複数のコンテンツ配信チャンネルにわたってスポンサー付きコンテンツ購入機会を選択して評価し、リアルタイム入札をし、かつ広告のようなスポンサー付きコンテンツを掲載するための本明細書に説明する方法及びシステムによるリアルタイム入札システム１００Ａを使用することができる。リアルタイム入札ユニットは、複数の広告（アド）配信チャンネルにわたってスポンサー付きコンテンツを掲載するための機会の購入を通知することができる。リアルタイム入札ユニットは、更に、広告パフォーマンスに関連するデータの収集を可能にし、このデータを使用して広告を掲載したい当事者に進行中のフィードバックを提供し、スポンサー付きコンテンツを提示するのに使用される広告配信チャンネルを自動的に調節してターゲットにすることができる。リアルタイム入札システム１００Ａは、各掲載位置機会に示されている特定の広告タイプ、及び時間の経過に伴う広告掲載の関連付けられたコストの選択を容易にすることができる（かつ例えば掲載位置を時間毎に調節することができる）。リアルタイムユニットは、評価アルゴリズムを使用して広告の評価を容易にすることができ、更に、広告主１０４に対する投資収益率を最適化することができる。
リアルタイム入札システム１００Ａは、広告代理店１０２、又は広告主１０４、広告ネットワーク１０８、広告取引所１１０、又は提供者１１２、分析ユニット１１４、広告タグ付けユニット１１８、広告注文送信及び受信ユニット１２０、及び広告配信サービスユニット１２２、広告データ配信サービスユニット１２４、広告表示クライアントユニット１２８、広告パフォーマンスデータユニット１３０、状況分析サービスユニット１３２、データ統合ユニット１３４、及び広告及び／又は広告パフォーマンスに関連するデータの様々なタイプを提供する１つ又はそれよりも多くのデータベースのような１つ又はそれよりも多くの配信サービス消費者を含むことができ、及び／又はこれに更に関連付けることができる。本発明の一実施形態では、リアルタイム入札システム１００Ａは、学習マシーンユニット１３８、評価アルゴリズムユニット１４０、リアルタイム入札マシーンユニット１４２、追跡マシーンユニット１４４、インプレッション／クリック／アクションログユニット１４８、及びリアルタイム入札ログユニット１５０を少なくとも一部含むことができる分析ユニットを含むことができる。
一実施形態では、広告、広告パフォーマンス、又は広告掲載状況に関するデータをリアルタイム入札システム１００Ａ及び学習マシーンユニット１３８に提供する１つ又はそれよりも多くのデータベースは、代理店データベース及び／又は広告主データベース１５２を含むことができる。代理店データベースは、キャンペーン記述子を含むことができ、チャンネル、タイムライン、予算、及び広告の使用及び配信に関する履歴情報を含む他の情報を説明することができる。代理店データ１５２はまた、ユーザに表示される各広告に対する掲載位置を含むことができるキャンペーン及び履歴ログを含むことができる。代理店データ１５２はまた、ユーザの識別子、ウェブページ状況、時間、支払われる価格、表示される広告メッセージ、及び結果のユーザアクション、又はキャンペーン又は履歴ログデータの何らかの他のタイプのうちの１つ又はそれよりも多くを含むことができる。広告主データベースは、ビジネス情報データ、又は動的及び／又は静的マーケティング目標を説明することができるデータの何らかの他のタイプを含むことができ、又は広告主１０４のオペレーションを説明することができる。実施例では、所定の製品の過剰在庫の量（広告主１０４がその倉庫に有するもの）を広告主データ１５２によって説明することができる。別の実施例では、データは、広告主１０４と対話した時に顧客によって実行される購入を説明することができる。
一実施形態では、１つ又はそれよりも多くのデータベースは、履歴イベントデータベースを含むことができる。履歴イベントデータ１５４は、例えば、ユーザが位置する領域で起こった他のイベントにユーザイベントの時間を相関付けるために使用することができる。実施例では、特定のタイプの広告に対する反応速度を株価の動きに相関付けることができる。履歴イベントデータ１５４は、以下に限定されるものではないが、天気データ、イベントデータ、ローカルニュースデータ、又は何らかの他のタイプのデータを含むことができる。
一実施形態では、１つ又はそれよりも多くのデータベースは、ユーザデータ１５８のデータベースを含むことができる。ユーザデータ１５８は、広告受信者に関する個人的にリンクされた情報を収容することができる第三者によって内部で発信及び／又は提供することができるデータを含むことができる。この情報は、ユーザに優先権を又はユーザをラベル付け、説明、又はカテゴライズするために使用することができる他の指標を関連付けることができる。
一実施形態では、１つ又はそれよりも多くのデータベースは、リアルタイムイベントデータベースを含むことができる。リアルタイムイベントデータベース１６０は、履歴データに類似したデータであるが、より最新のデータを含むことができる。リアルタイムイベントデータ１６０は、以下に限定されるものではないが、現在の秒、分、時間、日、又は時間の何らかの他の尺度であるデータを含むことができる。実施例では、学習マシーンユニット１３８が広告パフォーマンスと履歴株価指標値間の相関関係を見つけた場合、リアルタイム株価指標値は、リアルタイム入札マシーンユニット１４２によって広告を評価するために使用することができる。
一実施形態では、１つ又はそれよりも多くのデータベースは、提供者、提供者のコンテンツ（例えば、提供者のウェブサイト）などに関連付けられる状況データ１６２を提供することができる状況データベースを含むことができる。状況データ１６２は、以下に限定されるものではないが、広告内で見つけられたキーワード、広告の以前の掲載位置に関連付けられたＵＲＬ、又は何らかの他のタイプの状況データ１６２を含むことができ、提供者のコンテンツに関する分類化メタデータとして格納することができる。一実施例では、このような分類化メタデータは、第１の提供者のウェブサイトが金融コンテンツに関連付けられ、第２の提供者のコンテンツが主にスポーツに関連付けられることを記録することができる。
一実施形態では、１つ又はそれよりも多くのデータベースは、第三者／商業データベースを更に含むことができる。第三者／商業データベースは、小売り取引から導出された店頭スキャナデータのような消費者取引に関するデータ１６４、又は第三者又は商業データの何らかの他のタイプを含むことができる。
本発明の一実施形態では、１つ又はそれよりも多くのデータベースからのデータは、データ統合ユニット１３４を通じてリアルタイム入札システム１００Ａの分析ユニット１１４と共有することができる。一実施例では、データ統合ユニット１３４は、候補広告及び／又は広告掲載を評価するために１つ又はそれよりも多くのデータベースからのデータをリアルタイム入札システム１００Ａの分析ユニットに提供することができる。例えば、データ統合ユニット１３４は、利用可能なデータベース（例えば、ユーザデータ１５８及びリアルタイムイベントデータ１６０）から受信した複数のデータタイプを結合、融合、分析、又は統合することができる。一実施形態では、状況分析器は、ウェブコンテンツを分析し、ウェブページがスポーツ、金融、又は何らかの他のトピックに関するコンテンツを収容するか否かを判断することができる。この情報は、関連の提供者及び／又は広告が現れるウェブページを識別するために分析プラットフォームユニット１１４への入力として使用することができる。
一実施形態では、リアルタイム入札システム１００Ａの分析ユニットは、広告注文送信及び受信ユニット１２０を通じて広告要求を受信することができる。広告要求は、広告代理店１０２、広告主１０４、広告ネットワーク１０８、広告取引所１１０、及び提供者１１２又は広告コンテンツを要求する何らかの他の当事者から発生させることができる。例えば、追跡マシーンユニット１４４は、広告注文送信及び受信ユニット１２０を通じて広告要求を受信することができ、広告タグ付けユニット１１８を使用して広告タグのような識別子を各広告注文に取り付ける段階、及び広告掲載をもたらす段階を含むことができるサービスを提供することができる。この広告追跡ユニットは、リアルタイム入札システム１００Ａが広告パフォーマンスデータ１３０を追跡、収集、及び分析することを可能にする。例えば、オンライン表示広告に追跡ピクセルを使用してタグ付けすることができる。ピクセルが追跡マシーンユニット１４４からサービスを受けた状態で、ピクセルは、掲載位置機会、並びに機会の時間及び日付を記録することができる。本発明の別の実施形態では、追跡マシーンユニット１４４は、広告要求者、ユーザ、及び以下に限定されるものではないが、インターネットプロトコル（ＩＰ）アドレス、広告及び／又は広告掲載の状況、ユーザの履歴、ユーザの地理的位置情報、ソーシャル挙動、推測される人口統計を含むユーザをラベル付けする他の情報のＩＤを記録することができ、又はデータ広告インプレッション、ユーザクリックスルー、アクションログの何らかの他のタイプ、又はデータの何らかの他のタイプを追跡マシーンユニット１４４によって生成することができる。
一実施形態では、記録されたログなどのデータタイプを学習マシーンユニット１３８によって使用することができ、本明細書で説明するように、ターゲット化及び評価アルゴリズム１４０を改良及びカスタマイズすることができる。学習マシーンユニット１３８は、所定のクライアントに対して適切に施行される広告に関する規則を作成することができ、作成された規則に基づいて広告キャンペーンのコンテンツを最適化することができる。更に、本発明の一実施形態では、学習マシーンユニット１３８は、リアルタイム入札マシーンユニット１４２に対するターゲット化アルゴリズムを開発するために使用することができる。学習マシーンユニット１３８は、インターネットプロトコル（ＩＰ）アドレス、広告及び／又は広告掲載の状況、広告掲載ウェブサイトのＵＲＬ、ユーザの履歴、ユーザの地理的位置情報、ソーシャル挙動、推測される人口統計、又はユーザのあらゆる他の特徴、又はユーザにリンクすることができるもの、広告概念、広告サイズ、広告フォーマット、広告カラー、又は広告のあらゆる他の特徴、又は中でも広告及び広告掲載機会をターゲット化及び評価するために使用することができるデータの何らかの他のタイプを含むパターンを学習することができる。本発明の一実施形態では、広告をターゲットにするために学習パターンを使用することができる。更に、学習マシーンユニット１３８は、図１に示すように、１つ又はそれよりも多くのデータベースに結合することができ、１つ又はそれよりも多くのデータベースからターゲット化及び／又は評価アルゴリズム１４０を更に最適化するのに必要な付加的なデータを取得することができる。
本発明の一実施形態では、広告主１０４は、広告を掲載することができる場所及び時間を制限する命令と共に「注文」を掲載することができる。広告主１０４からの注文は、学習マシーンユニット又はプラットフォームの別の要素によって受信することができる。広告主１０４は、成功する広告キャンペーンに対する「適合度」の基準を指定することができる。更に、追跡マシーンユニット１４４は、「適合度」基準を測定するために使用することができる。広告主１０４はまた、分析の結果をブートストラップするために、「注文」に関連付けられる履歴データを提供することができる。従って、１つ又はそれよりも多くのデータベースから利用可能なデータ及び広告主１０４によって提供されたデータに基づいて、学習マシーンユニット１３８は、広告に対するカスタマイズされたターゲット化アルゴリズムを開発することができる。ターゲット化アルゴリズムは、特定の条件下で（例えば、モデリングの一部としてリアルタイムイベントデータ１６０を使用して）広告の予測される価値を計算することができる。ターゲット化アルゴリズムはまた、示された「適合度」基準を最大にすることを試みることができる。学習マシーンユニット１３８によって開発されたターゲット化アルゴリズムは、広告を掲載する機会を待つことができるリアルタイム入札マシーン１４２によって受信することができる。本発明の一実施形態では、リアルタイム入札マシーンユニット１４２はまた、広告注文送信及び受信ユニット１２０を通じて広告及び／又は入札要求を受信することができる。リアルタイム入札マシーンユニット１４２は、時間制約に関連付けられた広告又は入札要求に応答することができるので「リアルタイム」ユニットと考えることができる。リアルタイム入札マシーンユニット１４２は、システムが判断するのをユーザが待つ間、表示される広告メッセージを計算するための非ステートレス方法を使用することができる。リアルタイム入札マシーンユニット１４２は、学習マシーンユニット１３８によって提供されるアルゴリズムを使用してリアルタイム計算を実行することができ、最適入札値を動的に推定することができる。一実施形態では、代替のリアルタイム入札マシーンユニット１４２は、提示する広告を判断するためのステートレス構成を有することができる。
リアルタイム入札マシーンユニット１４２は、履歴及びリアルタイムデータを配合し、広告及び／又は広告掲載機会に関連付けるためのリアルタイム入札値を計算するための評価アルゴリズムを生成することができる。リアルタイム入札マシーンユニット１４２は、インターネットプロトコル（ＩＰ）アドレス、広告及び／又は広告掲載の状況、ユーザの履歴、ユーザの地理的位置情報、ソーシャル挙動、推測される人口統計、又は何らかの他のタイプのデータに関する情報を結合した予測値を計算することができる。一実施形態では、リアルタイム入札マシーンユニット１４２は、追跡マシーン１４４又は広告パフォーマンスデータを使用することによって機会主義的アルゴリズム更新を使用し、各アルゴリズムのパフォーマンスに少なくとも一部基づいてアルゴリズムを順序付け及び優先順位付けすることができる。学習マシーンユニット１３８は、マシーン学習ユニット及びリアルタイム入札ユニットにおける複数の競争アルゴリズムのオープンリストから使用及び選択することができる。リアルタイム入札マシーン１４２は、制御システム理論を使用して、広告のセットの配信の価格設定及び速度を制御することができる。更に、リアルタイム入札マシーンユニット１４２は、勝敗入札データを使用して、ユーザプロフィールを作成することができる。また、リアルタイム入札マシーン１４２は、予測される値を広告受信者の地理における現在のイベントに相関付けることができる。リアルタイム入札マシーンユニット１４２は、複数の取引所にわたって広告購入をトレードすることができ、従って、在庫の単一ソースとして複数の取引を処理し、リアルタイム入札システム１００Ａによってモデル化された評価に少なくとも一部基づいて広告を選択及び購入することができる。
一実施形態では、リアルタイム入札システム１００Ａは、リアルタイム入札マシーンユニット１４２によって受信した入札要求及び送信された入札応答を記録することができるリアルタイム入札ログユニットを更に含むことができる。本発明の一実施形態では、リアルタイム入札ログは、ユーザに関連付けられた付加的なデータをログすることができる。実施例では、付加的なデータは、ユーザが訪問することができるウェブサイトの詳細を含むことができる。これらの詳細は、ユーザの関心又は走査検索習慣を取得するために使用することができる。更に、リアルタイム入札ログユニットは、様々な広告チャンネルからの広告掲載機会の到着の速度を記録することができる。本発明の一実施形態では、リアルタイム入札ログユニットはまた、学習マシーンユニット１３８に結合することができる。
一実施形態では、リアルタイム入札マシーン１４２は、学習マシーンユニット１３８に関連付けられる評価アルゴリズム１４０に少なくとも一部基づいて、広告に対する複数の候補掲載位置の各々に対する予測される経済評価を動的に判断することができる。広告を掲載する要求の受信に応答して、リアルタイム入札マシーンユニット１４２は、広告に対する複数の候補掲載位置の各々に対する予測経済評価を動的に判断することができ、１つ又はそれよりも多くの配信サービス消費者に経済評価に基づく利用可能な掲載位置を提示するか否かを選択及び決定することができる。
一実施形態では、リアルタイム入札マシーン１４２は、掲載位置に対する第２の要求を処理する前に経済評価を動的に判断するためのモデルを変更する段階を含むことができる。モデルの変更は、学習機能に関連付けられる評価アルゴリズムに少なくとも一部基づくことができる。本発明の一実施形態では、利用可能な掲載位置の１つ又はそれよりも多くを選択及び提示する前に、複数の掲載位置の各々に対する評価の第２のセットを生成するために経済評価モデルの挙動を変更することができる。
一実施形態では、評価アルゴリズム１４０は、複数の広告掲載の各々に関するパフォーマンス情報を査定することができる。動的に可変の経済評価モデルは、予測評価を査定するために使用することができる。評価モデルは、複数の掲載位置に対する経済評価に関する入札値を査定することができる。複数の利用可能な掲載位置及び／又は複数の広告に対して入札する際の段階は、経済評価に基づくことができる。例示的な事例では、リアルタイム入札マシーンユニット１４２は、以下のシーケンスを取り入れることができ、段階１で、リアルタイム入札マシーン１４２は、評価アルゴリズム１４０を使用して示される可能な広告を濾過することができる。段階２で、リアルタイム入札マシーンユニット１４２は、濾過された広告が残りの予算資金を有するか否かを検査することができ、利用可能な予算資金を持たないリストからのいずれの広告もリストから取り除くことができる。段階３で、リアルタイム入札マシーンユニット１４２は、各広告に対する経済的価値を判断するために広告に対する経済評価アルゴリズムを実行することができる。段階４で、リアルタイム入札マシーン１４２は、広告を掲載する機会コストによって経済的価値を調節することができる。段階５で、リアルタイム入札マシーンユニット１４２は、機会コストによって精緻化した後で最高経済的価値を有する広告を選択することができる。段階６で、要求の提供者１１２コンテンツに関する情報を含むことができる第１の要求に関する情報は、第２の要求が受信及び処理される前に動的アルゴリズムを更新するために使用することができる。最後に、段階７で、第３の広告が掲載される前に、動的アルゴリズムへの更新により、第１と同じシーケンスで第２の広告を処理することができる。一実施形態では、複数の競争評価アルゴリズム１４０は、提示する広告を選択する際に各段階で使用することができる。最終的に掲載される広告の広告パフォーマンスを追跡することにより、その相対的なパフォーマンス及び有用性を判断するために競争アルゴリズムを査定することができる。
本発明の一実施形態では、競争アルゴリズムは、データの一部を個別の訓練及び検証セットに分割することによって試験することができる。アルゴリズムの各々は、データの訓練セットで訓練することができ、次に、データの検証セットに対して予測性を検証（測定）することができる。各入札アルゴリズムは、受信者作業特性（ＲＯＣ）エリア、広告支出に対するリフト、精度／リコール、利益、他の信号処理測定基準、他のマシーン学習測定基準、他の広告測定基準、又は何らかの他の分析方法、統計技術又はツールのような測定基準を使用して検証セットに対するその予測性を査定することができる。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。アルゴリズムの予測性は、特定の広告を特定の状況で特定の消費者に表示することが広告主の製品の１つを購入し、広告主の製品と契約し、広告主の製品に関する消費者の認識に影響を与え、ウェブページを訪問し、又は広告主によって価値付けられる何らかの他の種類のアクションを実行するなどの望ましいアクションに消費者を向かわせるために影響を与えると考えられる可能性をどのくらい正確に予測するかによって測定することができる。
本発明の一実施形態では、アルゴリズム評価測定基準を改良するために相互検証を使用することができる。相互検証は、競争アルゴリズム及び／又はモデルを査定するための訓練セット検証セット手順が、データの訓練及び検証セットを変えることによって複数回繰り返される方法を説明する。本明細書に説明する方法及びシステムの一部として使用することができる相互検証技術は、以下に限定されるものではないが、繰り返されるランダム部分サンプリング検証、ｋ−フォールド相互検証、ｋｘ２相互検証、リーブ−ワン−アウト相互検証、又は相互検証技術の何らかの他のタイプを含む。
一実施形態では、競争アルゴリズムは、本明細書に説明する方法及びシステムを使用してリアルタイム、バッチモード処理、又は何らかの他の定期的処理フレームワークを使用して査定することができる。一実施形態では、競争アルゴリズムは、インターネット又は何らかの他のネットワーキングプラットフォームなどを使用してオンラインで査定することができ、又は競争アルゴリズムをオフラインで査定することができ、査定に続いてオンライン機能に利用することができるようなる。サンプル実施形態では、１つのアルゴリズムをその予測性の点で全ての他のアルゴリズムよりも厳密に良いものとすることができ、学習機能１３８で１つのアルゴリズムをオフラインで選択することができる。別のサンプル実施形態では、セットからの１つのアルゴリズムを変数の特定の組合せが与えられるとより予測性の高いものにすることができ、１つよりも多いアルゴリズムをリアルタイム入札ユニット１４２に利用することを可能にし、最良性能のアルゴリズムの選択は、例えば、特定の掲載位置要求の属性を調べることによってリアルタイムで実行することができ、次に、訓練されたアルゴリズムのセットから、その特定の属性のセットに対して最も予測性の高いアルゴリズムを判断する。
一実施形態では、リアルタイム入札システム１００Ａからの広告の評価に対応するデータを広告配信サービスユニット１２２によって受信することができ、広告代理店１０２、広告主１０４、広告ネットワーク１０８、広告取引所１１０、提供者１１２、又は何らかの他のタイプの消費者のような評価データの消費者に配信することができる。本発明の別の実施形態では、広告配信サービスユニット１２２を広告サーバとすることができる。広告配信サービスユニット１２２は、選択された広告のようなリアルタイム入札システム１００Ａの出力を１つ又はそれよりも多くの広告サーバに配信することができる。一実施形態では、広告配信サービスユニット１２２は、追跡マシーンユニット１４４に結合することができる。本発明の別の実施形態では、広告配信サービスユニット１２２は、広告表示クライアント１２８に結合することができる。一実施形態では、広告表示クライアント１２８は、モバイルデバイス、ＰＤＡ、携帯電話、コンピュータ、通信機、デジタルデバイス、デジタル表示パネル、又は広告を提示することができるデバイスの何らかの他のタイプとすることができる。
一実施形態では、広告表示クライアント１２８で受信される広告は、対話式データ、例えば、ムービーチケットの申し込みのポップアップを含むことができる。広告表示クライアント１２８のユーザは、広告と対話することができ、購入を実行し、広告をクリックし、フォームを記入し、又は何らかの他のタイプのユーザアクションを実行するなどのアクションを実行することができる。ユーザアクションは、広告パフォーマンスデータユニット１３０によって記録することができる。一実施形態では、広告パフォーマンスデータユニット１３０は、１つ又はそれよりも多くのデータベースに結合することができる。実施例では、パフォーマンスデータユニットは、リアルタイムで状況データベースを更新するために状況データベースに結合することができる。一実施形態では、更新された情報は、評価アルゴリズム１４０を更新するためのリアルタイム入札システム１００Ａによってアクセス可能である。一実施形態では、広告パフォーマンスデータユニット１３０を１つ又はそれよりも多くの配信サービス消費者に結合することができる。
分析プラットフォームユニット１１４からの広告の評価に対応するデータも、広告配信サービスユニット１２２によって受信することができる。本発明の一実施形態では、広告配信サービスユニット１２２は、１つ又はそれよりも多くの広告を再順序付け／再配置／再編成するために評価データを利用することができる。別の実施形態では、広告配信サービスユニット１２２は、所定の基準に基づいて広告をランク付けるために評価データを利用することができる。所定の基準は、一日の時間及びロケーションなどを含むことができる。
広告データ配信サービスユニット１２４はまた、広告評価データの１人又はそれよりも多くの消費者に評価データを提供することができる。一実施形態では、広告データ配信サービスユニット１２４は、評価データを販売することができ、又は評価データの加入を広告評価データの１人又はそれよりも多くの消費者に提供することができる。一実施形態では、広告配信サービスユニット１２２は、リアルタイム入札システム１００Ａから又は学習マシーンユニット１３８からの出力を広告評価データの１人又はそれよりも多くの消費者に提供することができる。広告評価データの消費者は、いずれの制限もなしに、広告代理店１０２／広告主１０４、広告ネットワーク１０８、広告取引所１１０、提供者１１２、又は広告評価データ消費者の何らかの他のタイプを含むことができる。実施例では、広告代理店１０２は、そのクライアントのための広告の作成、プランニング、及び処理専用サービス企業とすることができる。広告代理店１０２は、クライアントとは独立したものとすることができ、最高の視点をクライアントの製品又はサービスを販売する努力に与えることができる。更に、広告代理店１０２は、いずれの制限もなしに、制限サービス広告代理店、スペシャリスト広告代理店、店頭広告代理店、対話式代理店、サーチエンジン代理店、ソーシャルメディア代理店、ヘルスケアコミュニケーション代理店、医学教育代理店、又は何らかの他のタイプの代理店を含む様々なタイプとすることができる。更に、実施例では、広告ネットワーク１０８は、広告のホストを要求することができるウェブサイトに広告主１０４を接続することができるエンティティとすることができる。広告ネットワーク１０８は、いずれの制限もなしに、バーティカルネットワーク、ブラインドネットワーク、及びターゲットネットワークを含むことができる。広告ネットワーク１０８はまた、第１の層及び第２の層ネットワークとして分類することができる。第１の層広告ネットワークは、多数のその固有の広告主１０４及び提供者を有することができ、高品質トラフィックを有することができ、広告及びトラフィックを第２の層ネットワークにサービスを提供することができる。第２の層広告ネットワークは、その固有の広告主１０４及び提供者の一部を有することができるが、その主な収入源は、他の広告ネットワークからの広告をシンジケートすることから発生する。広告取引所１１０ネットワークは、広告インプレッションの価格、特定の製品又はサービスカテゴリにおける広告主１０４の数、特定の期間に対する最高及び最低入札に関するレガシーデータ、広告成功（広告インプレッションのユーザクリック）などのような在庫の属性に関連付けられる情報を含むことができる。広告主１０４は、その意思判断の一部としてこのデータを使用することができる。例えば、格納された情報は、特定の提供者１１２に対する成功率を示すことができる。更に、広告主１０４は、金融取引を実行するための１つ又はそれよりも多くのモデルを選択するというオプションを有することができる。例えば、コスト−パー−取引価格設定構造を広告主１０４によって採用することができる。同様に、別の実施例では、広告主１０４は、コスト−パー−クリックで支払うというオプションを有することができる。広告取引所１１０は、提供者１１２がリアルタイムで入札中に広告インプレッションに価格を付けることを可能にするアルゴリズムを実行することができる。
一実施形態では、広告メッセージ配信のためのリアルタイム入札システム１００Ａは、複数の配信チャンネルにわたって広告メッセージを掲載する機会を購入することを意図されたマシーンの構成とすることができる。本発明のシステムは、広告メッセージを提示するのに使用されるチャンネルを自動的に調節してターゲットにするために、並びに各掲載位置機会で表示する広告メッセージ、及び時間の経過に伴う関連のコストを選択するために、アクティブフィードバックを提供することができる。一実施形態では、本発明のシステムは、以下に限定されるものではないが、（１）学習マシーンユニット１３８、（２）リアルタイム入札マシーン１４２、及び（３）追跡マシーン１４４を含む相互接続したマシーンから構成することができる。マシーンの２つは、学習マシーンユニット１３８によって内部で使用することができるログを生成することができる。一実施形態では、本発明のシステムへの入力は、リアルタイム及び非リアルタイムの両方のソースからとすることができる。履歴データは、広告キャンペーンに対する価格設定及び配信命令を調節するためにリアルタイムデータに結合することができる。
一実施形態では、広告メッセージ配信のためのリアルタイム入札システム１００Ａは、外部マシーン及びサービスを含むことができる。外部マシーン及びサービスは、以下に限定されるものではないが、代理店１０２、広告主１０４、キャンペーン記述子及び履歴ログのような代理店データ１５２、広告主データ１５２、主要パフォーマンス指標、履歴イベントデータ１５４、ユーザデータ１５８、状況分析サービス１３２、リアルタイムイベントデータ１６０、広告配信サービス１２２、広告受信者、又は外部マシーン及び／又はサービスの何らかの他のタイプを含むことができる。
一実施形態では、代理店及び／又は広告主１０４は、履歴広告データを提供することができ、リアルタイム入札システム１００Ａの恩典を受ける人とすることができる。
一実施形態では、キャンペーン記述子のような代理店データ１５２は、チャンネル、時間、予算、及び広告メッセージの拡散を可能にすることができる他の情報を説明することができる。
一実施形態では、キャンペーン及び履歴ログのような代理店データ１５２は、ユーザの識別子、チャンネル、時間、支払われる価格、表示される広告メッセージ、及びユーザが生じたユーザアクション、又はキャンペーン又は履歴ログデータの何らかの他のタイプの１つ又はそれよりも多くを含むユーザに示されている各広告メッセージの掲載位置を説明することができる。付加的なログはまた、自発的なユーザアクション、例えば、広告インプレッションに対して直接トレースできないユーザアクション、又は自発的なユーザアクションの何らかの他のタイプを記録することができる。
一実施形態では、広告主データ１５２は、ビジネス情報データ、又は動的及び／又は静的マーケティング目標を説明するデータの何らかの他のタイプを含むことができる。例えば、広告主１０４がその倉庫に有する所定の製品の過剰在庫の量をデータによって説明することができる。
一実施形態では、主要パフォーマンス指標は、各所定のユーザアクションに対する「適合度」を表すパラメータのセットを含むことができる。例えば、製品起動は、＄Ｘで価値を付けることができ、製品構成は、＄Ｙで価値を付けることができる。
一実施形態では、履歴イベントデータ１５４は、リアルタイム入札システム１００Ａによって使用することができ、ユーザイベントの時間とその領域で発生する他のイベントとを相関付けることができる。例えば、特定のタイプの広告に対する反応速度は、株価の動きに相関付けることができる。履歴イベントデータ１５４は、以下に限定されるものではないが、天気データ、イベントデータ、ローカルニュースデータ、又は何らかの他のタイプのデータを含むことができる。
一実施形態では、ユーザデータ１５８は、広告受信者に関する個人的にリンクされた情報を含む第三者によって提供されるデータを含むことができる。この情報は、ユーザをラベル付け又は説明するユーザ優先権又は他の指標を示すことができる。
一実施形態では、状況分析サービス１３２は、広告のためのメディアの状況カテゴリを識別することができる。例えば、状況分析器は、ウェブコンテンツを分析し、ウェブページがスポーツ、金融、又は何らかの他のトピックに関するコンテンツを含むか否かを判断することができる。この情報は、学習システム１３８への入力として使用することができ、広告が現れるページのタイプを調節することができる。
一実施形態では、リアルタイムイベントデータ１６０は、履歴データに類似であるがより最新のものであるデータを含むことができる。リアルタイムイベントデータ１６０は、以下に限定されるものではないが、現在の秒、分、時間、日、又は時間の何らかの他の尺度であるデータを含むことができる。例えば、学習マシーンユニット１３８が広告パフォーマンスと履歴株価指標値の間の相関関係を見出した場合、リアルタイム入札マシーン１４２によって広告に値を付けるためにリアルタイム株価指標値を使用することができる。
一実施形態では、広告配信サービス１２２は、以下に限定されるものではないが、広告ネットワーク１０８、広告取引所１１０、販売側オプティマイザー、又は広告配信サービス１２２の何らかの他のタイプを含むことができる。
一実施形態では、広告受信者は、広告メッセージを受信する人を含むことができる。広告コンテンツは、広告受信者によって要求されたコンテンツの一部として又はこれに添付されて具体的に要求（プル）され、又はネットワーク上で、例えば、広告配信サービス１２２によって「プッシュ」される。広告を受信するモードの一部の非制限的実施例は、インターネット、移動電話表示画面、ラジオ送信、テレビジョン送信、電子掲示板、プリント媒体、及び映写投影を含む。
一実施形態では、広告メッセージ配信のためのリアルタイム入札システム１００Ａは、内部マシーン及びサービスを含むことができる。内部マシーン及びサービスは、以下に限定されるものではないが、リアルタイム入札マシーン１４２、追跡マシーン１４４、リアルタイム入札ログ、インプレッション、クリック及びアクションログ、学習マシーンユニット１３８、又は内部マシーン及び／又はサービスの何らかの他のタイプを含むことができる。
一実施形態では、リアルタイム入札マシーン１４２は、広告配信サービス１２２から入札要求メッセージを受信することができる。リアルタイム入札マシーン１４２は、時間制約に関連付けられる入札要求に応答することができるので「リアルタイム」システムと考えることができる。リアルタイム入札マシーン１４２は、システムが決定するのをユーザが待っている間、表示する広告メッセージを計算する非ステートレス方法を使用することができる。本発明のシステムは、学習マシーンユニット１３８によって提供されるアルゴリズムを使用してリアルタイム計算を実行することができ、最適入札値を動的に推定することができる。一実施形態では、代替のシステムが、提示する広告を判断するためにステートレス構成を有することができる。
一実施形態では、追跡マシーン１４４は、追跡ＩＤを各広告に添付するサービスを提供することができる。例えば、オンライン表示広告の後にピクセルを続けることができる。ピクセルが追跡マシーン１４４からサービスを受けた状態で、追跡マシーン１４４は、掲載位置機会、並びに時間及び日付を記録することができ、更に、このマシーンは、ユーザのＩＤ、及び以下に限定されるものではないが、ＩＰアドレス、地理的ロケーション、又は何らかの他のタイプのデータを含むユーザをラベル付けする他の情報を記録することができる。
一実施形態では、リアルタイム入札ログは、リアルタイム入札マシーン１４２によって受信した入札要求及び送信された入札応答を記録することができる。このログは、ユーザの関心又は閲覧習慣を取得するために使用することができるユーザが訪問したサイトに関する付加的なデータを含むことができる。更に、このログは、様々なチャンネルからの広告掲載機会の到着の速度を記録することができる。
一実施形態では、インプレッション、クリック、及びアクションログは、学習マシーンユニット１３８によって使用することができる追跡システムによって生成される記録とすることができる。
一実施形態では、リアルタイム入札マシーン１４２のためのターゲット化アルゴリズムを開発するために学習マシーンユニット１３８を使用することができる。学習マシーンユニット１３８は、取りわけ、オンライン広告をターゲットにするために使用することができるソーシャル挙動、推測される人口統計を含むパターンを学習することができる。
実施例では、広告主１０４は、広告を掲載することができる場所及び時間を制限する命令と共に「注文」を掲載することができる。注文は、学習マシーンユニット１３８によって受信することができる。広告主１０４は、成功するキャンペーンの「適合度」の基準を示すことができる。このような「適合度」基準は、追跡マシーン１４４を使用して測定することができる。広告主１０４は、本発明のシステムをブートストラップするために履歴データを提供することができる。利用可能なデータに基づいて、学習システム１３８は、広告のためのカスタマイズされたターゲット化アルゴリズムを開発することができる。アルゴリズムは、特定の条件が与えられて広告の予測値を計算し、示された「適合度」基準を最大にするように求めることができる。アルゴリズムは、広告を掲載する機会を待つことができるリアルタイム入札マシーン１４２によって受信することができる。入札要求は、リアルタイム入札マシーン１４２によって受信することができる。各入札要求は、受信したアルゴリズムを使用して、各広告主１０４に対してその価値を判断する。魅力的な値を有する広告に対して入札応答を送信することができる。適切に推定された場合、低い値を入札することができる。入札応答は、広告が特定の価格で掲載されることを要求することができる。ブラウザに表示されるピクセルのような追跡システムによって広告にタグ付けすることができる。追跡マシーン１４４は、広告インプレッション、ユーザクリック、及びユーザアクション、及び／又は他のデータをログすることができる。追跡マシーンログは、「適合度基準」を使用することができる学習システム１３８に送信することができ、改良するアルゴリズムを査定し、これらを更にカスタマイズすることができる。この処理は、反復することができる。本発明のシステムはまた、予測される値と広告受信者の地理的領域での現在のイベントとを相関付けることができる。
一実施形態では、リアルタイム入札マシーン１４２は、ターゲット化アルゴリズムを動的に更新することができる。
一実施形態では、リアルタイム入札マシーン１４２は、履歴及びリアルタイムデータを配合し、リアルタイム入札値を計算するためのアルゴリズムを生成することができる。
一実施形態では、リアルタイム入札マシーン１４２は、広告掲載の状況、ユーザの履歴及び地理的位置情報、及び広告自体、又は何らかの他のタイプのデータに関する情報を結合した予測値を計算し、所定の時間に特定の広告を表示する予測値を計算することができる。
一実施形態では、リアルタイム入札マシーン１４２は、「バケット」をターゲットにする以外のアルゴリズムを使用することができる。
一実施形態では、リアルタイム入札マシーン１４２は、追跡マシーンユニット１４４フィードバックを使用することによって機会的アルゴリズム更新を使用することができ、最悪性能アルゴリズムに優先順位を付けることができる。
一実施形態では、リアルタイム入札マシーン１４２は、学習システム１３８及びリアルタイム入札システム１００Ａにおける複数の競争アルゴリズムのオープンリストを使用することができる。
一実施形態では、リアルタイム入札マシーン１４２は、制御システム理論を使用して広告のセットの配信の価格設定及び速度を制御することができる。
一実施形態では、リアルタイム入札マシーン１４２は、勝敗入札データを使用してユーザプロフィールを作成することができる。
図１Ｂに示すように、一実施形態では、リアルタイム入札マシーンは、複数の取引所１００Ｂにわたって広告購入をトレードすることができる。複数の取引所を在庫の単一のソースとして処理する。
図２を参照すると、リアルタイム入札システムの分析アルゴリズムは、広告及び広告インプレッション、変換、又は広告ユーザ対話２００の何らかの他のタイプに関連付けられる入札の管理を最適化するために使用することができる。一実施形態では、例えば、学習マシーン１３８によって実施される学習システムは、所定のクライアントに対して適切に作用する広告に関する規則を作成して、この規則に少なくとも一部基づいて広告キャンペーンのコンテンツ混合物を最適化することができる。実施例では、広告クリックスルー、インプレッション、ウェブページ訪問、取引又は購入、又はユーザに関連付けることができる第三者データのようなデジタル媒体ユーザの挙動は、リアルタイム入札システムの学習システムに関連付けることができ、かつそれによって使用することができる。リアルタイム入札システムは、学習システムの出力（例えば、規則及びアルゴリズム）を使用して、広告に対する要求を学習マシーンによって作成された規則及び／又はアルゴリズムに準拠する広告選択と対にすることができる。選択された広告は、広告取引所、在庫取引相手、又は広告コンテンツの何らかの他のソースからのものとすることができる。選択された広告は、次に、本明細書で説明するように、広告タグに関連付けることができ、ウェブページ上などに提示するためにデジタル媒体ユーザに送信することができる。次に、広告タグは、リアルタイム入札システムに関連付けられたデータベースに記録された将来のインプレッション、クリックスルーなどを追跡することができる。規則及びアルゴリズムは、次に、選択された広告とデジタル媒体ユーザ間の新しい対話（又はその欠如）に少なくとも一部基づいて学習マシーンによって更に最適化することができる。
一実施形態では、コンピュータ可読媒体に実施されたコンピュータプログラム製品は、１つ又はそれよりも多くのコンピュータ上で実行された時に、提供者に対する広告を掲載する要求の受信に少なくとも一部基づいて広告に対する複数の候補掲載位置の各々に対する予測される経済評価を動的に判断することができる。提供者に対する広告を掲載する要求の受信に応答して、本発明の方法及びシステムは、広告に対する複数の候補掲載位置、及び／又は複数の広告の各々に対する予測される経済評価を動的に判断することができ、経済評価に基づいて複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つを提供者に提示するか否かを選択及び決定することができる。
一実施形態では、コンピュータプログラムによって有効にされる方法及びシステムは、掲載位置に対する第２の要求を処理する前に経済評価を動的に判断するためのモデルを変更する段階を含むことができる。モデルの変更は、マシーン学習に少なくとも一部基づくことができる。
一実施形態では、複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つを選択及び提示する前に、複数の掲載位置の各々に対する評価の第２のセットを生成するために経済評価モデルの挙動を変更することができ、選択及び提示段階は、評価の第２のセットに少なくとも一部基づいている。掲載位置に対する要求は、時間制限の要求とすることができる。
一実施形態では、経済評価モデルは、複数の広告掲載の各々に関するパフォーマンス情報を査定することができる。
一実施形態では、動的に可変の経済評価モデルは、予測経済評価を査定するために使用することができる。動的に可変の経済評価モデルは、複数の掲載位置に対する経済評価に関する入札値を査定することができる。複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つに対して入札する段階は、経済評価に基づくことができる。
図２を参照すると、リアルタイム入札システムは、上述の２００の説明に適合するアルゴリズムを含むことができる。表示する複数の候補広告があるとすると、リアルタイム入札システムは、以下の例示的なシーケンスによることができ、すなわち、１）全ての候補広告をターゲット化規則を使用して表示するために濾過することができ、列挙された広告の出力を表示することができ、２）候補広告が残りの予算資金を有するか否かをシステムが検査することができ、利用可能な予算資金を持たない広告をリストから取り除くことができ、３）システムは、各広告に対する経済的価値を判断するために広告に対して経済評価動的アルゴリズムを実行することができ、４）価値は、他のサイトに代わって所定のサイトに広告を掲載する機会コストによって精緻化することができ、５）機会コストによって精緻化した後に最高値を有する広告を選択することができ、６）要求の提供者コンテンツに関する情報を含むことができる第１の要求に関する情報を第２の要求が受信され処理される前に動的アルゴリズムを更新するために使用することができる。この情報は、提供者コンテンツの特定のタイプが頻繁に利用可能であるか否かを判断するために使用することができ、かつ７）第２の広告は、第３の広告が掲載される前に動的アルゴリズムへの更新により、第１と同じシーケンスで処理することができる。
一実施形態では、動的アルゴリズムは、変化時に大気の条件に対して調節する飛行機フライト制御システム、又は空気抵抗が変化するか又は自動車が丘を登る又は降りる時にガスペダル位置を動的に調節する自動車クルーズ制御システムにおいて使用されるアルゴリズムに類似とすることができる。
図３を参照すると、状況、消費者（すなわち、デジタル媒体ユーザ）、及びメッセージ／広告に関するデータは、指定された主要パフォーマンス指標３００に少なくとも一部基づいて広告の成功を予測するために使用することができる。状況データは、媒体のタイプ、一日又は一週間の時間、又は状況データの何らかの他のタイプに関するデータを含むことができる。消費者、又はデジタル媒体ユーザに関するデータは、人口統計、地理的データ、及び消費者の意図又は挙動、又は消費者データの何らかの他のタイプに関するデータを含むことができる。メッセージ及び／又は広告に関するデータは、メッセージ／広告のクリエイティブコンテンツに関連付けられたデータ、メッセージ／広告に組み込まれる意図又はアクションの呼出し、又はデータの何らかの他のタイプを含むことができる。
図４に示すように、リアルタイム入札システムは、リアルタイムで利用可能になった時に（４００）、キャンペーン結果（例えば、クリックスルー、変換、取引など）に関連付けられたデータを使用して、継続して生成、試験、及び実行される広告キャンペーン固有のモデル及びアルゴリズムを生成するために使用することができる。一実施形態では、サンプル広告キャンペーンを設計するために、予備のデータセットを使用して複数のモデルを試験することができる。複数のモデルは、主要パフォーマンス指標のような示された目標を組み込む複数の訓練アルゴリズムに対して実行することができる。アルゴリズムに対して適切に実行される広告コンテンツは保存することができ、複数のデジタル媒体ユーザに提示することができる。複数のデジタル媒体ユーザと選択された広告コンテンツの対話に少なくとも一部基づいて付加的なデータを収集することができ、このデータは、アルゴリズムを最適化し、複数のデジタル媒体ユーザへの提示のための新しい又は異なる広告コンテンツを選択するために使用することができる。
更に図４を参照すると、一実施形態では、コンピュータ可読媒体に具現化されたコンピュータプログラム製品は、１つ又はそれよりも多くのコンピュータ上で実行された時に、複数の利用可能な掲載位置及び／又は複数の広告に関する情報を査定するためにマシーン学習を通じて精緻化することができる経済評価モデルを配備することができ、複数の掲載位置の各々に対する経済評価を予測することができる（４００）。複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つは、経済評価に少なくとも一部基づいて選択することができ、かつ提供者に提示することができる。
一実施形態では、以下に限定されるものではないが、成功した市場人口統計データなどのような広告に関係のない情報を含むデータは、様々なフォーマットから取り入れることができる。これは、データをニュートラルフォーマットに変換する特定のデータストリーム、特定のマシーン学習技術、又は何らかの他のデータタイプ又は技術を含むことができる。一実施形態では、学習システムは、以下に限定されるものではないが、本明細書に説明する方法及びシステムを最適化する段階を含む監査及び／又は監督機能を実行することができる。一実施形態では、学習システムは、複数のデータソースから学習することができ、本明細書に説明する方法及びシステムの基本最適化は、複数のデータソースに少なくとも一部基づいている。
一実施形態では、本明細書に説明する方法及びシステムは、インターネットベースの用途、モバイル用途、固定回線用途（ケーブルメディア）、又はデジタル用途の何らかの他のタイプにおいて使用することができる。
一実施形態では、本明細書に説明する方法及びシステムは、以下に限定されるものではないが、セットトップボックス、デジタル掲示板、ラジオ広告、又はアドレス可能な広告メディアの何らかの他のタイプを含む複数のアドレス可能な広告メディアにおいて使用することができる。
マシーン学習アルゴリズムの例は、以下に限定されるものではないが、「Ｎａｉｖｅ Ｂａｙｅｓ」、「Ｂａｙｅｓ Ｎｅｔ」、「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ」、「Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ」、「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、及び「Ｄｅｃｉｓｉｏｎ Ｔｒｅｅｓ」を含むことができる。これらのアルゴリズムは、広告がアクションを生じる場合があるか否かを分類するアルゴリズムである分類子を作成するために使用することができる。これらの基本的な形式において、これらは、「イエス」又は「ノー」の答え及び分類子の確実性の強さを示したスコアを戻す。較正技術が適用される時に、これらは、修正される予測の可能性の確率推定値を戻す。これらはまた、アクションを生じる可能性の高い特定の広告、又はアクションを生じる可能性の高い広告を説明する特徴を戻すことができる。これらの特徴は、広告概念、広告サイズ、広告カラー、広告テキスト、又は広告のあらゆる他の特徴を含むことができる。更に、これらはまた、アクションを生じる可能性が最も高い広告主ウェブサイトのバージョン又はアクションを生じる可能性が高い広告主ウェブサイトのバージョンを説明する特徴を戻すことができる。これらの特徴は、ウェブサイト概念、図示の製品、カラー、画像、価格、テキスト、又はウェブサイトのあらゆる他の特徴を含むことができる。一実施形態では、本発明のコンピュータ実施型方法は、オンライン広告掲載のパフォーマンスを予測するために複数のアルゴリズムを適用する段階、及び様々な市場条件の下で複数のアルゴリズムのパフォーマンスを追跡する段階を含むことができる。アルゴリズムのタイプに対する好ましいパフォーマンス条件を判断することができ、追跡された市場条件、及びアルゴリズムは、現在の市場条件に少なくとも一部基づいて広告掲載のパフォーマンスを予測するように選択することができる。一実施形態では、複数のアルゴリズムは３つのアルゴリズムを含むことができる。
一実施形態では、コンピュータ可読媒体に具現化されたコンピュータプログラム製品は、１つ又はそれよりも多くのコンピュータ上で実行された時に、１次モデルを使用して、類似の広告掲載の過去のパフォーマンス及び価格に一部基づいて複数の利用可能なウェブ公開可能な広告掲載の各々の経済評価を予測することができる。複数のウェブ公開可能な広告掲載の各々の経済評価は、第２のモデルを通じて予測することができ、１次モデル及び第２のモデルによって生成された評価は、１次モデル及び第２のモデル間の優先権を判断するために比較することができる。一実施形態では、１次モデルは、購入要求に応答するアクティブモデルとすることができる。要求された購入は、時間制限購入要求とすることができる。一実施形態では、第２のモデルは、購入要求に応答するアクティブモデルとして１次モデルを置換することができる。この置換は、第２のモデルが現在の市場条件の下で１次モデルよりも適切に実行するであろうという予測に少なくとも一部基づくことができる。
一実施形態では、本発明のコンピュータ実施型方法は、オンライン広告掲載のパフォーマンスを予測し、様々な市場条件の下で複数のアルゴリズムのパフォーマンスを追跡し、更にアルゴリズムのタイプに対する好ましいパフォーマンス条件を判断するために複数のアルゴリズムを適用することができる。市場条件を追跡することができて広告掲載のパフォーマンスを予測するためのアルゴリズムは、現在の市場条件に少なくとも一部基づいて調節することができる。
一実施形態では、本発明のコンピュータ実施型方法は、各々が広告のセットの購入価格値を予測するアルゴリズムのセットをモニタして、現在の市場条件に少なくとも一部基づいてアルゴリズムのセットから最良アルゴリズムを選択することができる。
図４を再度参照すると、新しいデータは、選別機構（図４のファンネルに示す）に入力することができる（４００）。このデータは、クリック又はアクションに至るか否かの指標を用いて各広告インプレッションにラベル付けすることによって訓練するマシーン学習のために準備することができる。他のマシーン学習アルゴリズムは、ラベル付けされたデータにおいて訓練することができる。ラベル付けされたデータの一部分は、試験段階のために保管することができる。この試験部分は、各代替アルゴリズムの予測パフォーマンスを測定するために使用することができる。ホールドアウト訓練データセットの結果を予測する場合に最も成功したアルゴリズムは、リアルタイム判断システムに転送することができる。
一実施形態では、コンピュータ可読媒体に具現化されたコンピュータプログラム製品は、１つ又はそれよりも多くのコンピュータ上で実行された時に、提供者に対する広告掲載の受信に応答して複数の競争経済評価モデルを配備することができ、かつ複数の広告掲載の各々に対する経済評価を予測することができる。複数の競争経済評価モデルの各々によって生成された評価は、広告掲載の現在の評価に対してモデルの１つを選択するために査定することができる。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
一実施形態では、コンピュータ可読媒体に具現化されたコンピュータプログラム製品は、１つ又はそれよりも多くのコンピュータ上で実行された時に、広告を掲載する要求の受信に応答して複数の競争経済評価モデルを配備することができ、かつ複数の利用可能な広告掲載に関する情報を査定することができる。経済評価モデルは、複数の広告掲載の各々に対する経済評価を予測するために使用することができる。複数の競争経済評価モデルの各々によって作成された評価は、将来の評価のためのモデルの１つを選択するために査定することができる。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
一実施形態では、データが学習システムにおいて勝利アルゴリズムをサポートするか否かを判断するためにデータを査定することができる。付加的なデータを買う区分的な価値を判断することができ、データサンプルの監査及び試験は、データが予測の有効性を上げるか否かを判断するために使用することができる。例えば、本発明のシステムは、広告サーバログから得られる人口統計情報に結合したデータを使用して、精度の特定のレベルを備えた評価モデルを取得することができる。このようなモデルは、市場価格の下で家電製造業者の利益のためにオンライン広告の獲得を可能にすることができる。特定の機器を買うことにその関心を表した消費者のリストのような付加的なデータソースの追加は、モデルの精度を上げることができ、この結果、家電製造業者の利益になる。受け取られた改善した利益が新しいデータソースの付加にリンクされると考えられることが記されており、従って、このようなデータソースには、区分的な利益にリンクされた値を割り当てることができる。この実施例は、オンライン広告の事例を示しているが、本出願は、様々なタイプのデータソース、並びにモデルを使用して様々なチャンネルを通じた広告に一般化することができ、広告に対する経済的価値又は価格設定を予測することができることが当業者によって理解されるはずである。
図５Ａ及び５Ｂに示すように、広告在庫は、多くのセグメント又はマイクロ−セグメントに分割することができる（５００、５０２）。リアルタイム入札システムは、例えば、在庫及びそのマイクロ−セグメントにおける広告のパフォーマンスで受信したデータ（例えば、各広告に関連付けられるインプレッション又は変換の数）に少なくとも一部基づいて、学習マシーンを使用することにより、アルゴリズムを作成及び継続して修正することができる。学習システムのアルゴリズムに少なくとも一部基づいて、リアルタイム入札システムは、広告パフォーマンスデータに対して「公正」であると考えられる入札値を生成することができる。この入札値データは、次に、在庫に位置した広告に関連付けられる平均入札値を査定するために使用することができる。一実施形態では、各マイクロ−セグメントには、規則、アルゴリズム、又は規則及び／又はアルゴリズムのセット、支払うべき代価、及び／又は予算を関連付けることができる。１つ又はそれよりも多くの機会のグループにおける広告掲載機会を購入するための規則を使用することができる。掲載位置機会のグループのサイズは、規則に割り当てられた予算によって査定することができる。規則は、サーバ対サーバインタフェースを通じて、電話及びファックスを含む他の電子通信チャンネルを通じて、紙ベースの注文を通じて、音声通信又は広告掲載機会を購入するために注文を伝送するためのあらゆる他の方法を通じて広告掲載機会の販売者に送信することができる。図５Ｃは、価格設定最適化の目的のための広告閲覧回数分析の使用を示す（５０４）。図５Ｄは、リアルタイム入札システム内の最新性分析を通じて価格設定を最適化することができる方法を示す（５０８）。ここで図６を参照すると、リアルタイム入札システムは、それ以外では低価値の広告在庫の価値のあるセグメント（すなわち、広告）を識別するために、ナノ−セグメントレベル（例えば、各インプレッションに対する入札値）まで広告在庫の自動化分析を可能にすることができる（６００）。リアルタイム入札システムは、例えば、学習マシーンを使用することにより、広告在庫のナノ−セグメントにおける広告のパフォーマンスで受信したデータ（例えば、各広告に関連付けられるインプレッションの数）に少なくとも一部基づいて、アルゴリズムを作成し継続して修正することができる。学習システムのアルゴリズムに少なくとも一部基づいて、リアルタイム入札システムは、パフォーマンスデータに少なくとも一部基づいてナノ−セグメントにおける広告に対して「公正」であると考えられる入札値を生成することができる。一実施形態では、ナノ−セグメントに関連付けられた平均入札価格は、他の基準、例えば、広告に関連付けられるインプレッションの数に基づいて調節することができる。一実施形態では、各ナノ−セグメントに、規則、アルゴリズム、又は規則及び／又はアルゴリズムのセットを関連付けることができる。
一実施形態では、コンピュータ可読媒体に具現化されたコンピュータプログラム製品は、１つ又はそれよりも多くのコンピュータ上で実行された時に、複数の広告掲載の各々に対するパフォーマンス情報及び過去の入札価格に少なくとも一部基づいて、複数の利用可能なウェブ公開可能な広告掲載の各々に対する購入価格を予測することができる。複数の広告の各々に対する購入価格は、価格設定傾向を査定するために追跡及び予測することができる。
一実施形態では、価格設定傾向は、評価が将来変化するか否かの予測を含むことができる。
一実施形態では、コンピュータ可読媒体に具現化されたコンピュータプログラム製品は、１つ又はそれよりも多くのコンピュータ上で実行された時に、複数の広告掲載の各々に対するパフォーマンス情報及び過去の入札価格に少なくとも一部基づいて、複数の利用可能なウェブ公開可能な広告掲載の各々に対する経済評価を予測することができる。複数の広告の各々に対する経済評価は、価格設定傾向を査定するために追跡及び予測することができる。
実施例では、本発明のシステムは、入札の一部が成功し、入札を送信された広告を取得することを期待して、オークションにおいて広告を買うための入札を提示することができる。本発明のシステムが作動すると、勝利した入札の一部分は、予測される目標に達しない場合がある。このような挙動は、多数の利用可能な広告又はこれらの部分集合に対して起こることがある。価格傾向予測アルゴリズムは、入札価格に行わなくてはならない修正を推定することができ、それによって勝ち取って購入された広告の一部分は、意図された目標に近づくことになり、最終的には意図された目標に達することができる。
図７に示すように、本明細書に説明するリアルタイム入札方法及びシステムは、以下に限定されるものではないが、広告主及び広告代理店を含む複数の組織及び組織タイプによって統合、関連付け、及び／又は提携することができる（７００）。リアルタイム入札システムは、本明細書で説明するように、学習アルゴリズム及び技術を使用して買い手側最適化を実行することができ、コンテンツ提供者から広告を受け取る売り手側オプティマイザー、広告ネットワーク、及び／又は取引所のような売り手側アグリゲータからの広告の選択を最適化することができる。これは、デジタル媒体ユーザによって在庫内で利用可能なメッセージ及び広告のペアリングを最適化することができる。広告代理店は、インターネットベースの広告会社、デジタル媒体ユーザに表示する広告インプレッションを売る組織のような広告販売者、及び／又は広告バイヤを含むことができる。広告主及び広告代理店は、リアルタイム入札システムに広告キャンペーン記述子を提供することができる。キャンペーン記述子は、以下に限定されるものではないが、チャンネル、時間、予算、又はキャンペーン記述子データの何らかの他のタイプを含むことができる。一実施形態では、広告代理店データは、以下に限定されるものではないが、ユーザに関連付けられる識別子、チャンネル、時間、支払われる価格、表示される広告、結果のユーザアクション、又は広告及び／又はインプレッションに関連する履歴データの何らかの他のタイプを含む各広告の掲載位置及びユーザインプレッション及び変換などを説明する履歴ログを含むことができる。履歴ログはまた、自発的なユーザアクションに関するデータを含むことができる。一実施形態では、リアルタイム入札システムによって利用される広告主データは、以下に限定されるものではないが、広告の主題に関するメタデータ、例えば、広告の主題である製品の在庫レベルを含むことができる。評価及び入札額などは、この及び他のメタデータに従って最適化することができる。評価及び入札額などは、主要パフォーマンス指標に従って最適化することができる。
図８Ａ及び８Ｂは、リアルタイム入札方法及びシステムを使用した仮定事例研究を示す（８００、８０２）。一実施形態では、学習システムは、以前の小売業者広告キャンペーンから導出されるような訓練データセットを使用して、本明細書で説明するように規則及びアルゴリズムを作成することができる。訓練データセットは、以前のキャンペーンに含まれた広告で複数のデジタル媒体ユーザによって行われた以前のインプレッション、変換、アクション、及びクリックスルーなどの記録を含むことができる。学習システムは、次に、キャンペーンでの広告の他のものよりも相対的に成功した以前のキャンペーンからの広告コンテンツの部分集合を識別し、その高い予測値に基づいて将来の使用ためにこの広告コンテンツを推薦することができる。
一実施形態では、コンピュータ可読媒体に具現化されたコンピュータプログラム製品は、１つ又はそれよりも多くのコンピュータ上で実行された時に、複数の利用可能な広告掲載に関する情報を査定するために、広告を掲載する要求の受信に応答して経済評価モデルを配備することができる。経済評価モデルは、複数の広告掲載の各々に対する入札の経済評価も価格設定を予測するために使用することができる。市場機会に関する仮定を判断することができ、経済評価モデルは、仮定市場機会に応答して更新することができる。
実施例では、本発明のシステムは、数秒毎に使用される評価モデルの精度を改良するデータセットを見出すか又はモデルへの変更を識別して広告の経済的価値を予測することができる。本発明のシステムは、モデルへの新しいデータ又は変更が作成されるのと同じ速度で、その全体において評価モデルを置換するその機能に制限を設けることができる。この結果、経済評価を提供する場合にあまり有効でない部分を選択することが有利になる。機会的更新構成要素は、評価モデルの区画を置換するための順序及び優先順位を選択することができる。このような優先順位付けにより、区画の経済評価に基づいて組み込むための新しい区画で置換することができる。その結果、本発明のシステムは、評価システムに加えるためのモデルのデータ又は区画及びこれを実行するための順序に関する命令の優先順位付けされたセットを作成することができる。
一実施形態では、本発明の方法及びシステムは、広告キャンペーンを分割することができ、本明細書に説明する方法及びシステムを使用するキャンペーンからの第１のセットのパフォーマンスを本方法及びシステムを使用しないキャンペーンからの第２のセットと比較することができる。分析比較は、第１及び第２のセット間のリフト（例えば、第三者キャンペーン）に基づくリフト及びチャージを示すことができる。
実施例では、本発明のシステムは、本発明のシステムが適用されていないベースラインサンプルを作成するための広告の一部分を分離することができ、従って、その利益は供給されない。このような処理は自動とすることができる。このような分離は、多数の利用可能な広告にわたって又はユーザのランダムに選択されたパネルにランダム選択によって実行することができる。ベースラインサンプルに属さない残りの広告は、本発明のシステムを使用して掲載することができる。
一実施形態では、広告キャンペーンが測定可能な一部の目標を呈した時に、利益が大きい程、判断されたキャンペーンが適切であり、これは、広告主が、改善した利益をもたらす広告キャンペーンに対して報奨金を支払う意志があると信じられる。
一実施形態では、価格設定モデルは、システムを使用して掲載された広告によって生成された利益とシステムなしに掲載された広告との間の差をベースラインサンプルとして計算することができる。システム利益は、これらの総合的な差である。広告主に課せられる価格は、システム利益の一部分とすることができる。
図９は、リアルタイム入札方法及びシステムを使用する場合に含むことができる主要段階を要約する簡略化された流れ図９００を示している。
図１０は、リアルタイム入札システムに関連付けることができるピクセルプロビジョニングシステムのためのユーザインタフェースの例示的な実施形態１０００を示している。
図１１は、リアルタイム入札システムに関連付けることができるインプレッションレベルデータの例示的な実施形態１１００を示している。
図１２は、仮定の広告キャンペーンパフォーマンスレポート１２００を示している。
図１３は、本発明の実施形態によるオンライン広告掲載の購入のためのリアルタイム入札及び評価のための入札評価ユニット１３００を示している。入札評価ユニット１３００は、提供者ユニット１１２、分析プラットフォームユニット１１４、広告注文送信及び受信ユニット１２０、状況分析サービスユニット１３２、データ統合ユニット１３４、分析ユニットによって使用される様々なタイプのデータを提供する１つ又はそれよりも多くのデータベースを更に（他のユニットとは分けて）含むことができる。本発明の一実施形態では、分析プラットフォームユニット１１４は、学習マシーンユニット１３８、評価アルゴリズムユニット１４０、リアルタイム入札マシーンユニット１４２、追跡マシーンユニット１４４、インプレッション／クリック／アクションログユニット１４８、及びリアルタイム入札ログユニット１５０を含むことができる。
本発明の一実施形態では、学習マシーン１３８は、リアルタイム入札マシーンユニット１４２のためのターゲット化アルゴリズムを開発するために使用することができる。学習マシーン１３８は、オンライン広告をターゲットにするために使用することができる取りわけソーシャル挙動及び推測される人口統計を含むパターンを学習することができる。更に、学習マシーンユニット１３８は、１つ又はそれよりも多くのデータベースに結合することができる。本発明の一実施形態では、１つ又はそれよりも多くのデータベースは、広告代理店／広告主データベース１５２を含むことができる。広告代理店データ１５２は、キャンペーン記述子を含むことができ、チャンネル、時間、予算、及び広告メッセージの拡散を可能にすることができる他の情報を説明することができる。広告代理店データ１５２はまた、ユーザに表示される各広告メッセージの掲載位置とすることができるキャンペーン及び履歴ログを含むことができる。広告代理店データ１５２は、ユーザの識別子、チャンネル、時間、支払われる価格、表示される広告メッセージ、及びユーザが生じたユーザアクション、又はキャンペーン又は履歴ログデータの何らかの他のタイプの１つ又はそれよりも多くを含むことができる。更に、広告主データ１５２は、ビジネス情報データ、又は動的及び／又は静的マーケティング目標を説明することができるデータの何らかの他のタイプを含むことができる。実施例では、広告主１０４がその倉庫に有する所定の製品の過剰在庫の量を広告主データ１５２によって説明することができる。更に、１つ又はそれよりも多くのデータベースは、履歴イベントデータベースを含むことができる。履歴イベントデータ１５４は、ユーザイベントの時間をその領域で発生する他のイベントと相関付けるために使用することができる。実施例では、特定のタイプの広告に対する反応速度は、株価の動きに相関付けることができる。履歴イベントデータ１５４は、以下に限定されるものではないが、天気データ、イベントデータ、ローカルニュースデータ、又はデータの何らかの他のタイプを含むことができる。更に、１つ又はそれよりも多くのデータベースは、ユーザデータベースを含むことができる。ユーザデータ１５８は、広告受信者に関する個人的にリンクされた情報を含むことができる第三者によって提供されるデータを含むことができる。この情報は、ユーザをラベル付け又は説明することができる優先権又は他の指標をユーザに提供することができる。更に、１つ又はそれよりも多くのデータベースは、リアルタイムイベントデータベースを含むことができる。リアルタイムイベントデータ１６０は、履歴データに類似しているがより最新のものであるデータを含むことができる。リアルタイムイベントデータ１６０は、以下に限定されるものではないが、現在の秒、分、時間、日、又は時間の何らかの他の尺度であるデータを含むことができる。実施例では、学習マシーンユニット１３８が、広告パフォーマンスと履歴株価指標値の間の相関関係を見出した場合、リアルタイム株価指標値は、リアルタイム入札マシーンユニット１４２によって広告を評価するために使用することができる。更に、１つ又はそれよりも多くのデータベースは、提供者１１２及び提供者のウェブサイトなどに関連付けられた状況データ１６２を提供することができる状況データベースを含むことができる。１つ又はそれよりも多くのデータベースは、更に、第三者／商業データベースを含むことができる。
更に、本発明の一実施形態では、データ統合ユニット１３４及び状況分析サービスユニット１３２は、分析プラットフォームユニット１１４及び１つ又はそれよりも多くのデータベースに関連付けることができる。データ統合ユニット１３４は、１つ又はそれよりも多くのデータベースからのデータの様々なタイプの分析プラットフォームユニット１１４への統合を容易にすることができる。状況分析サービスユニット１３２は、広告及び／又は提供者コンテンツ、ウェブサイト、又は他の提供者広告状況に対するメディアの状況カテゴリを識別することができる。実施例では、状況分析器は、ウェブコンテンツを分析して、ウェブページがスポーツ、金融、又は何らかの他のトピックに関するコンテンツを含むか否かを判断することができる。この情報は、関連する提供者及び／又は広告を出すことができるウェブページを識別するために学習マシーンユニットへの入力として使用することができる。別の一実施形態では、提供者１１２のウェブページにおける広告のロケーションは、この情報に基づいて判断することができる。本発明の一実施形態では、状況分析サービスユニット１３２はまた、リアルタイム入札マシーンユニット１４２及び／又は１つ又はそれよりも多くのデータベースに関連付けることができる。
本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、提供者ユニット１１２から入札要求メッセージを受信することができる。リアルタイム入札マシーンユニット１４２は、応答が要求受信と実質的に同時に及び／又は要求受信に非常に近い時間に行われる場合に時間制約に関連付けられる入札要求に応答することができるので「リアルタイム」ユニットと考えることができる。リアルタイム入札マシーンユニット１４２は、システムが決定するのをユーザが待つ間、表示される広告メッセージを計算するために非ステートレス方法を使用することができる。リアルタイム入札マシーンユニット１４２は、学習マシーン１３８によって提供されるアルゴリズムを使用してリアルタイム計算を実行することができ、最適入札値を動的に推定することができる。一実施形態では、代替のリアルタイム入札マシーンユニット１４２が、提示する広告を判断するためにステートレス構成を有することができる。
更に、本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、提供者ユニット１１２に対する広告を掲載する要求の受信に基づいて広告に対する複数の候補掲載位置の各々に対する予測経済評価を動的に判断することができる。提供者ユニット１１２に対する広告掲載の要求の受信に応答して、リアルタイム入札マシーンユニット１４２は、広告に対する複数の候補掲載位置の各々に対する予測経済評価を動的に判断することができ、提供者ユニット１１２に経済評価に基づく利用可能な掲載位置を提示するか否かを選択して決定することができる。
一実施形態では、リアルタイム入札マシーンユニット１４２は、掲載位置に対する第２の要求を処理する前に経済評価を動的に判断するためのモデルを変更する段階を含むことができる。モデルの変更は、マシーン学習ユニットに少なくとも一部基づくことができる。本発明の一実施形態では、複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つを選択及び提示する前に、経済評価モデルの挙動は、複数の掲載位置の各々に対する評価の第２のセットを生成するために変更することができる。一実施形態では、選択及び提示のための段階は、評価の第２のセットに基づくことができる。更に、本発明の一実施形態では、掲載位置に対する要求は、時間制限要求とすることができる。更に、経済評価モデルは、複数の広告掲載の各々に関するパフォーマンス情報を査定することができる。動的に可変の経済評価モデルも、予測経済評価を査定するために使用することができる。本発明の一実施形態では、動的に可変の経済評価モデルは、複数の掲載位置に対する経済評価に関する入札値を査定することができる。広告に対する複数の候補掲載位置の各々に対する予測経済評価の動的判断は、広告主データ１５２、履歴イベントデータ１５４、ユーザデータ１５８、リアルタイムイベントデータ１６０、状況データ１６２、及び第三者商業データ１６４に少なくとも一部基づくことができる。
一実施形態では、リアルタイム入札マシーンユニット１４２は、提供者１１２に対する広告の掲載要求の受信に応答して広告に対する複数の候補掲載位置の各々に対する予測経済評価を動的に判断することができる。経済評価モデルが判断された後、リアルタイム入札マシーンユニット１４２は、広告のための複数の候補掲載位置の各々に対する予測経済評価に少なくとも一部基づいて入札額を判断することができる。入札額の判断は、リアルタイム入札ログの分析を含むことができる。別の一実施形態では、入札額の判断は、マシーン学習に少なくとも一部基づく分析モデリングを含むことができる。マシーン学習に少なくとも一部基づく分析モデリングは、広告インプレッション、広告クリックスルー、及び広告提示に関連して行われるユーザアクションの少なくとも１つを要約する履歴ログデータの分析を含むことができる。更に、本発明の一実施形態では、入札額の判断は、状況分析サービスユニット１３２からのデータの分析を含むことができる。
本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、提供者１１２に対する広告掲載の要求の受信に応答して広告に対する複数の候補掲載位置の各々に対する予測経済評価を動的に判断することができる。経済評価モデルが判断された後に、リアルタイム入札マシーンユニット１４２は、広告に対する複数の候補掲載位置の各々に対する予測経済評価に少なくとも一部基づいて入札額を判断することができる。その後、リアルタイム入札マシーンユニットは、複数の候補掲載位置の中から広告に対する最適掲載位置を選択することができる。更に、リアルタイム入札マシーンユニット１４２は、広告に対する最適掲載位置に自動的に入札することができる。
図１４は、経済評価に基づいて複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つを選択して提供者に提示する方法１４００を示している。本方法は、段階１４０２で始まる。段階１４０４で、提供者に対する広告掲載の要求の受信に応答して、予測経済評価を広告に対する複数の候補掲載位置の各々に対して動的に判断することができる。その後に、段階１４０８で、複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つを経済評価に少なくとも一部基づいて選択して提供者に提示することができる。本発明の一実施形態では、経済評価を動的に判断するためのモデルは、掲載位置に対する第２の要求を処理する前に変更することができる。一実施形態では、モデルは、マシーン学習に少なくとも一部基づいて変更することができる。本発明の一実施形態では、選択及び提示の段階の前に、複数の掲載位置の各々に対する評価の第２のセットを生成するために経済評価モデルの挙動を変更することができる。一実施形態では、選択及び提示段階の各段階は、第１の評価の代わりに使用される評価の第２のセットに基づくことができる。一実施形態では、掲載位置に対する要求は時間制限要求とすることができる。一実施形態では、本明細書に説明する経済評価モデルは、複数の広告掲載の各々に関するパフォーマンス情報を査定することができる。動的に可変の経済評価モデルは、予測経済評価を査定し、複数の掲載位置に対する経済評価に関して入札値を査定するために使用することができる。広告に対する複数の候補掲載位置の各々に対する予測経済評価は、広告主データ、履歴イベントデータ、ユーザデータ、リアルタイムイベントデータ、状況データ又は第三者商業データに少なくとも一部基づくことができる。本方法は、段階１４１０で終了する。
図１５は、本発明の実施形態による入札額を判断する方法１５００を示している。本方法は、段階１５０２で始まる。段階１５０４で、提供者に対する広告を掲載する要求の受信に応答して、広告に対する複数の候補掲載位置の各々に対する予測経済評価を動的に判断することができる。その後に、段階１５０８で、広告に対する複数の候補掲載位置の各々に対する予測経済評価に少なくとも一部基づいて入札額が判断される。本発明の一実施形態では、入札額の判断は、マシーン学習に少なくとも一部基づくリアルタイム入札ログの分析及び／又は分析モデリングを含むことができる。本発明の一実施形態では、分析モデリングは、広告インプレッション、広告クリックスルー、及び広告提示に関連して行われるユーザアクションの少なくとも１つを要約する履歴ログデータの分析を含むことができる。本発明の一実施形態では、入札額の判断は、状況分析サービスからのデータの分析を含むことができる。
図１６は、広告に対する最適掲載位置に自動的に入札する方法１６００を示し、従って、最適掲載位置は、予測経済評価に少なくとも一部基づいて選択される。本方法は、段階１６０２で始まる。段階１６０４で、提供者に対する広告掲載の要求の受信に応答して広告に対する複数の候補掲載位置の各々に対する予測経済評価が動的に判断される。その後に、段階１６０８で、広告に対する複数の候補掲載位置の各々に対する予測経済評価に少なくとも一部基づいて入札額が判断される。更に、段階１６１０で、入札額に少なくとも一部基づいて複数の候補掲載位置の中から広告に対する最適掲載位置が選択される。最後に、段階１６１２で、広告に対する最適掲載位置への入札が自動的に行われる。本方法は、段階１６１４で終了する。
図１７は、本発明の実施形態によるオンライン広告購入のための入札をターゲットにするためのリアルタイムユニット１７００を示している。リアルタイムユニットは、学習マシーンユニット１３８及びリアルタイム入札マシーンユニット１４２を含むことができる。本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、提供者ユニット１１２から入札要求メッセージを受信することができる。リアルタイム入札マシーンユニット１４２は、時間制約に関連付けられる入札要求に応答することができるので「リアルタイム」ユニットと考えることができる。リアルタイム入札マシーンユニット１４２は、学習マシーン１３８によって提供されるターゲット化アルゴリズムを使用してリアルタイム計算を実行することができ、最適入札値を動的に推定することができる。
更に、本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、広告に対する１つ又はそれよりも多くの候補掲載位置の各々に対する経済評価を（提供者ユニット１１２に対する広告を掲載位する要求の受信に基づいて）動的に判断することができる経済評価モデルを配備することができる。提供者ユニット１１２に対する広告を掲載する要求の受信に応答して、リアルタイム入札マシーンユニット１４２は、広告に対する１つ又はそれよりも多くの候補掲載位置の各々に対する経済評価を動的に判断することができる。経済評価が判断された後、リアルタイム入札マシーンユニット１４２は、経済評価に基づいて、複数の利用可能な掲載位置、及び／又は複数の広告の少なくとも１つを選択してユーザに提示することができる。一実施形態では、提供者１１２への選択及び提示は、複数の利用可能な掲載位置、及び／又は複数の広告の少なくとも１つに対する推薦された入札額を含むことができる。入札額は、時間制約に関連付けることができる。更に、一実施形態では、マシーン学習を通じた精緻化は、モデルが広告の実際の経済パフォーマンスを反映する程度を遡及的に比較することによって経済評価モデルを比較する段階を含むことができる。本発明の一実施形態では、経済評価モデルは、広告代理店データ１５２、リアルタイムイベントデータ１６０、履歴イベントデータ１５４、ユーザデータ１５８、第三者商業データ１６４、及び状況データ１６２に少なくとも一部基づくことができる。一実施形態では、広告代理店データ１５２は、少なくとも１つのキャンペーン記述子を含むことができる。一実施形態では、キャンペーン記述子は、履歴ログデータ、広告代理店キャンペーン予算データ、及び広告掲載における時間制約を示すデータとすることができる。
一実施形態では、学習マシーンユニット１３８は、経済評価モデルを受信することができる。経済評価モデルは、リアルタイム入札マシーンユニット１４２からのリアルタイム入札ログデータ１５０の分析に少なくとも一部基づくことができる。その後、学習マシーンユニット１３８は、経済評価モデルを精緻化することができる。この調節は、広告インプレッションログの分析に少なくとも一部基づくことができる。本発明の一実施形態では、経済評価モデルの精緻化は、学習マシーンユニット１３８で使用されるデータを学習マシーンユニット１３８によって読み取ることができるデータフォーマットに変換することができるデータ統合段階を含むことができる。フォーマットは、ニュートラルフォーマットとすることができる。更に、一実施形態では、学習マシーンを使用した経済評価モデルの精緻化は、マシーン学習アルゴリズムに少なくとも一部基づくことができる。マシーン学習アルゴリズムは、「ｎａｉｖｅ ｂａｙｅｓ」分析技術及び論理的回帰分析技術に少なくとも一部基づくことができる。更に、リアルタイム入札マシーンユニット１４２は、複数の利用可能な広告掲載の各々を分類するために精緻化された経済評価モデルを使用することができる。分類は、広告インプレッションを達成する利用可能な広告掲載の各々の確率を示すデータとすることができる。リアルタイム入札マシーンユニット１４２は、次に、広告インプレッションを達成する確率を示すデータに少なくとも一部基づいて、利用可能な広告掲載に優先順位を付けることができる。その後、リアルタイム入札マシーンユニット１４２は、優先順位付けに基づいて複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つを選択してユーザに提示することができる。
本発明の一実施形態では、リアルタイム入札マシーンユニット１４２によって配備された経済評価モデルは、１つ又はそれよりも多くの掲載位置の各々に対する経済評価を予測するために、１つ又はそれよりも多くの利用可能な掲載位置に関する情報を査定するマシーン学習ユニットによって精緻化することができる。更に、一実施形態では、学習マシーンユニット１３８は、経済評価モデルを精緻化するためにデータの様々なタイプを取得することができる。データの様々なタイプは、キャンペーン記述子を含むことができる代理店データ１５２をいずれの制限もなしに含むことができ、かつチャンネル、時間、予算、及び広告メッセージの拡散を可能にすることができる他の情報を説明することができる。代理店データ１５２はまた、ユーザに表示される各広告メッセージに対する掲載位置とすることができるキャンペーン及び履歴ログを含むことができる。代理店データ１５２はまた、ユーザの識別子、チャンネル、時間、支払われる価格、表示される広告メッセージ、及びユーザが生じたユーザアクション、又はキャンペーン又は履歴ログデータの何らかの他のタイプの１つ又はそれよりも多くを含むことができる。更に、データの様々なタイプは、ビジネス情報データ、又は動的及び／又は静的マーケティング目標を説明することができるデータの何らかの他のタイプを含むことができる。
本発明の一実施形態では、学習マシーンユニット１３８は、以下に限定されるものではないが、本明細書に説明する方法及びシステムを最適化する段階を含む監査及び／又は監督機能を実行することができる。情報の他の一実施形態では、学習システム１３８は、複数のデータソースから複数のデータソースに少なくとも一部基づく本明細書に説明する方法及びシステムの基本的最適化を学ぶことができる。一実施形態では、本明細書に説明する方法及びシステムは、インターネットベースの用途、モバイル用途、固定回線用途（例えば、ケーブルメディア）、又はデジタル用途の何らかの他のタイプにおいて使用することができる。一実施形態では、本明細書に説明する方法及びシステムは、以下に限定されるものではないが、セットトップボックス、デジタル掲示板、ラジオ広告、又はアドレス可能な広告メディアの何らかの他のタイプを含む１つ又はそれよりも多くのアドレス可能な広告メディアにおいて使用することができる。
更に、本発明の一実施形態では、学習マシーンユニット１３８は、リアルタイム入札マシーンユニット１４２の経済評価モデルを精緻化するために様々なタイプのアルゴリズムを利用することができる。アルゴリズムは、いずれの制限もなしに、判断ツリー学習、相関ルール学習、人工ニューラルネットワーク、汎用プログラミング、帰納的論理プログラミング、サポートベクトルマシーン、クラスター化、ベイジアンネットワーク、及び強化学習を含むことができる。本発明の一実施形態では、様々なタイプのアルゴリズムは、広告がアクションをもたらすか否かを分類することができるアルゴリズムである選別器を生成することができる。これらの基本的な形式を用いて、これらは、選別器の確度の強さを示す「イエス」又は「ノー」回答及び／又はスコアを戻すことができる。較正技術が適用される時に、これらは、修正される予測の可能性の確率推定を戻すことができる。
図１８は、経済評価に基づいて複数の利用可能な広告掲載の少なくとも１つを選択してユーザに提示する方法１８００を示している。本方法は、段階１８０２で始まる。段階１８０４で、提供者に対する広告の掲載要求の受信に応答して経済評価モデルを配備することができる。複数の掲載位置の各々に対する経済評価を予測するために、複数の利用可能な掲載位置及び／又は複数の広告に関する情報を査定するマシーン学習を通じて経済評価モデルを精緻化することができる。一実施形態では、マシーン学習を通じた精緻化は、モデルが広告の実際の経済パフォーマンスを反映する程度を遡及的に比較することによって経済評価モデルを比較する段階を含むことができる。更に、経済評価モデルは、広告代理店データ、リアルタイムイベントデータ、履歴イベントデータ、ユーザデータ、第三者商業データ、及び状況データに少なくとも一部基づくことができる。更に、広告代理店データは、少なくとも１つのキャンペーン記述子を含むことができる。更に、キャンペーン記述子は、履歴ログデータ、広告代理店キャンペーン予算データ、及び広告代理店キャンペーン予算データとすることができる。段階１８０８で、複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つを経済評価に基づいて選択してユーザに提示することができる。一実施形態では、提供者への選択及び提示は、複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つに対する推薦された入札額を含むことができる。更に、入札額は、時間制約に関連付けることができる。方法１８００は、段階１８１０で終了する。
図１９は、リアルタイム入札ログデータを使用する経済評価モデルに少なくとも一部基づいて複数の利用可能な広告掲載から優先順位付けされた掲載位置機会を選択する方法１９００を示している。方法１９００は、段階１９０２で始まる。段階１９０４で、学習マシーンでの経済評価モデルを受信することができる。経済評価モデルは、リアルタイム入札マシーンからのリアルタイム入札ログの分析に少なくとも一部基づくことができる。段階１９０８で、経済評価モデルは、学習マシーンを使用して精緻化することができる。一実施形態では、この精緻化は、広告インプレッションログの分析に少なくとも一部基づくことができる。更に、経済評価モデルの精緻化は、学習マシーンで使用されるデータを学習マシーンによって読み取ることができるデータフォーマットに変換することができるデータ統合段階を含むことができる。一実施形態では、フォーマットは、ニューラルフォーマットとすることができる。更に、学習マシーンを使用した経済評価モデルの精緻化は、マシーン学習アルゴリズムに少なくとも一部基づくことができる。マシーン学習アルゴリズムは、「ｎａｉｖｅ ｂａｙｅｓ」分析技術に少なくとも一部基づくことができる。更に、マシーン学習アルゴリズムは、論理的回帰分析技術に少なくとも一部基づくことができる。段階１９１０で、精緻化された経済評価モデルは、複数の利用可能な広告掲載の各々を選別するために使用することができる。各選別は、広告インプレッションを達成する利用可能な広告掲載の各々の確率を示すデータを使用して要約することができる。更に、段階１９１２で、利用可能な広告掲載は、このデータに少なくとも一部基づいて優先順位を付けることができる。更に、段階１９１４で、優先順位付けに基づいて複数の利用可能な掲載位置及び／又は複数の広告の少なくとも１つを選択してユーザに提示することができる。方法１９００は、段階１９１８で終了する。
図２０は、本発明の実施形態によりオンライン広告のための入札の購入価格傾向を予測するための代替アルゴリズムを選択するためのリアルタイムユニット２０００を示している。リアルタイムユニット１７００は、学習マシーンユニット１３８、評価アルゴリズムユニット１４０、リアルタイム入札マシーンユニット１４２、複数のデータ２００２、及び提供者ユニット１１２からの入札要求メッセージ２００４を含むことができる。本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、提供者ユニット１１２から入札要求メッセージ１７０４を受信することができる。リアルタイム入札マシーンユニット１４２は、時間制約に関連付けられる入札要求に応答することができるので「リアルタイム」ユニットと考えることができる。リアルタイム入札マシーンユニット１４２は、オンライン広告のための入札の購入価格傾向を予測するために、学習マシーンユニット１３８によって提供されるターゲット化アルゴリズムを使用してリアルタイム計算を実行することができる。本発明の一実施形態では、学習マシーンユニット１３８は、オンライン広告のための入札の購入価格傾向を予測するための現在作動中のアルゴリズムのパフォーマンスに基づいて代替アルゴリズムを選択することができる。本発明の別の一実施形態では、学習マシーンユニット１３８は、オンライン広告のための入札の購入価格傾向を予測する代替アルゴリズムの予測されるパフォーマンスに基づいて代替アルゴリズムを選択することができる。更に、本発明の一実施形態では、学習マシーンユニット１３８は、評価アルゴリズムユニット１４０から代替アルゴリズムを取得することができる。
一実施形態では、リアルタイム入札マシーンユニット１４２は、オンライン広告掲載のパフォーマンスを予測する複数のアルゴリズムを適用することができる。複数のアルゴリズムが適用された状態で、リアルタイム入札マシーンユニット１４２は、様々な市場条件の下で複数のアルゴリズムのパフォーマンスを追跡することができる。リアルタイム入札マシーンユニット１４２は、次に、複数のアルゴリズムからアルゴリズムの１つのタイプに対するパフォーマンス条件を判断することができる。その後、リアルタイム入札マシーンユニット１４２は、市場条件を追跡することができ、現在の市場条件に基づいて広告掲載のパフォーマンスを予測するためのアルゴリズムを選択することができる。
一実施形態では、パフォーマンスを予測する複数のアルゴリズムの少なくとも１つは、広告主データ１５２を含むことができる。広告主データ１５２は、ビジネス情報データ、又は動的及び／又は静的マーケティング目標を説明することができるデータの何らかの他のタイプを含むことができる。本発明の別の一実施形態では、パフォーマンスを予測する複数のアルゴリズムの少なくとも１つは、履歴イベントデータ１５４を含むことができる。履歴イベントデータ１５４は、ユーザイベントの時間をその領域での他のイベントの発生に相関付けるために使用することができる。実施例では、広告の特定のタイプに対する反応速度は、株価の動きに相関付けることができる。履歴イベントデータ１５４は、以下に限定されるものではないが、天気データ、イベントデータ、ローカルニュースデータ、又はデータの何らかの他のタイプを含むことができる。本発明の更に別の一実施形態では、パフォーマンスを予測する複数のアルゴリズムの少なくとも１つは、ユーザデータ１５８を含むことができる。ユーザデータ１５８は、広告受信者に関する個人的にリンクされた情報を含むことができる第三者によって提供されるデータを含むことができる。この情報は、優先権又はユーザをラベル付け又は説明することができる他の指標をユーザに提供することができる。本発明の更に別の一実施形態では、パフォーマンスを予測する複数のアルゴリズムの少なくとも１つは、リアルタイムイベントデータ１６０を含むことができる。リアルタイムイベントデータ１６０は、履歴データに類似しているがより最新のものであるデータを含むことができる。リアルタイムイベントデータ１６０は、以下に限定されるものではないが、現在の秒、分、時間、日、又は時間の何らかの他の尺度であるデータを含むことができる。本発明の更に別の一実施形態では、パフォーマンスを予測する複数のアルゴリズムの少なくとも１つは、状況データ１６２を含むことができる。本発明の更に別の一実施形態では、パフォーマンスを予測する複数のアルゴリズムの少なくとも１つは、第三者商業データを含むことができる。
更に、本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、類似の広告掲載の過去のパフォーマンス及び価格に一部基づいて複数の利用可能なウェブ公開可能な広告掲載の各々の経済評価を予測する１次モデルを使用することができる。リアルタイム入札マシーンユニット１４２はまた、複数のウェブ公開可能な広告掲載の各々の経済評価を予測する第２のモデルを使用することができる。１次モデル及び第２のモデルの両方を使用した経済評価の予測の後で、リアルタイム入札マシーンユニット１４２は、１次モデルと第２のモデルによって生成された評価を比較して、１次モデルと第２のモデル間の優先権を判断することができる。本発明の一実施形態では、評価の比較は、モデルが広告の実際の経済パフォーマンスを反映する程度を遡及的に比較する段階を含むことができる。更に、本発明の一実施形態では、１次モデルは、購入要求に応答するアクティブモデルとすることができる。購入要求は、時間制限購入要求とすることができる。本発明の一実施形態では、第２のモデルは、購入要求に応答するアクティブモデルとして１次モデルを置換することができる。更に、この置換は、第２のモデルが現在の市場条件の下で１次モデルよりも適切に実行することができるという予測に基づくことができる。本発明の一実施形態では、この予測は、マシーン学習、履歴広告パフォーマンスデータ１３０、履歴イベントデータ、及びリアルタイムイベントデータ１６０に少なくとも一部基づくことができる。
本発明の別の一実施形態では、リアルタイム入札マシーンユニット１４２は、類似の広告掲載の過去のパフォーマンス及び価格に一部基づいて複数の利用可能なモバイルデバイス広告掲載の各々の経済評価を予測する１次モデルを使用することができる。リアルタイム入札マシーンユニット１４２はまた、複数のモバイルデバイス広告掲載の各々の経済評価を予測する第２のモデルを使用することができる。１次モデル及び第２のモデルの両方を使用した経済評価の予測の後で、リアルタイム入札マシーンユニット１４２は、１次モデル及び第２のモデルによって生成された評価を比較して、１次モデルと第２のモデル間の優先権を判断することができる。本発明の一実施形態では、評価の比較は、モデルが広告の実際の経済パフォーマンスを反映する程度を遡及的に比較する段階を含むことができる。更に、本発明の一実施形態では、１次モデルは、購入要求に応答するアクティブモデルとすることができる。購入要求は、時間制限購入要求とすることができる。本発明の一実施形態では、第２のモデルは、購入要求に応答するアクティブモデルとして１次モデルを置換することができる。更に、この置換は、現在の市場条件の下で第２のモデルが１次モデルよりも適切に実行することができるという予測に基づくことができる。
本発明の一実施形態では、リアルタイム入札マシーンユニット１４２によって配備された経済評価モデルは、１つ又はそれよりも多くの掲載位置の各々に対する経済評価を予測するために１つ又はそれよりも多くの利用可能な掲載位置に関する情報を査定することができるようにマシーン学習ユニット１３８によって精緻化することができる。
一実施形態では、学習マシーンユニット１３８は、経済評価モデルを精緻化するためにデータの様々なタイプを取得することができる。データの様々なタイプは、いずれの制限もなしに、広告主データ１５２、履歴イベントデータ１５４、ユーザデータ１５８、リアルタイムイベントデータ１６０、状況データ１６２、及び第三者商業データを含むことができる。データの様々なタイプは、市場人口統計データなどのような広告に直接関係のない場合がある様々なフォーマット及び情報を有することができる。本発明の一実施形態では、様々なフォーマットにおけるデータの様々なタイプは、ニュートラルフォーマット又は学習マシーンユニット１３８に適合するフォーマットに固有のフォーマット、又は学習マシーンユニット１３８に対して適切な何らかの他のデータタイプに変換することができる。
一実施形態では、学習マシーンユニット１３８は、リアルタイム入札マシーンユニット１４２の経済評価モデルを精緻化するためにアルゴリズムの様々なタイプを利用することができる。アルゴリズムは、いずれの制限もなしに、判断ツリー学習、相関ルール学習、人工ニューラルネットワーク、汎用プログラミング、帰納論理プログラミング、サポートベクトルマシーン、クラスター化、ベイジアンネットワーク、及び強化学習を含むことができる。
図２１は、現在の市場条件に基づいて広告掲載のパフォーマンスを予測するための本発明の方法２１００を示している。本方法は、段階２１０２で始まる。段階２１０４で、オンライン広告掲載のパフォーマンスを予測する複数のアルゴリズムを適用することができる。本発明の一実施形態では、パフォーマンスを予測する複数のアルゴリズムの少なくとも１つは、広告主データ、履歴イベントデータ、ユーザデータ、リアルタイムイベントデータ、状況データ、及び第三者商業データ、又はデータの何らかの他のタイプを含むことができる。その後、段階２１０８で、様々な市場条件の下で複数のアルゴリズムのパフォーマンスを追跡することができる。更に、段階２１１０で、アルゴリズムのタイプに対するパフォーマンスを判断することができ、次に、市場条件を段階２１１２で追跡することができる。最後に、段階２１１４で、現在の市場条件に基づく広告掲載のパフォーマンスを予測するためのアルゴリズムを選択することができる。本方法は、段階２１１８で終了する。
図２２は、本発明の実施形態により経済評価を予測する１次モデルと第２のモデル間の優先権を判断する方法２２００を示している。本方法は、段階２２０２で始まる。段階２２０４で、１次モデルを使用して複数の利用可能なウェブ公開可能な広告掲載の各々の経済評価を予測することができる。経済評価は、類似の広告掲載の過去のパフォーマンス及び価格に一部基づくことができる。段階２２０８で、第２のモデルを使用して複数の利用可能なウェブ公開可能な広告掲載の各々の経済評価を予測することができる。その後、段階２２１０で、１次モデル及び第２のモデルの両方を使用した経済評価を比較して、１次モデルと第２のモデル間の優先権を判断することができる。本発明の一実施形態では、評価の比較は、モデルが広告の実際の経済パフォーマンスを反映する程度を遡及的に比較する段階を含むことができる。更に、本発明の一実施形態では、１次モデルは、購入要求に応答するアクティブモデルとすることができる。購入要求は、時間制限購入要求とすることができる。本発明の一実施形態では、第２のモデルは、購入要求に応答するアクティブモデルとして１次モデルを置換することができる。更に、この置換は、現在の市場条件の下で第２のモデルが１次モデルよりも適切に実行することができるという予測に基づくことができる。本発明の一実施形態では、この予測は、マシーン学習、履歴広告パフォーマンスデータ、履歴イベントデータ、及びリアルタイムイベントデータに少なくとも一部基づくことができる。本方法は、段階２２１２で終了する。
ここで図２３を参照すると、本発明の別の実施形態により経済評価を予測する１次モデルと第２のモデル間の優先権を判断する方法２３００が示されている。本方法は、段階２３０２で始まる。段階２３０４で、１次モデルを使用して複数の利用可能なモバイルデバイス広告掲載の各々の経済評価を予測することができる。経済評価は、類似の広告掲載の過去のパフォーマンス及び価格に一部基づくことができる。段階２３０８で、第２のモデルを使用して複数の利用可能なモバイルデバイス広告掲載の各々の経済評価を予測することができる。その後、段階２３１０で、１次モデルと第２のモデルの両方を使用した経済評価を比較して、１次モデルと第２のモデル間の優先権を判断することができる。本発明の一実施形態では、評価の比較は、モデルが広告の実際の経済パフォーマンスを反映する程度を遡及的に比較する段階を含むことができる。更に、本発明の一実施形態では、１次モデルは、購入要求に応答するアクティブモデルとすることができる。購入要求は、時間制限購入要求とすることができる。本発明の一実施形態では、第２のモデルは、購入要求に応答するアクティブモデルとして１次モデルを置換することができる。更に、この置換は、現在の市場条件下で第２のモデルが１次モデルよりも適切に実行することができるという予測に基づくことができる。本方法は、段階２３１２で終了する。
更に、本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、提供者ユニット１１２から広告を掲載する要求を受信することができる。この要求に応答して、リアルタイム入札マシーンユニット１４２は、複数の利用可能な広告掲載の各々に対する経済評価を予測するために複数の競争経済評価モデルを配備することができる。複数の経済評価モデルの配備後、リアルタイム入札マシーンユニット１４２は、複数の競争経済評価モデルの各々によって生成された各評価を査定して、広告掲載の現在の評価として１つの経済評価モデルを選択することができる。
本発明の一実施形態では、経済評価モデルは、リアルタイムイベントデータ１６０に少なくとも一部基づくことができる。リアルタイムイベントデータ１６０は、履歴データに類似であるがより最新のものであるデータを含むことができる。リアルタイムイベントデータ１６０は、以下に限定されるものではないが、現在の秒、分、時間、日、又は時間の何らかの他の尺度であるデータを含むことができる。本発明の別の一実施形態では、経済評価モデルは、履歴イベントデータ１５４に少なくとも一部基づくことができる。履歴イベントデータ１５４は、ユーザイベントの時間をその領域での他のイベントの発生に相関付けるために使用することができる。実施例では、広告の特定のタイプに対する反応速度は、株価の動きに相関付けることができる。履歴イベントデータ１５４は、以下に限定されるものではないが、天気データ、イベントデータ、ローカルニュースデータ、又はデータの何らかの他のタイプを含むことができる。本発明の更に別の一実施形態では、経済評価モデルは、ユーザデータ１５８に少なくとも一部基づくことができる。ユーザデータ１５８は、広告受信者に関する個人的にリンクされた情報を含むことができる第三者によって提供されるデータを含むことができる。この情報は、優先権又はユーザをラベル付け又は説明することができる他の指標をユーザに提供することができる。本発明の更に別の一実施形態では、経済評価モデルは、第三者商業データに少なくとも一部基づくことができる。本発明の一実施形態では、第三者商業データは、履歴広告インプレッションに関連する金融データを含むことができる。本発明の更に別の一実施形態では、経済評価モデルは、状況データ１６２に少なくとも一部基づくことができる。本発明の更に別の一実施形態では、経済評価モデルは、広告主データ１５２に少なくとも一部基づくことができる。広告主データ１５２は、ビジネス情報データ、又は動的及び／又は静的マーケティング目標を説明することができるデータの何らかの他のタイプを含むことができる。本発明の更に別の一実施形態では、経済評価モデルは、広告代理店データ１５２に少なくとも一部基づくことができる。広告代理店データ１５２はまた、ユーザに表示される各広告メッセージに対する掲載位置とすることができるキャンペーン及び履歴ログを含むことができる。広告代理店データ１５２はまた、ユーザの識別子、チャンネル、時間、支払われる価格、表示される広告メッセージ、及びユーザがもたらすユーザアクションの１つ又はそれよりも多く、又はキャンペーン又は履歴ログデータの何らかの他のタイプを含むことができる。本発明の更に別の一実施形態では、経済評価モデルは、履歴広告パフォーマンスデータ１３０に少なくとも一部基づくことができる。本発明の更に別の一実施形態では、経済評価モデルは、マシーン学習に少なくとも一部基づくことができる。
本発明の一実施形態では、リアルタイム入札マシーンユニット１４２によって配備された経済評価モデルは、１つ又はそれよりも多くの掲載位置の各々に対する経済評価を予測するために１つ又はそれよりも多くの利用可能な掲載位置に関する情報を査定することができるようにマシーン学習ユニット１３８によって精緻化することができる。
本発明の一実施形態では、リアルタイム入札マシーンユニット１４２が提供者ユニット１１２から広告を掲載する要求を受信した後、この要求に応答してリアルタイム入札マシーンユニット１４２は、複数の広告掲載の各々に対する経済評価を予測するために複数の競争経済評価モデルを配備することができる。複数の経済評価モデルを配備した後、リアルタイム入札マシーンユニット１４２は、複数の競争経済評価モデルの各々によって生成された各評価を査定して広告掲載の第１の評価として１つを選択することができる。第１の評価の選択に応答して、リアルタイム入札マシーンユニット１４２は、複数の競争経済評価モデルの各々によって生成された各評価を再査定して、広告掲載の修正された評価として１つを選択することができる。本発明の一実施形態では、修正された評価は、第１の評価を選択した時に利用可能ではなかったリアルタイムイベントデータ１６０を使用した経済評価モデルの分析に少なくとも一部基づくことができる。その後、リアルタイム入札マシーンユニット１４２は、広告掲載に対する推薦された入札額を導出する際に使用する第２の修正評価によって第１の評価を置換することができる。本発明の一実施形態では、この要求は、提供者１１２から受信することができ、推薦された入札額は、自動的に提供者１１２に送信することができる。本発明の別の一実施形態では、この要求は、提供者１１２から受信することができ、推薦された入札額に等しい入札を提供者１１２の代わりに自動的に入れることができる。本発明の一実施形態では、推薦された入札額は、広告掲載の推薦された時間に関連付けることができる。本発明の別の一実施形態では、推薦された入札額をリアルタイム入札マシーンユニット１４２に関連付けることができるリアルタイム入札ログの分析によって更に取得することができる。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
本発明の別の一実施形態では、リアルタイム入札マシーンユニット１４２が提供者ユニット１１２から広告を掲載する要求を受信した後、リアルタイム入札マシーンユニット１４２は、複数の競争経済評価モデルを配備して複数の利用可能な広告掲載に関する情報を査定することができる。リアルタイム入札マシーンユニット１４２は、競争経済評価モデルを配備して複数の広告掲載の各々に対する経済評価を予測することができる。複数の経済評価モデルを配備した後、リアルタイム入札マシーンユニット１４２は、複数の競争経済評価モデルの各々によって生成された各評価を査定して、広告掲載の将来の評価として１つの評価を選択することができる。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明のよって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
本発明の別の一実施形態では、リアルタイム入札マシーンユニット１４２が提供者ユニット１１２から広告を掲載する要求を受信した後、リアルタイム入札マシーンユニット１４２は、複数の競争経済評価モデルを配備して複数の利用可能な広告掲載に関する情報を査定することができる。リアルタイム入札マシーンユニット１４２は、競争経済評価モデルを配備して、複数の広告掲載の各々に対する経済評価を予測することができる。複数の経済評価モデルを配備した後、リアルタイム入札マシーンユニット１４２は、複数の競争経済評価モデルの各々によって生成された各評価をリアルタイムで査定し、広告掲載の将来の評価として１つの評価を選択することができる。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。本発明の一実施形態では、将来の評価は、将来のイベントを説明するシミュレーションデータに少なくとも一部基づくことができる。本発明の一実施形態では、将来のイベントは、株価の変動とすることができる。更に、本発明の一実施形態では、将来のイベントを説明するシミュレーションデータは、履歴イベントデータの分析から導出することができる。
本発明の一実施形態では、リアルタイム入札マシーンユニット１４２が提供者ユニット１１２から広告を掲載する要求を受信した後、リアルタイム入札マシーンユニット１４２は、複数の利用可能な広告掲載に関する複数の競争リアルタイム入札アルゴリズムを配備して広告掲載に入札することができる。複数の競争リアルタイム入札アルゴリズムを配備した後、リアルタイム入札マシーンユニット１４２は、各入札アルゴリズムを査定して好ましいアルゴリズムを選択することができる。本発明の一実施形態では、競争リアルタイム入札アルゴリズムは、リアルタイム入札ログからのデータを使用することができる。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
本発明の別の一実施形態では、リアルタイム入札マシーンユニット１４２が提供者ユニット１１２から広告を掲載する要求を受信した後、リアルタイム入札マシーンユニット１４２は、複数の利用可能な広告掲載に関する複数の競争リアルタイム入札アルゴリズムを配備することができる。リアルタイム入札マシーンユニット１４２は、複数の競争リアルタイム入札アルゴリズムを配備して広告掲載に入札することができる。複数の競争リアルタイム入札アルゴリズムを配備した後、リアルタイム入札マシーンユニット１４２は、競争リアルタイム入札アルゴリズムによって作成された各入札推薦を査定することができる。リアルタイム入札マシーンユニット１４２は、競争リアルタイム入札アルゴリズムによって作成された各入札推薦を再査定して修正入札推薦として１つを選択することができる。本発明の一実施形態では、修正入札推薦は、入札推薦を選択した時には利用可能でなかったリアルタイムイベントデータ１６０を使用するリアルタイム入札アルゴリズムに少なくとも一部基づくことができる。その後、リアルタイム入札マシーンユニット１４２は、広告掲載に対する推薦された入札額を導出する際に使用する修正入札推薦で入札推薦を置換することができる。本発明の一実施形態では、この置換は、広告を掲載する要求の受信に対してリアルタイムで実行することができる。
ここで図２４を参照すると、本発明の実施形態による広告掲載に対するリアルタイム入札において複数の競争評価モデルから１つを選択する方法２４００が示されている。本方法は、段階２４０２で始まる。段階２４０４で、広告を掲載する要求の受信に応答して複数の競争経済評価モデルを配備し、複数の広告掲載の各々に対する経済評価を予測することができる。その後に、段階２４０８で、複数の競争経済評価モデルの各々によって生成された各評価を査定して、広告掲載の現在の評価として評価モデルの１つを選択することができる。本発明の一実施形態では、経済評価モデルは、リアルタイムイベントデータ、履歴イベントデータ、ユーザデータ、状況データ、広告主データ、広告代理店データ、履歴広告パフォーマンスデータ、マシーン学習及び第三者商業データに少なくとも一部基づくことができる。本発明の一実施形態では、第三者商業データは、履歴広告インプレッションに関連する金融データを含むことができる。本方法は、段階２４１０で終了する。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及モデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
図２５は、広告掲載に対する推薦された入札額を導出するための第２の経済評価モデルによって第１の経済評価モデルを置換する方法２５００を示している。本方法は、段階２５０２で始まる。段階２５０４で、広告を掲載する要求の受信に応答して複数の競争経済評価モデルを配備することができ、複数の広告掲載の各々に対する経済評価を予測することができる。その後に、段階２５０８で、複数の競争経済評価モデルの各々によって生成された評価を査定することができ、広告掲載の第１の評価を次に、選択することができる。更に、段階２５１０で、複数の競争経済評価モデルの各々によって生成された評価を再査定することができる。次に、競争経済評価モデルの１つを広告掲載の修正評価として選択することができる。修正評価は、第１の評価を選択する時には利用可能でなかったリアルタイムイベントデータを使用する経済評価モデルの分析に少なくとも一部基づくことができる。更に、段階２５１２で、第１の評価は、広告掲載に対する推薦された入札額を得る場合に使用する第２の修正評価で置換することができる。本発明の一実施形態では、この要求を提供者から受信することができ、推薦された入札額を提供者に自動的に送信することができる。本発明の別の一実施形態では、この要求を提供者から受信することができ、推薦された入札額に等しい入札を提供者の代わりに自動的に入れることができる。本発明の更に別の一実施形態では、推薦された入札額は、広告掲載の推薦された時間に関連付けることができる。本発明の別の一実施形態では、推薦された入札額は、リアルタイム入札マシーンに関連付けられるリアルタイム入札ログの分析によって更に取得ことができる。本方法は、段階２５１４で終了する。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
図２６は、本発明の実施形態により複数の経済評価モデルを査定して広告掲載の将来の評価として１つの評価を選択する方法２６００を示している。本方法は、段階２６０２で始まる。段階２６０４で、広告を掲載する要求の受信に応答して複数の競争経済評価モデルを配備することができる。複数の利用可能な広告掲載に関する情報を査定して、複数の広告掲載の各々に対する経済評価を予測することができる。更に、段階２６０８で、複数の競争経済評価モデルの各々によって生成された各評価を査定して、広告掲載の将来の評価として１つの評価を選択することができる。本方法は、段階２６１０で終了する。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
図２７は、本発明の実施形態によりリアルタイムで複数の経済評価モデルを査定して広告掲載の将来の評価として１つの評価を選択する方法２７００を示している。本方法は、段階２７０２で始まる。段階２７０４で、広告を掲載する要求の受信に応答して複数の競争経済評価モデルを配備することができる。複数の利用可能な広告掲載に関する情報を査定して、複数の広告掲載の各々に対する経済評価を予測することができる。その後に、段階２７０８で、複数の競争経済評価モデルの各々によって生成された各評価をリアルタイムで査定することができ、広告掲載の将来の評価として１つの評価を選択することができる。本発明の一実施形態では、将来の評価は、将来のイベントを説明するシミュレーションデータに少なくとも一部基づくことができる。本発明の別の一実施形態では、将来のイベントは株価の変動とすることができる。本発明の一実施形態では、将来のイベントを説明するシミュレーションデータを広告掲載に掲載される広告に関連する状況データに少なくとも一部基づいて選択することができる履歴イベントデータの分析から導出することができる。本方法は、段階２７１０で終了する。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
図２８は、本発明の実施形態により複数の入札アルゴリズムを査定して広告を掲載するための好ましいアルゴリズムを選択する方法２８００を示している。本方法は、段階２８０２で始まる。段階２８０４で、広告を掲載する要求の受信に応答して複数の競争リアルタイム入札アルゴリズムを配備することができる。入札アルゴリズムは、広告掲載に入札するための複数の利用可能な広告掲載に関連付けることができる。その後に、段階２８０８で、各入札アルゴリズムは、好ましいアルゴリズムを選択するために査定することができる。本方法は、段階２８１０で終了する。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
図２９は、本発明の実施形態により入札推薦を広告掲載のための修正された入札推薦で置換する方法２９００を示している。本方法は、段階２９０２で始まる。段階２９０４で、広告を掲載する要求の受信に応答して、広告掲載に入札するための複数の利用可能な広告掲載に関する複数の競争リアルタイム入札アルゴリズムを配備することができる。段階２９０８で、競争リアルタイム入札アルゴリズムによって作成された各入札推薦を査定することができる。更に、段階２９１０で、競争リアルタイム入札アルゴリズムによって作成された各入札推薦を再査定して修正入札推薦として１つを選択することができる。一実施形態では、修正入札推薦は、入札推薦を選択する時には利用可能ではなかったリアルタイムイベントデータを使用するリアルタイム入札アルゴリズムに少なくとも一部基づいている。その後に、段階２９１２で、入札推薦は、広告掲載に対する推薦された入札額を導出する際に使用する修正入札推薦で置換することができる。本発明の一実施形態では、この置換は、広告を掲載する要求の受信に対してリアルタイムで実行することができる。本方法は、段階２９１４で終了する。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
図３０は、本発明の実施形態により付加的な第三者データ１６４の価値を測定するためのリアルタイムユニット３０００を示している。リアルタイムユニット２７００は、学習マシーンユニット１３８、評価アルゴリズムユニット１４０、リアルタイム入札マシーンユニット１４２、付加的な第三者データセット３００２、提供者ユニット１１２からの入札要求メッセージ３００４、及び追跡ユニット１４４を含むことができる。本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、提供者ユニット１１２から入札要求メッセージ３００４を受信することができる。リアルタイム入札マシーンユニット１４２は、時間制約に関連付けられる入札要求に応答することができるので「リアルタイム」ユニットと考えることができる。リアルタイム入札マシーンユニット１４２は、学習マシーンユニット１３８によって提供されるターゲット化アルゴリズムを使用してリアルタイム計算を実行することができる。本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、リアルタイム計算を実行するために経済評価モデルを配備することができる。
一実施形態では、学習マシーンユニット１３８は、経済評価モデルを精緻化するために第三者データセット３００２を取得することができる。本発明の一実施形態では、第三者データセット２７０２は、広告コンテンツのユーザに関するデータを含むことができる。本発明の一実施形態では、広告コンテンツのユーザに関するデータは、人口統計データ、取引データ、変換データ、又はデータの何らかの他のタイプを含むことができる。本発明の別の一実施形態では、第三者データセットは、複数の利用可能な掲載位置及び／又は複数の広告に関連する状況データ１６２を含むことができる。本発明の一実施形態では、状況データ１６２は、学習マシーンユニット１３８に関連付けることができる状況分析サービス１３２から取得することができる。本発明の更に別の一実施形態では、第三者データセット３０１０は、履歴広告インプレッションに関連する金融データを含むことができる。更に、本発明の一実施形態では、経済評価モデルは、リアルタイムイベントデータ、履歴イベントデータ１５４、ユーザデータ１５８、第三者商業データ、広告主データ１５２、及び広告代理店データ１５２に少なくとも一部基づくことができる。
本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、広告キャンペーンデータセットを受信することができ、広告キャンペーンデータセットを第１の広告キャンペーンデータセットと第２の広告キャンペーンデータセットに分割することができる。その後、リアルタイム入札マシーンユニット１４２は、複数の利用可能な掲載位置及び／又は複数の広告に関する情報を査定するためにマシーン学習によって精緻化することができる経済評価モデルを配備し、第１の広告キャンペーンデータセットから広告コンテンツの掲載位置に対する経済評価を予測することができる。本発明の一実施形態では、マシーン学習は、第三者データセットに少なくとも一部基づくことができる。マシーン学習は、学習マシーンユニット１３８によって達成することができる。評価モデルの精緻化の後に、リアルタイム入札マシーンユニット１４２は、複数の利用可能な掲載位置及び／又は複数の広告内に第１及び第２の広告キャンペーンデータセットからの広告コンテンツを掲載することができる。第１の広告キャンペーンからのコンテンツは、予測された経済評価に少なくとも一部基づいて掲載することができ、第２の広告キャンペーンデータセットからのコンテンツは、第三者データセットに頼らない方法に基づいて掲載することができる。リアルタイム入札マシーンユニット１４２は、第１及び第２の広告キャンペーンデータセットから掲載される広告コンテンツに関連付けることができる追跡マシーンユニット１４４からのインプレッションデータを更に受信することができる。本発明の一実施形態では、インプレッションデータは、広告コンテンツとのユーザ対話に関するデータを含むことができる。その後、リアルタイム入札マシーンユニット１４２は、第１及び第２の広告キャンペーンデータセットから掲載された広告コンテンツに関するインプレッションデータの比較に少なくとも一部基づいて第三者データセットの価値を判断することができる。
更に、本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、第１及び第２の広告キャンペーンデータセットから掲載された広告コンテンツに関する広告インプレッションデータの比較に少なくとも一部基づいて第三者データセット３００２の評価を計算することができる。本発明の一実施形態では、第１の広告キャンペーンデータセットからの広告コンテンツの掲載は、最適広告掲載を選択するために第三者データセット２７１０を利用するマシーン学習アルゴリズムに少なくとも一部基づくことができる。その後、リアルタイム入札マシーンユニット１４２は、第１の広告キャンペーンデータセットから広告コンテンツを掲載するために評価の一部分を広告主１０４に課金することができる。本発明の一実施形態では、広告主１０４の評価及び課金の計算は、広告主１０４からのコンテンツを掲載する要求の受信に応答して自動的に実行することができる。本発明の別の一実施形態では、評価の計算は、複数の競争評価アルゴリズム１４０のパフォーマンスの比較の結果とすることができる。本発明の一実施形態では、複数の競争評価アルゴリズム１４０のパフォーマンスの比較は、履歴データに少なくとも一部基づく評価アルゴリズム１４０の使用を含むことができる。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
更に、本発明の一実施形態では、リアルタイム入札マシーンユニット１４２は、第１及び第２の広告キャンペーンデータセットから掲載された広告コンテンツに関する広告インプレッションデータの比較に少なくとも一部基づいて第三者データセット３０１０の評価を計算することができる。本発明の一実施形態では、第１の広告キャンペーンデータセットからの広告コンテンツの掲載は、最適広告掲載を選択するための第三者データセット３０１０を利用するマシーン学習アルゴリズムに少なくとも一部基づくことができる。その後、リアルタイム入札マシーンユニット１４２は、評価に少なくとも一部基づいて広告コンテンツの掲載位置に対して支払うために提供者１１２に対する入札額推薦を較正することができる。本発明の一実施形態では、この較正は、リアルタイムイベントデータ１６０及び評価におけるその影響を考慮に入れるために繰返し調節することができる。
図３１は、本発明の実施形態により付加的な第三者データの価値を測定する機能を有する広告評価の方法３１００を示している。本方法は、段階３１０２で始まる。段階３１０４で、広告キャンペーンデータセットは、第１の広告キャンペーンデータセットと第２の広告キャンペーンデータセットに分割することができる。段階３１０８で、マシーン学習を通じて精緻化することができる経済評価モデルを複数の利用可能な掲載位置及び／又は複数の広告に関する情報を査定するために配備することができ、第１の広告キャンペーンデータセットからの広告コンテンツの掲載位置に対する経済評価を予測することができる。本発明の一実施形態では、マシーン学習は、第三者データセットに少なくとも一部基づくことができる。段階３１１０で、第１及び第２の広告キャンペーンデータセットからの広告コンテンツを複数の利用可能な掲載位置及び／又は複数の広告内に掲載することができる。本発明の一実施形態では、第１の広告キャンペーンからのコンテンツは、予測された経済評価に少なくとも一部基づいて掲載することができ、第２の広告キャンペーンデータセットからのコンテンツは、第三者データセットに頼らない方法に基づいて掲載することができる。更に、段階３１１２で、第１及び第２の広告キャンペーンデータセットから掲載された広告コンテンツに関する追跡マシーンユニットからのインプレッションデータを受信することができる。一実施形態では、インプレッションデータは、広告コンテンツとのユーザ対話に関するデータを含むことができる。その後、段階３１１４で、第１及び第２の広告キャンペーンデータセットから掲載された広告コンテンツに関するインプレッションデータの比較に少なくとも一部基づいて第三者データセットの価値を判断することができる。本発明の一実施形態では、第三者データセットは、広告コンテンツのユーザに関するデータ、複数の利用可能な掲載位置、及び／又は複数の広告に関連する状況データ、又は履歴広告インプレッションに関連する金融データを含むことができる。本発明の一実施形態では、広告コンテンツのユーザに関するデータは、人口統計データ、取引データ、又は広告変換データを含むことができる。本発明の一実施形態では、状況データは、マシーン学習ユニットに関連付けられた状況分析サービスから取得することができる。本発明の一実施形態では、経済評価モデルは、リアルタイムイベントデータ、履歴イベントデータ、ユーザデータ、第三者商業データ、広告主データ、又は広告代理店データに少なくとも一部基づくことができる。本方法は、段階３１１８で終了する。
図３２は、本発明の実施形態により第三者データセットの評価を計算して評価の一部分を広告主に課金する方法３２００を示している。本方法は、段階３２０２で始まる。段階３２０４で、第三者データセットの評価は、第１及び第２の広告キャンペーンデータセットから掲載された広告コンテンツに関する広告インプレッションデータの比較に少なくとも一部基づいて計算することができる。本発明の一実施形態では、第１の広告キャンペーンデータセットからの広告コンテンツの掲載位置は、最適広告掲載を選択するために第三者データセットを利用するマシーン学習アルゴリズムに少なくとも一部基づくことができる。その後に、段階３２０８で、第１の広告キャンペーンデータセットから広告コンテンツを掲載するために評価の一部分を広告主に課金することができる。本発明の一実施形態では、広告主の評価及び課金の計算は、広告主からのコンテンツを掲載する要求の受信に応答して自動的に実行することができる。本発明の別の一実施形態では、評価の計算は、複数の競争評価アルゴリズムのパフォーマンスの比較の結果とすることができる。本発明の一実施形態では、複数の競争評価アルゴリズムのパフォーマンスの比較は、履歴データに少なくとも一部基づく評価アルゴリズムの使用を含むことができる。本方法は、段階３２１０で終了する。一般的な分析方法、統計技術、及び評価モデルのような競争アルゴリズム及びモデルを査定するためのツール、並びに当業者に公知の分析方法、統計技術、及びツールは、本発明によって含まれ、本発明の方法及びシステムに従って競争アルゴリズム及び評価モデルを査定するために使用することができることは理解されるであろう。
図３３は、本発明の実施形態により第三者データセットの評価を計算し、評価に少なくとも一部基づいて広告コンテンツの掲載位置に支払うための提供者に対する入札額推薦を較正する方法３３００を示している。本方法は、段階３３０２で始まる。段階３３０４で、第三者データセットの評価は、第１及び第２の広告キャンペーンデータセットから掲載された広告コンテンツに関する広告インプレッションデータの比較に少なくとも一部基づいて計算することができる。本発明の一実施形態では、第１の広告キャンペーンデータセットからの広告コンテンツの掲載位置は、最適広告掲載を選択するための第三者データセットを利用するマシーン学習アルゴリズムに少なくとも一部基づくことができる。その後、段階３３０８で、提供者が支払う入札額推薦を評価に少なくとも一部基づいて広告コンテンツの掲載位置に対して較正することができる。本発明の一実施形態では、この較正は、リアルタイムイベントデータ及び評価におけるその影響を考慮に入れるために繰返し調節することができる。本方法は、段階３３１０で終了する。
一実施形態では、分析プラットフォーム１１４の分析出力は、以下に限定されるものではないが、図３４−３８に示されている表面チャートを含むデータ視覚化技術を使用して示すことができる。表面チャートは、例えば、表面の高さが、平均パフォーマンスに対して指標付けされた広告インプレッション当たりの変換値を測定する場合に、広告キャンペーンのパフォーマンスの効果の場所を示すことができる。一実施形態では、１よりも大きい値を有する表面エリアは、より良い平均変換値を示すことができ、１よりも小さいエリアは標準以下を示すことができる。表面チャート及びその関連のデータのより低い体積断面を説明するために信頼度試験を適用することができる。図３４は、一日の時間対１週間の曜日毎の広告パフォーマンスの要約を提示するデータ視覚化実施形態を示している。図３５は、人口密度毎に広告パフォーマンスの要約を提示するデータ視覚化実施形態を示している。図３６は、米国の地理的領域毎の広告パフォーマンスの要約を提示するデータ視覚化実施形態を示している。図３７は、個人の収入毎の広告パフォーマンスの要約を提示するデータ視覚化実施形態を示している。図３８は、性別毎の広告パフォーマンスの要約を提示するデータ視覚化実施形態を示している。
図３９は、広告キャンペーン／銘柄に対するカテゴリ毎の親和性指標を示している。本発明の方法及びシステムは、一般的な人口よりも広告主の銘柄に関心を持ちそうな消費者の特徴を識別することができる。本方法及びシステムはまた、一般的な人口よりも広告主の銘柄に関心を持ちそうにない消費者の特徴を識別することができる。図３９のチャートの左側に、より関心を有する消費者の特徴が示されている。このチャートはまた、一般的な人口の消費者が広告主の銘柄にどのくらい注意を惹かれるかを表す指標を示している。チャートの右側は、関心を持たない消費者の特徴を呈し、一般的な人口の消費者が銘柄にどのくらい注意を惹かれないかを表す指標を示している。図３９に示すような指標は、サンプルのサイズを考慮に入れ、サンプルサイズ及び不確実性範囲を組み込む公式化を使用することができる。
図４０は、インプレッションの数毎のページ訪問の要約を提示するデータ視覚化実施形態を示している。本発明の方法及びシステムは、消費者の異なる集団が示す変換率を識別することができる。図４０に示すように、各集団は、集団の消費者メンバに示されている広告の数によって定めることができる。分析プラットフォーム１１４は、所定の数の広告を見た消費者を分析して変換率を計算することができる。分析プラットフォーム１１４は、消費者がアクションを実行する前に消費者に示されたインプレッションだけを考慮に入れることができる。一例として、広告主に対して望ましいアクションを実行する前に３つの広告を見た消費者は、集団３のメンバである。集団３の他の１０メンバは、３つの広告を見るが、広告主に有益と思われるいずれのアクションも実行していない場合がある。集団３に対する変換率は、３／１０＝０．３又は１００万の消費者当たり３００，０００である。この分析は、サンプルのサイズを考慮に入れ、サンプルサイズ及び不確実性範囲を組み込む公式化を使用する。この分析はまた、全ての集団にわたって観察される挙動を最も表す可能性が高い曲線に適合する。
本明細書に説明する方法及びシステムは、コンピュータソフトウエア、プログラムコード、及び／又は命令をプロセッサ上で実行するマシーンを通じて一部又は全体を配備することができる。プロセッサは、サーバ、クライアント、ネットワークインフラストラクチャー、移動コンピュータプラットフォーム、固定コンピュータプラットフォーム、又は他のコンピュータプラットフォームの一部とすることができる。プロセッサは、プログラム命令、コード、及びバイナリ命令などを実行することができるあらゆる種類の計算又は処理デバイスとすることができる。プロセッサは、信号プロセッサ、デジタルプロセッサ、埋め込みプロセッサ、マイクロプロセッサ又はコプロセッサ（数学コプロセッサ、グラフィックコプロセッサ、及び通信コプロセッサなど）のようなあらゆる変形、及び格納されているプログラムコード又はプログラム命令の実行を直接的に又は間接的に容易にすることができる同様のものとすることができ、又はこれらを含むことができる。スレッドは、プロセッサの性能を拡張するためにかつアプリケーションの同時作動を容易にするために同時に実行することができる。実施により、本明細書に説明する方法、プログラムコード、及びプログラム命令などを１つ又はそれよりも多くのスレッドに実施することができる。スレッドは、関連付けられた優先順位を割り当てることができる他のスレッドを発生させることができ、プロセッサは、プログラムコードで提供された命令に基づく優先順位又はあらゆる他の順序に基づいてこれらのスレッドを実行することができる。プロセッサは、本明細書及び他の場所に説明する方法、コード、命令、及びプログラムを格納するメモリを含むことができる。プロセッサは、本明細書及び他の場所に説明する方法、コード、及び命令を格納することができる格納メディアにインタフェースを通じてアクセス可能である。方法、プログラム、コード、プログラム命令、又はコンピュータ又は処理デバイスによって実行することができる命令の他のタイプを格納するためにプロセッサに関連付けられた格納メディアは、以下に限定されるものではないが、ＣＤ−ＲＯＭ、ＤＶＤ、メモリ、ハードディスク、フラッシュドライブ、ＲＡＭ、ＲＯＭ、及びキャッシュなどの１つ又はそれよりも多くを含むことができる。
プロセッサは、マルチプロセッサの速度及び性能を拡張することができる１つ又はそれよりも多くのコアを含むことができる。一実施形態では、処理は、デュアルコアプロセッサ、クアドコアプロセッサ、他のチップレベルマルチプロセッサ、及び２つ又はそれよりも多くの独立コアを結合する同様のもの（ダイと呼ぶ）とすることができる。
本明細書に説明する方法及びシステムは、サーバ、クライアント、ファイヤウォール、ゲートウェイ、ハブ、ルータ、又は他のこのようなコンピュータ及び／又はネットワーキングハードウエアでコンピュータソフトウエアを実行するマシーンを通じて一部又は全部を配備することができる。ソフトウエアプログラムは、ファイルサーバ、プリントサーバ、ドメインサーバ、インターネットサーバ、イントラネットサーバ及び２次サーバ、ホストサーバ、及び分散サーバなどのような他の変形を含むことができるサーバに関連付けることができる。サーバは、メモリ、プロセッサ、コンピュータ可読媒体、格納メディア、ポート（物理及び仮想）、通信デバイスなどのサーバ、クライアント、マシーンにアクセス可能なインタフェース、及び有線又は無線メディアを通じたデバイスなどの１つ又はそれよりも多くを含むことができる。本明細書及び他の場所に説明する方法、プログラム、又はコードは、サーバによって実行することができる。更に、本出願に説明する方法の実行に必要な他のデバイスは、サーバに関連付けられたインフラストラクチャーの一部として考えることができる。
サーバは、以下に限定されるものではないが、クライアント、他のサーバ、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、及び分散サーバなどを含む他のデバイスへのインタフェースを提供することができる。更に、この結合及び／又は接続は、ネットワークにわたるプログラムの遠隔実行を容易にすることができる。これらのデバイスの一部又は全てのネットワーキングは、本発明の範囲から逸脱することなく１つ又はそれよりも多くのロケーションでのプログラム又は方法の並行処理を容易にすることができる。更に、インタフェースを通じてサーバに取り付けられたデバイスのいずれも、方法、プログラム、コード、及び／又は命令を格納することができる少なくとも１つの格納メディアを含むことができる。中央リポジトリは、様々なデバイスで実行されるプログラム命令を提供することができる。この実施では、リモートリポジトリは、プログラムコード、命令、及びプログラムのための格納メディアとして作用することができる。
ソフトウエアプログラムは、ファイルクライアント、プリントクライアント、ドメインクライアント、インターネットクライアント、イントラネットクライアント、及び２次クライアント、ホストクライアント、及び分散クライアントなどのような他の変形を含むことができるクライアントに関連付けることができる。クライアントは、メモリ、プロセッサ、コンピュータ可読媒体、格納メディア、ポート（物理及び仮想）、通信デバイス、及び有線又は無線メディアを通じて他のクライアント、サーバ、マシーン、及びデバイスにアクセス可能なインタフェースなどの１つ又はそれよりも多くを含むことができる。本明細書及び他の場所に説明する方法、プログラム、又はコードは、クライアントによって実行することができる。更に、本出願に説明する方法の実行に必要な他のデバイスは、クライアントに関連付けられたインフラストラクチャーの一部として考えることができる。
クライアントは、以下に限定されるものではないが、サーバ、他のクライアント、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、及び分散サーバなどを含む他のデバイスへのインタフェースを提供することができる。更に、この結合及び／又は接続は、ネットワークにわたるプログラムの遠隔実行を容易にすることができる。これらのデバイスの一部又は全てのネットワーキングは、本発明の範囲から逸脱することなく１つ又はそれよりも多くのロケーションでのプログラム又は方法の並行処理を容易にすることができる。更に、インタフェースを通じてクライアントに取り付けられたデバイスのいずれも、方法、プログラム、アプリケーション、コード、及び／又は命令を格納することができる少なくとも１つの格納メディアを含むことができる。中央リポジトリは、様々なデバイスで実行されるプログラム命令を提供することができる。この実施では、リモートリポジトリは、プログラムコード、命令、及びプログラムのための格納メディアとして作用することができる。
本明細書に説明する方法及びシステムは、ネットワークインフラストラクチャーを通じて一部又は全部を配備することができる。ネットワークインフラストラクチャーは、コンピュータデバイス、サーバ、ルータ、ハブ、ファイヤウォール、クライアント、パーソナルコンピュータ、通信デバイス、ルーティングデバイス及び他のアクティブ及びパッシブデバイス、モジュール及び／又は当業技術で公知の構成要素のような要素を含むことができる。ネットワークインフラストラクチャーに関連付けられたコンピュータ及び／又は非コンピュータデバイスは、他の構成要素とは別に、フラッシュメモリ、バッファ、スタック、ＲＡＭ、及びＲＯＭなどのような格納メディアを含むことができる。本明細書及び他の場所に説明する処理、方法、プログラムコード、命令は、ネットワークインフラストラクチャー要素の１つ又はそれよりも多くによって実行することができる。
本明細書及び他の場所に説明する方法、プログラムコード、及び命令は、マルチセルを有するセルラーネットワークにおいて実行することができる。セルラーネットワークは、周波数分割多重アクセス（ＦＤＭＡ）ネットワーク又は符号分割多重アクセス（ＣＤＭＡ）ネットワークのいずれかとすることができる。セルラーネットワークは、モバイルデバイス、セルサイト、基地局、リピータ、アンテナ、及びタワーなどを含むことができる。セルネットワークは、ＧＳＭ（登録商標）、ＧＰＲＳ、３Ｇ、ＥＶＤＯ、メッシュ、又は他のネットワークタイプとすることができる。
本明細書及び他の場所に説明する方法、プログラムコード、及び命令は、モバイルデバイスにおいて又はこれを通じて実行することができる。モバイルデバイスは、ナビゲーションデバイス、携帯電話、移動電話、移動携帯情報端末、ラップトップ、パームトップ、ネットブック、ポケットベル、電子書籍リーダ、及び音楽プレーヤなどを含むことができる。これらのデバイスは、他の構成要素とは別に、フラッシュメモリ、バッファ、ＲＡＭ、ＲＯＭ、及び１つ又はそれよりも多くのコンピュータデバイスのような格納メディアを含むことができる。モバイルデバイスに関連付けられたコンピュータデバイスは、それに格納されているプログラムコード、方法、及び命令を実行することができる。代わりに、モバイルデバイスは、他のデバイスと協働して命令を実行するように構成することができる。モバイルデバイスは、サーバに接続されてプログラムコードを実行するように構成された基地局と通信することができる。モバイルデバイスは、ピアツーピアネットワーク、メッシュネットワーク、又は他の通信ネットワーク上で通信することができる。プログラムコードは、サーバに関連付けられた格納メディアに格納され、サーバ内に組み込まれたコンピュータデバイスによって実行することができる。基地局は、コンピュータデバイス及び格納メディアを含むことができる。格納デバイスは、基地局に関連付けられたコンピュータデバイスによって実行されるプログラムコード及び命令を格納することができる。
コンピュータソフトウエア、プログラムコード、及び／又は命令は、コンピュータ構成要素、デバイス、及び何らかの時間間隔にわたって計算するのに使用されるデジタルデータを保持する記録メディア；ランダムアクセスメモリ（ＲＡＭ）として公知の半導体格納デバイス；光学ディスク、ハードディスク、テープ、ドラム、カード及び他のタイプのような磁気格納デバイスの形式のようなより永久的な格納デバイスのための大容量格納デバイス；プロセッサレジスタ、キャッシュメモリ、揮発性メモリ、不揮発性メモリ；ＣＤ、ＤＶＤのような光学格納デバイス；フラッシュメモリ（例えば、ＵＳＢスティック又はキー）、フロッピー（登録商標）ディスク、磁気テープ、紙テープ、パンチカード、独立型ＲＡＭディスク、Ｚｉｐドライブ、取外し可能大容量格納デバイス、オフラインなどのような取外し可能メディア；動的メモリ、静的メモリ、読取／書込格納デバイス、可変格納デバイス、読取専用ランダムアクセス、順次アクセス、ロケーションアドレス可能、ファイルアドレス可能、コンテンツアドレス可能、ネットワーク付属格納デバイス、格納エリアネットワーク、バーコード、及び磁気インクなどのような他のコンピュータメモリを含むことができるマシーン可読メディア上に格納され、及び／又はマシーン可読メディア上でアクセスすることができる。
本明細書に説明する方法及びシステムは、物理及び／又は無形アイテムを１つの状態から別の状態に変形することができる。本明細書に説明する方法及びシステムはまた、物理的及び／又は無形アイテムを表すデータを１つの状態から別の状態に変形することができる。
図面を通して流れ図及びブロック図に含まれる本明細書に説明して図示する要素は、要素間の論理的境界を示唆している。しかし、ソフトウエア又はハードウエアエンジニアリングの慣例によると、図示の要素及びその機能は、モノリシックソフトウエア構造として、独立型ソフトウエアモジュールとして、又は外部ルーチン、コード、及びサービスなど又はこれらのあらゆる組合せを利用するモジュールとして格納されているプログラム命令を実行することができるプロセッサを有するコンピュータ実行可能メディアを通じてマシーンで実行することができ、全てのこのような実施は、本発明の開示の範囲にあるとすることができる。このようなマシーンの例は、以下に限定されるものではないが、携帯情報端末、ラップトップ、パーソナルコンピュータ、移動電話、他の手持ち式コンピュータデバイス、医療機器、有線又は無線通信デバイス、変換器、チップ、計算器、衛星、タブレットＰＣ、電子書籍、ガジェット、電子デバイス、人工知能を有するデバイス、コンピュータデバイス、ネットワーキングデバイス、サーバ、及びルータなどを含むことができる。更に、流れ図及びブロック図又はあらゆる他の論理構成要素に示されている要素は、プログラム命令を実行することができるマシーンに実施することができる。従って、上述の図面及び説明は、開示するシステムの機能的な態様を示すが、これらの機能的な態様を実施するためのソフトウエアの特定の構成が明示的に説明されているか又はそうでなければ状況から明らかでない限り、これらの説明から推測する必要はない。同様に、上記に特定して説明する様々な段階は、変更することができ、かつ段階の順序を本明細書に開示する技術の特定の用途に適応させることができることは理解されるであろう。全てのこのような変形及び修正は、本発明の開示の範囲に入るものとする。同様に、様々な段階の順序の図示及び／又は説明は、特定の用途によって要求されない限り又は明示的に説明するか又はそうでなければ状況から明らかでない限り、これらの段階に対する実行の特定の順序を要求するように理解する必要はない。
上述の方法及び／又は処理、及びその段階は、ハードウエア、ソフトウエア、又は特定の用途に適切なハードウエア及びソフトウエアのあらゆる組合せで実行することができる。ハードウエアは、汎用コンピュータ及び／又は専用コンピュータデバイス又は特定のコンピュータデバイス又は特定のコンピュータデバイスの特定的な態様又は構成要素を含むことができる。処理は、１つ又はそれよりも多くのマイクロプロセッサ、マイクロコントローラ、埋め込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、又は他のプログラマブルデバイスに内部及び／又は外部メモリと共に実施することができる。処理は、追加的に又は代替的に、特定用途向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイ論理、又は電子信号を処理するように構成することができるあらゆる他のデバイス又はデバイスの組合せに実施することができる。処理の１つ又はそれよりも多くは、マシーン可読メディアで実行することができるコンピュータ実行可能コードとして実施することができる。
コンピュータ実行可能コードは、Ｃのような構造化プログラミング言語、Ｃ＋＋のようなオブジェクト指向プログラミング言語、又は上述のデバイスの１つで実行するために格納、編集、又は解釈することができるあらゆる他のハイレベル又はローレベルプログラミング言語（アセンブリ言語、ハードウエア記述言語、及びデータベースプログラミング言語及び技術を含む）、並びにプロセッサ、プロセッサアーキテクチャの異種の組合せ、又は様々なハードウエア及びソフトウエアの組合せ、又はプログラム命令を実行することができるあらゆる他のマシーンを使用して作成することができる。
すなわち、１つの態様では、上述の各方法及びその組合せは、１つ又はそれよりも多くのコンピュータデバイスで実行された時にこれらの段階を実行するコンピュータ実行可能コードに具現化することができる。別の態様では、本方法は、その段階を実行し、かついくつかの方法でデバイスにわたって分散させることができるシステムに具現化することができ、又は機能の全ては、専用の独立型デバイス又は他のハードウエアに統合することができる。別の態様では、上述の処理に関連付けられた段階を実行するための手段は、上述のハードウエア及び／ソフトウエアのいずれかを含むことができる。全てのこのような順列及び組合せは、本発明の開示の範囲に入るものとする。
図示して詳細に説明した好ましい実施形態に関して本発明を開示したが、それに対する様々な修正及び改良は、当業者には容易に明らかになるであろう。従って、本発明の精神及び範囲は、上述の実施例によって制限されず、法律によって許されている最も広い意味で理解されるものとする。
本明細書で参照される全ての文書は、これにより引用により組み込まれる。
１０２ 広告代理店
１０４ 広告主
１０８ 広告ネットワーク
１１０ 広告取引所
１１２ 提供者
１１４ 分析プラットフォームユニット

Claims (25)

  1. コンピュータ可読媒体に実装されたコンピュータプログラム製品であって、１つ又はそれよりも多くのコンピュータ上で実行された時に、
    広告を掲載する要求の受信に応答して、複数の競争経済評価モデルを配備して複数の広告掲載の各々に対する経済評価を予測する段階と、
    前記複数の競争経済評価モデルの各々によって生成された各評価を査定し、その中から広告掲載の現在の評価として１つを選択する段階とを実行する、コンピュータプログラム製品。
  2. 前記経済評価モデルは、リアルタイムイベントデータに少なくとも一部基づくことを特徴とする、請求項１に記載のコンピュータプログラム製品。
  3. 前記経済評価モデルは、履歴イベントデータに少なくとも一部基づくことを特徴とする、請求項１に記載のコンピュータプログラム製品。
  4. 前記経済評価モデルは、ユーザデータに少なくとも一部基づくことを特徴とする、請求項１に記載のコンピュータプログラム製品。
  5. 前記経済評価モデルは、第三者商業データに少なくとも一部基づくことを特徴とする、請求項１に記載のコンピュータプログラム製品。
  6. 前記第三者商業データは、履歴広告インプレッションに関連する金融データを含むことを特徴とする請求項１に記載のコンピュータプログラム製品。
  7. 前記経済評価モデルは、状況データに少なくとも一部基づくことを特徴とする、請求項１に記載のコンピュータプログラム製品。
  8. 前記経済評価モデルは、広告主データに少なくとも一部基づくことを特徴とする、請求項１に記載のコンピュータプログラム製品。
  9. 前記経済評価モデルは、広告代理店データに少なくとも一部基づくことを特徴とする請求項１に記載のコンピュータプログラム製品。
  10. 前記経済評価モデルは、履歴広告パフォーマンスデータに少なくとも一部基づくことを特徴とする、請求項１に記載のコンピュータプログラム製品。
  11. 前記経済評価モデルは、マシーン学習に少なくとも一部基づくことを特徴とする、請求項１に記載のコンピュータプログラム製品。
  12. コンピュータ可読媒体に実装されたコンピュータプログラム製品であって、１つ又はそれよりも多くのコンピュータ上で実行された時に、
    広告を掲載する要求の受信に応答して、複数の競争経済評価モデルを配備して広告掲載と広告との複数の組合せの各々に対する経済評価を予測する段階と、
    前記複数の競争経済評価モデルの各々によって生成された各評価を査定し、その中から広告掲載と広告との組合せの第１の評価として１つを選択する段階と、
    前記複数の競争経済評価モデルの各々によって生成された各評価を再査定し、その中から前記広告掲載と前記広告との前記組合せに対する修正評価として１つを選択する段階であって、該修正評価が、前記第１の評価を選択する時には利用可能でなかったリアルタイムイベントデータを使用する経済評価モデルの分析に少なくとも一部基づく当該段階と、
    前記第１の評価を前記広告掲載と前記広告との前記組合せに対して推薦された入札額を導出する際に使用するための前記第２の修正評価で置換する段階とを実行する、コンピュータプログラム製品。
  13. 前記要求は提供者から受信され、前記推薦された入札額は該提供者に自動的に送信される、ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
  14. 前記要求は提供者から受信され、前記推薦された入札額に等しい入札が該提供者に代わって自動的に入れられることを特徴とする、請求項１２に記載のコンピュータプログラム製品。
  15. 前記推薦された入札額は広告掲載の推薦された時間に関連付けられる、ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
  16. 前記推薦された入札額は、更に、リアルタイム入札マシーンに関連付けられたリアルタイム入札ログの分析によって導出される、ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
  17. コンピュータ可読媒体に実装されたコンピュータプログラム製品であって、１つ又はそれよりも多くのコンピュータ上で実行された時に、
    広告を掲載する要求の受信に応答して、複数の競争経済評価モデルを配備して複数の広告掲載と複数の広告との複数の利用可能な組合せに関連する情報を査定し、該複数の広告掲載と該複数の広告との各組合せに対する経済評価を予測する段階と、
    前記複数の競争経済評価モデルの各々によって生成された各評価を査定し、その中から広告掲載と広告との組合せの将来の評価としての１つを選択する段階とを実行する、コンピュータプログラム製品。
  18. コンピュータ可読媒体に実装されたコンピュータプログラム製品であって、１つ又はそれよりも多くのコンピュータ上で実行された時に、
    広告を掲載する要求の受信に応答して、複数の競争経済評価モデルを配備して複数の利用可能な広告掲載と複数の広告との組合せに関連する情報を査定し、該複数の広告掲載と該複数の広告との各組合せに対する経済評価を予測する段階と、
    前記複数の競争経済評価モデルの各々によって生成された各評価をリアルタイムで査定し、その中から広告掲載と広告との前記組合せに対する将来の評価として１つを選択する段階とを実行する、コンピュータプログラム製品。
  19. 前記将来の評価は、将来のイベントを説明するシミュレーションデータに少なくとも一部基づくことを特徴とする、請求項１７に記載のコンピュータプログラム製品。
  20. 前記将来のイベントは、株価の変動であることを特徴とする、請求項１２に記載のコンピュータプログラム製品。
  21. 将来のイベントを説明する前記シミュレーションデータは、前記広告掲載に掲載される広告に関連する状況データに少なくとも一部基づいて選択された履歴イベントデータの分析から導出されることを特徴とする、請求項１２に記載のコンピュータプログラム製品。
  22. コンピュータ可読媒体に実装されたコンピュータプログラム製品であって、１つ又はそれよりも多くのコンピュータ上で実行された時に、
    広告を掲載する要求の受信に応答して、広告掲載に対する入札のために、複数の利用可能な広告掲載と複数の広告との組合せに関連する複数の競争リアルタイム入札アルゴリズムを配備する段階と、
    各入札アルゴリズムを査定して好ましいアルゴリズムを選択する段階とを実行する、コンピュータプログラム製品。
  23. 前記競争リアルタイム入札アルゴリズムは、リアルタイム入札ログからのデータを使用することを特徴とする請求項２２に記載のコンピュータプログラム製品。
  24. コンピュータ可読媒体に実装されたコンピュータプログラム製品であって、１つ又はそれよりも多くのコンピュータ上で実行された時に、
    広告を掲載する要求の受信に応答して、広告掲載に対する入札のために、複数の利用可能な広告掲載と複数の広告との組合せに関連する複数の競争リアルタイム入札アルゴリズムを配備する段階と、
    前記競争リアルタイム入札アルゴリズムによって作成された各入札推薦を査定する段階と、
    前記競争リアルタイム入札アルゴリズムによって作成された各入札推薦を再査定して修正入札推薦として１つを選択する段階であって、該修正入札推薦が、該入札推薦を選択した時に利用可能でなかったリアルタイムイベントデータを使用するリアルタイム入札アルゴリズムに少なくとも一部基づく当該段階と、
    前記入札推薦を、広告掲載と広告との組合せに対する推薦入札額を導出する際に使用するための前記修正入札推薦で置換する段階とを実行する、コンピュータプログラム製品。
  25. 前記置換は、広告を掲載する前記要求の前記受信に対してリアルタイムで発生することを特徴とする、請求項２４に記載のコンピュータプログラム製品。
JP2012524924A 2009-08-14 2010-08-13 リアルタイム広告入札に対して競争評価モデルを使用するための学習システム Active JP5662446B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US23418609P 2009-08-14 2009-08-14
US61/234,186 2009-08-14
PCT/US2010/045545 WO2011020076A2 (en) 2009-08-14 2010-08-13 Learning system for the use of competing valuation models for real-time advertisement bidding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014245705A Division JP2015097094A (ja) 2009-08-14 2014-12-04 リアルタイム広告入札に対して競争評価モデルを使用するための学習システム

Publications (3)

Publication Number Publication Date
JP2013502018A true JP2013502018A (ja) 2013-01-17
JP2013502018A5 JP2013502018A5 (ja) 2013-09-19
JP5662446B2 JP5662446B2 (ja) 2015-01-28

Family

ID=43586885

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012524924A Active JP5662446B2 (ja) 2009-08-14 2010-08-13 リアルタイム広告入札に対して競争評価モデルを使用するための学習システム
JP2014245705A Pending JP2015097094A (ja) 2009-08-14 2014-12-04 リアルタイム広告入札に対して競争評価モデルを使用するための学習システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014245705A Pending JP2015097094A (ja) 2009-08-14 2014-12-04 リアルタイム広告入札に対して競争評価モデルを使用するための学習システム

Country Status (6)

Country Link
US (5) US20110040612A1 (ja)
EP (1) EP2465086A4 (ja)
JP (2) JP5662446B2 (ja)
CN (1) CN102576436A (ja)
BR (1) BR112012003318A2 (ja)
WO (1) WO2011020076A2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015063953A1 (ja) * 2013-11-01 2015-05-07 デンノー インコーポレイテッド 仲介システム及び仲介方法
JP2015225549A (ja) * 2014-05-28 2015-12-14 ヤフー株式会社 予測値演算装置、予測値演算方法および予測値演算プログラム
JP2016507116A (ja) * 2013-02-11 2016-03-07 フェイスブック，インク． 入札の予想収益に基づくリアルタイム入札の開始
JP2017510881A (ja) * 2014-02-07 2017-04-13 グーグル インコーポレイテッド 広告価格のディスカウント
JP2017173912A (ja) * 2016-03-18 2017-09-28 ヤフー株式会社 補正装置、補正方法および補正プログラム
JP2018206225A (ja) * 2017-06-07 2018-12-27 ヤフー株式会社 配信装置、配信方法、配信プログラムおよびモデル
CN110796480A (zh) * 2019-09-29 2020-02-14 北京淇瑀信息科技有限公司 一种实时广告投放管理方法、装置和系统
US11295347B1 (en) * 2021-01-30 2022-04-05 Walmart Apollo, Llc Systems and methods for forecasting campaign parameters using machine learning architectures and techniques
US11386460B1 (en) * 2021-02-03 2022-07-12 Capital One Services, Llc Systems and methods for message management in localized networks

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7461024B2 (en) * 2000-09-27 2008-12-02 Montgomery Rob R Bidder-side auction dynamic pricing agent, system, method and computer program product
US20130035975A1 (en) * 2011-08-05 2013-02-07 David Cavander Cross-media attribution model for allocation of marketing resources
US8781968B1 (en) * 2008-08-25 2014-07-15 Sprint Communications Company L.P. Dynamic display based on estimated viewers
US10445781B2 (en) 2009-03-06 2019-10-15 Xandr Inc. Advertising platform user data store management
US20110040612A1 (en) * 2009-08-14 2011-02-17 Simmons Willard L Machine learning for computing and targeting bids for the placement of advertisements
US20110055004A1 (en) * 2009-09-02 2011-03-03 Bradd Elden Libby Method and system for selecting and optimizing bid recommendation algorithms
US8380570B2 (en) * 2009-10-27 2013-02-19 Yahoo! Inc. Index-based technique friendly CTR prediction and advertisement selection
GB0922608D0 (en) 2009-12-23 2010-02-10 Vratskides Alexios Message optimization
US10176484B2 (en) 2010-03-16 2019-01-08 AppNexus Inc. Advertising venues and optimization
US9721035B2 (en) * 2010-06-30 2017-08-01 Leaf Group Ltd. Systems and methods for recommended content platform
KR101654257B1 (ko) * 2010-11-24 2016-09-05 네이버 주식회사 벤치마킹에 기초한 광고 관리 시스템 및 방법
US20120137340A1 (en) * 2010-11-29 2012-05-31 Palo Alto Research Center Incorporated Implicit authentication
US8874639B2 (en) * 2010-12-22 2014-10-28 Facebook, Inc. Determining advertising effectiveness outside of a social networking system
US20120233009A1 (en) * 2011-03-09 2012-09-13 Jon Bernhard Fougner Endorsement Subscriptions for Sponsored Stories
US9076156B2 (en) 2011-05-26 2015-07-07 Nice Systems Technologies Uk Limited Real-time adaptive binning through partition modification
US20120310728A1 (en) * 2011-06-02 2012-12-06 Jeremy Kagan Buy-side advertising factors optimization
EP2727065A4 (en) * 2011-07-01 2015-01-28 Dataxu Inc GENERATION AND USE OF SYNTHETIC USER IDENTIFICATORS IN AN ADVERTISING DEVICE
US20130024251A1 (en) * 2011-07-22 2013-01-24 Bruno Richard Preiss Communicating presentation data relating to presentation of information
US20130030913A1 (en) * 2011-07-29 2013-01-31 Guangyu Zhu Deriving Ads Ranking of Local Advertisers based on Distance and Aggregate User Activities
JP2013057918A (ja) 2011-09-09 2013-03-28 Shigeto Umeda 可変長の広告を表示また、入札するシステム
US8914314B2 (en) 2011-09-28 2014-12-16 Nice Systems Technologies Uk Limited Online temporal difference learning from incomplete customer interaction histories
WO2013049633A1 (en) * 2011-09-28 2013-04-04 Causata Inc. Online asynchronous reinforcement learning from concurrent customer histories
US8195799B1 (en) 2011-10-26 2012-06-05 SHTC Holdings LLC Smart test article optimizer
US20130110630A1 (en) * 2011-10-27 2013-05-02 Microsoft Corporation Bidding for impressions
US11599892B1 (en) 2011-11-14 2023-03-07 Economic Alchemy Inc. Methods and systems to extract signals from large and imperfect datasets
US20130151332A1 (en) * 2011-12-10 2013-06-13 Rong Yan Assisted adjustment of an advertising campaign
WO2013116105A1 (en) * 2012-02-01 2013-08-08 Google Inc. Alterations of calculations in attribution modeling
US9430738B1 (en) 2012-02-08 2016-08-30 Mashwork, Inc. Automated emotional clustering of social media conversations
US9129313B1 (en) * 2012-04-06 2015-09-08 MaxPoint Interactive, Inc. System and method for optimizing real-time bidding on online advertisement placements utilizing mixed probability methods
US10282758B1 (en) * 2012-04-06 2019-05-07 MaxPoint Interactive, Inc. Pricing control in a real-time network-based bidding environment
US8626585B1 (en) * 2012-05-14 2014-01-07 Google Inc. Selection of images to display next to textual content
US10395270B2 (en) * 2012-05-17 2019-08-27 Persado Intellectual Property Limited System and method for recommending a grammar for a message campaign used by a message optimization system
US9224101B1 (en) * 2012-05-24 2015-12-29 Quantcast Corporation Incremental model training for advertisement targeting using real-time streaming data and model redistribution
US20130325590A1 (en) * 2012-05-31 2013-12-05 Yahoo! Inc. Centralized and aggregated tracking in online advertising performance prediction
US10068249B1 (en) * 2012-06-01 2018-09-04 Amazon Technologies, Inc. Inventory forecasting for bidded ad exchange
US20130346154A1 (en) * 2012-06-22 2013-12-26 Josephine Holz Systems and methods for audience measurement analysis
US9947029B2 (en) 2012-06-29 2018-04-17 AppNexus Inc. Auction tiering in online advertising auction exchanges
US20140032334A1 (en) * 2012-07-26 2014-01-30 Google Inc. Price and inventory prediction for display content
WO2014022387A2 (en) * 2012-07-30 2014-02-06 AppNexus Inc. Targeted learning in online advertising auction exchanges
US10789619B1 (en) * 2012-09-07 2020-09-29 Amazon Technologies, Inc. Advertisement metric prediction
US9996858B1 (en) * 2012-11-05 2018-06-12 Quantcast Corporation Adaptive bidding for networked advertising
US20140129499A1 (en) * 2012-11-05 2014-05-08 Numenta, Inc. Value oriented action recommendation using spatial and temporal memory system
US10664534B2 (en) 2012-11-14 2020-05-26 Home Depot Product Authority, Llc System and method for automatic product matching
US20140136278A1 (en) * 2012-11-15 2014-05-15 Homer Tlc, Inc. Competitive price alert system with competitive price rules engine
US9928515B2 (en) 2012-11-15 2018-03-27 Home Depot Product Authority, Llc System and method for competitive product assortment
US10504127B2 (en) 2012-11-15 2019-12-10 Home Depot Product Authority, Llc System and method for classifying relevant competitors
US10290012B2 (en) 2012-11-28 2019-05-14 Home Depot Product Authority, Llc System and method for price testing and optimization
US20140214535A1 (en) * 2013-01-30 2014-07-31 Google Inc. Content sequencing
US10887421B2 (en) 2013-03-15 2021-01-05 Tubi, Inc. Relevant secondary-device content generation based on associated internet protocol addressing
US10594763B2 (en) 2013-03-15 2020-03-17 adRise, Inc. Platform-independent content generation for thin client applications
US10356461B2 (en) 2013-03-15 2019-07-16 adRise, Inc. Adaptive multi-device content generation based on associated internet protocol addressing
US20140310094A1 (en) * 2013-04-11 2014-10-16 Massive Impact International Limited Advertising optimization for mobile telephony
US8732015B1 (en) * 2013-05-30 2014-05-20 Unified Social, Inc. Social media pricing engine
US10319055B2 (en) * 2013-06-04 2019-06-11 AppNexus Inc. Methods and systems for impression inventory trading
US8719089B1 (en) * 2013-06-13 2014-05-06 Google Inc. Methods and systems for improving bid efficiency of a content provider
US20140379462A1 (en) * 2013-06-21 2014-12-25 Microsoft Corporation Real-time prediction market
US9734174B1 (en) 2013-06-28 2017-08-15 Google Inc. Interactive management of distributed objects
US10325285B1 (en) * 2013-06-28 2019-06-18 Groupon, Inc. Predictive recommendation system
US10614490B2 (en) 2013-08-15 2020-04-07 OpenX Technologies, Inc. Integrated architecture for performing online advertising allocation
US11276088B1 (en) 2013-08-16 2022-03-15 OpenX Technologies, Inc. System architecture and methods for online real-time auctions of advertising inventory
US20150073891A1 (en) * 2013-09-10 2015-03-12 Telefonaktiebolaget L M Ericsson (Publ) Method and System For Determining User Advertising Ratings
US10395198B2 (en) 2013-10-04 2019-08-27 International Business Machines Corporation Forecasting a time series based on actuals and a plan
US10318970B2 (en) 2013-10-04 2019-06-11 International Business Machines Corporation Generating a succinct approximate representation of a time series
US10134053B2 (en) * 2013-11-19 2018-11-20 Excalibur Ip, Llc User engagement-based contextually-dependent automated pricing for non-guaranteed delivery
US20150142519A1 (en) * 2013-11-21 2015-05-21 International Business Machines Corporation Recommending and pricing datasets
US10290025B1 (en) * 2013-12-18 2019-05-14 MaxPoint Interactive, Inc. Controlling impression delivery pacing for multiple geographic regions associated with an online campaign in a real-time bidding environment
US9747618B1 (en) 2013-12-18 2017-08-29 MaxPoint Interactive, Inc. Purchasing pace control in a real-time bidding environment using a multi-loop control scheme
US20150332349A1 (en) * 2013-12-18 2015-11-19 MaxPoint Interactive, Inc. System and Method for Controlling Purchasing Pace in a Real-Time Bidding Environment Using Proportional-Integral-Derivative (PID) Control
US20150170222A1 (en) * 2013-12-18 2015-06-18 MaxPoint Interactive, Inc. System and method for controlled purchasing of online advertisements in a real-time bidding environment
US20150178790A1 (en) * 2013-12-20 2015-06-25 Yahoo! Inc. User Engagement-Based Dynamic Reserve Price for Non-Guaranteed Delivery Advertising Auction
US9727818B1 (en) * 2014-02-23 2017-08-08 Google Inc. Impression effect modeling for content items
US10075510B2 (en) * 2014-03-13 2018-09-11 Google Llc Analytics-based update of digital content
CN103942707B8 (zh) * 2014-04-08 2018-06-29 璧合科技股份有限公司 基于实时竞价的广告效果优化系统
US9652784B2 (en) * 2014-04-18 2017-05-16 Level 3 Communications, Llc Systems and methods for generating network intelligence through real-time analytics
US20150332311A1 (en) * 2014-05-15 2015-11-19 Coupons.Com Incorporated Optimized placement of digital offers
WO2015196469A1 (en) 2014-06-27 2015-12-30 Google Inc. Automated creative extension selection for content performance optimization
US20160148228A1 (en) 2014-11-24 2016-05-26 The Nielsen Company (Us), Llc. Methods and apparatus to predict time-shifted exposure to media
US10068247B2 (en) * 2014-12-17 2018-09-04 Excalibur Ip, Llc Pacing control for online ad campaigns
US10528986B2 (en) 2015-01-15 2020-01-07 Xandr Inc. Modifying bid price for online advertising auction based on user impression frequency
US10628836B2 (en) * 2015-01-30 2020-04-21 Adobe Inc. Efficient computation of variable predictiveness
US10713594B2 (en) 2015-03-20 2020-07-14 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing machine learning model training and deployment with a rollback mechanism
US9135559B1 (en) 2015-03-20 2015-09-15 TappingStone Inc. Methods and systems for predictive engine evaluation, tuning, and replay of engine performance
US10679228B2 (en) * 2015-03-30 2020-06-09 Walmart Apollo, Llc Systems, devices, and methods for predicting product performance in a retail display area
US20160307202A1 (en) * 2015-04-14 2016-10-20 Sugarcrm Inc. Optimal sales opportunity visualization
US10282745B2 (en) * 2015-05-14 2019-05-07 Google Llc System and method for isolated simulations for accurate predictions of counterfactual events
US10339467B2 (en) 2015-06-02 2019-07-02 International Business Machines Corporation Quantitative discovery of name changes
CN107851262A (zh) * 2015-07-09 2018-03-27 华为技术有限公司 一种广告价值确定方法及装置
US10136174B2 (en) 2015-07-24 2018-11-20 Videoamp, Inc. Programmatic TV advertising placement using cross-screen consumer data
WO2017019643A1 (en) 2015-07-24 2017-02-02 Videoamp, Inc. Targeting tv advertising slots based on consumer online behavior
US10555050B2 (en) 2015-07-24 2020-02-04 Videoamp, Inc. Cross-screen measurement accuracy in advertising performance
EP3326136A4 (en) 2015-07-24 2019-03-13 Videoamp, Inc. SEQUENTIAL DISTRIBUTION OF ADVERTISING CONTENT ON MULTIMEDIA DEVICES
US10812870B2 (en) 2016-01-14 2020-10-20 Videoamp, Inc. Yield optimization of cross-screen advertising placement
WO2017019645A1 (en) 2015-07-24 2017-02-02 Videoamp, Inc. Cross-screen optimization of advertising placement
JP6584240B2 (ja) * 2015-09-02 2019-10-02 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
CN108293046A (zh) 2015-09-18 2018-07-17 Mms美国控股有限公司 通用标识
US20190279236A1 (en) * 2015-09-18 2019-09-12 Mms Usa Holdings Inc. Micro-moment analysis
US10664873B1 (en) 2015-09-22 2020-05-26 Snap Inc. Allocating resources according to conversion rate
US20170083941A1 (en) * 2015-09-22 2017-03-23 Facebook, Inc. Media Planning Tool
US10504137B1 (en) 2015-10-08 2019-12-10 Persado Intellectual Property Limited System, method, and computer program product for monitoring and responding to the performance of an ad
US10832283B1 (en) 2015-12-09 2020-11-10 Persado Intellectual Property Limited System, method, and computer program for providing an instance of a promotional message to a user based on a predicted emotional response corresponding to user characteristics
US11748646B2 (en) 2015-12-14 2023-09-05 Zoomph, Inc. Database query and data mining in intelligent distributed communication networks
US10460355B1 (en) * 2015-12-15 2019-10-29 Oath (Americas) Inc. Systems and methods for augmenting real-time electronic bidding data with auxiliary electronic data
US11295217B2 (en) * 2016-01-14 2022-04-05 Uptake Technologies, Inc. Localized temporal model forecasting
US10387909B2 (en) * 2016-01-25 2019-08-20 Adobe Inc. Simulation-based evaluation of a marketing channel attribution model
US11042916B1 (en) 2016-02-29 2021-06-22 Canary Medical Inc. Computer-based marketplace for information
US10528522B1 (en) 2016-03-17 2020-01-07 EMC IP Holding Company LLC Metadata-based data valuation
US10068188B2 (en) 2016-06-29 2018-09-04 Visual Iq, Inc. Machine learning techniques that identify attribution of small signal stimulus in noisy response channels
CN106204125A (zh) * 2016-07-06 2016-12-07 合信息技术（北京）有限公司 一种定价方法及装置
US10896439B1 (en) * 2016-09-22 2021-01-19 Amazon Technologies, Inc. Generating content delivery campaigns with dynamic functionality for single-action execution
US11580565B1 (en) 2016-10-13 2023-02-14 NewsBreak Media Networks, Inc. Programmatic merchandising system and method for increasing in-store transaction conversions via heuristic advertising
US11037208B1 (en) * 2016-12-16 2021-06-15 EMC IP Holding Company LLC Economic valuation of data assets
US20180189868A1 (en) * 2016-12-29 2018-07-05 Ruben Guinovart Method and system for facilitating purchase of vehicles based on bidding
RU2019122991A (ru) * 2017-01-10 2021-02-12 Денцу Инк. Система оптимизации рекламного места и способ оптимизации рекламного места для вещательных средств массовой информации, например, телевидения
US10454832B2 (en) 2017-01-31 2019-10-22 Google Llc Balancing data requests over a network
US10796325B2 (en) * 2017-02-27 2020-10-06 International Business Machines Corporation Determining valuation information for a package of multiple components
US9832128B1 (en) 2017-03-20 2017-11-28 Engine Media, Llc Dynamic advertisement routing
US10360598B2 (en) 2017-04-12 2019-07-23 Engine Media, Llc Efficient translation and load balancing of openrtb and header bidding requests
US10685378B2 (en) * 2017-05-26 2020-06-16 Facebook, Inc. Generating product catalogs using tracking pixels
US11250476B2 (en) 2017-08-04 2022-02-15 Engine Media, Llc Dynamic header bidding configuration
US10951967B2 (en) 2017-08-23 2021-03-16 Amazon Technologies, Inc. Voice-controlled multimedia device and universal remote
FR3071086A1 (fr) * 2017-09-14 2019-03-15 Amadeus S.A.S. Un procede et systeme pour une offre adaptative intelligente dans un reseau d'echange en ligne automatise
US10943184B2 (en) 2017-09-14 2021-03-09 Amadeus S.A.S. Machine learning methods and systems for predicting online user interactions
US11120480B2 (en) 2017-09-14 2021-09-14 Amadeus S.A.S. Systems and methods for real-time online traveler segmentation using machine learning
WO2019052870A1 (en) * 2017-09-14 2019-03-21 Amadeus S.A.S. METHOD AND SYSTEM OF INTELLIGENT ADAPTIVE AUCTIONS IN AN AUTOMATED ONLINE EXCHANGE NETWORK
US10657118B2 (en) 2017-10-05 2020-05-19 Adobe Inc. Update basis for updating digital content in a digital medium environment
US10432737B2 (en) 2017-10-12 2019-10-01 Engine Media, Llc Geopartitioned data caching
US11551257B2 (en) 2017-10-12 2023-01-10 Adobe Inc. Digital media environment for analysis of audience segments in a digital marketing campaign
US10685375B2 (en) 2017-10-12 2020-06-16 Adobe Inc. Digital media environment for analysis of components of content in a digital marketing campaign
US10795647B2 (en) 2017-10-16 2020-10-06 Adobe, Inc. Application digital content control using an embedded machine learning module
US11544743B2 (en) 2017-10-16 2023-01-03 Adobe Inc. Digital content control based on shared machine learning properties
US11436628B2 (en) * 2017-10-20 2022-09-06 Yahoo Ad Tech Llc System and method for automated bidding using deep neural language models
US10853766B2 (en) 2017-11-01 2020-12-01 Adobe Inc. Creative brief schema
US10991012B2 (en) * 2017-11-01 2021-04-27 Adobe Inc. Creative brief-based content creation
KR20190051255A (ko) 2017-11-06 2019-05-15 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US10051046B1 (en) 2017-11-08 2018-08-14 Engine Media, Llc Individualized connectivity based request handling
US10063632B1 (en) 2017-12-22 2018-08-28 Engine Media, Llc Low-latency high-throughput scalable data caching
US11288709B2 (en) * 2018-03-28 2022-03-29 Adobe Inc. Training and utilizing multi-phase learning models to provide digital content to client devices in a real-time digital bidding environment
US20230334359A1 (en) * 2018-05-07 2023-10-19 Meta Platforms, Inc. Determining increased value based on holdout impressions
US11250497B2 (en) * 2018-05-16 2022-02-15 Sap Se Data generation in digital advertising ecosystems
US11210618B2 (en) * 2018-07-10 2021-12-28 Walmart Apollo, Llc Systems and methods for generating a two-dimensional planogram based on intermediate data structures
WO2020012437A1 (en) * 2018-07-13 2020-01-16 Hassan Syed Danish System and method for proactively optimizing ad campaigns using data from multiple sources
US11082389B2 (en) * 2018-07-31 2021-08-03 Facebook, Inc. Optimizing content item selection for user messaging engagement
CN109472632A (zh) * 2018-09-25 2019-03-15 平安科技（深圳）有限公司 评价广告竞争力的方法、装置、介质及电子设备
US11301907B2 (en) * 2018-11-14 2022-04-12 At&T Intellectual Property I, L.P. Dynamic image service
US11599939B2 (en) 2019-02-20 2023-03-07 Hsip Corporate Nevada Trust System, method and computer program for underwriting and processing of loans using machine learning
CN111695918A (zh) * 2019-03-11 2020-09-22 北京嘀嘀无限科技发展有限公司 广告投放方法、装置、电子设备及存储介质
JP6621954B1 (ja) * 2019-03-27 2019-12-18 株式会社博報堂Ｄｙホールディングス 計画策定装置及びコンピュータプログラム
US11322236B1 (en) * 2019-04-03 2022-05-03 Precis, Llc Data abstraction system architecture not requiring interoperability between data providers
CN111898048B (zh) * 2019-05-06 2024-03-19 北京达佳互联信息技术有限公司 展示信息的数据调整方法、装置、电子设备及存储介质
US11720928B2 (en) * 2019-05-16 2023-08-08 Yahoo Ad Tech Llc Isolated budget utilization
US20200380560A1 (en) * 2019-05-30 2020-12-03 Ncr Corporation Automated digital advertising using behavioral intelligence
US11476669B2 (en) * 2019-06-11 2022-10-18 Tata Consultancy Services Limited Method and system for building reinforcement learning (RL) based model for generating bids
RU2759895C2 (ru) * 2020-01-24 2021-11-18 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Система поддержки принятия решений для управления экономическими процессами по данным, получаемым от интеллектуальной космической системы
US11449807B2 (en) 2020-01-31 2022-09-20 Walmart Apollo, Llc Systems and methods for bootstrapped machine learning algorithm training
US11748776B2 (en) 2020-02-19 2023-09-05 Stackadapt Inc. Systems and methods of generating context specification for contextualized searches and content delivery
US11816702B2 (en) 2020-04-07 2023-11-14 Placements, Inc. Integrated system architecture and methods for managing programmatic direct digital advertising campaigns
US11334833B2 (en) * 2020-05-22 2022-05-17 At&T Intellectual Property I, L.P. Determining propensities of entities with regard to behaviors
US11270335B2 (en) 2020-06-17 2022-03-08 Coupang Corp. Systems and methods for maximizing budget utilization through management of limited resources in an online environment
US20220164405A1 (en) * 2020-11-20 2022-05-26 Signal Financial Technologies Llc Intelligent machine learning content selection platform
US11562395B2 (en) * 2021-01-31 2023-01-24 Walmart Apollo, Llc Systems and methods for training of multi-objective machine learning algorithms
US20220300872A1 (en) * 2021-03-21 2022-09-22 YourDataConnect, LLC Data-Monetization Information Management System and Method
US20220405809A1 (en) 2021-06-21 2022-12-22 Tubi, Inc. Model serving for advanced frequency management
WO2022271141A1 (en) * 2021-06-21 2022-12-29 Canary Medical Inc. Computer-based marketplace for information
US20220414696A1 (en) * 2021-06-23 2022-12-29 WizRocket Inc. Method and system for running high performance marketing campaigns for granular-level segments of users in real-time
US11829239B2 (en) 2021-11-17 2023-11-28 Adobe Inc. Managing machine learning model reconstruction
US20230306408A1 (en) * 2022-03-22 2023-09-28 Bank Of America Corporation Scribble text payment technology
NL2031800B1 (en) * 2022-05-09 2023-11-16 Aimwel B V Method for managing an advertisement campaign
CN116739668B (zh) * 2023-06-26 2024-03-12 紫灿科技(上海)股份有限公司 一种基于全链路的广告投放分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259558A (ja) * 1998-03-11 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 広告効率評価方法および評価システム
WO2001048646A1 (fr) * 1999-12-27 2001-07-05 Dentsu Inc. Systeme de gestion de publicite utilisant un modele de portefeuille de publicites
JP2002157377A (ja) * 2000-11-21 2002-05-31 Dentsu Inc 新聞広告効果予測システム及び方法
JP2006260317A (ja) * 2005-03-18 2006-09-28 Melodies & Memories Global Ltd 広告流通分析システム、広告流通分析方法、広告流通分析プログラムおよび広告流通分析装置
JP2008059614A (ja) * 2007-11-19 2008-03-13 Digital Advertising Consortium Inc 広告評価システム及び広告評価方法
JP2008257728A (ja) * 2007-04-04 2008-10-23 Nhn Corp 広告入札額自動調整方法及びそのシステム
WO2009076456A2 (en) * 2007-12-10 2009-06-18 Google Inc. Television traffic estimation

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US737002A (en) * 1903-02-20 1903-08-25 Crompton & Knowles Loom Works Loom.
JP2001283087A (ja) * 2000-03-31 2001-10-12 Sevennet Kk インターネット広告評価方法及びシステム
JP2002049790A (ja) * 2000-08-01 2002-02-15 Digital Check:Kk オークション取引システム及びオークション取引方法
US7680796B2 (en) * 2003-09-03 2010-03-16 Google, Inc. Determining and/or using location information in an ad system
US7370002B2 (en) * 2002-06-05 2008-05-06 Microsoft Corporation Modifying advertisement scores based on advertisement response probabilities
US20040044571A1 (en) * 2002-08-27 2004-03-04 Bronnimann Eric Robert Method and system for providing advertising listing variance in distribution feeds over the internet to maximize revenue to the advertising distributor
JP4768199B2 (ja) * 2002-10-21 2011-09-07 Ｎｅｃビッグローブ株式会社 各種媒体への広告提供方法及びそのシステム
US20060047579A1 (en) * 2003-03-26 2006-03-02 Scott Dresden Acquisition and tracking tools in e-commerce advertising channels for telephonic sales markets
US8595071B2 (en) * 2003-06-30 2013-11-26 Google Inc. Using enhanced ad features to increase competition in online advertising
US8447651B1 (en) * 2004-08-25 2013-05-21 Amazon Technologies, Inc. Bidding on pending, query term-based advertising opportunities
US7676405B2 (en) * 2005-06-01 2010-03-09 Google Inc. System and method for media play forecasting
US8571930B1 (en) * 2005-10-31 2013-10-29 A9.Com, Inc. Strategies for determining the value of advertisements using randomized performance estimates
US20100138451A1 (en) * 2006-04-03 2010-06-03 Assaf Henkin Techniques for facilitating on-line contextual analysis and advertising
US20070260512A1 (en) * 2006-05-04 2007-11-08 Sattley Bruce R Methods and apparatus for measuring the effect of online advertising on online user behavior
US20080167957A1 (en) * 2006-06-28 2008-07-10 Google Inc. Integrating Placement of Advertisements in Multiple Media Types
US20080195462A1 (en) * 2006-10-24 2008-08-14 Swooge, Llc Method And System For Collecting And Correlating Data From Information Sources To Deliver More Relevant And Effective Advertising
US20080103883A1 (en) * 2006-10-25 2008-05-01 Google Inc. Providing Feedback to an Offer for Advertising Space
US20080249855A1 (en) * 2007-04-04 2008-10-09 Yahoo! Inc. System for generating advertising creatives
US20110010318A1 (en) * 2007-08-17 2011-01-13 Institutt For Energiteknikk System and method for empirical ensemble- based virtual sensing
CN101393629A (zh) * 2007-09-20 2009-03-25 阿里巴巴集团控股有限公司 一种网络广告效果监测的实现方法及装置
US20090119172A1 (en) * 2007-11-02 2009-05-07 Soloff David L Advertising Futures Marketplace Methods and Systems
US10445781B2 (en) * 2009-03-06 2019-10-15 Xandr Inc. Advertising platform user data store management
US20100235243A1 (en) * 2009-03-12 2010-09-16 Greg Hecht Remnant Inventory Marketplace for Placement of Advertisements
US20110040612A1 (en) * 2009-08-14 2011-02-17 Simmons Willard L Machine learning for computing and targeting bids for the placement of advertisements
EP2727065A4 (en) * 2011-07-01 2015-01-28 Dataxu Inc GENERATION AND USE OF SYNTHETIC USER IDENTIFICATORS IN AN ADVERTISING DEVICE

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259558A (ja) * 1998-03-11 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 広告効率評価方法および評価システム
WO2001048646A1 (fr) * 1999-12-27 2001-07-05 Dentsu Inc. Systeme de gestion de publicite utilisant un modele de portefeuille de publicites
JP2002157377A (ja) * 2000-11-21 2002-05-31 Dentsu Inc 新聞広告効果予測システム及び方法
JP2006260317A (ja) * 2005-03-18 2006-09-28 Melodies & Memories Global Ltd 広告流通分析システム、広告流通分析方法、広告流通分析プログラムおよび広告流通分析装置
JP2008257728A (ja) * 2007-04-04 2008-10-23 Nhn Corp 広告入札額自動調整方法及びそのシステム
JP2008059614A (ja) * 2007-11-19 2008-03-13 Digital Advertising Consortium Inc 広告評価システム及び広告評価方法
WO2009076456A2 (en) * 2007-12-10 2009-06-18 Google Inc. Television traffic estimation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNE200700343004; 勅使河原　元，岡村　秀一郎，吉田　勉，得田　謙介: '未来予測ビジネスへの挑戦　市場メカニズムを用いた高精度な予測システムとその活用方策' 知的資産創造　Ｖｏｌ．１５　Ｎｏ．１２ 第１５巻第１２号【ＩＳＳＮ】０９１９-７１３３, 20071120, ｐ．６８-ｐ．８１, 株式会社野村総合研究所 *
JPN6014005012; 勅使河原　元，岡村　秀一郎，吉田　勉，得田　謙介: '未来予測ビジネスへの挑戦　市場メカニズムを用いた高精度な予測システムとその活用方策' 知的資産創造　Ｖｏｌ．１５　Ｎｏ．１２ 第１５巻第１２号【ＩＳＳＮ】０９１９-７１３３, 20071120, ｐ．６８-ｐ．８１, 株式会社野村総合研究所 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507116A (ja) * 2013-02-11 2016-03-07 フェイスブック，インク． 入札の予想収益に基づくリアルタイム入札の開始
US10628858B2 (en) 2013-02-11 2020-04-21 Facebook, Inc. Initiating real-time bidding based on expected revenue from bids
WO2015063953A1 (ja) * 2013-11-01 2015-05-07 デンノー インコーポレイテッド 仲介システム及び仲介方法
JP2017510881A (ja) * 2014-02-07 2017-04-13 グーグル インコーポレイテッド 広告価格のディスカウント
JP2015225549A (ja) * 2014-05-28 2015-12-14 ヤフー株式会社 予測値演算装置、予測値演算方法および予測値演算プログラム
JP2017173912A (ja) * 2016-03-18 2017-09-28 ヤフー株式会社 補正装置、補正方法および補正プログラム
JP2018206225A (ja) * 2017-06-07 2018-12-27 ヤフー株式会社 配信装置、配信方法、配信プログラムおよびモデル
JP7078357B2 (ja) 2017-06-07 2022-05-31 ヤフー株式会社 配信装置、配信方法および配信プログラム
CN110796480A (zh) * 2019-09-29 2020-02-14 北京淇瑀信息科技有限公司 一种实时广告投放管理方法、装置和系统
US11295347B1 (en) * 2021-01-30 2022-04-05 Walmart Apollo, Llc Systems and methods for forecasting campaign parameters using machine learning architectures and techniques
US11386460B1 (en) * 2021-02-03 2022-07-12 Capital One Services, Llc Systems and methods for message management in localized networks
US11887162B2 (en) 2021-02-03 2024-01-30 Capital One Services, Llc Systems and methods for message management in localized networks

Also Published As

Publication number Publication date
US20110040611A1 (en) 2011-02-17
US20110040612A1 (en) 2011-02-17
WO2011020076A3 (en) 2011-04-28
US20110040635A1 (en) 2011-02-17
US20110040636A1 (en) 2011-02-17
WO2011020076A2 (en) 2011-02-17
CN102576436A (zh) 2012-07-11
BR112012003318A2 (pt) 2019-09-24
JP2015097094A (ja) 2015-05-21
JP5662446B2 (ja) 2015-01-28
EP2465086A2 (en) 2012-06-20
EP2465086A4 (en) 2015-06-10
US20110040613A1 (en) 2011-02-17

Similar Documents

Publication Publication Date Title
JP5662446B2 (ja) リアルタイム広告入札に対して競争評価モデルを使用するための学習システム
Kannan Digital marketing: A framework, review and research agenda
CN108476334B (zh) 广告投放的跨屏优化
US20120323674A1 (en) Creation and usage of synthetic user identifiers within an advertisement placement facility
US20140046777A1 (en) Methods and systems for using consumer aliases and identifiers
US10360568B2 (en) Customer state-based targeting
US7287000B2 (en) Configurable pricing optimization system
US20140100944A1 (en) Method and system for online campaign optimization
US20140278981A1 (en) Automated allocation of media via network
US20110231246A1 (en) Online and offline advertising campaign optimization
US20120059713A1 (en) Matching Advertisers and Users Based on Their Respective Intents
US20110231245A1 (en) Offline metrics in advertisement campaign tuning
US20110035273A1 (en) Profile recommendations for advertisement campaign performance improvement
US20140330646A1 (en) System and method for activation of marketing allocations using search keywords
AU2021257902A1 (en) Methods and systems for using consumer aliases and identifiers
AU2010216162B2 (en) Multichannel digital marketing platform
US20110231244A1 (en) Top customer targeting
US20230230183A1 (en) Intelligent Prediction of An Expected Value of User Conversion
US20160140577A1 (en) Unified marketing model based on conduit variables
Zhan et al. Identifying market structure to monitor product competition using a consumer-behavior-based intelligence model
US20210382952A1 (en) Web content organization and presentation techniques
WO2001033410A2 (en) Segment-based self-learning method and system
Arroyo-Cañada et al. A fuzzy asymmetric TOPSIS model for optimizing investment in online advertising campaigns
Ehsani et al. Customer purchase prediction in electronic markets from clickstream data using the Oracle meta-classifier
Popper Bringing It All Together in a Framework of Sponsored Search

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140501

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141204

R150 Certificate of patent or registration of utility model

Ref document number: 5662446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250