JP2018531464A6 - モバイル機器に配信された情報の効果を測定するための方法及び装置 - Google Patents
モバイル機器に配信された情報の効果を測定するための方法及び装置 Download PDFInfo
- Publication number
- JP2018531464A6 JP2018531464A6 JP2018517820A JP2018517820A JP2018531464A6 JP 2018531464 A6 JP2018531464 A6 JP 2018531464A6 JP 2018517820 A JP2018517820 A JP 2018517820A JP 2018517820 A JP2018517820 A JP 2018517820A JP 2018531464 A6 JP2018531464 A6 JP 2018531464A6
- Authority
- JP
- Japan
- Prior art keywords
- request
- mobile devices
- packet
- data
- campaign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title abstract description 19
- 238000000034 method Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 16
- 230000000875 corresponding Effects 0.000 claims description 7
- 230000003068 static Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 17
- 230000010006 flight Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000001413 cellular Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000001058 adult Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001960 triggered Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 230000003247 decreasing Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000534 elicitor Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Abstract
本願開示はモバイル機器に配信される情報の効果を測定するための方法及び装置を提供する。特定の実施形態では、パケットベースドネットワークに接続された1つ以上のコンピュータシステムによって行われる方法は、パケットベースドネットワークを介して第1の複数のリクエストデータパケットを受信するステップと、パケットベースドネットワークを介してパネルデータパケットを受信するステップと、第1の複数のモバイル機器から較正モバイル機器のセットを選択するステップとを含み、較正モバイル機器のセットの各々はパネルデータパケットの少なくとも1つを送信したことがある。較正モバイル機器は、較正係数を導出するために用いられる。
Description
本願は情報サービスに関するのであり、より具体的には、モバイル機器に配信される情報の効果を測定するための方法及び装置に関する。
関連出願の相互参照
本願は、2016年10月7日に出願された米国仮特許出願第62/238,122号及び2016年6月22日に出願された米国仮特許出願第62/353,036号の利益及び優先権を主張するのであり、各々については全体が参照によって取り込まれる。
本願は、2016年10月7日に出願された米国仮特許出願第62/238,122号及び2016年6月22日に出願された米国仮特許出願第62/353,036号の利益及び優先権を主張するのであり、各々については全体が参照によって取り込まれる。
スマートフォン及び他の種類のモバイル機器がより広範に用いられるようになってきている。近時において世人は、他者と繋がり続けるために、並びに、パブリッシャ及びアプリケーション開発者らによって提供される情報及びサービスを取得するために、自己のモバイル機器を使用する。情報及びサービスを無償或いは低コストとしておくために、パブリッシャ及びアプリケーション開発者は、自己に接触してくるモバイル機器に対して、スポンサー提供を受けた情報を配信することによって、少なくとも部分的に自己の活動のための資金調達をなす。スポンサー提供を受けた情報はスポンサーから提供されるのであって、該スポンサーは、ユーザの位置に基づいてモバイルユーザのモバイル機器に関連性を有する情報を配信することに関して興味を持っている。モバイル機器の使用がさらに普及していくにつれて、情報配信キャンペーンの効果或いはパフォーマンス(即ち、リフト(lift))について正確な測定手法を得ておくことが情報提供スポンサーにとって重要となる。
伝統的には、パネルベースド手法を用いて情報キャンペーンのパフォーマンスを測定してきた。該手法はパネリストとして登録したユーザ群を対象としており、これらの者は、アンケートに参加することによって又は何らかのソフトウェアによって追跡されることに同意していることによって自己の挙動を共有することに同意している。そして、情報キャンペーンに曝されたパネリストの挙動を、情報キャンペーンに曝されていない者のそれと比較して、キャンペーンのパフォーマンス或いはリフトについての測定値を取得する。もっとも、パネルベースド測定には次の問題が伴う:(a)当該手法はパネリスト群を必要とすること;(b)パネリストの混合構成が、キャンペーンに曝されるモバイルユーザの実際上の混合構成に比べて随分異なったものとなる場合があり、リフト分析に偏りが導入され得ること;及び(c)サンプリング誤差を回避するために必要とされる大規模なパネリスト群を維持するためには出費が嵩むこと。例えば、ホームデポの広告キャンペーンがホームデポの店舗から1マイル半径内のモバイル機器を対象としている場合、曝されていないパネリストに比して、曝されたパネリストの多くは該店舗をより訪問しやすいものといえ、広告のリフト(広告リフト(ad lift))の測定に関して偏りが生じることになる。一般的には、情報キャンペーンに用いられる任意のターゲティング属性は、潜在的にはこのような偏りをもたらし得る。
本願開示は、モバイル機器に配信される情報の効果を測定する方法及び装置を提供する。該方法及び装置は、モバイル情報スポンサーが、自己の情報キャンペーンの効果或いはパフォーマンスの測定をすることを可能とするのであり、該測定は情報に曝された後のモバイルユーザのターゲテッド応答(targeted response)を検出することによってなされ、これによって情報キャンペーンがどのようにしてモバイルユーザ挙動(mobile user behavior)に影響を与えるかを定量化する。
図1は、特定の実施形態では、インターネット(又はウェブ)110に接続されたセルラネットワーク101、インターネット110、及びコンピュータ/サーバ120の一部又は全部を含むパケットベースドネットワーク100(本明細書では「クラウド」と称することもある)を示す。コンピュータ/サーバ120は、有線イーサネット(登録商標)、随意的にはPoE(Power over Ethernet)、WiFi(登録商標)、及び/又は複数のセルラタワー101aを含むセルラネットワーク101を介したセルラ接続を使用してインターネット110に接続することができる。ネットワークはまた、異種のクライアントグループへのデータアクセスを提供するためにコンピュータネットワークに接続されたコンピュータデータストレージサーバである1つ以上のネットワーク接続ストレージ(NAS)システム121を含むことができる。図1に示すように、スマートフォンやタブレットコンピュータ等の1つ以上のモバイル機器130も、インターネットゲートウェイを介してインターネット110に接続されたセルラネットワーク101とのセルラ接続を介してパケットベースドネットワークに接続される。WiFiホットスポット(ホットスポット135等)が利用可能な場合、モバイル機器130は、その内蔵WiFi接続を利用してWiFiホットスポット135を介してインターネット110と接続できる。したがって、モバイル機器130は、インターネット110に接続された他のコンピュータ/サーバと対話できる。
インターネットに接続されたコンピュータ/サーバ120は、パブリッシャによって提供されるアプリを実行するモバイル機器と対話する1つ以上のパブリッシャと、パブリッシャと情報プロバイダ(information provider)との間の仲介者として機能する1つ以上の情報仲介者(information middlemen)又は情報ネットワーク(information network)と、モバイル機器に掲示するために情報を選択してパブリッシャに送信する1つ以上の情報サーバ(information server)と、情報エクスチェンジ(information exchange)を運営する1つ以上のコンピュータ/サーバと、モバイル供給(mobile supplies)を情報エクスチェンジに掲示する1つ以上のコンピュータ/サーバと、並びに/又は、情報エクスチェンジを監視し、及び情報エクスチェンジに掲載されているモバイル供給について入札を行う1つ以上の情報プロバイダとを含むことができる。パブリッシャは、モバイル機器と対話するに際して、モバイル機器の特徴や、そのユーザに関する特定の情報や、モバイル機器とに関連付けられた生の位置データ等を含むデータパケットとしての情報リクエストたり得るモバイル供給を生成する。パブリッシャは、情報主体又はその代理による入札のためにモバイル供給を情報エクスチェンジに掲示するか、充足のために情報代理店(information agent)又は情報仲介者にモバイル供給を送るか、又は自身によって供給の充足を行う。
情報サービスの一例としては、パブリッシャやアプリケーション開発者らと対話するに際してモバイル機器へと広告を配信することが挙げられる。広告主(情報プロバイダ)、代理店、パブリッシャ、及び広告仲介者(ad middlemen)は、アドエクスチェンジ(ad exchange)を通じても、モバイル供給を購入できる。広告ネットワーク及び他のエンティティはまた、エクスチェンジからも広告を購入する。通常、広告ネットワークは様々なパブリッシャの在庫を集約して、利益のため広告主に販売する。アドエクスチェンジは、広告主とパブリッシャとが広告スペース(インプレッション)及びモバイル広告枠(ad inventory)を売買することを可能とするデジタル市場である。インプレッションの価格は、リアルタイム入札と呼ばれる処理を通じて、リアルタイムオークションによって決定される。換言すれば、人間の営業が買手と価格を交渉する必要がない。なぜなら、インプレッションは単純に最高入札者によって落札されるからである。モバイル機器がアプリやウェブページを読み込むと、これらの処理が数ミリ秒で実行される。
広告主と代理店は、特定のアルゴリズムを使用して特定の供給品を購入するかどうかを決定するソフトウェアたるデマンドサイドプラットフォーム(DSP)を使用することができる。多くの広告ネットワークは現在、ある種のDSPのような製品やリアルタイムの入札機能をも提供する。オンライン及びモバイルのパブリッシャは、在庫をエクスチェンジを通じて利用できるようにしているため、多くの広告主にとってDSPを使って広告を購入するほうがより経済的となる。
広告サーバは、コンピュータサーバであり、例えばオンラインマーケティングで使用される広告を格納し、ウェブサイト及び/又はモバイルアプリケーション上に配置するデータベースサーバによって支援されたウェブサーバである。ウェブサイト又はウェブページが、ユーザにより訪問されるか、又はリフレッシュされるときに、広告の表示されるウェブサイト又はウェブページが、新しい広告を含むように、ウェブサーバのコンテンツは、常に更新される(例えば、バナー(静止画像/アニメーション)、又はテキスト)。広告を選択してユーザに配信するだけでなく、広告サーバはウェブサイトの広告スペースも管理し、並びに/又は広告主用の独立したカウントシステム及び追跡システムを提供する。したがって、広告サーバは、広告を提供/配信し、それらをカウントし、ウェブサイト又は広告主に最も多くの金銭をもたらす広告を選択し、異なる広告キャンペーンの進捗状況を監視する。広告サーバは、パブリッシャ広告サーバ、広告主広告サーバ、及び/又は広告仲介者広告サーバたり得る。広告サーバはまた、パブリッシャ、広告主、及び広告仲介者として作動するのと同じコンピュータ又はサーバの一部たり得る。
広告配信(ad serving)には、広告キャンペーンのインプレッション数/クリック数のカウントやレポート生成等の様々なタスクも含まれ得るのであり、特定のウェブサイト上の広告主の投資収益率(ROI)を判断するのに役立つ。広告サーバ(ad server)はローカル又はリモートで実行できる。ローカルの広告サーバは通常、単一のパブリッシャによって運営され、そのパブリッシャのドメインに広告を配信し、そのパブリッシャによるきめ細かいクリエイティブ、フォーマッティング、及びコンテンツ管理を可能とする。リモート広告サーバは、複数のパブリッシャが所有するドメイン間を横断して広告を配信できる。これらは1つの中心的なソースから広告を配信することで、広告主やパブリッシャはオンライン広告の配信を追跡することができ、単座的にウェブ上での広告のローテーション及び配信を制御できる。
コンピュータ/サーバ120は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、パーソナルデジタルアシスタントデバイス(PDA)、ウェブアプライアンス、ネットワークルータ、スイッチ若しくはブリッジ、又は、コンピューティングデバイスがとるべき動作を指定する命令を実行可能な任意のコンピューティングデバイスを含む。図1に示すように、コンピュータ/サーバ120のいくつかは、インターネット110に接続されたローカルエリアネットワーク(LAN)110を介して互いに接続されている。また、ここで参照される各コンピュータ/サーバ120は、命令を個別的に若しくは共同的に実行して、本明細書で論じる1つ以上のシステムを提供するか、又は本明細書で論じる方法若しくは機能の任意の1つ以上を実行するか、又はパブリッシャ、広告主、広告代理店、広告仲介者、広告サーバ、アドエクスチェンジ等の1つ以上として個別的に若しくは共同的に動作するような、コンピューティング装置の任意の集合体を含み得るのであって、これらは本明細書で説明するシステム、方法論、及び機能を使用する。
図2は、特定の命令を実行することによって、システムを提供するために及び/若しくは方法を行うために用いることができるコンピュータ/サーバ120についての概略図であり、これらは広告リフト測定のためになされる。コンピュータ/サーバ120は、スタンドアロンデバイスとして、又はピアツーピア(又は分散)ネットワークコンピューティング環境内のピアコンピューティングデバイスとして動作できる。図2に示すように、コンピュータ/サーバ120は、1つ以上のプロセッサ202(例えば、中央処理装置(CPU)、グラフィック処理装置(GPU)、並びに/又はデジタル信号プロセッサ(DSP))及びシステムバス200を介して互いに接続されるシステム又は主メモリ204を含む。コンピュータ/サーバ120は、静的メモリ206、ネットワークインタフェース装置208、記憶部210、1つ以上の表示装置230、1つ以上の入力装置234、及び信号生成デバイス(例えば、スピーカ)236をさらに含むことができるのであって、システムバス200を介してプロセッサ202はこれらと通信可能である。
特定の実施形態では、表示装置230は、1つ以上のグラフィックス表示ユニット(例えば、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、プロジェクタ、又は陰極線管(CRT))を含む。入力装置234は、英数字入力装置(例えば、キーボード)、カーソル制御装置(例えば、マウス、トラックボール、ジョイスティック、モーションセンサ、又は他のポインティング装置)を含む。記憶装置210は、本明細書に記載のリフト測定用のシステム、方法論又は機能を可能にする命令216(例えば、ソフトウェア)が格納されたマシン可読媒体212を含む。記憶装置210はまた、システム、方法論又は機能によって使用及び/又は生成されたデータ218を記憶してもよい。命令216(例えば、ソフトウェア)は、コンピュータ/サーバ120による実行中に、メインメモリ204又はプロセッサ202(例えば、プロセッサのキャッシュメモリ内)に完全に又は部分的にロードできる。したがって、メインメモリ204及びプロセッサ1102はまた、マシン可読媒体を構成する。
マシン可読媒体212は、例示的実施形態では単一の媒体として示されているが、「マシン可読媒体」という用語は、命令(例えば、命令1124)を格納することができる単一の媒体又は複数の媒体(例えば、集中型若しくは分散型のデータベース、又は関連するキャッシュ及びサーバ)を含むと解釈されるべきである。「マシン可読媒体」という用語はまた、コンピュータ/サーバ120による実行のための命令(例えば、命令216)を記憶でき、コンピューティングデバイス1100に本明細書で開示される手法のうちの任意の1つ以上を実行させる任意の媒体を含むと解釈されるべきである。「マシン可読媒体」という用語は、これに限定されないが、ソリッドステートメモリ、光学媒体、及び磁気媒体の形態のデータレポジトリを含む。特定の実施形態では、命令216及び/又はデータ218は、ネットワーク100に格納され、及び、コンピュータ/サーバ120によってそのネットワークインターフェースデバイス208を介してアクセスされることができ、該ネットワークインターフェースデバイスは何らかのタイプのネットワークコネクタ280aを介してLAN111及び/又は広域網(例えば、インターネット110)への有線及び/又は無線接続を提供するものである。命令216(例えば、ソフトウェア)及び/又はデータ218は、ネットワークインターフェースデバイス208を介して送信又は受信できる。
図3は、特定の実施形態によるリフト測定システム(LMS、lift measurement system)300についての概略図であり、該システムはネットワーク110を介してローカルに又はリモートに互いに接続された1つ以上のコンピュータ/サーバシステム120によって提供される。図3に示すように、コンピュータ/サーバシステム120の各々のメインメモリ204に読み込まれた1以上のソフトウェアプログラム301を実行するに際して、コンピュータ/サーバシステム120のプロセッサは、次のものを含むモジュールのセットを提供する:リクエスト処理モジュール310、リクエスト充足モジュール315、パネル信号処理モジュール、リフト分析モジュール325、追跡モジュール330、及び較正モジュール335。システム300は、LMS300によって使用及び/又は生成されるデータを格納する複数のデータベース302を活用するのであり、これらデータベースには次のものが含まれる:それぞれの興味対象地点(POI、points of interest)に対応する予め定義された場所についての空間的インデックスを格納した空間的インデックスデータベース350、リクエスト処理モジュール310からの処理済みリクエストを格納したリクエストログデータベース355、キャンペーン条件及びキャンペーンドキュメント又はモバイル機器に配信するためのキャンペーンドキュメントへのリンク等のキャンペーン情報を格納したキャンペーンデータベース360、リクエスト処理モジュール310によって捉えられたモバイル機器の活動に関する履歴データを格納した履歴データストア365、リクエスト充足モジュール315によって生成されたログファイルを格納するためのインプレッション(被曝)ログファイルデータベース370、及び較正パネル情報及び較正モジュールによって生成された結果等の較正データを格納した較正データベース。これらのデータベースのいずれか又は全ては、LMS300内のモジュールを提供する1つ以上のコンピュータ/サーバシステムの各々の記憶部210内に配置されるか、又は、別のサーバ/コンピュータ120内及び/若しくはネットワーク100内のNAS121内に配置されることができ、プロセッサ202はネットワークインタフェース装置208を介してこれらにアクセスすることができる。
特定の実施形態では、リクエスト処理モジュール310は、ネットワーク110を介して情報サーバ(例えば、モバイルパブリッシャ、広告仲介者、及び/又はアドエクスチェンジ等)から提示された情報リクエストを受信及び処理する。各情報リクエストはモバイル機器に関連しており、該リクエストは例えばデータパケットとしてLMS300に到達するのであり、該データパケットはそれぞれ例えば次の情報を表すデータ単位を含んでいる:モバイル機器(或いはユーザ)の識別子(UID)、モバイル機器の製造者/型式(例えば、iPhone 6S(登録商標))、モバイル機器上で実行されているオペレーティングシステム(例えば、iOS(登録商標) 10.0.1)、モバイル機器のユーザについての属性(例えば、年齢、性別、学歴、収入水準等)、モバイル機器の位置(例えば、都市、州、郵便番号、IPアドレス、緯度/経度或いはLL等)。リクエストデータパケットは、リクエストタイムスタンプ、リクエストID及び他のデータ/情報をも含み得る。「マーケティング上のモバイル広告供給に関するシステムと方法」と題された2015年5月19日に出願された同時係属出願たる米国特許出願第14/716,811号は参照によってその全体が取り込まれるのであり、該出願によれば、特定の実施形態では、リクエスト処理モジュール310は、図4に示したリクエストデータパケットの処理のための方法400を行う。方法400は、インターネット等のネットワークへの接続を介して情報リクエストを受信するステップ(410)と、情報リクエスト内の位置データに基づいてモバイル機器位置を導出するステップ(420)と、モバイル機器位置が1つ以上の予め定義された場所又はジオフェンスを誘起(トリガ)するかを決定するステップ(430)と、処理済みリクエストを広告配信システムに提供するステップ(440)と、処理済みリクエストを広告リフト分析のためにリクエストデータベース350内に格納するステップとを含む。
特定の実施形態では、モバイル機器位置の導出ステップ(420)は、同時係属出願たる米国特許出願第号に記載のスマート位置システム/方法を用いてリクエスト内の位置情報を処理することを含み、該同時係属出願たる米国特許出願は2015年5月19日に出願されており「モバイル機器位置を推定するシステム及び方法」と題されており参照によってその全体が取り込まれる。導出されたモバイル機器位置は、リクエストに関連するモバイル機器が存在しているかもしれない1つ以上の場所を探索するために用いられるのであり、該探索は空間的インデックスデータベース350に対してなされる。広告リクエストが空間的インデックスデータベース350内の1つ以上の場所を誘起したと認められた場合、1つ以上の場所に対応するタグを用いてリクエストに対して注記がなされるのであり、該タグは、事業/ブランド名、事業/ブランド名と関連付けられている製品若しくは役務のカテゴリ、並びに、場所タイプ(例えば、店舗、駐車場、街区等)を識別するのであり、これによって注記済みリクエストがもたらされる。処理済みリクエストは、リクエストログ355内に格納される。
特定の実施形態では、リクエスト充足モジュール315は、注記済みリクエスト410をキャンペーンデータベース360内に格納された幾つかの情報キャンペーンの適合する条件と比較する。注記済みリクエスト内のデータ単位及びタグが1つ以上の情報キャンペーンに適合しており且つ1つ以上の情報キャンペーンの既定予算が超過していないと決定した場合、リクエスト充足モジュール315は(履歴データデータベース365内に格納された関連するモバイル機器(ユーザ)についての履歴データを時折考慮しながら)1つ又は1つ以上の情報キャンペーンを選択して、1つ以上の情報キャンペーンの1つに関連付けられているドキュメントへのリンクを注記済みリクエストに付加することによってリクエストを充足して、ネットワーク110を介して注記済みリクエストを情報サーバ(例えば、モバイルパブリッシャ、広告仲介者、及び/又はアドエクスチェンジ等)へと送信する。リクエスト充足モジュール315はまた、1つ以上の情報キャンペーンと関連付けられているドキュメントが関連するモバイル機器に配信されたか(或いは該機器が該ドキュメントに被曝されたか(即ち、インプレッションがなされたか))を示す情報サーバからのフィードバックを監視するのであり、また、フィードバックをインプレッションログ370内に格納する。
図5は、静的パネルを用いないで情報キャンペーンの功績を測定するための方法500を示すのであり、該方法はリフト分析モジュール325によってなされる。特定の実施形態によると、方法500は、リクエスト充足モジュール315がリアルタイムで又は事後的にリクエストログ355及び/又はインプレッションログ370からの情報リクエストを処理している間に適格リクエストを識別するステップ(510)と、適格リクエストと関連付けられているモバイル機器をテスト群と対照群とに分けるステップ(520)と、テスト群及び対照群についての活動を追跡するステップ(530)と、テスト群及び対照群のそれぞれについてターゲテッド応答率(例えば、店舗訪問率(SVR))を導出するステップ(540)と、店舗訪問率からリフト結果を取得するステップ(550)とを含む。
図5に示すように、リクエストが処理されるにあわせて或いはその後に、リクエストと関連付けられているモバイル機器(或いはそれらのユーザ)がリフト分析モジュール325によって次の3つの群に分類される:リクエストユーザ、適格ユーザ、及び被曝ユーザ。図6は、所与の情報キャンペーンに関しての、リクエストユーザと適格ユーザと被曝ユーザとの間の関係を視覚化している。各リクエストユーザは、情報キャンペーンのフライト中の少なくとも1つのリクエストと関連付けられている任意のユーザであることができる。リクエストユーザのうち、情報キャンペーンに適合する情報リクエストに関連付けられている者は、適格ユーザと呼ばれる。特定の実施形態では、情報リクエストが情報キャンペーンの特定のターゲティング条件(例えば、人口統計的条件、一日における時刻、位置等)を満たす場合に、情報キャンペーンに関して適合するものとなる。
リアルタイム入札(RTB、Real Time Bidding)に基づいた通常の広告配信システムにおいては、適格リクエストは常に充足されるわけではなく、インプレッション事象が生じ得る。例えば、広告キャンペーンが日毎の予算を超過したり、同一のリクエストが1つより多くのキャンペーンに適合したり、特にRTB価格競争がなされる場合においてはリクエスト充足モジュール315が入札に成功しない場合があったり、又は、互換性問題等によってリクエスト充足モジュール315によって指定されたクリエイティブ(ドキュメント)が関連付けられているモバイル機器上で呈示され損なったりし得る。したがって、適格ユーザのうち、関連付けられているリクエストに応答して広告を見せつけられた者が、被曝ユーザとして分類される。
したがって、リフト分析モジュール325は、リクエストログ355及び/又はインプレッションログ内のデータに基づいて、リフト測定のためのモバイル機器グルーピングを決定する。各々の情報キャンペーンに関して、リフト分析モジュール325はユーザ及び/又は機器を対照群(対照パネル)とテスト群(テストパネル)とに分けるのであり、ユーザ及び/又は機器は、(携帯電話の場合には)UDID、IDFA若しくはGIDFAで表されるか、又は、パブリッシャと関連付けられているクッキー又はログインIDで表される。両パネルは、情報キャンペーンのフライト中に広告配信システムによって捕捉されたリクエストから動的に抽出される。
特定の実施形態では、リフト分析モジュール325は、被曝ユーザの全部又は部分集合をテストパネルとして選択するのであり、また、適格ユーザの全部又は部分集合を対照パネルとして選択する。特定の実施形態では、リフト分析モジュール325は、タギング機能及びアグリゲーション機能を有している。タギング機能はリクエスト充足モジュール315と並行して実行され、それがリクエストログ355及びインプレッションログ370を生成する。
リクエストログ355は、リクエスト及びそれらが適合する情報キャンペーンについて追跡しており、各適合するリクエストに関しては(user_id, ad_1, ad_2, …, ad_n)形式のタプルとして追っており、ここで、user_idはリクエストのモバイルユーザを表しており、(ad_1, ad_2, …, ad_n)はリクエストが適合した情報キャンペーンを表している。インプレッションログ370は、情報キャンペーンと関連付けられている関連性を有する情報が成功裏に見せつけられた各ユーザについて記録しており、特定の実施形態では該ログは(user_id, ad_id)ペアについてのアレイとして提示される。
リフト分析モジュール325は、各情報キャンペーンについてリクエストログ355及びインプレッションログ370を処理して、キャンペーンに曝されたユーザについてのリストをテスト群として決定し、また、キャンペーンに適合するがキャンペーンに曝されていないユーザについてのリストを対照群として決定する。
テスト群及び対照群を前提として、追跡モジュール330は、諸群のモバイルユーザが適格ユーザとみなされた後に惹起された両群のユーザのターゲテッド応答を測定するのであり、該ターゲテッド応答は店舗訪問や購買等に関するものである。追跡モジュール330は、リクエストデータベース355内にある対照群及びテスト群のデータ、並びに、ネットワーク110を介して取得されたか及び/又はリクエストデータベース355内に格納されている何らかのサードパーティデータ若しくはファーストパーティデータを活用して、対照群及びテスト群のユーザの被曝後活動についての記録を取得する。サードパーティデータは、決済(チェックアウト)ページ上のオンライン追跡ピクセルによって追跡された又はPaypal(登録商標)等のモバイル支払ソフトウェアによって追跡されたユーザ購買活動であることができる。購買活動は、広告主から直接的に得られる販売報告書等のファーストパーティデータからも取得することができる。
特定の実施形態では、興味対象とされるユーザ活動は店舗訪問事象(SV、store visitation)であり、情報キャンペーンのタイプはモバイル広告(アド)キャンペーンであり、広告リクエストはモバイルユーザ位置情報を含むとされる。特定の実施形態では、テスト群及び対照群のSV活動は、リクエストデータベース355にログされたそれらの者に関連付けられている後の広告リクエストから導出されることができる。図7は、リクエストデータベース内のログされたリクエストについての例を示しており、ログされた各々のリクエストについては次の事項が含まれる:ユーザID(UID)若しくは機器ID、モバイル機器の製造者/型式、モバイルユーザの年齢・性別・教育水準等、機器の位置が誘起した1つ以上の事業/ブランド名、機器の位置が誘起した場所タイプ(例えば、事業の敷地内についてはタイプX、事業の付近の駐車場又はショッピングセンターについてはタイプY、及び、事業が位置する街区についてはタイプZ等)、並びにリクエスト時刻等。特定の実施形態では、「マーケティング上のモバイル広告供給に関するシステムと方法」と題された2015年5月19日に出願された同時係属出願たる米国特許出願第14/716,811号に記載の方法を用いて、広告リクエストに関連付けられている事業/ブランド名を導出するのであり、該出願は参照によってその全体が取り込まれる。特定の実施形態では、追跡モジュール330はログされたリクエストについて検索を行って、対照群及びテスト群のモバイルユーザに関連付けられているエントリを探索して、広告キャンペーンにて希望されている店舗訪問事象を伺わせる機器位置及び/又は事業/ブランド名もこれらのエントリに含まれているかを確認する。
一部の実施形態では、インプレッションが与えられた後の指定期間内(例えば、2週間)に訪問が生じた場合に限って、SV事象をテスト群のユーザに帰属させる。同様に、ユーザが広告に適合した後の指定期間内に訪問が生じた場合に限って、SV事象を対照群のユーザに帰属させる。一部の実施形態では、関連付けられているSV事象の頻度及び/又は持続期間から店舗の“従業員”を導出するのであり、これらの者をテスト群及び対照群から除いておく。
特定の実施形態では、リフト分析モジュールは対照群及びテスト群についての活動メトリックを導出して、店舗訪問リフト結果を生成する。例えば、テスト群及び対照群のそれぞれについて店舗訪問率(SVR、store visitation rate)メトリックを次式のように算定することができる:
[SVR=(ターゲットされたストアを_訪問した_一意的ユーザの_人数)/(群内の_一意的ユーザの_人数)]
特定の実施形態では、複数回被曝後に訪問がある場合(multiple exposures followed by a visit)、上述のSVR算定においては1つの訪問のみを考慮する。特定の実施形態では、被曝後に複数回訪問がある場合(multiple visits following an exposure)、上述のSVR算定においては1つの訪問のみを考慮する。
特定の実施形態では、複数回被曝後に訪問がある場合(multiple exposures followed by a visit)、上述のSVR算定においては1つの訪問のみを考慮する。特定の実施形態では、被曝後に複数回訪問がある場合(multiple visits following an exposure)、上述のSVR算定においては1つの訪問のみを考慮する。
店舗訪問率リフト測定値は次式に従って算定することができる:
[SVL=((SVR_テスト群)/(SVR_対照群))−1]
効果に関する目標が購買事象であれば、効果測定値に関して対応するメトリックセットを定義することができる。
効果に関する目標が購買事象であれば、効果測定値に関して対応するメトリックセットを定義することができる。
上述の計算は、テストパネル及び対照パネルが主要なメタデータ次元においてバランスが取れているという仮定に基づいている。特定の実施形態では、パネル選定処理が主要なメタデータ次元においてバランスが取れていることを確保するように分割モジュール310を構成する。例えば、キャンペーンが性別に基づいてターゲティングを行わない場合、性別による偏りを除くために、分割モジュールは対照パネル及びテストパネルに相等しく男性及び女性が混ぜ込まれているように図る必要がある。キャンペーンが具体的なトラフィック源(例えば、モバイルアプリケーション又はウェブサイト)をターゲティングしていない場合、パネル選定に際して両パネル間でトラフィック源に関しての捻れが回避されるようにする。
図8A及び8Bは、パネル選定処理においてどのようにして性別による偏りが生じ得るのかを例示しており、これによって歪曲された広告リフト計算がもたらされ得る。図8Aに示すように、キャンペーンが性別に基づいてターゲティングを行わない場合、適格ユーザはほぼ同数の男性ユーザ(810)及び女性ユーザ(820)を含むべきである。実務上では、広告配信処理において性別による偏りがもたらされ得るのであり、結果として対照パネル及びテストパネルの男女比が等分でないものとなり得る。例えば、図8Bについては一見するとテストパネル及び対照パネルについての男女比に不均衡がある。図8Bにあるように、ブロック830はキャンペーンに曝された女性ユーザ数を表しておりこれはテスト群に配分され、他方でブロック840はキャンペーンに曝されていない女性ユーザ数を表しておりこれは対照群に配分される。同様に、ブロック850はキャンペーンに曝された男性ユーザ数を表しておりこれはテスト群に配分され、他方でブロック860はキャンペーンに曝されていない男性ユーザ数を表しておりこれは対照群に配分される。
図8Bを引き続き参照するに、ブロック832は少なくとも1回の被曝後SV事象(post-exposure SV event)を経験したブロック830に含まれるユーザを表し、他方でブロック842は広告キャンペーンに曝されずに少なくとも1回のSV事象を経験したブロック840に含まれるユーザを表す。同様に、ブロック852は少なくとも1回の被曝後SV事象を経験したブロック850に含まれるユーザを表し、他方でブロック862は広告キャンペーンに曝されずに少なくとも1回のSV事象を経験したブロック860に含まれるユーザを表す。図8Bに示した不均衡がどのようにして歪曲された或いは時には間違った広告リフト結果をもたらし得るかを以下論じるのであり、適格ユーザの合計数が2000であると仮定し、これにはブロック810の1000人の女性ユーザとブロック820の1000人の男性ユーザが含まれており、後述の表1は図8のブロックに含まれているユーザ数について例示的数値を提示している。
表1に示したように、テスト群及び対照群における男女比の不均衡故に、男性ユーザ又は女性ユーザについてのSV事象(テスト群及び対照群の両方についてのSV事象が検討されており、SV事象を経験した女性ユーザについてのパーセンテージは20%位となっており、SV事象を経験した男性ユーザについてのパーセンテージは10%位となっており、)を経験したパーセンテージに対して広告キャンペーンへの被曝は差異をもたらしていないにもかかわらず、SVL計算は肯定的な結果をもたらしており、広告リフトが示されることになる。
特定の実施形態では、このような歪曲されたか間違ったリフト結果を生成しないようにするため、分割モジュール310は、主要なメタデータ次元に関してバランシングされるように確保するように構成される。例えば、図8Bに示した局面に関しては、分割モジュール310は、テスト群内の女性ユーザの一部(例えば、500)及び対照群内の男性ユーザの一部(例えば、500)を除くことができるのであり、これによって、表2に示したように両群間での男女比についての均衡を確保することができる。
適格ユーザ数が潤沢でない場合が特に意識されるが、代替的には、各パネルのユーザ達を保持しつつ、分析段階で調整を施すことがより好ましいことがある。以下例示する。リフト分析モジュールは、人数のより少ないメタデータセクションのユーザ数を乗算して、表3に示すように人工的な均衡を諸群の間でもたらすことができる。
特定の実施形態では、広告キャンペーンのフライト期間(即ち、広告キャンペーンの持続期間)を複数のウインドウに分割して、各ウインドウについて店舗訪問率リフトを先ず計算し、そして複数のウインドウにわたって平均化して、最終的リフトに達する。広告キャンペーンが進行するにつれて或るユーザがテストユーザ群に含まれる可能性が増えるということ故に、この手法が必要となる。例えば、或る広告キャンペーンのフライトは複数週間にわたって持続するかもしれず、図9Aの曲線910によって示されているように、時間の経過と共にインプレッション数は増大し、広告キャンペーンに曝されたモバイルユーザ数も増えていく。したがって、キャンペーンのフライト全体の間に受信された広告リクエストに基づいてテスト群及び対照群を決定したのでは、対照ユーザ群及びテストユーザ群のサイズにおいて歪みがもたらされ得る。なぜならば、広告キャンペーンの第1週目中に広告キャンペーンに曝されていないユーザは、後の数週間で広告キャンペーンに遭遇してしまうかもしれないからである。なお、キャンペーンフライト中にモバイルユーザが複数回広告キャンペーンに曝される場合があるため、図9Aのインプレッション数は必ずしも被曝モバイルユーザ数とは等しくはならないことに留意されたい。
この歪みを克服するために、図9Bに示されているように、広告キャンペーンのフライトを複数の被曝ウインドウ(例えば、EW1,EW2,…,及びEW6)に分割し、それぞれは各々訪問帰属ウインドウ(例えば、AW1,AW2,…,及びAW6)に関連付けられる。各被曝ウインドウについて、被曝ウインドウ中の広告リクエスト及び広告配信に基づいて対照ユーザパネル及びテストユーザパネルを決定し、関連付けられている帰属ウインドウ中の店舗訪問に基づいてリフトを算定する。各被曝ウインドウについてのパネリスト及び店舗訪問リフトメトリックは、既述のようにして決定される。下記のように複数の被曝ウインドウにわたって平均化することによって総合的訪問リフト値を算出する:
SVL=平均(SVLi)
ここでSVLiは第i番目の被曝ウインドウについて算出されるリフトである。
表4は、或る広告キャンペーンについての6つの被曝ウインドウを用いて計算された総合的SVLの例を示す:
SVL=平均(SVLi)
ここでSVLiは第i番目の被曝ウインドウについて算出されるリフトである。
表4は、或る広告キャンペーンについての6つの被曝ウインドウを用いて計算された総合的SVLの例を示す:
図9Bにおいては、各リフト帰属ウインドウ(例えば、AW1)は、それに関連付けられている被曝ウインドウ(例えば、EW1)と重なるものとして表されている。この場合では、テスト群及び対照群が被曝ウインドウの終わりにおいて決定されているのにもかかわらず、被曝ウインドウについての店舗訪問リフト(例えば、SVL1)の計算過程において、被曝ウインドウ(例えば、EW1)中及びその後に生じる店舗訪問事象が考慮される。図9Cに示されるような他の実施形態では、各リフト帰属ウインドウ(例えば、AW1)はそれに関連付けられている被曝ウインドウ(例えば、EW1)と重なっていない。したがって、被曝ウインドウ(例えば、EW1)中に生じる店舗訪問事象は、その被曝ウインドウについての店舗訪問リフト(例えば、SVL1)についての計算において考慮されない。
特定の実施形態では、テスト群内のユーザに対しての広告被曝効果は、時間減衰するものとされる。したがって、広告被曝と店舗訪問事象との遅延が増大するにつれて、広告被曝のその訪問に対しての寄与効果は低減する。店舗訪問リフト計算における過大評価を回避するために、当初はテスト群に属していたユーザは、キャンペーンの進行につれて、そのユーザが広告キャンペーンに再度曝されない限り、対照群にドリフト移動することができる。特定の実施形態では、ユーザがどの程度昔に広告キャンペーンに曝されたかに基づいて、テスト群又は対照群へのユーザの寄与度を決定するように減衰関数が定義される。ユーザが広告キャンペーンに曝された日においてはユーザはテスト群に100%属しているが、広告キャンペーンが進行するにつれてこの寄与度パーセンテージは低減していき、再度ユーザが被曝するまで低減は続く。ユーザの残りパーセンテージは対照群に算入される。したがって、被曝ウインドウの終わりにおいては、テスト群(NT)内のユーザ数と対照群(NC)内のユーザ数とを次式に従って計算することができる:
であり、ここで、Tjは第j番目の適格ユーザが広告キャンペーンに曝された日時を表し、Tは被曝ウインドウの終わりの日時を表し、F(T−Tj)は減衰関数を表し、総和は適格ユーザにわたって求められる。減衰関数は、線形減少関数、即ち次式とすることができる:
ここで、T0は被曝ウインドウの開始日時を表す。減衰関数は指数関数であっても良いのであり、即ち次式とすることができる:
或いは特定の広告キャンペーンに適した任意の他の減衰関数とすることもできる。
広告キャンペーンが、店舗を訪問するに関してより強い自然傾向を有するユーザを対象としている場合、テスト群はそのようなユーザを不自然に多く含むように構成され得るのであり、リフト計算にて広告キャンペーンの効果が過大評価され得る。特定の実施形態では、テスト群内の一部のユーザが有する広告キャンペーン対象店舗を訪問することに関してのより強い自然傾向は、計算され、店舗訪問リフト計算から差し引かれるのであり、これによって広告キャンペーンの効果を過大評価しないようにする。図10に示すように、特定の実施形態では、上述のバイアスを捕捉及び除去するために、広告キャンペーンの開始前の期間ウインドウ(LBW、look-back window)中のモバイルユーザの店舗訪問記録を分析及び使用するのであり、これによってテスト群内のモバイルユーザについての自然傾向測定値(NTM、natural tendency measure)を計算する。該処理は、これらのモバイルユーザが、キャンペーン中の被曝ウインドウ(EWX)の終わりにおいてテスト群に配分されることにかかわらずなされる。
この処理では、被曝ウインドウ(EWX)中に処理された適格広告リクエストに基づいて、対照ユーザパネル或いは対照群及びテストユーザパネル或いはテスト群を決定する。キャンペーン開始前のルックバックウインドウ(LBW)は、キャンペーンの直前に位置し且つ好適にはEWXと関連付けられている帰属ウインドウ(AWX)と同じ又は似通ったサイズとなるように選定される。テスト群のモバイルユーザについての自然傾向測定値(NTM)は、店舗訪問リフトを計算するための上述のいずれかの手法を用いて計算することができ、該計算はテスト群のユーザがあたかも広告キャンペーンに曝されたようにしてなされる。換言すれば、これら2つのユーザ群について、広告キャンペーン開始前のLBW中の店舗訪問率を計算するのであり、これを用いてLBWについての“SVL”(SVLLook-Back)を計算する。キャンペーンフライト中の店舗訪問リフト(SVLcampaign flight)は上述のように計算され、正味店舗訪問リフトは次式に従って測定される:
SVL=SVLcampaign flight−NTMここで、NTM=SVLLook-Back
表5は、正味店舗訪問リフト計算の結果についての例を示しており、そこでは店舗を訪問することに関してのテスト群ユーザのより強い自然的傾向に起因するバイアスが除かれるようにされている。
SVL=SVLcampaign flight−NTMここで、NTM=SVLLook-Back
表5は、正味店舗訪問リフト計算の結果についての例を示しており、そこでは店舗を訪問することに関してのテスト群ユーザのより強い自然的傾向に起因するバイアスが除かれるようにされている。
別の幾つかの実装例では、LBWは、必ずしもキャンペーンの開始の直前にならないウインドウとなるように選定されることができる。例えば、LBWの選定に関して、キャンペーンの開始前のどこかにあるウインドウとし、該ウインドウはEWX又はAWXウインドウと同じ混合態様で平日曜日と週末曜日とを含んでいるものとされることができる。
代替的には、LBWを用いる代わりに、リクエスト充足モジュール315にハッシュ関数を組み込んで、通常ならば広告主が被曝させようと思ったであろう一部のユーザを意図的に省略できるようにできる(例えば、ユーザIDの先頭桁又は最後尾桁が“0”であるユーザの場合)。換言すれば、優先ユーザ(例えば、或る店舗を訪問するに関してより強い自然傾向を有するユーザ)のなるべく多くに対してインプレッションを浴びさせようとして、なるべく多くのそのようなユーザをテスト群に含めて、残りのユーザを対照群に残そうとする代わりに、優先ユーザの一部(例えば、パーセンテージで10%等)をランダムに選択して対照群を形成するように広告配信処理を構成することができる。したがって、対照群は、広告配信処理によって省略された優先ユーザで大方構成されており、これらの者はさもなければ被曝ウインドウ中においてテスト群に含まれることになっていたであろう者達である。したがって、対照群及びテスト群のユーザプロファイルはほぼ同一である。
理想的には、テスト群及び対照群は、大体同じ人数のユーザを有しているべきである。もっとも、単に高パーセンテージ(例えば、50%等)なハッシュ関数を用いてもこのような理想的状態は達成できない。なぜならば、情報サーバ(例えば、モバイルパブリッシャ、広告仲介者、及び/又はアドエクスチェンジ等)へと送られた処理リクエストの全てが必ずしもインプレッションを実際に惹起するわけではないからである。したがって、50%ハッシュ関数を伴う場合には、対照群に含まれるより少ない人数のユーザがテスト群に含まれることになり、テスト群と似たモバイルユーザで構成した対照群を作るためにリクエスト在庫に関して過度な犠牲を払うことになる。この課題を解決するために、リクエスト充足モジュール315は、10%ハッシュ関数を用いており、テスト群内のモバイルユーザの人数と対照群内のモバイルユーザの人数との差についてのカウントを反映するカウンタを含んでいる。特定のキャンペーンに関しての優先リクエストに応答するインプレッションを示す情報サーバからのフィードバックがある度に、カウントは1加算され、また、優先リクエストが対照群に割り当てられる度にカウントは1減算される。リクエスト充足モジュール315は、カウントが1以上の場合にのみこの優先リクエストを対照群に割り当てるように設計されている。したがって、開始時においては、対照群へと割り当てられるよりは優先リクエストのより多くがインプレッションをもたらすことになるのであり、10%ハッシュ関数のためにカウントは減るよりは増えることになる。しかし、キャンペーンが予算を使い尽くし始めた後においては、インプレッションをもたらすよりは優先リクエストのより多くが対照群へと割り当てられることになるのであり、これはカウントが0に達するまで続く。したがって、対照群及びテスト群内のユーザプロファイルがほぼ同一であることのみならず、対照群及びテスト群内のユーザ数もほぼ等しいのであり、広告配信処理が特定のユーザを優先していることによって惹起される偏りが除去されることが確保される。
次式を用いてSVRが計算されることを再度想起されたい:
[SVR=(ターゲットされたストアを_訪問した_一意的ユーザの_人数)/(群内の_一意的ユーザの_人数)]
この計算は単体では広告キャンペーンの効果についての実際的な指標をもたらさない。なぜならば、分母はユーザ群内のユーザ数をカウントすることによって容易く得られるのに対して、分子はユーザ群内の者であって店舗を訪問したことがある者の実際の人数を大抵は表していないからである。なぜならば、これらのユーザの多くは自己の位置を常時利用可能とはしていないからである。典型的な広告ネットワーク構成においては、モバイルユーザと関連付けられている広告リクエストが広告サーバへと送信された場合のみにユーザの位置(例えば、緯度及び経度或いはLL)が広告サーバと共有される。ユーザの店舗訪問時において広告サーバへと広告リクエストを送るアプリをユーザのモバイル機器が実行していない場合、この訪問はLMS300には見えないものであり、SVR計算の分母に加味されないことになる。このことは上述の店舗訪問率リフト計算においては大した問題ではないのであり、店舗訪問率リフト測定値は次式を用いて算出される:
[SVL=((SVR_テスト群)/(SVR_対照群))−1]
ここで、SVR_テストとSVR_対照との比を用いてSVLを算定する。
この計算は単体では広告キャンペーンの効果についての実際的な指標をもたらさない。なぜならば、分母はユーザ群内のユーザ数をカウントすることによって容易く得られるのに対して、分子はユーザ群内の者であって店舗を訪問したことがある者の実際の人数を大抵は表していないからである。なぜならば、これらのユーザの多くは自己の位置を常時利用可能とはしていないからである。典型的な広告ネットワーク構成においては、モバイルユーザと関連付けられている広告リクエストが広告サーバへと送信された場合のみにユーザの位置(例えば、緯度及び経度或いはLL)が広告サーバと共有される。ユーザの店舗訪問時において広告サーバへと広告リクエストを送るアプリをユーザのモバイル機器が実行していない場合、この訪問はLMS300には見えないものであり、SVR計算の分母に加味されないことになる。このことは上述の店舗訪問率リフト計算においては大した問題ではないのであり、店舗訪問率リフト測定値は次式を用いて算出される:
ここで、SVR_テストとSVR_対照との比を用いてSVLを算定する。
一部の用途においては、SVR_テストとSVR_対照との比を用いて広告キャンペーンの店舗訪問率リフトを測定する代わりに、情報スポンサーは、配信された情報に応答したモバイルユーザの実際の人数を知りたいかもしれない。このためには、情報への被曝の後にターゲテッド応答を示したモバイルユーザについてより正確な計数が必要となる。
特定の実施形態では、頻度モデリング法を用いて、広告への被曝後にターゲット店舗へ赴いたモバイルユーザについてのより正確なカウントを予想する。図11に図示のように、特定の実施形態による頻度モデリング方法1100を用いて次のステップをなす:広告キャンペーンに曝されたモバイルユーザを複数の頻度区分に分割(1100)するステップであって各区分はモバイルユーザがリクエスト処理モジュール310によって察知される頻度範囲に関連付けられているステップと、リフト分析モジュール325によって各頻度区分についてのSVR値を算定するステップ(1120)。特定の実施形態では、頻度は、所定の期間ウインドウ中(例えば、30日)に何日間に亘って或るモバイルユーザについてのリクエストがリクエスト処理モジュール310において発現したかの値として測定され得る。したがって、30日間のうち1日しか現れなかった者については、30日間のうち10日に亘って現れた者に比して、ターゲテッド店舗を訪問している間に捕捉される可能性が少ないといえる。したがって、図12に示すように、より下位の頻度区分に属するモバイルユーザについて計算したSVRの方が、より高位の頻度区分に属するモバイルユーザについて計算したSVRよりも低くなる。
図11及び図12を参照するに、方法1100は、計算されたSVR値をモデル関数に対して適合するステップをさらに含む(1130)。例えば、図12のSVRデータポイントは、次式の指数モデル関数に適合されることができる:
ここで、xは頻度区分(Imp)に対応し、yは各々の区分に関してのSVR値に対応するのであり、この関数を図12のデータポイントに適合することによってパラメータa及びbを決定することができる。そして、方法1100においては、xが無限大に近づく際のモデル関数についての収束値(即ちこの場合においてはa)を決定する(1140)。全部のモバイルユーザについての実際のSVRはこの収束値として推定されることができ(1150)、これは広告配信システムが所定の期間ウインドウ中において常時モバイルユーザを捕捉できる場合に予想される状況に対応する。換言すれば、図12のプロットについて外挿を行って、広告配信ネットワーク上で無限回現れるようなユーザ群について予想されるSVRを求める。
特定の実施形態では、実際のSVRを推定するためにパネル支援型方法が用いられる。この方法では、適格モバイルユーザについての初期パネルを用いて乗算係数を導出するのであり、LMS300がこれを後のSVR計算において用いる。特定の実施形態では、ユーザについての初期パネルに属するパネリスト達は、(例えば、20分又は10分毎に1つのデータパケットをもたらすような)極めて高頻度で自己のモバイル機器の位置をLMS300に与えることに同意した適格モバイルユーザであり、彼等は指定されたアプリをインストールして自己のモバイル機器にてバックグラウンド実行することによってこれをなしている。指定されたアプリは、所定の頻度(例えば、10分毎で)モバイル機器の位置(例えば、LL)を提供するように設計されており、該提供は例えば次の事項を含むデータパケットの形式でなされる:各々のモバイル機器の識別情報、及び、他の関連性を有する情報。位置情報共有が高頻度でなされる故に、パネリストによる店舗訪問事象の大部分はLMS300によって捕捉されることになり、該LMS300はこの場合次の2種類の入信データパケットを受信することになる:情報サーバ(例えば、モバイルパブリッシャ、広告仲介者、及び/又はアドエクスチェンジ等)からの情報リクエスト、及び、指定アプリを実行しているパネルモバイル機器からのデータパケット。
図13はモバイルユーザについての3つの群を示しているのであり、A群はパネルに属する適格モバイルユーザからなり、B群は関連する広告リクエストを通じてLMS300によって「捉えられた」適格モバイルユーザからなり、C群はA群及びB群の両方に属しているモバイルユーザからなる。したがって、C群は、LMS300へと広告リクエストを送信するアプリを使用しており且つパネルに属するモバイルユーザからなるのであり、彼等のモバイル機器上においてバックグラウンドで指定されたアプリが実行されている。実際のSVR推定のための乗数の値を決定するために、C群をパネル支援型方法で用いる。
図14は、特定の実施形態による、実際のSVR推定のためのパネル支援型方法(1400)を示す。図14に示されるように、方法1400を用いると、リクエスト充足モジュール315は第1のモバイルユーザの群(例えば、A群)からの情報リクエストを受信及び処理するのであり、他方では、較正モジュール335は第2のモバイルユーザの群(例えば、B群)からのパネルデータパケットを受信及び処理する(1410)。上述のように、処理済みの情報リクエストは、リクエストログ355内に格納される。処理済みパネルデータパケットは、リクエストログ355又は較正データベース375内に格納されることもできる。そして、較正モジュール335は、較正ユーザ群(C群)を決定するのであって、該群においては、各ユーザはモバイルユーザについての第1のセット及びモバイルユーザについての第2のセットの双方に属している(1420)。較正ユーザ群に属するモバイルユーザから受信されたパネルデータパケットを用いて、較正モジュール335は、較正目的で選択された較正POIセットの少なくとも1つを訪問したモバイルユーザについての第1の人数を、決定する(1430)。較正ユーザ群に属するモバイルユーザから受信された情報リクエストを用いて、較正モジュール335は、較正POIセットの少なくとも1つを訪問したモバイルユーザについての第2の人数を、決定する(1440)。第1の人数の方が、較正POIを訪問した較正群内のモバイルユーザについての実際の人数により近いはずである。なぜならば、彼等の位置はより頻繁にLMS300と共有されるからである。第2の人数は、指定されたアプリなくしてLMS300によって把握されるモバイルユーザ数である。したがって、モバイルユーザについての第2の人数は、指定されたアプリなくして追跡され得るモバイルユーザの人数により近い。
特定の実施形態では、LMS300は第1の人数と第2の人数とを用いて被曝モバイルユーザについての任意の群に対しての較正係数を概算値として算定することができるのであり(1450)、それは広告リクエストのみを用いてLMS300によって検知され得る実際の店舗訪問回数と店舗訪問カウントとの比に関する。特定の実施形態では、この較正係数(SVR_乗数)は、第1の数値を第2の数値で単純に除した比に過ぎない。このSVR_乗数は較正データベース内に格納され、後のSVR関連計算で使用される。
特定の実施形態では、例えば90日間の期間ウインドウ上のこの期間ウインドウ中に、通常の広告リクエスト及びパネルデータパケットからみられる(IDFA、GDFA形式での)任意のデバイスIDは、リクエストデータベース355内にキーバリューストアとして格納される。広告リクエスト及びパネルデータパケットについてのKVSは、通常のユーザ及びパネルユーザの各々についてのユーザストアとして機能する。パネルユーザストア及び通常ユーザストアの両方に属するユーザは、上述においては、較正ユーザ群を形成しているものとして言及される。特定の実施形態では、(例えば、1週間の)期間ウインドウを較正ウインドウとして用いるのであり、第1のユーザ数及び第2のユーザ数については、それぞれ、指定アプリからのデータパケット及びLMS300によって受信された通常広告リクエストに基づいて、カウントする。
したがって、LMS300又はそれに関連付けられている広告配信システムが広告リクエストを引き続き受信及び処理するにつれて(1460)、それらは次式に従って招来の曝露モバイルユーザについてのSVRを算定する(1470):
SVR=SVR_観測された値*SVR_乗数
ここで、SVR_観測された値は、広告サーバ上で捕捉された通常の広告リクエスト信号に基づいて観測されたSVRであり、上述したとおりに定義されており、即ち次式のとおりである:
[SVR=(ターゲットされたストアを_訪問した_一意的ユーザの_人数)/(群内の_一意的ユーザの_人数)]
SVR=SVR_観測された値*SVR_乗数
ここで、SVR_観測された値は、広告サーバ上で捕捉された通常の広告リクエスト信号に基づいて観測されたSVRであり、上述したとおりに定義されており、即ち次式のとおりである:
後述するように、SVR乗数は、異なるレベル(地域毎に、垂直区分毎に、ブランド毎に、及びキャンペーン毎に等)で決定されることできる。特定の実施形態では、異なるビジネス垂直区分(即ち、関連するブランドのセット)毎に異なるSVR_乗数を推定する。この用途においては、1つの特定の垂直区分又はブランド(例えば、マクドナルド(登録商標))に属するPOIのみが選択されるように較正POIセットを選択して、その特定の垂直区分又はブランドについてのSVR乗数を決定する。
地域的乗数を決定するには、或る地理的領域内の全ての主要なブランドが含まれるように較正POIセットを選択するのであり、当該地理的領域は国家(例えば、アメリカ合衆国)、州(例えば、カリフォルニア州)、都市(例えば、ニューヨーク)又は他の地方自治体若しくは地域とすることができる。このような大量なデータを伴う故に、地域毎の乗数(例えば、国家レベル乗数)は、長期間にわたって安定的であり続けることができる。もっとも、地域毎の乗数は、SVRに直接的な影響を及ぼし得る広告キャンペーンの特定の側面(例えば、対象観衆及びブランド等)については、捉えきれない。
垂直区分乗数を決定するために、或る垂直区分(例えば、全国区のブランドのセット(例えば、カテゴリ))に属するPOIのみを含むように較正POIセットを選択する。垂直区分乗数は、異なるタイプの店舗(例えば、レストランや小売店等)の訪問者間での店舗訪問率における潜在的な差異を考慮することによって、国家レベル乗数を向上させる。もっとも、或る垂直区分内のブランドが互いに異なるSVRパターンを示す場合がある。
ブランドレベル乗数を決定するためには、1つの特定のブランドに関連付けられているPOIのみを含むように較正POIセットを選択する。広告キャンペーンは典型的には、ブランドと関連付けられているため、ブランドレベル乗数によって直接的な乗算が可能となる。もっとも、このレベルではスパースデータに関連する課題が現れ始めるのであり、特に国際的ブランドに関しては一層そうである。さらに、定義された広告被曝ウインドウ(window of ad exposure)を前提とすると、垂直区分レベル又は国家レベル乗数の双方に比して、ブランドレベル乗数は変動の影響をより受けやすい。
特定の広告キャンペーンによって定義される対象ユーザ群に計算が限定されるという点を除いて、キャンペーンレベル乗数はブランドレベル乗数と同等である。キャンペーンレベル乗数は個々のキャンペーンの具体的コンテキストを最良に捉えるが、時にはスケール欠如に泣かされる。
したがって、各次順位レベルは逸失された訪問事象をより正確に捉えるが、スケール欠如による増大した変動という難点が課される。
各広告キャンペーン内には複数の広告群(ad group)が含まれ得るのであり、それぞれは対応する乗数が適用され得る1つ以上のブランドと関連付けられている。例えば、或るブランドについての広告キャンペーンにおいては、次のような広告群が存在し得る:成人男性のモバイルユーザを主として対象とする広告群、成人女性のモバイルユーザを主として対象とする広告群、1つ以上の指定された場所に居ると決定されたモバイルユーザを主として対象とする位置ベースド広告群(LBA、location-based ad group)、及びブランドに関連付けられている敷地内に居ると決定されたモバイルユーザを主として対象とするオンプレミス型広告群。特定の実施形態では、この広告キャンペーンのためのSVRを導出するためには、2段階処理を用いる。先ず、LBA及びオンプレミス型広告群を除いて各広告群についてSVR_乗数を決定する。LBA及びオンプレミス型広告群にSVR乗数が不要な理由は、広告リクエスト及びパネルデータパケットを介してこれらの群の観衆が以前店舗を訪問したことが分かっているからであり、逸失された訪問事象をより生じさせ難いと考えられるからである。そして、加重平均をとって最終SVRを導出することができる。
この方法は、観測されたSVRが低い広告キャンペーン及び観測されたSVRが高い広告キャンペーンの両方に適用可能である。前者のタイプについては、LBAの欠如故に、単にブランドレベル乗数を適用することによって計算を行うことができる。例えば、観測されたSVRが0.39%とされるSubway(登録商標)についての広告キャンペーンを検討する。このキャンペーンにおいて国家レベル乗数たる3.9を用いると、SVRとして1.54%が得られることになり、歴史的なデータからすると過小評価である可能性が高い。実際に、パネルベースド分析によれば、リクエストベースド追跡でのSubwayの訪問カウントは過小評価(過小評価係数は約16)されていることになる。このキャンペーンはLBAを有さないため、観測されたSVRに対してブランドレベル乗数たる15を単純適用することができ、5.86%という値が得られるのであり、これは想定により合致するものである。
別の例では、SVRが比較的高く、SVRが7%となるような、4つの小売業者、即ちTarget、Walgreens(登録商標)、CVS(登録商標)、及びRite Aid(登録商標)、についての広告キャンペーンを検討する。国家レベル乗数SVR推定法を用いると、報告されるSVRは28%であるとされて過大評価がなされるに至る。ブランドレベル乗数及びLBA除外を伴う新たな方法を用いると、SVRはより合理的な16%として算出される。また、ブランドレベル乗数を用いると、これらのブランドにおける店舗訪問パターンについてより知見を深めることができる。
特定の実施形態では、SVR推定は典型的なベルヌーイ過程としてモデリングされるのであって、各ユーザが店舗を訪問する確率は所与のpとされる。したがって、このe p推定についての信頼区間は次のとおりである:
ここで、95%の信頼水準についてzは1.96とされ、
は観測された店舗訪問率(SVR)である。予想を立てるために観測されたSVRに乗算係数を適用する場合、信頼区間に対して同じ乗算係数を適用する。
は観測された店舗訪問率(SVR)である。予想を立てるために観測されたSVRに乗算係数を適用する場合、信頼区間に対して同じ乗算係数を適用する。
Claims (20)
- パケットベースドネットワークに接続された1つ以上のコンピュータシステムによって行われる方法であって、
前記パケットベースドネットワークを介してパネルデータパケットを受信するステップであって、各パネルデータパケットは特定の頻度でパネルデータパケットを送信するモバイル機器についての予め選択されたパネルのうちの1つの位置を含む、ステップと、
前記パケットベースドネットワークを介して第1の複数のリクエストデータパケットを受信するステップであって、前記第1の複数のリクエストデータパケット内の各リクエストデータパケットは情報についてのリクエストを表しており且つ前記パケットベースドネットワークに接続された第1の複数のモバイル機器の1つに関連するリクエストデータを含んでおり、前記リクエストデータは前記第1の複数のモバイル機器の前記1つの位置を示す位置データを含んでいる、ステップと、
前記第1の複数のモバイル機器から較正モバイル機器のセットを選択するステップであって、前記較正モバイル機器のセット内の各較正モバイル機器は前記パネルデータパケットの少なくとも1つを送信したことがある、ステップと、
前記較正モバイル機器のセットによって送信されたパネルデータパケットを用いて、予め定義された1つ以上の較正場所の少なくとも1つを訪問した較正モバイル機器についての第1の台数を決定するステップと、
前記較正モバイル機器のセットに関連するリクエストデータパケットを用いて、前記予め定義された1つ以上の較正場所の少なくとも1つを訪問した較正モバイル機器についての第2の台数を決定するステップと、
前記第1の台数と前記第2の台数とを用いて較正係数を算出するステップと、
インターネットを介して第2の複数のリクエストデータパケットを受信するステップであって、前記第2の複数のリクエストデータパケット内の各リクエストデータパケットは情報についてのリクエストを表しており且つ前記パケットベースドネットワークに接続された第2の複数のモバイル機器の1つに関連するリクエストデータを含んでいる、ステップと、
前記第2の複数のリクエストデータパケットを処理して、特定のキャンペーンと関連付けられている情報に曝された前記第2の複数のモバイル機器のうちのモバイル機器についての第1の台数をもたらすステップと、
インターネットを介して第3の複数のリクエストデータパケットを受信するステップであって、前記第3の複数のリクエストデータパケット内の各リクエストデータパケットは前記パケットベースドネットワークに接続された第3の複数のモバイル機器の1つに関連するリクエストデータを含んでいる、ステップと、
前記第3の複数のリクエストデータパケットを用いて被曝モバイル機器についての前記第1の台数を追跡して、前記特定のキャンペーンと関連付けられている1つ以上の予め定義された場所の少なくとも1つを訪問した被曝モバイル機器についての第2の台数を決定するステップと、
前記第1の台数と前記第2の台数と前記較正係数とを用いて、前記特定のキャンペーンの功績についての測定値を導出するステップ
とを含む、方法。 - 請求項1に記載の方法であって、前記第2の複数のリクエストデータパケットを処理することは、前記第2の複数のリクエストデータパケット内の各々のデータパケットについて:(1)各々のリクエストデータパケット内のリクエストデータを空間的インデックスデータベースとの関連で処理するステップと、(2)処理済みリクエストデータをリクエストデータベース内に格納するステップであって、前記処理済みリクエストデータは、前記リクエストデータの少なくとも一部と、関連するモバイル機器が存在すると推定される少なくとも1つの場所を識別する少なくとも1つの場所識別子と、を含む、ステップと、(3)前記処理済みリクエストデータと1つ以上の条件セットとに基づいて各々のデータパケットによって表された前記リクエストを充足すべきかを決定するステップと、(4)各々のデータパケットによって表された前記リクエストを充足すべきとの決定に応答して、前記処理済みリクエストデータの少なくとも一部と、適合するキャンペーンと関連付けられている情報へのリンクと、を含む入札データパケットを少なくとも1つの情報サーバへと前記パケットベースドネットワークを介して送信し、前記入札データパケットに応答して前記関連するモバイル機器が前記適合するキャンペーンと関連付けられている前記情報に曝されたか否かについてのフィードバックを前記少なくとも1つの情報サーバから受信し、前記フィードバックをインプレッションデータベース内に格納するステップとを含む、方法。
- 前記特定の頻度は所定の期間毎にみられる1つのパネルデータパケット単位で測定され、前記所定の期間は20分間以下とされる、請求項1に記載の方法。
- 前記所定の期間は10分間以下とされる、請求項3に記載の方法。
- 前記予め定義された1つ以上の較正場所は前記空間的インデックスデータベース内で識別されている地理的領域内の全ての場所を含む、請求項1に記載の方法。
- 前記地理的領域は国家である、請求項5に記載の方法。
- 前記地理的領域は地方自治体である、請求項5に記載の方法。
- 前記予め定義された1つ以上の較正場所は、前記空間的インデックスデータベース内で識別されておりまた1つ以上のブランドについてのセットと関連付けられている地理的領域内の全ての場所を含む、請求項1に記載の方法。
- 前記予め定義された1つ以上の較正場所は前記特定のキャンペーンによって規定される、請求項1に記載の方法。
- 前記較正モバイル機器についての第1の台数及び前記較正モバイル機器についての第2の台数の各々は、前記特定のキャンペーンと関連付けられているキャンペーン条件のセットを満たす、請求項1に記載の方法。
- パケットベースドネットワークに接続された1つ以上のコンピュータシステムによって行われる方法であって、
インターネットを介して第1の複数のデータパケットを受信するステップであって、前記第1の複数のデータパケット内の各データパケットは、情報についてのリクエストを表しており且つ前記パケットベースドネットワークに接続された第1の複数のモバイル機器の1つに関連するリクエストデータを含んでおり、前記リクエストデータは前記第1の複数のモバイル機器の前記1つの位置を示す位置データを含んでいる、ステップと、
前記第1の複数のリクエストデータパケットを処理して、前記第1の複数のモバイル機器のうちで特定のキャンペーンと関連付けられている情報に曝されるべきモバイル機器についての第1の群と、前記第1の複数のモバイル機器のうちで前記特定のキャンペーンと関連付けられている情報が未だ配信されておらず前記特定のキャンペーンとの関係で適格性を認められるべきモバイル機器についての第2の群とをもたらすステップと、
インターネットを介して第2の複数のデータパケットを受信するステップであって、前記第2の複数のデータパケット内の各データパケットは前記パケットベースドネットワークに接続された第2の複数のモバイル機器の1つに関連するリクエストデータを含んでいる、ステップと、
前記第2の複数のデータパケットを用いてモバイル機器についての前記第1の群及びモバイル機器についての前記第2の群を追跡して、前記特定のキャンペーンと関連付けられている1つ以上の場所の1つを訪問したモバイル機器についての前記第1の群のうちのモバイル機器についての第1の台数と、前記1つ以上の場所を訪問したモバイル機器についての前記第2の群のうちの適格モバイル機器についての第2の台数とを決定するステップと、
前記第1の台数と前記第2の台数とを用いて、前記特定のキャンペーンの功績についての測定値を導出するステップ
とを含む、方法。 - 請求項11に記載の方法であって、前記第1の複数のデータパケットを処理することは、前記第1の複数のデータパケット内の各々のデータパケットについて:(1)対応するリクエストデータを空間的インデックスデータベースとの関連で処理するステップと、(2)処理済みリクエストデータをリクエストデータベース内に格納するステップであって、前記処理済みリクエストデータは、前記リクエストデータの少なくとも一部と、関連するモバイル機器が存在すると推定される少なくとも1つの場所を識別する少なくとも1つの場所識別子とを含む、ステップと、(3)前記処理済みリクエストデータと1つ以上の条件セットとに基づいて各々のデータパケットによって表された前記リクエストを充足すべきかを決定するステップと、(4)各々のデータパケットによって表された前記リクエストを充足すべきとの決定に応答して、前記処理済みリクエストデータと、適合するキャンペーンと関連付けられている情報へのリンクとを含む入札データパケットを少なくとも1つの情報サーバへと前記パケットベースドネットワークを介して送信し、各々のデータパケットと関連付けられている情報についてのリクエストが充足されたか否かについてのフィードバックを前記少なくとも1つの情報サーバから受信し、前記フィードバックをインプレッションデータベース内に格納するステップとを含む、方法。
- 前記1つ以上の条件セットはキャンペーンデータベース内に格納されたキャンペーン条件を含む、請求項11に記載の方法。
- 前記1つ以上の条件セットは前記特定のキャンペーンのための、前記1つ以上のコンピュータシステム内に組み込まれたハッシュ関数に準拠する条件を含む、請求項11に記載の方法。
- 前記1つ以上の条件セットは前記1つ以上のコンピュータシステムに組み込まれたカウンタによって記録された数値に準拠する条件を含み、前記数値は前記特定のキャンペーンに関連する充足されたリクエストの件数と前記特定のキャンペーンに関連する不充足のリクエストの件数との間の差を示し、不充足のリクエストの前記件数は前記ハッシュ関数によって除外されている、請求項14に記載の方法。
- 前記第1の複数のデータパケットは第1の期間ウインドウ中に受信され、前記第2の複数のデータパケットは第2の期間ウインドウ中に受信され、前記第1の期間ウインドウは前記第2の期間ウインドウと重なっている、請求項11に記載の方法。
- 前記パケットベースドネットワークを介して、前記第1の複数のデータパケットを受信する前の期間ウインドウ中に第3の複数のデータパケットを受信するステップであって、前記第3の複数のデータパケット内の各データパケットは情報リクエストと関連付けられており且つ前記パケットベースドネットワークに接続された第3の複数のモバイル機器の1つに関連するリクエストデータを含んでおり、前記リクエストデータは前記第1の複数のモバイル機器の前記1つの位置を示す位置データを含んでおり、前記第3の複数のモバイル機器は被曝モバイル機器の群の少なくとも幾つかと適格モバイル機器の群の少なくとも幾つかとを含んでいる、ステップと、
前記期間ウインドウ中に前記特定のキャンペーンと関連付けられている前記1つ以上の場所の1つを訪問した前記被曝モバイル機器の群の少なくとも幾つかのうちの被曝モバイル機器についての第3の台数、及び、適格モバイル機器についての第4の台数を決定するステップであって、前記適格モバイル機器の群の少なくとも幾つかは前記期間ウインドウ中に前記1つ以上の場所の1つを訪問したことがある、ステップ
とをさらに含む請求項11に記載の方法であって、
前記特定のキャンペーンの功績についての測定値は、前記第1の台数と前記第2の台数と前記第3の台数と前記第4の台数とを用いて導出される、方法。 - パケットベースドネットワークに接続された1つ以上のコンピュータシステムによって行われるモバイル広告(アド)キャンペーンの功績を測定するための方法であって、
前記パケットベースドネットワークを介して第1の複数のデータパケットを受信するステップであって、前記第1の複数のデータパケット内の各データパケットは情報についてのリクエストを表しており且つ前記パケットベースドネットワークに接続された第1の複数のモバイル機器の1つに関連するリクエストデータを含んでおり、前記リクエストデータは前記第1の複数のモバイル機器の前記1つの位置を示す位置データを含んでいる、ステップと、
前記第1の複数のデータパケットを処理して、特定のキャンペーンと関連付けられている情報の配信を受ける前記第1の複数のモバイル機器のうちに第2の複数のモバイル機器を見出すステップと、
前記第2の複数のモバイル機器を複数の群に分割するステップであって、前記複数の下位群の各々の群は個々の頻度範囲に対応しており、各々の群に属する各モバイル機器は前記第1の複数のデータパケットのうちのデータパケットのセットに関連しており、前記データパケットのセットは前記個々の頻度範囲内の頻度にて前記1つ以上のコンピュータシステムによって受信される、ステップと、
前記複数の群の各群について、前記各群内の前記モバイル機器に関連付けられているデータパケット内のリクエストデータに基づいて、前記特定のキャンペーンと関連付けられている1つ以上の場所の1つを訪問した前記各群内のモバイル機器の下位群についての台数を決定し、モバイル機器の前記下位群についての前記台数を用いて前記各群についての各々の訪問率を導出するステップと、
前記複数の群の各々の率をモデル関数に適合させるステップと、
前記モデル関数から前記特定のキャンペーンの功績についての測定値を外挿するステップ
とを含む、方法。 - 請求項18に記載の方法であって、前記第1の複数のデータパケットを処理することは、前記第1の複数のデータパケット内の各々のデータパケットについて:(1)対応するリクエストデータを空間的インデックスデータベースとの関連で処理するステップと、(2)処理済みリクエストデータをリクエストデータベース内に格納するステップであって、前記処理済みリクエストデータは前記リクエストデータの少なくとも一部と、関連するモバイル機器が存在すると推定される少なくとも1つの場所を識別する少なくとも1つの場所識別子とを含む、ステップと、(3)前記処理済みリクエストデータと1つ以上の条件セットとに基づいて各々のデータパケットに関連付けられている情報についての前記リクエストを充足すべきかを決定するステップと、(4)各々のデータパケットに関連付けられている情報についての前記リクエストを充足すべきとの決定に応答して、前記処理済みリクエストデータと、適合するキャンペーンに関連付けられている情報とを含む入札データパケットを少なくとも1つの情報サーバへと前記パケットベースドネットワークを介して送信し、前記入札データパケットに応答して前記関連するモバイル機器が前記適合するキャンペーンに関連付けられている前記情報に曝されたか否かについてのフィードバックを前記少なくとも1つの情報サーバから受信し、前記フィードバックをインプレッションデータベース内に格納するステップとを含む、方法。
- 前記各群内のモバイル機器の前記下位群についての前記台数は、前記リクエストデータベースと前記インプレッションデータベースとに格納されたデータを用いて決定される、請求項19に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227247A JP6890652B2 (ja) | 2015-10-07 | 2019-12-17 | モバイル機器に配信された情報の効果を測定するための方法及び装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562238122P | 2015-10-07 | 2015-10-07 | |
US62/238,122 | 2015-10-07 | ||
US201662353036P | 2016-06-22 | 2016-06-22 | |
US62/353,036 | 2016-06-22 | ||
PCT/US2016/056185 WO2017062912A2 (en) | 2015-10-07 | 2016-10-07 | Method and apparatus for measuring effect of information delivered to mobile devices |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227247A Division JP6890652B2 (ja) | 2015-10-07 | 2019-12-17 | モバイル機器に配信された情報の効果を測定するための方法及び装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018531464A JP2018531464A (ja) | 2018-10-25 |
JP2018531464A6 true JP2018531464A6 (ja) | 2018-12-13 |
JP6636143B2 JP6636143B2 (ja) | 2020-01-29 |
Family
ID=58488689
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018517820A Expired - Fee Related JP6636143B2 (ja) | 2015-10-07 | 2016-10-07 | モバイル機器に配信された情報の効果を測定するための方法及び装置 |
JP2019227247A Active JP6890652B2 (ja) | 2015-10-07 | 2019-12-17 | モバイル機器に配信された情報の効果を測定するための方法及び装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227247A Active JP6890652B2 (ja) | 2015-10-07 | 2019-12-17 | モバイル機器に配信された情報の効果を測定するための方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20170132658A1 (ja) |
EP (1) | EP3360104A4 (ja) |
JP (2) | JP6636143B2 (ja) |
CN (1) | CN108604350A (ja) |
AU (1) | AU2016335870A1 (ja) |
WO (1) | WO2017062912A2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10491696B2 (en) | 2016-12-13 | 2019-11-26 | The Nielson Company (Us), Llc | Methods and apparatus for adjusting model threshold levels |
US11170393B1 (en) * | 2017-04-11 | 2021-11-09 | Snap Inc. | System to calculate an engagement score of location based media content |
US10621627B2 (en) * | 2017-05-04 | 2020-04-14 | Microsoft Technology Licensing, Llc | Running client experiments based on server-side user segment data |
WO2018218058A1 (en) | 2017-05-25 | 2018-11-29 | Collective, Inc. | Systems and methods for providing real-time discrepancies between disparate execution platforms |
US20180341989A1 (en) * | 2017-05-25 | 2018-11-29 | Collective, Inc. | Systems and Methods for Providing Real-Time Values Determined Based on Aggregated Data From Disparate Systems |
US11810147B2 (en) | 2017-10-19 | 2023-11-07 | Foursquare Labs, Inc. | Automated attribution modeling and measurement |
JP6997922B2 (ja) * | 2018-02-01 | 2022-01-18 | 株式会社電通 | 分析装置 |
US11321733B2 (en) * | 2018-05-02 | 2022-05-03 | Pepsico, Inc. | Analyzing second party digital marketing data |
US20200356894A1 (en) * | 2019-05-07 | 2020-11-12 | Foursquare Labs, Inc. | Visit prediction |
US20230267500A1 (en) * | 2020-07-02 | 2023-08-24 | Catalina Marketing Corporation | Collecting and linking digital consumer survey panel data to a semi-persistent in-store consumer loyalty card identifier |
WO2023049905A1 (en) * | 2021-09-24 | 2023-03-30 | Accretive Media LLC | Automated measurement and analytics software for out of home content delivery |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4139925B2 (ja) * | 1998-07-27 | 2008-08-27 | 東芝ライテック株式会社 | 蛍光ランプ装置 |
JP2002366464A (ja) * | 2001-06-05 | 2002-12-20 | Nec Corp | 携帯電話マーケティングシステム及び携帯電話マーケティングプログラム |
US8290810B2 (en) * | 2005-09-14 | 2012-10-16 | Jumptap, Inc. | Realtime surveying within mobile sponsored content |
JP4475251B2 (ja) * | 2006-04-25 | 2010-06-09 | トヨタ自動車株式会社 | 車両環境サービスシステム |
US20080133342A1 (en) * | 2006-12-01 | 2008-06-05 | Nathalie Criou | Determining Advertising Effectiveness |
US10489795B2 (en) * | 2007-04-23 | 2019-11-26 | The Nielsen Company (Us), Llc | Determining relative effectiveness of media content items |
JP2010532539A (ja) * | 2007-07-03 | 2010-10-07 | スリーエム イノベイティブ プロパティズ カンパニー | コンテンツを割り当てることができるタイムスロットサンプルを生成して、その割り当てられたコンテンツの効果を測定するシステム及び方法 |
KR100901938B1 (ko) * | 2007-08-14 | 2009-06-10 | 엔에이치엔비즈니스플랫폼 주식회사 | Ctr을 보정하는 방법 및 시스템 |
CN101393629A (zh) * | 2007-09-20 | 2009-03-25 | 阿里巴巴集团控股有限公司 | 一种网络广告效果监测的实现方法及装置 |
US8072914B2 (en) * | 2008-05-08 | 2011-12-06 | At&T Mobility Ii Llc | Location survey for power calibration in a femto cell |
US10163113B2 (en) * | 2008-05-27 | 2018-12-25 | Qualcomm Incorporated | Methods and apparatus for generating user profile based on periodic location fixes |
JP5633773B2 (ja) * | 2010-01-13 | 2014-12-03 | 独立行政法人情報通信研究機構 | 地域ネットワークを利用した定量的な広告効果診断分析が可能な広告配信システム |
CN102254265A (zh) * | 2010-05-18 | 2011-11-23 | 北京首家通信技术有限公司 | 一种富媒体互联网广告内容匹配、效果评估方法 |
US8909771B2 (en) * | 2011-09-15 | 2014-12-09 | Stephan HEATH | System and method for using global location information, 2D and 3D mapping, social media, and user behavior and information for a consumer feedback social media analytics platform for providing analytic measurements data of online consumer feedback for global brand products or services of past, present or future customers, users, and/or target markets |
US10111197B2 (en) * | 2011-11-02 | 2018-10-23 | Navin Systems Ltd. | Generating and using a location fingerprinting map |
CN102663616A (zh) * | 2012-03-19 | 2012-09-12 | 北京国双科技有限公司 | 一种基于多触点归因模型的网络广告效果衡量方法和系统 |
AU2013204865B2 (en) * | 2012-06-11 | 2015-07-09 | The Nielsen Company (Us), Llc | Methods and apparatus to share online media impressions data |
US20140108130A1 (en) * | 2012-10-12 | 2014-04-17 | Google Inc. | Calculating audience metrics for online campaigns |
US20140156387A1 (en) * | 2012-12-04 | 2014-06-05 | Facebook, Inc. | Generating Advertising Metrics Using Location Information |
US20140172573A1 (en) * | 2012-12-05 | 2014-06-19 | The Rubicon Project, Inc. | System and method for planning and allocating location-based advertising |
JP2014153828A (ja) * | 2013-02-06 | 2014-08-25 | Ntt Docomo Inc | サーバ装置、広告配信システム及びプログラム |
US10373194B2 (en) * | 2013-02-20 | 2019-08-06 | Datalogix Holdings, Inc. | System and method for measuring advertising effectiveness |
CN103295150A (zh) * | 2013-05-20 | 2013-09-11 | 厦门告之告信息技术有限公司 | 一种精确量化及准确统计投放效果的广告发布系统及方法 |
-
2016
- 2016-10-07 WO PCT/US2016/056185 patent/WO2017062912A2/en active Application Filing
- 2016-10-07 EP EP16854519.2A patent/EP3360104A4/en not_active Withdrawn
- 2016-10-07 US US15/289,104 patent/US20170132658A1/en not_active Abandoned
- 2016-10-07 CN CN201680071581.5A patent/CN108604350A/zh active Pending
- 2016-10-07 AU AU2016335870A patent/AU2016335870A1/en not_active Abandoned
- 2016-10-07 JP JP2018517820A patent/JP6636143B2/ja not_active Expired - Fee Related
-
2019
- 2019-12-17 JP JP2019227247A patent/JP6890652B2/ja active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6890652B2 (ja) | モバイル機器に配信された情報の効果を測定するための方法及び装置 | |
JP2018531464A6 (ja) | モバイル機器に配信された情報の効果を測定するための方法及び装置 | |
JP6785854B2 (ja) | パフォーマンスドリブンな動的ジオフェンスベースドなターゲティングについてのシステム及び方法 | |
US11683547B2 (en) | Systems and methods for web spike attribution | |
US10715962B2 (en) | Systems and methods for predicting lookalike mobile devices | |
JP7214085B2 (ja) | オンライン及びオフライン予測を使用してモバイル装置への情報伝達を制御する処理 | |
CN105447724B (zh) | 内容项推荐方法及装置 | |
US20170337578A1 (en) | Dynamic media buy optimization using attribution-informed media buy execution feeds | |
US10163130B2 (en) | Methods and apparatus for identifying a cookie-less user | |
US20150348095A1 (en) | Measuring advertising effectiveness | |
US20160275545A1 (en) | Methods and systems for using device connectivity information in on-line advertising | |
US8799081B1 (en) | Externality-based advertisement bid adjustment | |
US11367102B2 (en) | Using on-line and off-line projections to control information delivery to mobile devices | |
WO2013010114A1 (en) | Analyzing effects of advertising | |
US11743679B2 (en) | Systems and methods for pacing information delivery to mobile devices | |
US11134359B2 (en) | Systems and methods for calibrated location prediction | |
EP3695349A1 (en) | Systems and methods for using geo-blocks and geo-fences to discover lookalike mobile devices | |
JP5595556B1 (ja) | 新しいコストモデルによる広告プラットフォームを実現するためのシステムおよび方法 | |
US20160343025A1 (en) | Systems, methods, and devices for data quality assessment | |
US20160019583A1 (en) | Systems and methods for smooth and effective budget delivery in online advertising | |
US20220408222A1 (en) | Using on-line and off-line projections to control information delivery to mobile devices |