JP2010519604A - 広告の有効性の判断 - Google Patents

Abstract

広告の有効性を判断するためのシステム、方法、及びコンピュータプログラム製品を含む装置を提供する。ある実施形態では、方法が提供される。本方法は、複数のユーザイベントを識別する段階と、識別された各ユーザイベントに関連した情報を識別する段階とを有する。ここで、各ユーザイベントは、追跡記録されたオンライン活動又は行動である。情報は、各ユーザイベントの時刻及び位置の情報のうちの少なくとも１つを含む。また、上記方法は、各ユーザイベントを広告と関連付ける段階と、識別された複数のユーザイベントに基づく情報を用いて、広告の有効性を判断する段階とを有する。各ユーザイベントを広告と関連付ける段階は、各広告と、関連付けられたユーザイベントの時刻及び位置の情報とを関連付ける段階を含む。

Description

本開示は、広告に関する。

広告主は、消費者の興味を引くために、異なる形態で広告を提供する。広告とは、情報の断片であり、そのすべて又は一部分が、ユーザ、例えば、特定の消費者によって用いられるようにデザインされている。広告は、電子形態で提供できる。例えば、オンライン広告は、ウェブページ上のバナー広告として提供される。オフライン電子広告は、テレビ又はラジオ放送に含まれたメディアソース（例えば、コマーシャル）、ＣＤ又はＤＶＤ内のコンテンツによるほか、（例えば、エレベータの中、空港、及び道路沿いなどの）電子広告板（ビルボード）によって提供される。

媒体、例えば、ウェブページ、又はテレビ放送若しくはラジオ放送への広告の封入は、インプレッションと称される。広告システムには、ウェブページ内の広告が含まれ、これは、例えば、検索エンジンに入力されたユーザ検索クエリ内の１つ以上のキーワードに応じて表示される。表示された広告をユーザが（例えば、広告を「クリック」することによって）選択した場合、通常、ユーザは、その広告に関連した別の場所、例えば、別の特定のウェブページへ飛ばされる。

米国特許出願公開第２００５／００５００９７号明細書

広告の有効性を判断するためのシステム、方法、及びコンピュータプログラム製品を含む装置が提供される。一般に、一態様において、方法が提供される。上記方法は、複数のユーザイベントを識別する段階と、識別された各ユーザイベントに関連した情報を識別する段階とを有する。ここで、各ユーザイベントは、追跡記録されたオンライン活動又は行動である。情報は、各ユーザイベントの時刻及び位置の情報を含む。また、上記方法は、各ユーザイベントを広告と関連付ける段階と、識別された複数のユーザイベントに基づく情報を用いて、広告の有効性を判断する段階とを有する。各ユーザイベントを広告と関連付ける段階は、各広告と、関連付けられたユーザイベントの時刻及び位置の情報とを関連付ける段階を含む。

一般に、別の態様において、方法が提供される。上記方法は、オンラインユーザイベントからユーザイベントデータを収集する段階と、オフライン媒体中の広告を識別する段階とを有する。ここで、各ユーザイベントは、追跡記録されたオンライン活動又は行動である。ユーザイベントデータは、各ユーザイベントの時刻情報を含む。また、上記方法は、識別された広告から広告データを収集する段階と、ユーザイベントデータ及び広告データを用いて、１つ以上の広告の有効性を判断する段階とを有する。広告データは、個々の広告が表示されたときのそれぞれの時刻情報を含む。

一般に、一態様において、システムが提供される。上記システムは、複数のユーザイベントを識別する手段と、識別された各ユーザイベントに関連した情報を識別する手段とを具備する。ここで、各ユーザイベントは、追跡記録されたオンライン活動又は行動である。情報は、各ユーザイベントの時刻及び位置の情報を含む。また、上記方法は、各ユーザイベントを広告と関連付ける手段と、識別された複数のユーザイベントに基づく情報を用いて、広告の有効性を判断する手段とを具備する。各ユーザイベントを広告と関連付ける手段は、各広告と、関連付けられたユーザイベントの時刻及び位置の情報とを関連付ける手段を含む。

この明細書に記載された主題の特定の実施態様は、以下の複数の利点のうちの１つ以上を実現するように実行できる。広告主は、オンラインとオフラインの両方で広告の有効性を追跡できる。オフライン広告の有効性は、オンライン活動の監視から推測できる。広告の有効性は、位置及び時刻の情報の両方に応じて評価できる。局所的な広告キャンペーンで試験的なマーケティングを行って、効果的な広告を識別し、次いで、より広く展開することによって、広告費用を削減できる。広告の有効性のオンライン評価は、迅速かつ安価に生成でき、それらは機械読み取り可能な形態で提供できるので、容易に扱え、かつ他の測定値に関係付けることができる。さらに、広告主は、広告メッセージがより効果的なターゲットエリア及び時刻への改善された広告キャンペーンによって、マーケティング又は広告費用をより効果的に使用できる。

この明細書に記載された主題のさまざまな態様の詳細は、添付の図面及び以下の説明に示されている。主題のその他の特徴、態様、及び利点が、発明の詳細な説明、図面、及び特許請求の範囲から明らかとなる。

オンライン活動に関連した位置及び時刻の情報を用いて広告の有効性を判断するための例示的な過程を示す。 オフライン広告の有効性を判断するための例示的な過程を示す。 オンライン活動の経時変化を例示する。 図１及び図２に示された過程を実行する機能を有したハードウェア構成の一例を示す。 例示的な広告システムの構成図である。

図中で、類似の参照数字及び記号は類似の要素を指す。

図１は、オンラインユーザ活動に関連した時刻又は位置の情報を含むデータを用いて、広告の有効性を判断するための例示的な過程１００を示す。説明の都合上、上記過程は、過程１００（例えば、広告システム）を実行するコンピュータシステムを参照して説明される。

システムは、ユーザイベントの識別を行う（ステップ１０２）。この明細書においては、用語「ユーザイベント」は、システムによって追跡記録されたあらゆるオンライン活動又は行動を指す。ある実施形態において、ユーザイベントは、インターネットなどのネットワークに接続されたコンピュータ又はその他のデバイス上でのユーザ活動がもたらしたイベントである。

例えば、ユーザイベントは、クエリイベントであってよい。クエリイベントは、ユーザの指定した検索クエリに従って（例えば、検索エンジンによって）要求された検索である。ユーザは、ブラウザアプリケーションを用いて、検索エンジンにアクセスできる。検索クエリとして検索フィールド内に１つ以上の検索用語が与えられた後、ユーザは、検索ボタンを押し、検索クエリに従って検索を要求できる。次いで、検索エンジンは、マッチした検索結果を（例えば、複数の結果の順序付きリストとして）ユーザに示す。検索結果は、目的のウェブページへリンクされていてよい。

ユーザイベントは、インプレッションイベントであってもよい。一実施形態において、インプレッションイベントは、例えば、ウェブページ、テレビ若しくはラジオ放送、又はビデオなどの媒体への特定の広告の封入である。例えば、１つ以上の広告が、検索結果とともにウェブページに含まれてよい。さらに、異なるコンテンツプロバイダ、例えば、特定のウェブページの提供者は、ウェブページの特定のコンテンツとともに広告を提供してよい。

ある実施形態では、各広告は、１つ以上のキーワードに関連する。ユーザの検索クエリが広告に関連した複数のキーワードのうちの１つ以上にマッチした場合、その広告は、ユーザへの表示に適したものとなる。適格な広告一式のうちで、特定の広告を選択するために、オークション過程が実行されてよい。また、表示する広告を決定するために、その他の因子が用いられてよい。広告主は、表示のための所与の広告の選択に用いられる因子として、他の人口統計学的又は地理的な属性を指定できる。例えば、広告主は、広告に対して、ユーザの特定の場所又は一日のうちの時間帯を優先してよく、故に、広告表示のターゲッティングが可能となる。

また、ユーザイベントは、「クリック」イベントであってもよい。クリックイベントは、表示された広告のユーザ選択である。例えば、検索結果とともに表示された広告に対して、ユーザは、自身のマウス又はその他の入力デバイスで広告上をクリックすることによって、広告の選択を行なえる。ある実施形態では、ユーザが広告を選択したとき、ブラウザが、選択された広告に関連した特定のウェブページ（例えば、入口ページ）へユーザを向かわせる。

ある実施形態では、クリックイベントは、他の形態のユーザ入力を含む。それらはさまざまな形態のユーザ入力を含むが、説明の都合上、これらの操作もまたクリックイベントと称される。例えば、ある実施形態では、ユーザがある広告を選択したときに、電話の発呼又は電子メールの生成が行われる。クリックイベントは、電話の発呼又は電子メール生成に応答した、ユーザによる１つ以上の口頭の応答又はキーの押下を指してよい。さらにまた、クリックイベントは、マウスオーバー又は広告と情報をやりとりするための他の入力を含むユーザ入力の形態を指してもよい。

ユーザイベントが識別されたとき、システムは、識別されたユーザイベントに関連した時刻及び位置の識別子を収集する（ステップ１０４）。各ユーザイベントの時刻は、ユーザ行動に従って確定する。例えば、クエリイベントの時刻は、ユーザが（例えば、「検索」ボタンをクリックすることによって）検索を開始したときの時刻として定義できる。インプレッションイベントに対する時刻は、媒体、例えば、ウェブページに広告が加えられた時刻であってよく、一方、クリックイベントの時刻は、（例えば、広告をクリックすることによって）広告がユーザによって選択されたときの時刻であってよい。広告システムによって使用される広告ログは、（例えば、広告費請求記録に使用するために、）広告がユーザに表示された時刻と、広告の選択が行われた時刻とを記録してよい。また、その他の前後関係上の情報が記録されてもよい。例えば、広告のクリックが行われたときにユーザがコンテンツの特定の部分をブラウジングしていた場合、その情報もまた記録されてよい。

位置識別子は、ユーザの位置を決定するために使用できるデータである。位置識別子は、ユーザがネットワークリソース、例えば、ウェブページにアクセスしたときに、ユーザのコンピュータ又は関連するサーバ（例えば、インターネットサービスプロバイダ（「ＩＳＰ」））によって提供されたデータであってよい。例えば、位置識別子は、ユーザのインターネットプロトコル（「ＩＰ」）アドレスであってよい。ネットワークへのユーザ接続に関連した他の位置識別子には、例えば、ダイヤル−インアクセスナンバー、又はメディアアクセスコントロール（「ＭＡＣ」）アドレスなどが用いられてよい。

さらに、位置識別子は、ユーザの提供した地理的情報、例えば、都市名、郵便番号、又は完全な住所名であってよい。例えば、ユーザは、１つ以上のコンテンツプロバイダへ情報を提供できる。ユーザは、コンテンツプロバイダへ郵便番号を提供して、例えば、局所的なコンテンツを受け取る。同様に、ユーザは、より詳細な検索結果を受け取るために、検索エンジンに情報を提供してもよい。

システムは、位置識別子を用いて、ユーザの位置を決定する（ステップ１０６）。位置が決定されるときの分解能のレベルは、可変であってよい。例えば、ＩＰアドレスは、地理的位置（例えば、国、都市、又はサービスプロバイダ）にマッピングできる。参照用テーブルは、エリアコード、又はエリアコード及びダイヤル−インアクセス番号の固定番号を用いて、位置を識別できる。さらに、ユーザの提供した地理的情報、例えば、郵便番号は、特定の位置にマッピングできる。このデータは、ユーザの位置の推定だけを提供してよい。例えば、ダイヤル−インアクセス番号は、ユーザにアクセスを提供しているサーバの存在する地点の位置情報を提供するのであって、ユーザの正確な位置情報を提供するものではない。

ユーザの位置を識別するための技術が、特許文献１の２００３年９月３日に出願された「Determining and/or Using Location Information in an Ad System」と題された米国特許出願第１０／６５４，２６５号（米国特許出願公開第２００５／００５００９７号）に記載されている。

システムは、識別された各ユーザイベントの時刻及び位置の情報を１つ以上の広告に関連付ける（ステップ１０８）。各広告と、その広告に関連した１つ以上のユーザイベントとを関係付けるために、データベースを使用できる。例えば、クエリイベント毎に、クエリキーワードをそれらのキーワードに関連した１つ以上の広告にマッチングできる。さらに、各インプレッション又は広告のクリックの時刻及び位置の情報（例えば、入力されたユーザ位置情報）は、記録を残すことができる。故に、各広告は、広告に関連した各ユーザイベントの時刻及び位置の情報を識別するデータに関連付けできる。ユーザイベントは、ユーザイベントのタイプによって、別々に考えることができる。あるいは、広告に対してユーザイベントが集められてもよい。

結果データは、レポートを生成するために使用できる（ステップ１１０）。個々の広告毎に、レポートは、時刻、位置、又はその両方によって、ユーザイベントを追跡できる。レポートによってカバーされる期間は、広告の優先度、又はその他の基準に従って変化してよい。さらに、レポートは、ユーザイベントのタイプに従って、広告のためにデータを分類できる。従って、データを用いて、例えば、広告がより効果的な（例えば、広告が、より多くのクエリ、インプレッション、クリック、電話発呼、又はその他のユーザイベントを生成するような）時刻又は位置の指示を提供することができる。

さらに、広告主は、異なるオンライン広告の有効性を試験することができる。例えば、広告主は、異なる広告が特定の位置でのみ表示されるように、異なる広告のターゲットを特定の位置とすることができる。そして、そのデータは、クリックイベントの頻度が最も高かったのはどの位置であるのかを決定するために使用できる。クリックイベントの頻度は、表示されたどの広告がより効果的であったかを示す。あるいは、広告主は、異なる広告のターゲットを同一の位置とすることができる。そして、レポートによって、特定の位置に対してどの広告がより効果的であったのかを明らかにできる。そして、広告主は、他の位置で広告を試験するか、又は、局所的データに基づいて大域的キャンペーンを実施することができる。さらに、同様に、その他の広告バリエーション、例えば、広告の文章、画像、色彩、及びレイアウトの試験が行える。

また、有効性を試験するために、広告に関連したユーザイベントの時刻情報を使用できる。広告は、一日のうちの特定の時間帯において、関連したユーザイベントの頻度が高くなることがある。ユーザイベントは、ターゲット層がオンラインである時刻において、より高頻度となる。例えば、１０代の消費者をターゲットとした広告は、夕方に、より多数のユーザイベントが生じる。広告は、それらがより効果的となりそうな時間帯に基づいて、特定の時刻又は時間帯（例えば、朝、夕方）に的を絞ることができる。

また、広告主は、異なる位置で異なるキーワードセットを試すこと、又は異なる時間帯に適用された異なるキーワードセットを試すことができる。特定のキーワードは、より多数の関連するユーザイベントを引き起こすことができる。例えば、特定のキーワードは、検索クエリ中でユーザに用いられやすく、故に、より多くの関連するユーザイベントを生じさせる。異なるキーワードをサンプリングすることによって、多数のインプレッション又はクリックイベントをもたらす最適なキーワード一式を識別できる。特に、クリックイベントの回数もまた、広告中のユーザの興味を示す関連するキーワードを識別するために使用できる。最適なキーワード一式は、位置又は時刻によって変化してよい。

図２は、オフライン広告の有効性を判断するための例示的な過程２００を示す。システムは、オンラインユーザイベントに関連したデータを収集する（ステップ２０２）。先に記載した通り、ユーザイベントは、特に、クエリイベント、インプレッションイベント、及びクリックイベントであってよい。ユーザイベント毎に収集されたデータは、ユーザイベントの生じた時刻と、ユーザの位置との情報を含むことができる。ある実施形態では、収集されたデータは、図１を参照して先に記載されたような、ユーザイベントに対して収集された時刻及び位置のデータである。

システムは、オフライン媒体中の広告を識別する（ステップ２０４）。オフライン媒体は、多様な異なる形態で広告を含むことができる。広告には、テレビ及びラジオコマーシャルのほかに、電子掲示板又はその他の電子広告手段が含まれてよい。オフライン媒体中の広告は、例えば、視聴者及び／又は聴取者へのブロードキャスト送信、ケーブル送信、又は衛星送信の一部として、複数の個人へ同時に伝達できる。

また、広告には、広告として明確に識別されないデータが選択的に含まれていてよい。例えば、特定の製品の広告主は、テレビ番組内へのその製品の配置に対価を支払うことがある。したがって、広告は、テレビ番組中の製品への言及又はその使用（例えば、出演者が特定のモデルの自動車を運転したり、特定のブランドのソーダを飲んだりすること）であってよい。

オフライン媒体に見られる広告は、広告主によって、例えば、特定のコマーシャル広告のためにコマーシャル放送時間を買うこと、又は特定のオフライン媒体への製品配置することによって構成できる。広告主は、広告を作成するか、又は、大抵は、広告を作成又は設置するための第三者を雇う。広告主は、特定の市場にオフライン広告の的を絞る。しかしながら、広告主は、しばしば、広告のタイミングに関してわずかなコントロールしか有さない。例えば、広告主は、典型的に、コマーシャル広告がいつテレビで放送されるのかを知らない。

放送スケジューリング情報は、オフライン媒体広告がいつ表示されるかを識別するために使用できる。しかしながら、スケジューリング情報は、しばしば、不正確、不完全であり、又は大きく遅れてしか利用可能とならない。ある実施形態では、例えばテレビにおいて、放送広告に使用されるスケジュールファイルは、広告表示を識別するために（例えば、テレビ信号を受信及び分配するテレビジョン前処理部によって）使用される。さらに、広告が実際に放送されたことの前処理部の記録は、広告表示を識別するために使用できる。

ある実施形態では、オフライン媒体中の広告の識別は、テレビチャンネルに対する字幕ストリームを監視することである。例えば、各字幕ストリーム（又は、例えば、欧州における、文字放送（teletext））は、特定のキーワードの出現を監視される。ある実施形態では、キーワードは、広告主のコマーシャル広告のうちの１つ以上の単語（例えば、製品名又は広告文句のうちの１つ以上のフレーズ）である。キーワードが識別された場合、タイムスタンプが、広告の出現に関連付けられる。ある実施形態では、キーワードが単一の広告中に２回以上識別された場合、１回のみの広告の出現として識別される。故に、字幕ストリームで識別されたキーワードは、特定のコマーシャル広告が示されたときの時刻及びチャンネルを識別するために使用できる。

さらに、テレビ放送の送信は、所在地又は市場によって変化してよい。例えば、ニューヨークには、ロサンゼルスとは異なる番組が流されてよい。テレビ広告主は、「ＤＭＡ（Designated Television Market Area）」に基づいて広告を買う。ＤＭＡとは、テレビ放送の共聴に関連した都市又は首都圏などの範囲を表す。例えば、ボストンＤＭＡは、ボストンだけでなく、周囲の複数の都市を含む。本発明に従ったシステムの一実施形態は、異なる場所を区別するために、ＤＭＡによって分類されたテレビ放送送信を監視できる。

また、字幕ストリームは、コマーシャル広告以外のテレビ媒体、例えば、テレビ番組内から、広告主に関連したキーワードを識別するために監視されてよい。例えば、製品の配置は、テレビ番組の字幕ストリーム中のキーワード（例えば、テレビ番組内でのブランド名への言及）によって識別されてよい。

別の実施形態では、広告を識別するために、別形態の監視を使用できる。例えば、テレビ放送送信は、字幕以外の形態のデータを含むことができる。例えば、いくつかの国では、文字放送を用いて、字幕と同様のサービスが提供されている。また、デジタル放送送信は、広告を識別するために使用可能なメタデータを含むことができる。さらに、音声認識アプリケーションを用いること、又は人が番組を視覚的に監視することによって、広告が識別されてもよい。また、画像認識ソフトウェアを用いることによって、テレビ放送送信中の広告が識別されてもよい。

また、広告は、地上波ラジオ及び衛星ラジオの両方を含むラジオ放送中で識別されることができる。ラジオ広告会社、例えば、ｄＭａｒｃ Ｂｒｏａｄｃａｓｔｉｎｇは、場所単位のラジオ広告のほかに、時間帯（例えば、朝（モーニングドライブ）、日中、夕方、週末）によるラジオ広告もスケジューリングできる。さらに、ラジオ広告の実際の放送時刻を追跡できる。従って、システムは、特定の広告がラジオ局によって放送された時刻及び位置を識別できる。

広告を識別するための監視は、広告が出現している最中に、リアルタイムで実行されてよい。あるいは、送信は、後で分析して広告を識別するために、記録されてよい。

システムは、データを格納する（ステップ２０６）。データには、識別された広告毎の時刻及び位置のデータを含むことができる。故に、広告毎に、データ一式は、各広告送信の時刻及び位置の情報を提供できる。さらに、広告が識別されたチャンネル（若しくはラジオ局）及び番組は、追加的な情報を提供するために格納されてもよい。例えば、特定のチャンネル又は番組は、特定のグループ層をターゲットとする。

システムは、収集したオフライン広告データと、オフライン広告に関連したユーザイベントと比較する（ステップ２０８）。比較は、収集した広告データと同時期に起こったユーザイベントにおける、履歴レベルの変化の識別を含んでよい。例えば、比較は、広告のオフライン表示に続いて、広告に関連した特定のキーワードを含むクエリイベントが増加したかどうかを識別できる。比較は、特定の地理的位置に基づいていてよい。例えば、特定のＤＭＡにおけるテレビ広告は、同一のＤＭＡ内で生じた対応するユーザイベントの回数と比較されてよい。

オフライン媒体の有効性は、比較に基づいて評価できる（ステップ２１０）。オフライン広告がいつ表示されたかと、複数のオンラインユーザイベントのうちの対応するレベルとを表す１つ以上のレポートが、広告主のために生成されてよい。例えば、オフライン媒体中の広告表示、例えば、テレビコマーシャル広告が履歴レベルでのユーザイベント増加を含む場合、そのような増加は、広告が効果的であったことを示すと見てよい。対照的に、オフライン媒体がユーザイベントに有意な影響を及ぼしていない場合、広告が所望のレベルのユーザの関心を引き起こしてないということが明らかとなる。

ある実施形態では、広告主は、広告の有効性を判断するために、１つ以上の局所的市場において異なるオフライン広告キャンペーンを試験する。試験広告の表示に関連したユーザ活動を用いて、オフライン広告の有効性の判断が行える。さらに、広告主は、ある広告がある場所において他の場所よりも効果的であるかどうかを識別できる。それによって、場所を指定した広告の選択が、総合的な広告の有効性を最大化する。

また、広告の有効性は、オフライン表示とオンラインユーザイベントとの間の経過時間に関して評価されてよい。表示直後のユーザイベントは、ユーザの関心が高いレベルにあることを示すと見てよい。また、時間を置いたユーザイベントは、広告がしばらく経ってからユーザに思い出されるという非常に際立ったものであったことを示すと見てよい。しかしながら、ユーザイベントと特定のオフライン広告とを関連付けることは、ユーザイベントの増加から時間が経つほど、より困難となる。

広告の有効性の追加的情報を得ることも可能である。例えば、テレビ広告において、一般的に、コマーシャルは、コマーシャル時間にいくつかの他のコマーシャルとともに放送される。その時間内でのコマーシャルの配置（例えば、最初、中間、最後）が、広告の有効性に効果を及ぼす可能性がある。システムは、コマーシャル時間内で識別された広告の位置を記録してよい。コマーシャル時間中の異なる位置の有効性は、異なる位置の広告に関連したユーザイベントに基づいて評価できる。

図３は、特定の広告に関連した、オンライン活動の経時変化の表示３００を例示する。表示３００は、ユーザイベントの回数として、ユーザ活動を縦軸３０２上に表示する。横軸３０４は、表示３００によってカバーされる時刻範囲を表示する。この例では、横軸は、一日のうちの０時から２４時をカバーする。

実績ライン３０６は、同一時間帯の広告に関連したユーザイベントの実績レベル（例えば、２４時間内のユーザイベントの平均内訳）を示す。データ点の多くは、特定の日のために（例えば、前日のユーザ活動を広告主に報告するために）実際のユーザイベント３０８を示している。表示３００のように、実際のユーザイベントは、データ点３１０を除けば、実績ライン３０６の実績レベルに一致する。データ点３１０は、一日のうちの特定の時刻におけるユーザイベントの急上昇（spike）を示す。データ点３１０によって示されたユーザイベントの急上昇がオフライン広告データと関連性がある場合は、オフライン広告は、ユーザの興味を引くために効果的であったと見なせる。

その他の表示が、ユーザ活動とオフライン広告データとの両方に関係した情報（例えば、棒グラフ、スプレッドシートなど）を表示するために使用されてよい。さらに、それらの表示は、地理的位置及び特定の時間帯（例えば、シカゴにおける全ユーザイベント、又はシカゴにおけるクエリイベントのみ）と同様に、特定のユーザイベント（例えば、クエリイベントのみ）に注目してよい。また、表示は、オフライン広告とユーザイベントとの間のあらゆる関連性をさらに示すために、異なる形態のオフライン広告イベント（例えば、コマーシャル放送時間帯に対するデータ点）を含んでもよい。

ある実施形態では、広告主の複数の広告が評価される。比較は、例えば、試験広告一式のうちの複数の広告間でなされる。例えば、ヒストグラムは、広告主の複数の異なる広告のそれぞれに対するユーザイベントの回数を示すことができる。次いで、広告主は、どの広告がよりユーザイベントに関係していたかに基づいて、どの広告がより効果的であるかを判断する。

ある実施形態では、中央広告システムが、オンラインユーザ活動とオフライン広告データとの両方を収集する。広告システムは、広告の有効性を判断するために、収集したデータを処理するか、又はそのデータを広告主に直接提供することができる。広告システムは、オンラインユーザ活動を直接収集できるが、オフライン広告データを１つ以上の第三者からから受信してよい。第三者には広告主自身が含まれてもよい。変形実施例では、広告システムは、ユーザ活動データを広告主などの第三者に提供する。広告主は、オフラインデータをユーザ活動と比較して、広告の有効性を判断する。

ある実施形態では、広告主は、１つ以上のユーザインタフェースコンポーネントとやりとりを行って、優先度を識別するとともに、広告の有効性の結果を受信する。例えば、広告主は、１つ以上の広告キャンペーンを行う広告主のためのアカウントにアクセスできる。広告主は、有効性データのタイプのみならず、細部のレベルまでも示す多数の選択肢メニューを使用できる。ある実施形態では、広告主は、ウェブベースのインタフェースを使用する。

広告主は、時刻及び位置の情報に基づいて詳細な報告を要求する入力を与えてよい。したがって、次いで、広告主は、多くの場所及び時間帯に（例えば、２００の都市で時間あたりに）亘る広告に対する有効性の結果を受信できる。あるいは、広告主は、特定の位置若しくは時刻、又はその両方を指定できる。さらに、ある実施形態では、ユーザは、細分化の度合い（例えば、日毎、時間毎など）を選択又は指定する。

別の例では、広告主は、広告キャンペーンの間、例えば、特定の市場における実験を実施している（例えば、特定の都市でのテレビ広告の実施）ときに、部分的な結果を受け取ることができる。広告主は、時刻に関するそれらのターゲット都市に対する有効性の結果を受け取ることができる。

さらに、広告主は、広告キャンペーンについての追加的な情報（例えば、広告キャンペーン終了後の情報）を要求してよい。例えば、広告主が最初のうちは一般的な有効性の結果を要求していた場合、広告主は、優先度を修正して、追加的な詳細（例えば、特定の都市及び狭い時間帯などの詳細な細分レベルでの有効性の結果）を要求できる。

ある実施形態では、広告主の優先度は、ユーザインタフェースを介して提供されるが、有効性のレポートは、広告主に別々に（例えば、ハードコピーが）送信される。あるいは、しかしながら、ユーザインタフェースは、図３に示されたような活動表示を含む有効性の結果をユーザに提供してよい。

図４は、図１及び図２に示された過程を実行する機能を有したハードウェア構成４００の一例を示す。ある実施形態では、構成４００は、１つ以上のプロセッサ４０２（例えば、デュアルコアインテル（登録商標）Ｘｅｏｎ（登録商標）プロセッサ）と、広告格納部４０４と、１つ以上のネットワークインタフェース４０６（例えば、オフライン広告上の情報を受信するためのインタフェースを含む）と、コンテンツ格納部４０９（例えば、広告有効性データを格納するためのもの）と、最適な管理コンピュータ４０８と、１つ以上のコンピュータ読み取り可能媒体４１０（例えば、ＲＡＭ、ＲＯＭ、ＳＤＲＡＭ、ハードディスク、光ディスク、フラッシュメモリ、ＳＡＮなど）とを具備する。これらの構成要素は、１つ以上の通信チャネル４１２（例えば、イーサネット（登録商標）、エンタープライズサービスバス、ＰＣＩ、ＰＣＩ−Ｅｘｐｒｅｓｓなど）を介して、通信及びデータをやりとりできる。通信チャネル４１２は、さまざまな既知のネットワークデバイス（例えば、ルータ、ハブ、ゲートウェイ、バス）を含み、データの転送を容易にするためのソフトウェア（例えば、ミドルウェア）を使用し、かつ複数のデバイス間の信号を制御する。

用語「コンピュータ読み取り可能媒体」は、実行のためのプロセッサ４０２への命令の提供に関するあらゆる媒体を指し、限定を目的とせずに、不揮発性媒体（例えば、光又は磁気ディスク）、揮発性媒体（例えば、メモリ）、及び転送媒体を含む。転送媒体は、限定を目的とせずに、同軸ケーブル、銅線、及び光ファイバを含む。また、転送媒体は、音、光、又は高周無線波の形態をとってよい。

コンピュータ読み取り可能媒体４１０は、オペレーティングシステム４１４（例えば、ＭａｃＯＳ（登録商標）サーバ、Ｗｉｎｄｏｗｓ（登録商標）ＮＴサーバ）と、ネットワーク通信モジュール４１６と、広告有効性システム４１８とをさらに含む。オペレーティングシステム４１４は、マルチユーザ、マルチプロセッシング、マルチタスク、マルチスレッディング、リアルタイム等となってよい。オペレーティングシステム４１４は、基本的なタスクを実行する。基本的なタスクは、限定を目的とせずに、管理コンピュータ４０８からの入力を認識し、かつ管理コンピュータ４０８に出力を提供することと、コンピュータ読み取り可能媒体４１０（例えば、メモリ又はストレージデバイス）のトラックを保持し、かつファイル及びディレクトリを管理することと、周辺デバイス（例えば、格納部４０４，４０９）を制御することと、１つ以上の通信チャネル４１２のトラフィックを管理することとを含む。ネットワーク通信モジュール４１６は、ネットワーク接続を確立及び保持するためのさまざまな構成要素（例えば、ＴＣＰ／ＩＰ、ＨＴＴＰなどの通信プロトコルを実行するためのソフトウェア）を含む。

コンピュータ読み取り可能媒体４１０は、広告有効性システム４１８を含む。広告有効性システム４１８は、図１ないし３を参照して記載されたようなオンライン及びオフライン広告の有効性を判断するための特徴及び機能を提供する役目を果たす。ウェブページサーバ４２０は、明細書中に記載されたユーザインタフェース（例えば、広告主に広告の有効性データを提供するためのユーザインタフェース）を生成するために提供される。課金システム４２２は、明細書中に記載された支払計算を扱うために提供される。

構成４００は、広告の有効性を評価するための適切な構成の一例である。他の構成が考えられ、それは、より多くの、又は、より少ない構成要素から成る。例えば、広告格納部４０４及びコンテンツ格納部４０９は、同一のストレージデバイス又は別々のストレージデバイスであってよい。構成４００の構成要素は、同一の施設に又はいくつかの施設に分散させて設置されてよい。構成４００は、並列処理、若しくはピアツーピア構造によって、又は１つ以上のプロセッサを備えた単一のデバイス上で実行されてよい。広告有効性システム４１８は、複数のソフトウェアコンポーネントを含んでよく、又はそれは単体のコードであってよい。広告有効性システム４１８のいくつかの又はすべての機能は、ネットワーク上のコンテンツプロバイダ、広告主、及びユーザへのサービスとして提供できる。そのような場合、これらのエンティティには、クライアントアプリケーションのインストールが必要となることがある。広告有効性システム４１８のいくつかの又はすべての機能は、検索エンジンの一部として提供されてよく、広告の有効性を判断するために、検索エンジンによって収集された情報を使用してもよい。

図５は、例示的な広告システム５００の構成図である。広告システム５００は、広告主５０２、広告有効性システム５０４、コンテンツプロバイダ５０６、及びユーザ５０８を含む。これらのエンティティのそれぞれは、１つ以上の通信チャネル（例えば、ワイヤレス、光、イーサネット（登録商標）通信チャネル）を用いて、ネットワーク５１０（例えば、インターネット）に接続されていてよい。また、広告システム５００は、オフライン媒体５１２を含む。オフライン媒体５１２は、例えば、テレビ及びラジオ放送の形で提供される広告である。オフライン媒体５１２によって提供される広告は、広告有効性システム５０４によって監視できる。

ある実施形態では、広告有効性システム５０４は、広告ネットワークサービスプロバイダによって実行される広告供給プログラムである。ウェブサイトオーナーは、自身のサイト上でのテキスト、画像、及び動画広告を掲載できるように、プログラムに参加する。これらの広告は、広告有効性システム１０４によって管理できるとともに、例えば、クリック毎（per-click）、１０００回の閲覧毎（per-thousand-impressions）、顧客獲得毎（cost-per-action）、又はその他の基準で、収入をもたらす。特定の広告の表示がもたらしたユーザイベントは、広告の有効性を判断するために、広告有効性システム５０４によって使用される。ある実施形態では、広告有効性システム５０４は、検索技術を利用して、ウェブサイトコンテンツ、ユーザの地理的位置、及び、検索結果又はユーザの入力したキーワードなどのその他の要素に基づく広告を提供する。広告有効性システム５０４は、広告主５０２とコンテンツプロバイダ５０６とユーザ５０８との間の対話を容易にするためのユーザインタフェースを備えたオンライン環境を提供する。広告有効性システム５０４は、広告の有効性に関連した情報を格納するためのストレージデバイス５１４に動作可能に接続される。

この明細書に記載された主題のさまざまな態様及びこの明細書に記載された機能的動作のすべては、デジタル電子回路において、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにおいて実行されてよい。これらには、この明細書に記載された構成、それらの構造的均等物、又はそれらのうちの１つ以上の組み合わせが含まれる。この明細書に記載された主題は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のため、又はデータ処理装置の動作を制御するためのコンピュータ読み取り可能媒体上にエンコードされたコンピュータプログラム命令の１つ以上のモジュールとして実現されてよい。命令は、さまざまな数のモジュール、及び記載された複数の例示的モジュールの組み合わせで構成されてよい。コンピュータ読み取り可能媒体は、機械読み取り可能ストレージデバイス、機械読み取り可能ストレージ集積回路、メモリデバイス、機械読み取り可能伝搬信号を生成する組成物、又は１つ以上のそれらの組み合わせであってよい。用語「データ処理装置（data processing apparatus）」は、データを処理するためのあらゆる装置、デバイス、及び機械を含む。これらには、一例として、プログラム制御可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータが含まれる。装置は、ハードウェアに加えて、本コンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードを含んでよい。伝搬信号は、人工的に生成された信号、例えば、機械生成された電気、光、又は電磁信号であり、適切な受信装置への転送のために情報を符号化するために生成される。

コンピュータプログラム（またの名をプログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコード）は、コンパイル済み又はインタプリタ済み言語を含むいかなるプログラミング言語で書かれていてもよい。コンピュータプログラムは、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくは演算環境での使用に適したその他のユニットとして、あらゆる形式で配置される。コンピュータプログラムは、ファイルシステム内のファイルに必ず対応するわけではない。プログラムは、他のプログラム又はデータを保持したファイルの一部分（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）、本プログラム専用の単一のファイル、又は複数の協調的ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部分を格納するファイル）に格納されてよい。コンピュータプログラムは、１つのコンピュータ又は複数のコンピュータ上で実行されるように配置される。ここで、複数のコンピュータは、一箇所に配置されるか、又は複数の箇所に分散して配置され、通信ネットワークによって互いに接続される。

この明細書に記載されたプロセス及び論理フローは、入力データを処理し、出力を生成することによって機能を実行するために、１つ以上のコンピュータプログラムを実行する１つ以上のプログラム制御可能なプロセッサによって実行されてよい。また、プロセッサ及び論理フローは、専用論理回路、例えば、ＦＰＧＡ（field programmable gate array）又はＡＳＩＣ（application-specific integrated circuit）によって実行されてよく、ハードウェアは、専用論理回路として実現されてよい。

コンピュータプログラムの実行に適したプロセッサには、一例として、汎用及び専用マイクロプロセッサ両方、並びにあらゆる種類のデジタルコンピュータの任意の１つ以上のプロセッサが含まれる。一般に、プロセッサは、ＲＯＭ若しくはＲＡＭ、又はその両方から命令及びデータを受け取る。コンピュータの重要な要素は、命令を実行するためのプロセッサと、命令及びデータを格納するための１つ以上のメモリデバイスとである。また、一般に、コンピュータは、データを格納するための１つ以上の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、又は光ディスクを備えるか、又はそこからデータを受信するため、そこへデータを転送するため、又はその両方のために動作可能に接続されている。しかしながら、コンピュータには、そのようなデバイスは必須ではない。さらに、コンピュータは、別のデバイス、いくつか例を挙げると、移動電話、ＰＤＡ（Personal Digital Assistant）、モバイルオーディオプレイヤ、ＧＰＳ（Global Positioning System）レシーバなどに組み込まれていてよい。コンピュータプログラム命令及びデータを格納するために適したコンピュータ読み取り可能媒体は、あらゆる形態の不揮発性メモリ、メディア、及びメモリデバイスであり、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスク又はリムーバブルディスクなどの磁気ディスク、光磁気ディスク、並びにＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む。プロセッサ及びメモリは、専用論理回路によって追加されるか、又はそこに組み込まれてよい。

ユーザとの対話を提供するために、この明細書に記載された主題は、ユーザに情報を表示するための表示デバイス、例えば、ＣＲＴ（cathode ray tube）又はＬＣＤ（liquid crystal display）モニタ、並びに、それによってユーザがコンピュータに入力を与えることが可能なキーボード及びポインティングデバイス、例えば、マウス又はトラックボールを備えたコンピュータ上で実行されてよい。その他の種類のデバイスが、ユーザとの対話に使用されるほか、例えば、ユーザに提供されるフィードバックは、あらゆる形態の感覚性フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであってよく、かつユーザからの入力は、あらゆる形態の音響、音声、又は触覚入力で受け取られてよい。

この明細書に記載された主題のさまざまな態様は、演算システムにおいて実行されてよい。ここで、演算システムは、バックエンドコンポーネント、例えば、データサーバなどであるか、又はミドルウェアコンポーネント、例えば、アプリケーションサーバであるか、又は、フロントエンドコンポーネント、例えば、グラフィカルユーザインタフェース又はそれを介してユーザがこの明細書に記載された主題の実施形態と対話可能なウェブブラウザを備えたクライアントコンピュータであるか、又は、１つ以上のそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの組み合わせである。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信、例えば、通信ネットワークによって互いに接続されていてよい。通信ネットワークの例としては、ＬＡＮ（local area network）と、ＷＡＮ（wide area network）、例えば、インターネットとがある。

演算システムは、クライアントとサーバとを含んでよい。クライアント及びサーバは、通常、互いに遠く離れているとともに、典型的に、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、それぞれのコンピュータ上で動作し、かつお互いに対してクライアント−サーバ関係を有するコンピュータプログラムの働きによって生じる。

この明細書は多数の詳細を含むが、それらは、特許請求の範囲のように限定を意図するものではなく、主題の特定の実施形態に特有の特徴の説明を目的とする。また、別個の実施形態の内容としてこの明細書に記載されたある特徴は、単一の実施形態に組み合わせて実施されてよい。また逆に、単一の実施形態の内容に記載されたさまざまな特徴が、複数の実施形態で別々に実施されるか、又は任意の適切な副結合で実施されてもよい。さらに、特徴が、ある組み合わせで動作するとして記載されるとともに、そのように最初に請求されていたとしても、請求項の組み合わせに基づく１つ以上の特徴は、時として、組み合わせから切り離されてよい。請求項の組み合わせは、副結合又は副結合の変化を対象としてよい。

同様に、動作は特定の順序で図面に記されているが、所望の結果を得るために、そのような動作が示された特定の順序又は連続した順序で実行されること、又は図示されたすべての動作が実行されることが必須であると理解すべきではない。ある状況下では、マルチタスク及び並列処理が有利となる。さらに、上記の実施形態でのさまざまなシステム構成要素の分離を、実施形態すべての分離を必要とするとして理解すべきではない。記載されたプログラム構成要素及びシステムは、通常、単一のソフトウェア製品とともに一体されるか、又は複数のソフトウェア製品にパッケージ化されてよい。

この明細書の主題が特定の実施形態の観点から記載されたが、その他の実施形態が実施可能であり、それらは、本発明の特許請求の範囲内にある。例えば、特許請求の範囲に列挙された動作は、異なる順序で実行されてよく、その場合においても所望の結果が得られる。一例として、添付の図面に示された過程は、所望の結果を達成するために、示された特定の順序又は連続性が必須というわけではない。ある実施形態では、多重タスク又は並列演算が有利となる。その他の変形例は、本発明の特許請求の範囲内にある。

４００ ハードウェア構成
４０２ １つ以上のプロセッサ
４０４ 広告格納部
４０６ １つ以上のネットワークインタフェース
４０８ 管理コンピュータ
４０９ コンテンツ格納部
４１０ コンピュータ読み取り可能媒体
４１２ 通信チャネル
４１４ オペレーティングシステム
４１６ ネットワーク通信モジュール
４１８ 広告有効性システム
４２０ ウェブページサーバ
４２２ 課金システム
５００ 広告システム
５０２ 広告主
５０４ 広告有効性システム
５０６ コンテンツプロバイダ
５０８ ユーザ
５１０ ネットワーク
５１２ オフライン媒体

Claims (28)

1. 複数のユーザイベントを識別する段階と、
   識別された各ユーザイベントに関連した情報を識別する段階と、
   各ユーザイベントを広告と関連付ける段階と、
   識別された複数のユーザイベントに基づく情報を用いて、広告の有効性を判断する段階と
   を有し、
   各ユーザイベントは、追跡記録されたオンライン活動又は行動であり、
   各ユーザイベントに関連した情報は、各ユーザイベントの時刻及び位置の情報を含み、
   各ユーザイベントを広告と関連付ける段階は、各広告と、関連付けられたユーザイベントの時刻及び位置の情報とを関連付ける段階を含むことを特徴とする方法。
2. ユーザイベントが、検索クエリであることを特徴とする請求項１に記載の方法。
3. ユーザイベントが、広告インプレッションであることを特徴とする請求項１に記載の方法。
4. ユーザイベントが、表示された広告のユーザによる選択であることを特徴とする請求項１に記載の方法。
5. ユーザイベントが、ユーザによる電話発呼であることを特徴とする請求項１に記載の方法。
6. ユーザの位置の識別が、
   ユーザに関連したＩＰアドレスを識別する段階と、
   ＩＰアドレスに関連した位置を割り出す段階と
   を含むことを特徴とする請求項１に記載の方法。
7. ユーザイベントを広告と関連付ける段階が、検索クエリユーザイベントにマッチした広告に関連した１つ以上のキーワードを識別する段階を含むことを特徴とする請求項１に記載の方法。
8. 広告の有効性を判断する段階が、ユーザイベントに関連した広告表示の頻度と、ユーザイベントの位置とを比較する段階を含むことを特徴とする請求項１に記載の方法。
9. 広告の有効性を判断する段階が、ユーザイベントに関連した広告表示の頻度と、ユーザイベントの時刻とを比較する段階を含むことを特徴とする請求項１に記載の方法。
10. 広告の有効性を判断する段階が、他のキーワードよりも多くのユーザイベントを引き起こすキーワードを識別する段階を含むことを特徴とする請求項１に記載の方法。
11. 位置及び時刻の情報を基準に、特定の広告の表示を分類したレポートを生成する段階をさらに有することを特徴とする請求項１に記載の方法。
12. 広告の有効性を判断する段階が、特定の位置に対して、広告インプレッションの出現と、広告の選択とを比較する段階を含むことを特徴とする請求項１に記載の方法。
13. コンピュータ読み取り可能媒体上にエンコードされたコンピュータプログラム製品であって、
    複数のユーザイベントを識別する過程と、
    識別された各ユーザイベントに関連した情報を識別する過程と、
    各ユーザイベントを広告と関連付ける過程と、
    識別された複数のユーザイベントに基づく情報を用いて、広告の有効性を判断する過程と
    から成る動作をデータ処理装置に実行させる機能を有し、
    各ユーザイベントは、追跡記録されたオンライン活動又は行動であり、
    各ユーザイベントに関連した情報は、各ユーザイベントの時刻及び位置の情報を含み、
    各ユーザイベントを広告と関連付ける過程は、各広告と、関連付けられたユーザイベントの時刻及び位置の情報とを関連付ける過程を含むことを特徴とするコンピュータプログラム製品。
14. オンラインユーザイベントからユーザイベントデータを収集する段階と、
    オフライン媒体内の広告を識別する広告データを受信する段階と、
    ユーザイベントデータ及び広告データを用いて、１つ以上の広告の有効性を判断する段階と
    を有し、
    各ユーザイベントは、追跡記録されたオンライン活動又は行動であり、
    ユーザイベントデータは、各ユーザイベントの時刻情報を含み、
    広告データは、広告が表示されたときのそれぞれの時刻情報を含むことを特徴とする方法。
15. オンラインユーザイベントからユーザイベントデータを収集する段階が、ユーザの位置を識別する段階をさらに含むことを特徴とする請求項１４に記載の方法。
16. 広告を識別する広告データを受信する段階が、テレビ放送を監視する段階を含むことを特徴とする請求項１４に記載の方法。
17. テレビ放送を監視する段階が、字幕ストリームを監視する段階を含むことを特徴とする請求項１６に記載の方法。
18. 字幕ストリームを監視する段階が、字幕ストリーム中の広告に関連したキーワードを識別する段階を含むことを特徴とする請求項１７に記載の方法。
19. 広告を識別する広告データを受信する段階が、ラジオ広告を識別する段階を含むことを特徴とする請求項１４に記載の方法。
20. 広告データを受信する段階が、広告送信の位置情報を識別する段階をさらに含むことを特徴とする請求項１４に記載の方法。
21. 位置情報が、特定のデザインドテレビジョンマーケットデータであることを特徴とする請求項２０に記載の方法。
22. 広告の有効性を判断する段階が、広告の表示時間帯と、広告に関連したユーザイベントとを比較する段階を含むことを特徴とする請求項１３に記載の方法。
23. 広告の有効性を判断する段階が、広告の表示に関連したユーザイベントの増加を識別する段階を含むことを特徴とする請求項１３に記載の方法。
24. ユーザイベントが、広告の表示された位置と同一の位置でのイベントであることを特徴とする請求項２２に記載の方法。
25. 広告の有効性を判断する段階が、異なる複数の試験広告の表示に関連した複数の関連ユーザイベント同士を比較する段階を含むことを特徴とする請求項１３に記載の方法。
26. コンピュータ読み取り可能媒体上にエンコードされたコンピュータプログラム製品であって、
    オンラインユーザイベントからユーザイベントデータを収集する過程と、
    オフライン媒体中の広告を識別する広告データを受信する過程と、
    ユーザイベントデータ及び広告データを用いて、１つ以上の広告の有効性を判断する過程と
    から成る動作をデータ処理装置に実行させる機能を有し、
    各ユーザイベントは、追跡記録されたオンライン活動又は行動であり、
    ユーザイベントデータは、各ユーザイベントの時刻情報を含み、
    広告データは、広告が表示されたときのそれぞれの時刻情報を含むことを特徴とするコンピュータプログラム製品。
27. 複数のユーザイベントを識別する手段と、
    識別された各ユーザイベントに関連した情報を識別する手段と、
    各ユーザイベントを広告と関連付ける手段と、
    識別された複数のユーザイベントに基づく情報を用いて、広告の有効性を判断する手段と
    を具備し、
    各ユーザイベントは、追跡記録されたオンライン活動又は行動であり、
    各ユーザイベントに関連した情報は、各ユーザイベントの時刻及び位置の情報を含み、
    各ユーザイベントを広告と関連付ける手段は、各広告と、関連付けられたユーザイベントの時刻及び位置の情報とを関連付ける手段を含むことを特徴とするシステム。
28. オンラインユーザイベントからユーザイベントデータを収集する手段と、
    オフライン媒体中の広告を識別する手段と、
    識別された広告から広告データを収集する手段と、
    ユーザイベントデータと広告データとを比較する手段と、
    ユーザイベントデータを用いて、１つ以上の広告の有効性を判断する手段と
    を具備し、
    各ユーザイベントは、追跡記録されたオンライン活動又は行動であり、
    ユーザイベントデータは、各ユーザイベントの時刻情報を含み、
    広告データは、広告が表示されたときの時刻情報を含むことを特徴とするシステム。