CN101689263A - 确定广告效果 - Google Patents

Abstract

提供了用于确定广告效果的系统、方法和装置，包括计算机程序产品。在一些实现方式中，提供了一种方法。该方法包括识别多个用户事件，其中每个用户事件是被跟踪的在线活动或动作，并且识别与每个识别的用户事件相关联的信息，该信息包括每个用户事件的时间和位置中的至少一个。该方法还包括将每个用户事件与广告相关联，包括将每个广告与相关联的用户事件的时间和位置相关，并且使用来自所识别的多个用户事件的信息来确定广告效果。

Description

确定广告效果

技术领域

本公开涉及广告。

背景技术

为了吸引消费者，广告主提供各种形式的广告。广告是被设计为由例如特定消费者的用户整体或部分使用的信息片段。可以以电子形式来提供广告。例如，可以将在线广告提供为网页上的横幅广告。可以通过包括电视或广播的媒体源(例如，商业广告)和压缩盘或数字多媒体盘中的内容一起以及通过电子公告板(例如，在电梯、机场、和公路边)来提供离线电子广告。

可以将广播包括于例如网页或者电视或无线电广播的媒介中称为闪现(impression)。广告系统可以例如响应于输入到搜索引擎的用户搜索查询中的一个或多个关键字，来将广告包括在网页中。如果用户选择呈现的广告(例如，通过“点击”广告)，则用户通常被带到与该广告相关联的另一位置，例如，到另一特定的网页。

发明内容

提供了用于确定广告效果的系统、方法、和装置，包括计算机程序产品。总得说来，一方面，提供了一种方法。该方法包括识别多个用户事件，其中每个用户事件是被跟踪的在线活动或动作，并且识别与每个识别的用户事件相关联的信息，该信息包括每个用户事件的时间和位置。该方法还包括将每个用户事件与广告相关联，包括将每个广告与相关联的用户事件的时间和位置相关，并且使用来自识别出的多个用户事件的信息来确定广告效果。

总得说来，另一方面，提供了一种方法。该方法包括从在线用户事件收集数据，该用户事件数据包括每个用户事件的时间，其中每个用户事件是被跟踪的在线活动或动作，并且识别离线媒体中的广告。该方法还包括从已识别的广告收集广告数据，广告数据包括每个相应广告被呈现的相应时间，并且使用用户事件数据和广告数据来确定一个或多个广告的效果。

总得说来，一方面，提供了一种系统。该系统包括用于识别多个用户事件的装置，其中每个用户事件是被跟踪的在线活动或动作；以及用于识别与每个已识别的用户事件相关联的信息的装置，该信息包括每个用户事件的时间和位置。该系统还包括用于将每个用户事件与广告相关联的装置，包括将每个广告与相关联的用户事件的时间和位置相关；以及用于使用来自识别出的多个用户事件的信息来确定广告效果的装置。

可以实施在本说明中描述的主题的特定实施例来实现以下优点中的一个或多个。广告主可以在线和离线跟踪广告的效果。可以通过监视在线活动来推断离线广告的效果。可以作为位置和时间的函数来评估广告效果。可以通过对在局部区域营销广告活动进行测试并识别有效广告，然后能够将有效广告更加广泛地部署，从而减少广告费用。可以快速并不昂贵地产生广告效果的在线测试，并且因为其可以用机器可读形式来提供，所以可被轻易地操作并与其他测量相关。另外，广告主可以通过改进广告活动以定向到广告消息更有效的区域或时间，更有效地使用营销或广告资金。

在附图和以下说明书中阐述了在本说明中描述的主题的各方面的细节。主题的其他特征、方面和优点将从说明书、附图和权利要求书中变得明显。

附图说明

图1示出使用与在线活动相关联的位置和时间来确定广告效果的示例过程。

图2示出用于确定离线广告的效果的示例过程。

图3示出在线活动随时间的示例显示。

图4示出可以实施图1和2所示过程的硬件体系结构的示例。

图5是示例广告系统的框图。

在不同附图中，相同的附图标号和标记指示相同的元素。

具体实施方式

图1示出使用与在线用户活动相关联的包括时间或位置的数据来确定广告效果的示例过程100。为了简便，将参照执行过程100的计算机系统(例如，广告系统)来描述该过程。

系统识别用户事件(步骤102)。如在本说明中使用的，术语用户事件指由系统所跟踪的任何在线活动或动作。在一些实现方式中，用户事件是从在计算机上或连接到诸如因特网的网络的其他设备之上的用户活动所导致的事件。

例如，用户事件可以是查询事件。查询事件是根据用户指定的搜索查询所请求(例如，通过搜索引擎)的搜索。用户可以使用浏览器应用来访问搜索引擎。在将一个或多个搜索词语提供到搜索域中作为搜索查询时，用户可以选择搜索按钮来请求根据该搜索查询的搜索。然后，搜索引擎将匹配的搜索结果呈现给用户(例如，用排序的结果列表)。搜索结果可以链接到目的网页。

用户事件可以是闪现事件。在一个实施例中，闪现事件是将特定广告包括在例如网页、电视或无线电广播、或视频的媒介中。例如，可以将一个或多个广告与搜索结果一起包括在网页中。另外，不同的内容提供者，例如，特定网页的提供者，可以将广告与网页的特定内容一起来提供。

在一些实现方式中，每个广告与一个或多个关键字相关联。当用户的搜索查询匹配于与广告相关联的一个或多个关键字时，则广告可以变得适合对用户呈现。在适合的广告集中，可以执行拍卖过程来选择特定的广告。也可以使用其他因素来确定呈现哪个广告。广告主可以指定其他人群或地理属性作为在选择用于呈现的给定广告中使用的因素。例如，广告主可以优先选择用户的特定位置或是一天中的时间用于做广告，由此定向广告呈现。

用户事件还可以是“点击”事件。点击事件是用户选择呈现的广告。例如，对于与搜索结果一起呈现的广告，用户可以通过使用其鼠标或其他输入设备在广告上点击来选择广告。在一些实现方式中，当用户选择广告时，浏览器将用户引向与选定的广告相关联的特定网页(例如，着陆(landing)页面)。

在一些实现方式中，点击事件可以包括其他形式的用户输入。为了简便，尽管这些活动可以涉及各种形式的用户输入，但也将它们称为点击事件。例如，在一些实现方式中，当用户选择广告时，可以产生电话呼叫或电子邮件。点击事件可以指用户响应于产生的电话呼叫或电子邮件所进行的一个或多个口头响应或按键按压.另外，点击事件也可以指包括鼠标悬停或用于与广告进行交互的其他输入的用户输入形式。

当识别出用户事件时，系统收集与该已识别的用户事件相关联的时间和位置标识符(步骤104)。可以根据用户动作来确定每个用户事件的时间。例如，可以将查询事件的时间定义为用户发起搜索(例如，通过点击“搜索”按钮)的时间。用于闪现事件的时间可以是将广告包括在例如网页的媒介中的时间，而点击事件的时间可以是用户选择广告(例如，通过点击广告)的时间。广告系统使用的广告日志可以记录广告被呈现给用户的时间，以及发生广告选择的时间(例如，用于在广告计费记录中使用)。其他场境信息也可以被记录。例如，如果用户在发生广告点击时正在浏览特定的内容片断，则该信息也可以被记录。

位置标识符是可以用于确定用户位置的数据。位置标识符可以是当用户访问例如网页的网络资源时，由用户的计算机或相关联的服务器(例如，因特网服务提供商(“ISP”))所提供的数据。例如，位置标识符可以是用户的网际协议(“IP”)地址。可以使用与到网络的用户连接相关联的其他位置标识符，例如，拨号接入号、或媒体接入控制(“MAC”)地址。

另外，位置标识符可以是用户提供的地理信息，例如，城市、邮政编码、或详细地址。例如，用户可以将信息提供给一个或多个内容提供者。用户可以将邮政编码提供给内容提供者例如以接收局部地区的内容。类似地，用户可以将信息提供给搜索引擎以接收更加合适的搜索结果。

系统使用位置标识符来确定用户位置(步骤106)。位置被确定的分辨力水平可以变化。例如，可以将IP地址映射到地理位置(例如，国家、城市、或服务提供者)。查找表可以使用区号和拨号接入号的前缀号码来识别位置。另外，可以将用户提供的地理信息，例如邮政编码，映射到特定的位置。该数据可以仅提供估计的用户位置。例如，拨号接入号提供了为用户提供访问的服务器(例如，拨号ISP)存在点的位置，而不是该用户的确切位置。

在2003年9月3日递交的美国专利申请No.10/654,265“Determiningand/or Using Location Information in an Ad System”(美国专利申请公开No.2005/0050097)中描述了识别用户位置的技术。

该系统将每个已识别的用户事件的时间和位置信息与一个或多个广告相关联(步骤108)。可以使用数据库来将每个广告与和该广告相关联的一个或多个用户事件相关。例如，对于每个查询事件，可以将查询关键字匹配于与这些关键字相关联的一个或多个广告。另外，可以将广告的每次闪现或点击的时间或位置(例如，估算的用户位置)记入日志。所以，每个广告可以与识别每个与广告相关联的用户事件的时间和位置的数据相关联。可以按用户事件的类型来分别考虑用户事件。替代地，可以对该广告聚集用户事件。

可以使用结果数据来产生报告(步骤110)。对于每个单独的广告，报告可以按时间、位置或两者来跟踪用户事件。报告所涵盖的时间段可以根据广告主的偏好或其他标准而变化。另外，报告可以根据用户事件的类型来分解用于广告的数据。所以，该数据可以用于例如提供在其中广告是更加有效的时间或位置的指示(例如，由于广告产生更多的查询、闪现、点击、电话呼叫、或其他用户事件)。

另外，广告主可以测试不同在线广告的效果。例如，广告主可以将不同的广告定向到特定位置，使得不同的广告将仅会在特定位置呈现。然后可以使用该数据来确定哪些位置具有较高的点击事件率，指示哪个呈现的广告更有效。替代地，广告主可以将不同的广告定向到同一位置。然后，报告可以揭示哪些广告对于该特定位置更加有效。然后，广告主可以在其他位置测试该广告，或者基于该局部地区的数据来进行全国性活动。另外，可以类似地测试其他广告变化，例如，广告文本、图像、颜色、和布局。

也可以使用与广告相关联的用户事件的时间来对效果进行测试。广告可能在一天中的特定时间具有更高频率的相关联用户事件。在所定向的人群(demographic)在线时，用户事件可能更高。例如，定向到青年消费者的广告在晚上可能具有更高数量的用户事件。基于广告可能更有效的时间，广告可以被定向到一天中的特定时间或时间段(例如，早上、晚上)。

广告主还可以测试在不同位置中设置的或在不同时间应用的不同关键字。特定关键字可以导致更多数量的相关联用户事件。例如，特定关键字更可能由用户在搜索查询中使用，由此导致更多数量的相关联用户事件。取样的不同关键字可以识别将导致高数量的闪现或点击事件的关键字的最优集。具体而言，点击事件的数量也可以用于识别指示用户对广告感兴趣的相关关键字。关键字的最优集可以随位置或时间而变化。

图2示出用于确定离线广告的效果的示例过程200。系统收集与在线用户事件相关联的数据(步骤202)。如上所述，除其他以外，用户事件可以包括查询事件、闪现事件和点击事件。对每个用户事件收集的数据可以包括用户事件发生的时间以及用户的位置。在一些实现方式中，如以上参照图1所描述的，收集的数据是为用户事件收集的时间和位置数据。

系统识别在离线媒体中的广告(步骤204)。离线媒体可以包括数种不同形式的广告。广告可以包括电视和无线电广播商业广告，以及电子公告牌或其他电子广告。可以在同一时间将离线媒体中的广告发送给多个个人，例如，作为到查看者和/或收听者的广播、线缆或卫星传输的一部分。

广告还可以可选地包括未被具体识别为广告的数据。例如，特定产品的广告主可以对在电视节目内置放该产品进行付费。所以，广告可以是在电视节目中提及或使用的产品(例如，一个角色驾驶了特定型号的汽车或饮用有商标的苏打水)。

可以由广告主通过购买在特定的离线媒体中置放特定商业广告或产品的商业广告播出时间来安排在离线媒体中示出的广告。广告主可以创建广告，或更经常地，可以雇佣第三方来创建或置放广告。广告主可以将离线广告定向到特定的市场，然而，广告主经常对于广告的时间具有很小的控制。例如，典型地，广告主通常不知道商业广告何时将在电视上被广播。

广播调度信息可以用于识别何时呈现离线媒体广告。然而，调度信息常常不准确、不完整、或仅在相当大的延迟之后才可用。在一些实现方式中，例如在电视中，(例如通过接收和分发电视信号的电视转发器(headend))所使用的用来广播广告的调度文件可以用于识别广告呈现。另外，转发器的关于哪些广告实际被广播的记录可以用于识别广告呈现。

在一些实现方式中，识别离线媒体中的广告包括对电视频道的闭路字幕流(closed caption stream)进行监视。例如，可以对每个闭路字幕流(或电视文字广播，例如，在欧洲)监视特定关键字的出现。在一些实现方式中，关键字是取自广告主的商业广告的一个或多个词(例如，产品名称或来自广告脚本的一个或多个短语)。当关键字被识别时，可以将时间戳与广告发生进行关联。在一些实现方式中，当在单个广告中不止一次地识别出关键字时，仅有广告的一次发生被识别。所以，在闭路字幕流中识别出的关键字可以用于识别特定商业广告被显示时的时间和频道。

另外，电视传输可以随位置或市场而变化。例如，在纽约可以显示不同于洛杉矶的节目。电视广告主可以基于指定电视市场区域“DMA”来进行广告购买，DMA表示诸如与共同电视传输相关联的城市或都市区的区域。例如，波士顿DMA不仅仅包括波士顿还包括多个周围城市。为了区分不同的位置，根据本发明的系统的一个实施例可以对按DMA而分解的电视传输进行监视。

也可以监视闭路字幕流来从电视媒体而不是商业广告(例如，在电视节目内)识别与广告主相关联的关键字。例如，可以通过在电视节目的闭路字幕流中的关键字(例如，在电视秀中提到的商标名称)来识别产品置放。

在其他实现方式中，可以使用其他形式的监视来识别广告。例如，电视传输可以包括除闭路字幕以外的其他形式的数据。例如，一些国家使用电视文字广播来提供与闭路字幕相类似的业务。而且，数字传输可以包括可以用于识别广告的元数据。另外，可以使用语音到文字应用，或者个体可以视觉监视节目以识别广告。而且，图像识别软件可以用于识别在电视传输中的广告。

还可以在包括基于地面和卫星无线电广播的无线电广播中识别广告。无线电广播广告公司，例如dMarc Broadcasting，可以通过位置以及时段(例如，上午行车高峰、中午、晚间、周末)来调度无线电广播广告。另外，跟踪用于无线电广播广告的实际广播时间。结果是，系统可以识别无线电广播站广播特定广告的时间和位置。

可以在广告发生时实时执行监视来识别广告。替代地，可以记录传输以供以后分析来识别广告。

系统存储用于每个已识别广告的数据，其可以包括时间和位置数据(步骤206)。所以，对于每个广告，数据集可以提供每个广告传输的时间和位置。另外，可以存储广告被识别的频道(或无线电广播站)和节目以提供附加信息。例如，特定的频道或节目定向特定的人群。

系统将收集的离线广告数据与和离线广告相关联的用户事件进行比较(步骤208)。该比较可以包括识别与已收集的广告数据同时的在用户事件的历史水平中的变化例如，该比较可以识别包含与广告相关联的特定关键字的查询事件在广告的离线呈现之后是否增长。该比较可以基于特定的地理位置。例如，可以将在特定DMA中的电视广告与在同一DMA内发生的多个对应用户事件进行比较。

可以基于该比较来评估离线媒体的效果(步骤210)。可以为广告主产生一个或多个报告，指示离线广告何时被呈现以及在线用户事件的对应水平。例如，如果在离线媒体中的广告呈现，例如电视商业广告，引发了用户事件增长超过历史水平，则这样的增长可以指示广告是有效的。相反，如果离线媒体没有显著影响用户事件，则其可以揭示广告没有产生期望水平的用户兴趣。

在一些实现方式中，广告主可以测试在一个或多个局部地区的市场中的不同离线广告活动，以确定广告效果。通过使用与测试广告的呈现相关联的用户活动，可以确定离线广告的效果。另外，广告主可以识别一个广告在一个位置是否比在另一位置更加有效，由此选择特定于位置的广告以最大化整体广告效果。

也可以关于在离线呈现和在线用户事件之间的时间来对广告效果进行评估。呈现之后不久的用户事件可以指示高水平的用户兴趣。以后的用户事件也可以指示由于用户在以后回忆起来，故广告很突出。然而，随着距离用户事件的时间增加，将用户事件与特定的离线广告相关联会变得更加困难。

也可以获得广告效果的附加信息。例如，在电视广告中，在商业广告时段中，通常商业广告与数个其他商业广告一起被播放。将商业广告置放在时段内(例如，开头、中间、最末)会影响广告效果。系统可以记录下已识别广告在商业广告时段中的位置。可以基于与不同位置上的广告相关联的用户事件来评估在商业广告时段中不同位置的效果。

图3示出与特定广告相关联的时间上的在线活动的示例显示300。显示300将用户活动绘制在垂直轴302上作为多个用户事件。水平轴304显示由显示300所覆盖的时间范围。在该示例中，水平轴覆盖0到24的一天中的小时。

历史线306说明在相同时间段期间，与广告相关联的用户事件的历史水平(例如，用户事件在24小时时间段内的平均每天突破(breakdown))。多个数据点示出特定一天内的实际用户事件308(例如，将前一天的用户活动报告给广告主)。如显示300所示，除了数据点310之外，实际的用户事件与历史线306的历史水平一致。数据点310指示一天中特定时间上的用户事件308内的尖峰(spike)。如果数据点310所显示的用户事件内的尖峰与离线广告数据相关，则可以认为该离线广告在产生用户兴趣上是有效的。

其他显示可以用于表示与用户活动和离线广告数据相关的信息(例如，条形图、电子表格等)。另外，显示可以集中于特定的用户事件(例如，仅仅是查询事件)，以及地理位置和特定的时间范围(例如，芝加哥内的所有用户事件，或仅仅是芝加哥内的查询事件)。显示还可以包括不同形式的离线广告事件(例如，用于商业广告播出时间的数据点)，以进一步说明在离线广告和用户事件之间的关系。

在一些实现方式中，可以对广告主的多个广告进行评估。可以在例如一系列测试广告中，在广告之间做出比较。例如，柱状图可以显示对每个广告主的不同广告的用户事件的数目。然后，广告主可以基于哪个广告与较多的用户事件相关联来确定哪个广告更加有效。

在一些实现方式中，中央广告系统收集在线用户活动和离线广告数据。广告系统可以对收集的数据进行处理以确定广告效果，或可以将该数据直接提供给广告主。广告系统可以直接收集在线用户活动，但是从一个或多个第三方接收离线广告数据，第三方可以包括广告主自身。在替代实现方式中，广告系统将用户活动数据提供给诸如广告主的第三方，并且广告主将离线数据与用户活动进行比较以确定广告效果。

在一些实现方式中，广告主可以与一个或多个用户界面组件相交互以识别偏好，并接收广告效果结果。例如，广告主可以访问该广告主的账号，该账号包括一个或多个广告活动。可以对该广告主呈现多个菜单选择，用于指示效果数据的类型以及粒度水平。在一些实现方式中，广告主可以使用基于web的界面。

广告主可以基于时间和位置来提供请求详细报告的输入。结果是，广告主于是可以接收一个广告跨越多个位置和时间段(例如，以小时为基础的200个城市)上的效果结果。替代地，广告主可以规定特定的位置或时间，或两者。另外，在一些实现方式中，用户可以选择或规定粒度的度(例如，每天，每小时等)。

在另一示例中，广告主可以接收在广告活动期间，例如，当在特定市场中进行试验时(例如在特定城市进行的电视广告)，的部分结果。广告主可以接收用于那些目标城市的相对于时间的效果结果。

另外，广告主可以请求关于广告活动的附加信息(例如，在已经完成广告活动之后)。例如，如果广告主最初请求一般的效果结果，则广告主可以修改偏好来请求附加的细节(例如，在更加精细的细节水平上的效果结果，诸如对于特定城市和更狭小的时间段)。

在一些实现方式中，通过用户界面提供广告主偏好，但是单独地将效果报告发送给广告主(例如，硬拷贝)。然而，替代地，用户界面可以将效果结果提供给用户，包括诸如图3所示的活动显示。

图4示出可以实施图1和2所示的过程的硬件体系结构400的示例。在一些实现方式中，体系结构400包括：一个或多个处理器402(例如，双核Intel

Xeon

处理器)、广告库404、一个或多个网络接口406(例如，包括用于接收关于离线广告的信息的接口)、内容库409(例如，用于存储广告效果数据)、可选的管理计算机408和一个或多个计算机可读介质410(例如，RAM、ROM、SDRAM、硬盘、光盘、闪存、SAN等)。这些组件可以在一个或多个通信信道412(例如，以太网、企业服务总线、PCI、PCI-Express等)上交换通信和数据，通信信道412可以包括多种已知的网络设备(例如，路由器、集线器、网关、总线)，并利用软件(例如中间件)来便利在设备之间传递数据和控制信号。

术语“计算机可读介质”指参与将指令提供给处理器402来执行的任何介质，包括但不限于，非易失性介质(例如，光或磁盘)、易失性介质(例如，存储器)和传输介质。传输介质包括但不限于：同轴电缆、铜线和光纤。传输介质还可以采用声、光或射频波的形式。

计算机可读介质410进一步包括操作系统414(例如，Mac OS

server，Windows

NT server)、网络通信模块416和广告效果系统418。操作系统414可以是多用户、多处理、多任务、多线程、实时等。操作系统414执行基本任务，包括但不限于：识别来自管理计算机408的输入并对其提供输出；保持跟踪并管理在计算机可读介质410(例如存储器或存储设备)上的文件和目录；控制外围设备(例如库404、409)；并管理在一个或多个通信信道412上的业务。网络通信模块416包括用于建立并维持网络连接的各种组件(例如，用于实施诸如TCP/IP、HTTP等的通信协议的软件)。

计算机可读介质410包括广告效果系统418，其负责提供用于如参照图1-3所描述的确定在线和离线广告的效果的特征和功能。提供了网页服务器420用于来产生此处描述的用户界面(例如，用于将广告效果数据提供给广告主)。提供了计费系统422用于来对此处描述的付费方案(例如对广告服务进行付费)的计费进行处理。

体系结构400是用于评估广告效果的适合体系结构的一个示例。其他体系结构也是可能的，其包括更多或更少的组件。例如，广告库404和内容库409可以是相同的存储设备或分立的存储设备。体系结构400的组件可以位于同一装置或分布在数个装置之间。体系结构400可以在并行处理或对等基础结构中或可以在具有一个或多个处理器的单个设备上实施。广告效果系统418可以包括多个软件组件或其可以是单一代码主体。可以将广告效果系统418的一些或全部功能作为服务通过网络提供给内容提供者、广告主、和用户。在这样的情况下，这些实体可能需要安装客户端应用。可以将广告效果系统418的一些或全部功能提供为搜索引擎的一部分，并且可以使用搜索引擎收集的信息来确定广告效果。

图5是示例广告系统500的框图。广告系统500包括广告主502、广告效果系统504、内容提供者506和用户508。这些实体每一个可以使用一个或多个通信信道(例如，无线、光、以太网)来耦接到网络510(例如，因特网)。广告系统500还包括离线媒体512。离线媒体512包括例如呈现在电视和无线电广播中的广告。可以由广告效果系统504来监视离线媒体512所呈现的广告。

在一些实现方式中，广告效果系统504是由广告网络服务提供者所运行的广告派发程序。网站所有者可以登记(enroll in)程序，来使得在其站点上能够进行文本、图像和视频广告。可以由广告效果系统104来管理这些广告，并且可以例如基于每次点击、每千次闪现、每次动作费用或其他基础来产生收入。广告效果系统504使用特定广告的呈现所导致的用户事件来确定广告的效果。在一些实现方式中，广告效果系统504利用搜索技术来基于网站内容、用户的地理位置、和诸如搜索结果或用户提供的关键字的其他因素来派发广告。广告效果系统504可以提供具有用户界面的在线环境，以便利在广告主502、内容提供者506和用户508之间的交互。广告效果系统504操作地耦接到存储设备514，用于存储与广告效果相关联的信息。

在本说明中描述的主题的各方面和在本说明描述的所有功能操作可以实现在数字电子电路中，或实现在计算机软件、固件、或硬件中，包括在本说明中公开的结构和他们的结构等价物，或者实现在他们中的一个或多个的组合中。在本说明中描述的主题可以被实现为一个或多个计算机程序产品，即用于由数据处理装置执行的或控制数据处理装置的操作的编码在计算机可读介质上的计算机程序指令的一个或多个模块。可以以与描述的示例模块不同的数目和组合将指令组织成模块。计算机可读介质可以是机器可读的存储设备、机器可读的存储基片、存储器设备、实现机器可读的传播信号的物质成分或他们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备以及机器，例如包括可编程处理器、计算机或多处理器或计算机。除硬件之外，所述装置可以包括创建用于正讨论的计算机程序的执行环境的代码，例如组成处理器固件、协议栈、数据库管理系统、操作系统或他们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电的、光学或电磁的信号，其被生成以编码用于传送到适当接收器装置的信息。

计算机程序(也称作程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，以及它可以以任何形式部署，包括作为独立程序或模块、组件、子程序或适合在计算环境中使用的其它单元。计算机程序没有必要对应于文件系统中的文件。程序可以被存储在保持其它程序或数据的文件(例如，存储在标记语言文档中的一个或多个脚本)的一部分、专用于正被讨论的程序的单个文件或者多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署为在一个计算机上或者在位于一个地点或跨多个地点分布并且由通信网络互连的多个计算机上执行。

在本说明中描述的过程和逻辑流可以由执行一个或多个计算机程序的一个或多个可编程处理器执行以通过操作输入数据和生成输出来执行功能。过程和逻辑流还可以通过专用的逻辑电路执行，以及装置还可以被实现为专用的逻辑电路，专用的逻辑电路例如FPGA(场可编程门阵列)或ASIC(专用集成电路)。

适合于计算机程序的执行的处理器包括例如通用和专用的微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的主要元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还包括用于存储数据的一个或多个海量储存设备，例如磁盘、磁光盘或光盘，或可操作地耦接到所述一个或多个海量储存设备以从其接收数据或者向其传输数据，或者其两者。然而，计算机不必具有这样的设备。另外，计算机可以嵌入到另一设备中，这里仅举出一些，例如移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒体和存储设备，例如包括：半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或活动盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用的逻辑电路补充，或并入专用的逻辑电路。

为了提供与用户的交互，在本说明中描述的主题可以在具有以下的计算机上实现：用于向用户显示信息的显示设备，例如，CRT(阴极射线管)或LCD(液晶显示)监视器，和用户通过其可以提供输入给计算机的键盘和指示设备，例如，鼠标或轨迹球。也可以使用其他类型的设备提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如视觉反馈、听觉反馈或触觉反馈；以及可以以任何形式，包括声学的、话语或触觉的输入，接收来自用户的输入。

在本说明中描述的主题的各个方面可以在包括例如数据服务器的后端组件、或包括例如应用服务器的中间件组件或包括例如具有图形用户界面或用户通过其可以与在本说明中描述的主题的实现交互的Web浏览器的客户端计算机的前端组件、或这样的后端、中间件、或前端组件中的一个或多个的任意组合的计算系统中实现。系统的组件可以通过任何形式或介质的数字数据通信互连，例如通信网络。通信网络的示例包括局域网(″LAN″)和广域网(″WAN″)，例如因特网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系依靠在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。

尽管本说明包括许多细节，但是这些细节不应该被看作是对所要求的范围的限定，而应该看作特定于主题的特定实现的特征的描述。在本说明中在分立实施例的上下文中描述的某些特征还可以在单个实施例的组合中实现。相反地，在单个实施例的上下文中描述的各种特征还可以分立地在多个实施例中实现或者在任何适当的子组合中实现。此外，虽然特征可能在上面被描述为在某些组合中起作用，甚至最初要求这样，但是在一些情况下来自所要求的组合的一个或多个特征可以从组合中删去并且所要求的组合可以指向子组合或者子组合的变体。

同样地，虽然在附图中以特定的顺序描述了操作，但是不应该理解为这样的操作需要以所示的特定顺序被执行或者以连续的顺序被执行、或者全部图示的操作要被执行以实现所希望的结果。在某些环境中，多任务和并行处理可以是有利的。此外，在如上所述实施例中的各种系统组件的分离不应该被理解为在所有实施例中都需要这样的分离，并且应当理解的是，描述的程序组件和系统通常可以被集成到一起成为单个软件产品或封装为多个软件产品。

已经依照特定实施例描述了本说明的主题，但是可以实现其他实施例，并且在所附权利要求的范围之内。例如，权利要求中叙述的动作可以以不同的顺序来执行并仍旧实现期望的结果。作为一个示例，在附图中描述的过程不必要求所示的特定顺序、或连续顺序来获得期望的结果。在某些实现方式中，多任务和并行处理可能是有益的。其它变体在所附权利要求的范围之内。

Claims (28)

1.一种方法，包括：

识别多个用户事件，其中每个用户事件是被跟踪的在线活动或动作；

识别与每个识别的用户事件相关联的信息，所述信息包括每个用户事件的时间和位置；

将每个用户事件与广告相关联，包括将每个广告与相关联的用户事件的时间和位置进行相关；以及

使用来自所识别的多个用户事件的信息来确定广告效果。

2.如权利要求1所述的方法，其中所述用户事件包括搜索查询。

3.如权利要求1所述的方法，其中所述用户事件包括广告闪现。

4.如权利要求1所述的方法，其中所述用户事件包括对呈现的广告的用户选择。

5.如权利要求1所述的方法，其中所述用户事件包括到电话的用户输入。

6.如权利要求1所述的方法，其中识别用户位置包括：

识别与所述用户相关联的网际协议地址；以及

确定与所述网际协议地址相关联的位置。

7.如权利要求1所述的方法，其中将用户事件与广告相关联包括识别匹配于搜索查询用户事件的与所述广告相关联的一个或多个关键字。

8.如权利要求1所述的方法，其中确定广告效果包括：将与用户事件相关联的广告呈现的频率与所述用户事件的位置进行比较。

9.如权利要求1所述的方法，其中确定广告效果包括：将与用户事件相关联的广告呈现的频率与所述用户事件的时间进行比较。

10.如权利要求1所述的方法，其中确定广告效果包括识别比其他关键字导致更多用户事件的关键字。

11.如权利要求1所述的方法，进一步包括：

产生识别特定广告的关于位置和时间的呈现的报告。

12.如权利要求1所述的方法，其中确定广告效果包括：对于特定位置，将广告闪现的发生与对所述广告的选择进行比较。

13.一种计算机程序产品，被编码在计算机可读介质上，可操作来使得数据处理装置执行包括以下的操作：

识别多个用户事件，其中每个用户事件是被跟踪的在线活动或动作；

识别与每个识别的用户事件相关联的信息，所述信息包括每个用户事件的时间和位置；

将每个用户事件与广告相关联，包括将每个广告与相关联的用户事件的时间和位置进行相关；以及

使用来自所识别的多个用户事件的信息来确定广告效果。

14.一种方法，包括：

从在线用户事件收集数据，所述用户事件数据包括每个用户事件的时间，其中每个用户事件是被跟踪的在线活动或动作；

接收识别离线媒体中的广告的广告数据，所述广告数据包括所述广告被呈现的相应时间；以及

使用所述用户事件数据和所述广告数据来确定一个或多个广告的效果。

15.如权利要求14所述的方法，其中从在线用户事件收集数据进一步包括识别所述用户的位置。

16.如权利要求14所述的方法，其中接收识别广告的广告数据包括监视电视传输。

17.如权利要求16所述的方法，其中监视电视传输包括监视闭路字幕流。

18.如权利要求17所述的方法，其中监视闭路字幕流包括识别在与广告相关联的所述闭路字幕流中的关键字。

19.如权利要求14所述的方法，其中接收识别广告的广告数据包括识别无线电广告数据。

20.如权利要求14所述的方法，其中接收广告数据进一步包括识别所述广告传输的位置。

21.如权利要求20所述的方法，其中所述位置是特定的指定电视市场区域。

22.如权利要求13所述的方法，其中所述确定广告的效果包括将广告的呈现时间与和所述广告相关联的用户事件进行比较。

23.如权利要求13所述的方法，其中确定广告的效果包括识别与所述广告的所述呈现相关的用户事件的增加。

24.如权利要求22所述的方法，其中所述用户事件在与所述广告的所述呈现相同的位置内。

25.如权利要求13所述的方法，其中确定广告的效果包括将与不同测试广告的呈现相关联的相关用户事件进行比较。

26.一种计算机程序产品，被编码在计算机可读介质上，可操作来使得数据处理装置执行包括以下的操作：

从在线用户事件收集数据，所述用户事件数据包括每个用户事件的时间，其中每个用户事件是被跟踪的在线活动或动作；

接收识别离线媒体中的广告的广告数据，所述广告数据包括所述广告被呈现的相应时间；以及

使用所述用户事件数据和所述广告数据来确定一个或多个广告的效果。

27.一种系统，包括：

用于识别多个用户事件的装置，其中每个用户事件是被跟踪的在线活动或动作；

用于识别与每个识别的用户事件相关联的信息的装置，所述信息包括每个用户事件的时间和位置；

用于将每个用户事件与广告相关联的装置，包括将每个广告与相关联的用户事件的时间和位置进行相关；以及

用于使用来自所识别的多个用户事件的信息来确定广告效果的装置。

28.一种系统，包括：

用于从在线用户事件收集数据的装置，所述用户事件数据包括每个用户事件的时间，其中每个用户事件是被跟踪的在线活动或动作；

用于识别离线媒体中的广告的装置；

用于从所识别的广告收集广告数据的装置，所述广告数据包括所述广告被呈现的时间；

用于将所述用户事件数据与所述广告数据进行比较的装置；以及

用于使用所述用户事件数据来确定一个或多个广告的效果的装置。

Images