CN106415646A - 生成通知的系统和方法 - Google Patents

Abstract

本公开涉及向在线内容平台的客户通知他们的竞争者。在一些实施方式中，能够访问客户的在线内容平台账户。能够将算法应用于账户简档的数据以确定客户的多个当前竞争者。能够从存储器元件检索在该确定之前存储的竞争者列表。能够将多个当前竞争者与检索到的竞争者列表进行比较，以基于该比较来识别新竞争者。可以向广告客户提供指示新竞争者的出现的通知。

Description

生成通知的系统和方法

相关申请的交叉引用

本申请要求2014年6月3日提交的题为“Systems and Methods of GeneratingNotifications(生成通知的系统和方法)”的美国专利申请No.14/294,909的权益和优先权，其公开内容通过引用整体并入本文。

背景技术

诸如公司、企业或广告主的实体可以具有执行各种活动的众多竞争者。竞争者可能随时间而变化，诸如在新公司成立并开始与所述实体竞争时会有变化。对于实体而言识别其竞争者或竞争者的活动可以是具有挑战性的。

发明内容

本公开的系统和方法涉及向客户通知他们的竞争者。该技术能够基于竞争者的活动以及将当前活动与历史活动进行比较来识别新的竞争者。在一些实施方式中，通过识别新竞争者并向客户通知新竞争者，客户可以调整他们的营销策略。在一个说明性实施方式中，广告客户在被通知他们的市场中的新竞争者时，可以在在线广告平台中改变他们的广告宣传运动，以例如增加他们的支出或预算、改变他们的选择准则、改变他们的广告内容等。

本公开的至少一个方面涉及一种向客户通知竞争者的方法。在一些实施方式中，该方法能够包括计算设备访问在线广告平台上的广告客户的账户简档。该方法能够包括计算设备将算法应用于账户简档以确定广告客户的多个当前竞争者。该方法能够包括计算设备从存储器元件检索在对多个当前竞争者的确定之前存储的竞争者列表。该方法能够包括计算设备将多个当前竞争者与检索到的竞争者列表进行比较。该方法能够包括计算设备基于比较来识别新竞争者。该方法能够包括计算设备向广告客户提供指示新竞争者的出现的通知。

在一些实施方式中，该方法能够包括计算设备将多个当前竞争者的第一活动与所检索的竞争者列表上的竞争者的第二活动进行比较。在一些实施方式中，在检索到的竞争者列表包括新竞争者的情况下，该方法能够包括计算设备基于第二活动大于第一活动来识别新竞争者。在一些实施方式中，该方法能够包括计算设备通过识别事件来测量活动。事件能够包括添加新的广告宣传运动、编辑现有广告宣传运动、去除现有广告宣传运动、扩展现有广告宣传运动的范围、缩小现有广告宣传运动的范围、赢得广告宣传运动竞价、以及输掉广告宣传运动竞价。在一些实施方式中，事件包括第一事件和第二事件，并且该方法能够包括将对第一事件应用第一权重；对第二事件应用第二权重；以及基于第一事件的第一权重和第二事件的第二权重来测量活动。

在一些实施方式中，该方法能够包括计算设备识别广告客户的广告市场。该方法能够包括计算设备基于新竞争者在广告市场中赢得竞价来确定该新竞争者。

在一些实施方式中，通知包括新竞争者的广告类别。在一些实施方式中，通知包括与显示该新竞争者的广告的计算设备相关联的人口统计数据信息。在一些实施方式中，该新竞争者可能不在所检索的竞争者列表上。

至少一个方面涉及一种用于向客户通知竞争者的系统。该系统能够包括数据处理系统。在一些实施方式中，该数据处理系统能够包括通知引擎、接口、存储器元件、和一个或多个处理器。存储器能够存储处理器可执行的指令。在一些实施方式中，处理器能够被配置为访问在线广告平台上的广告客户的账户简档。处理器能够被配置为将算法应用于账户简档以确定广告客户的多个当前竞争者。处理器能够被配置为检索对多个当前竞争者的所述确定之前存储的竞争者的列表。处理器能够被配置为将多个当前竞争者与检索到的竞争者列表进行比较。处理器能够被配置为基于该比较来识别新竞争者。处理器能够被配置为向广告客户提供指示新竞争者的出现的通知。

至少一个方面涉及一种计算机可读存储设备。该计算机可读存储设备能够包括指令以经由计算机网络提供信息。该指令能够包括指令以访问在线广告平台上的广告客户的账户简档。该指令能够包括指令以将算法应用于账户简档以确定广告客户的多个当前竞争者。该指令能够包括指令以检索在对多个当前竞争者的所述确定之前存储的竞争者的列表。该指令能够包括指令以将多个当前竞争者与检索到的竞争者列表进行比较的。该指令能够包括指令以基于该比较来识别新竞争者。指令能够包括指令以向广告客户提供指示新竞争者的出现的通知。

下面详细讨论这些和其他方面以及实施方式。前述信息和以下具体实施方式包括各个方面和实施方式的说明性示例，并且提供用于理解所要求保护的方面和实施方式的性质和特性的概述或框架。附图提供了对各种方面和实施方式的说明和进一步理解，并且被包含在本说明书中并构成本说明书的一部分。

附图说明

附图不意图按比例绘制。各个附图中相似的附图标记和名称指示相似的元件。出于清楚的目的，每个附图中可以不对每个组件都进行标记。在附图中：

图1是经由计算机网络提供通知的系统的一个实施方式的图示。

图2是用于经由计算机网络提供通知的向量距离函数的一个实施方式的图示。

图3是用于经由计算机网络提供通知的向量距离函数的一个实施方式的图示。

图4是经由计算机网络提供通知的方法的一个实施方式的图示。

图5是示出根据一个实施方式的、可以被采用以实现本文所描述的系统和方法的各个元素的计算机系统的总体架构的框图。

具体实施方式

以下是用于向在线广告客户自动通知新竞争者和变得更重要的竞争者的方法、装置、和系统的实施方式以及与其相关的各个概念的更详细描述。以上介绍的以及下面更详细讨论的各个概念可以以多种方式中的任何一种来实现，因为所描述的概念不限于任何特定的实现的方式。主要出于说明的目的来提供具体的实施方式和应用的示例。

本公开的系统、方法和装置向客户提供通知。该通知可以标识客户的新竞争者或竞争者的活动的变化(例如，竞争者可以变得更活跃或不那么活跃，进入不同的市场，改变他们的营销战略或战术，在触及(reach)最终用户上变得更成功或不太么成功等)。所述通知能够在包括例如在线广告平台、社交媒体平台、在线视频流送平台、在线新闻聚合器平台、社交网络平台、或者其他在线平台的各种不同平台中识别竞争者的类型(同时掩蔽竞争者身份)，在所述平台中，竞争者通常可能与客户竞争市场份额、闪现、点击、转化、或访问。在一个说明性实施方式中，数据处理系统能够周期性地检查新竞争者，其可以包括(1)过去没有与客户竞争的新的广告实体，或(2)在线广告平台中过去就活跃但变得更加活跃的现有广告实体。然后，数据处理系统可以识别竞争者并向客户通知该竞争者，从而保持向客户更新市场上的变化。此外，数据处理系统能够通知客户与所识别的竞争者相关联的重要事件，诸如顶级竞争者对其的广告宣传运动作出导致多出20％意义的闪现的改变。

数据处理系统能够在来自客户的最小输入或没有客户输入的情况下自动检测竞争者并检测客户的新竞争者。例如，在一些实施方式中，数据处理系统能够根据客户的简档或客户的活动来动态地确定广告类别。然后，数据处理系统能够基于所确定的广告类别来搜索竞争者。因此，在一些实施方式中，数据处理系统能够识别竞争者而无需客户识别广告类别。

“在线广告主”或“互联网广告主”指代使用互联网向消费者递送促销营销消息的企业(通常由域名、网址、URL、或智能手机应用表示)。为了提高广告效率，在线广告主期望在潜在客户很可能访问的在线空间上显示在线广告。因此，将类似消费者群体定为目标的在线广告主很可能会相互竞争相同的在线空间。因此，这样的在线广告主属于相同的“广告类别”并且是“广告竞争者”。

在一些实施方式中，能够为广告客户识别特定广告平台中的一些竞争者或所有竞争者。当这样的识别过程在一段时间之后重复时，对潜在竞争者的列表的比较能够帮助确定他们中的哪些是新的。

然而，在一些实施方式中，仅识别限定数目的竞争者(也被称为“顶级竞争者”)能够更有效。这样的限定数目能够是任意地或统计地来预先确定的。替选地，能够建立用以过滤潜在竞争者的列表的阈值或准则以获得顶级竞争者。

如果广告主参与同广告客户对于特定在线空间的竞价，则数据处理系统能够将该广告主识别为该客户的竞争者，所述在线空间例如：在特定位置处的关键字、短语、词项、实体、垂直元(vertical)、类别等。此外，如果广告主出价高于该客户并赢得竞价，则数据处理系统可以确定该广告主是竞争者。

数据处理系统能够操纵关于广告客户的数据以确定竞争者。在一些实施方式中，数据处理系统在多维空间上对广告平台的广告客户进行绘图。使用该多维空间，数据处理系统能够确定将客户的最近的邻居确定为客户的最可能的竞争者。换言之，数据处理系统能够使用这些维度来生成距离矩阵，以测量广告客户之间的“市场相似度”。

在一个说明性实施方式中，数据处理系统能够对诸如点击、成本、闪现、转换等的度量应用一个或多个功能、技术、过程、或算法，以识别与客户相似的竞争者或实体。该技术能够包括向量距离函数，诸如EXTENDED_JACCARD、DOT_PRODUCT、SUM_OF_MIN、OVERLAP、WEIGHTED_JACCARD和TWO_HOP_PAGERANK。在一个说明性实施方式中，数据处理系统能够使用以下函数来确定这些向量距离函数：

等式1：DOT_PRODUCT

等式2：SUM_OF_MIN

等式3：EXTENDED_JACCARD:

等式4：WEIGHTED_JACCARD:

等式5：OVERLAP

等式6：TWO_HOP_PAGERANK:

在一些实施方式中，C_h(m)指代客户的广告宣传运动在市场m上获得的点击数目。在一些实施方式中，C_h(m)指代在市场m中的客户的广告宣传运动的成本。在一些实施方式中，M指代在考虑中的总市场集合。在一些实施方式中，C_m表示不仅是所考虑的两个竞争者的、市场m中所有竞争者的点击总数目(或成本)。类似地，C_d(m)指代与潜在竞争者的域相关联的成本或点击的数目。

在测量广告客户之间的相似度时，数据处理系统能够对向量距离函数应用权重。权重能够基于向量距离函数的有效性或向量距离函数的重要性。向量距离函数在识别竞争者中的有效性能够基于实验、优化算法来确定，或者能够是预定的。在一个说明性实施方式中，当测量广告客户之间的相似度时，与其它三个向量距离函数相比，数据处理系统能够对向量距离函数“TWO_HOP_PAGERANK”、“SUM_OF_MIN”和“DOT-PRODUCT”更高或更重地加权。

数据处理系统能够被配置为周期性地识别客户的竞争者。然后，能够将他们存储并与先前的竞争者列表进行比较。当列表因为向其添加了新竞争者(或竞争者被替换)而改变时，则能够生成通知并将其显示给客户。

在一些实施方式中，数据处理系统可以基于最近事件来向客户通知现有竞争者，所述最近事件诸如：例如现有竞争者添加新的宣传运动、编辑现有宣传运动(例如，改变竞价、改变用户界面)、去除现有宣传运动、或者扩展现有宣传运动(例如，到新的关键字或人口统计数据)。事件还可以包括诸如竞争者赢得特定向量(搜索词项/人口统计数据/web位置/地理位置)中的更多(或大多数)闪现的被动动作。

在一些实施方式中，能够聚合与竞争者相关联的事件，以确定该竞争者是否已经变得更活跃或不太活跃(例如，相对于诸如活动阈值的阈值而更活跃或不太活跃)。在一个说明性实施方式中，增量的竞价增长能够被组合成单个事件，使得实际竞价差量(delta)被表示以替代最近的竞价。

能够基于事件的重要性或基于它们表示的时间段来组合事件。例如，数据处理系统能够组合增量的竞价事件以生成针对时间段的报告或通知(例如，向已经有预定时间段——诸如1周、2周、3周等没有在其广告账户上或者察看竞争报告的客户提供单个通知或报告)。在一些实施方式中，客户可以预设时间段，而在其他实施方式中，数据处理系统可以基于事件的数目来生成针对时间段的通知(例如，对于每10个事件或20个事件等提供通知)。在一些实施方式中，对于客户的通知能够在例如它们具有相同的事件、类别、用户、或其组合时来被聚合。

数据处理系统能够进一步被配置为测量特定事件的重要性。在一些实施方式中，能够基于相对于竞价或向量的阈值(相对或绝对阈值)来确定事件的重要性。在一个说明性实施方式中，如果事件生成多出一定百分比意义的闪现或者其在竞价价格上具有某百分比的增加，则该事件能够被识别为是重要的。替选地，能够相对于当前客户来测量竞价。即，当竞价超过当前客户的特定向量中的竞价或者广告主在特定向量中得到比用户更多的闪现时，能够将事件视为是关键的。

数据处理系统能够提供用于在广告客户的计算设备上呈现的通知。该通知能够被显示在计算设备的显示设备上或与计算设备耦合。数据处理系统能够经由网络将通知推送到计算设备，或者计算设备能够从数据处理系统拉取通知。在一些实施方式中，数据处理系统能够周期性地经由网络向计算设备提供或传送通知。

该通知可以包括关于新竞争者的能够有助于广告客户调整其广告策略的相关信息。在一些实施方式中，通知可以掩蔽新竞争者的身份(例如，公司或域名)或新竞争者的广告策略(例如，在在线流送视频平台或社交媒体平台等中购买或竞价的视频剪辑或购买或竞价的广告关键字)。

例如，通知能够包括新竞争者的广告类别或定为目标的人口统计数据。广告类别能够基于广告的分类，并且类别不包括由于隐私、监管限制或合同限制而可能不适于显示的特定广告的信息。例如，如果作为新供应者的新竞争者购买广告关键字“寿司”，则相关广告类别能够是亚洲食品或餐饮。因此，示出亚洲食物或餐饮的通知将为广告客户提供有用信息。

作为另一示例，新竞争者可能已经进行购买以在线视频流式传输(streamlining)平台中的某些视频剪辑或在社交网络平台中的网页上放置广告。即使视频或页面的特定标识未被包括在通知中，视频或页面的某些归类以及对该视频或页面的访问者的汇总统计对客户也能够是有价值的。

因此，即使数据处理系统对新竞争者的身份和特定广告内容进行掩蔽或匿名化，客户也可能能够领会新竞争者正在采取的相关广告方向，或者新竞争者是否试图触及不同群体或位置的人。此外，并且在一些实施方式中，数据处理系统可以隐藏或不提供实际竞价值。

本文公开的特征可以在智能电视模块(或连接的电视模块、混合电视模块等)上实现，该模块可以包括处理模块，其被配置为将互联网连接性与更传统的电视节目源(例如，经由电缆、卫星、空中下载(over-the-air)、或其他信号而接收)整合。智能电视模块可以被物理地并入电视机中，或者可以包括诸如机顶盒、蓝光或其他数字媒体播放器、游戏控制台、酒店电视系统、和其他配套设备的单独设备。智能电视模块可以被配置为允许查看者搜索和找到在web上、在本地电缆电视频道上、在卫星电视频道上、或者被存储在本地硬盘驱动器上的视频、电影、照片和其他内容。机顶盒(STB)或机顶单元(STU)可以包括信息仪器设备，其可以包含调谐器并连接到电视机和外部信号源，将信号转换成内容，然后该内容被显示在电视屏幕或其他显示设备上。智能电视模块可以被配置为提供包括多个不同应用的图标的主画面或顶层画面，所述应用诸如web浏览器和多个流媒体服务、连接的电缆或卫星媒体源、其他web“信道”等。智能电视模块可以进一步被配置为向用户提供电子节目指南。智能电视模块的配套应用可以在移动计算设备上可操作以向用户提供关于可用程序的附加信息，以允许用户控制智能电视模块等。在替选实施方式中，该特征可以实现在膝上型计算机或其他个人计算机、智能电话、其他移动电话、手持式计算机、平板PC、或其他计算设备上。

图1图示了用于经由诸如网络105的计算机网络选择内容的系统100的一个实施方式。系统100及其组件——诸如数据处理系统120可以包括硬件元件，诸如一个或多个处理器、逻辑设备、或电路。网络105能够包括诸如互联网、局域网、广域网、地铁网络、数据网络、或者其它区域网络、内联网、卫星网络、以上的组合的计算机网络，以及诸如语音或数据移动电话网络的其它通信网络。网络105能够被用于访问诸如网页、网站、域名、或统一资源定位符的信息资源，其能够被显示在至少一个设备110上，诸如膝上型计算机、台式计算机、平板计算机、个人数字助理、智能电话、移动计算设备、移动电信设备、可穿戴计算设备、或便携式计算机的。在一个实施方式中，经由网络105，设备110的用户能够访问由至少一个内容发布者115(例如，网站运营商)提供的网页。在该实施方式中，设备110的web浏览器能够访问内容发布者115的web服务器以检索用于在设备110的监视器上显示的网页。内容发布者115通常包括操作网页的实体。在一个实施方式中，内容发布者115包括与网络105进行通信的至少一个网页服务器以使该网页对设备110可用。

虽然图1示出了在设备110、数据处理系统120、内容提供者125、和内容发布者115之间的网络105，但是设备110、内容发布者115、内容提供者125和数据处理系统120可以在相同网络105上。网络105能够是：诸如公司内联网、城域网(MAN)的局域网(LAN)，或者诸如互联网或万维网的广域网(WAN)。在一些实施方式中，在设备110与数据处理系统120、内容提供者125、和内容发布者115之间存在多个网络105。在这些实施方式中的一个中，网络105可以是公用网络、专用网络，或者可以包括公用网络和专用网络的组合。

网络105可以是任何类型或形式的网络，并且可以包括以下中的任何一个：点对点网络、广播网络、广域网、局域网、电信网络、数据通信网络、计算机网络、ATM(异步传输模式)网络、SONET(同步光纤网络)网络、SDH(同步数字体系)网络、无线网络和有线(wireline)网络。在一些实施方式中，网络105可以包括无线链路，诸如红外信道或卫星频带。网络105的拓扑结构可以包括总线形、星形、或环形网络拓扑结构。网络可以包括使用被用于在移动设备间进行通信的任何一个或多个协议的移动电话网络，所述协议包括高级移动电话协议(“AMPS”)、时分多址(“TDMA”)、码分多址(“CDMA”)、全球移动通信系统(“GSM”)、通用分组无线电业务(“GPRS”)或通用移动电信系统(“UMTS”)。在一些实施方式中，可以经由不同协议来传送不同类型的数据。在其他实施方式中，可以经由不同的协议来传送相同类型的数据。

系统100能够包括至少一个数据处理系统120。数据处理系统120能够包括至少一个逻辑设备，诸如计算设备，其具有处理器以经由网络105与设备110、内容发布者115和、至少一个内容提供者125进行通信。数据处理系统120能够包括至少一个服务器。在一个实施方式中，数据处理系统120能够包括位于至少一个数据中心中的多个服务器。在一些实施方式中，数据处理系统120可以包括多个逻辑地分组的服务器并且促进分布式计算技术。在这些实施方式中的一个中，服务器的逻辑群组可以被称为服务器群或机器群。在这些实施方式中的另一个中，服务器可以在地理上分散。在其他实施方式中，机器群可以作为单个实体来被管理。在其他实施方式中，机器群包括多个机器群。每个机器群内的服务器能够是异构的——一个或多个服务器或机器能够根据一种类型的操作系统平台操作。

在一个实施方式中，机器群中的服务器可以连同相关联的存储系统一起被存储在高密度机架系统中，并且位于企业数据中心中。在此实施方式中，以这种方式合并服务器可以通过在本地化的高性能网络上定位服务器和高性能存储系统来提高系统可管理性、数据安全性、系统的物理安全性、以及系统效能。集中服务器和存储系统并将其与高级系统管理工具耦合允许更有效地使用服务器资源。

数据处理系统120、内容提供者125、内容发布者115、和设备110可以在任何类型的客户端或服务器上或者任何类型和形式的计算设备上部署或执行，所述计算设备诸如：计算机、能够在任何类型和形式的网络上进行通信并执行本文描述的操作的网络设备或仪器。

数据处理系统能够包括例如在线广告服务器、社交媒体服务器、在线视频流送系统、在线新闻聚合系统、社交网络系统、或者其他在线平台，其中竞争者通常可能与客户竞争市场份额、闪现、点击、转化、或访问。在一个说明性实施方式中，数据处理系统120包括具有至少一个服务器的内容放置系统。数据处理系统120还能够包括至少一个接口130、至少一个竞争分析器135、至少一个事件评估器140、至少一个通知引擎145、和至少一个数据库150。在一个实施方式中，数据处理系统120能够包括机器学习模块，例如逻辑回归模块或决策树模块。接口130、竞争分析器135、事件评估器140、通知引擎145、和机器学习模块均能够包括至少一个处理单元或其他逻辑设备——诸如可编程逻辑阵列引擎或被配置为与数据库150进行通信的模块。接口130、竞争分析器135、事件评估器140、通知引擎145、和机器学习模块能够是单独的组件、单个组件、或数据处理系统120的一部分。

在一些实施方式中，数据处理系统120获得与多个设备110相关联的匿名计算机网络活动信息。设备110的用户能够肯定地授权数据处理系统120获得与用户设备110相对应的网络活动信息。在一个实施方式中，数据处理系统120能够提示设备110的用户以得到准许来获得一种或多种类型的网络活动信息，诸如地理位置信息。设备110的用户的身份能够保持匿名，并且设备110可以与唯一标识符(例如，cookie)相关联。

对于其中这里讨论的系统收集关于用户(包括例如，客户或竞争者)的个人信息或者可以利用个人信息的情境，可以向用户提供机会来控制程序或特征是否可以收集个人信息(例如，关于用户的社交网络、社交动作或活动、用户的偏好、或用户的当前位置的信息)，或者控制是否或如何从内容服务器接收可能与用户更相关的内容。另外，在存储或使用某些数据之前，可以以一种或多种方式处理该数据，使得在生成参数(例如，人口统计数据参数)时去除关于用户的某些信息。在一个实施方式中，可以对用户的身份进行处理，使得无法确定用户的识别信息，或者可以在获得位置信息的情况下将用户的地理位置一般化(诸如到城市、邮政编码、或州层级)，使得无法确定用户的特定位置。因此，用户可以控制内容服务器收集和使用关于用户的信息。

在一个实施方式中，数据处理系统120从内容提供者125接收内容或内容项，所述内容提供者125诸如客户、商业实体、在线零售商、企业、广告主、广告客户、竞争者、个体或想要经由计算机网络105提供用于在设备110上显示的内容的任何实体。内容或内容项可以包括：例如文本、字符、符号、图像、视频、音频、或多媒体内容。在一个实施方式中，内容项可以包括在线广告、文章、促销、优惠券、或产品描述。

在一个实施方式中，数据处理系统120解析包括内容组标识符的表以计算向商业实体标识符的映射。在一个实施方式中，数据处理系统120可以基于内容提供者125是否选择加入本文公开的系统和方法来过滤内容组标识符。然后，数据处理系统120利用商业实体ID来查询内容选择数据结构扩展表，以获得包含例如商业实体的商店位置的纬度和经度对的位置扩展。在一个实施方式中，数据处理系统能够在使用用于处理大型数据集合的库或编程的计算机群集上采用分布式计算。

在一些实施方式中，数据处理系统120包括被设计和构造为接收对于内容的请求的接口130。接口130可以被配置为经由网络105接收对于内容的请求。接口130能够在数据处理系统或网络105的一个或多个组件之间传达信息。接口130能够被配置为与在内容提供者设备125、内容发布者设备115、或设备110上执行的应用进行通信。在一些实施方式中，接口130可以被配置为经由应用程序接口(“API”)传达信息。在一些实施方式中，在移动设备上执行的应用可以经由被配置为与接口130进行通信的API与数据处理系统120进行通信。

在一些实施方式中，数据处理系统120被设计和构造为基于经由设备110输入的搜索查询来选择内容项(例如，广告)。数据处理系统120可以解析、分析、匹配、或以其他方式处理搜索查询的一个或多个搜索项以识别与该搜索查询相关联的一个或多个候选内容项。在说明性实施方式中，数据处理系统120可以接收包括词项“比萨饼(pizza)”的搜索查询。然后，数据处理系统120可以解析数据结构以识别与比萨饼相关的内容项，诸如比萨店的广告或优惠券。这些内容项可以由一个或多个内容提供者125提供。在一些实施方式中，数据处理系统120可以基于例如在线拍卖、广告分值、关键字分值、位置、或其他准则来选择一个或多个内容项以提供用于在设备上显示。在在线拍卖中，内容提供者125可以对关键字或其他内容选择准则(例如，位置、人口统计数据、主题等)进行竞价。竞价可以与内容项相关联。数据处理系统可以至少部分地基于与内容项相关联的竞价来选择内容项以用于显示(例如，在所有其他因素相同的情况下，具有最高竞价的内容项可以被选择以用于显示在设备110上)。在其他示例性实施方式中，搜索查询可以包括对于以下的查询：视频剪辑(例如，在线媒体流送系统中的视频剪辑)、新闻文章(例如，在线新闻聚合系统中的新闻文章)、或朋友(例如，社交网络系统中的朋友)。

数据处理系统120可以响应于从诸如设备110的计算设备接收对于内容的请求而向网页提供内容项以用于显示。在一些实施方式中，数据处理系统120经由在设备110上执行的应用来接收请求。在一些实施方式中，在移动设备(例如，智能电话或平板计算机)上执行的移动应用可以作出对于内容的请求。在一些实施方式中，网页可以响应于设备110的用户访问该网页而从数据处理系统120请求内容。在一些实施方式中，对于内容的请求可以用于在线视频流送平台、社交媒体平台、社交网络、计算机游戏、视频游戏、电子文档、网幅等。在一个说明性实施方式中，对于内容的请求可以用于待被插入视频剪辑、覆盖在视频剪辑上、显示在与视频剪辑相关联的弹出窗口中、或者以其他方式在视频剪辑之前、期间、或之后显示的内容项。在一些实施方式中，数据处理系统120可以经由搜索引擎并且响应于设备110的用户录入搜索查询而接收对于内容的请求。

在一个说明性实施方式中，数据处理系统120能够经由设备110接收对于“咖啡店”的搜索查询。该搜索查询可以被输入到经由设备110访问的搜索引擎中。数据处理系统120能够接收对于用于在设备110上显示的内容项的请求。数据处理系统120可以进一步接收与搜索查询相关的信息(例如，关键字、词项、主题)或搜索查询本身。在一些实施方式中，对于内容项的请求可以是对于被提供用于与搜索结果并排在设备上显示的内容项的请求。在一些实施方式中，对于内容项的请求可以是对于要在web发布者的网页上显示的内容项的请求。

在一些实施方式中，对于内容的请求包括能够促进内容选择的信息。在一些实施方式中，数据处理系统120可以从设备110请求信息以促进识别内容或选择内容。数据处理系统120可以响应于从设备110接收对于内容的请求而请求或获得信息。该信息可以包括关于在设备110上显示内容(例如，内容位大小或位置)或用以显示或以其它方式操纵该内容的设备110的可用资源的信息。

在一些实施方式中，接口130接收与输入到设备中的搜索查询相关联的信息。该信息可以包括关键字、词项、搜索查询的概念、或搜索查询本身。在一些实施方式中，接口130经由网络105接收与搜索查询相关的信息。

响应于对于来自内容发布者115(例如，搜索引擎提供者、网页操作者)的内容的请求，数据处理系统120提供内容项以用于与网页一起在设备110上显示(或其他呈现)。设备110的用户可以查看该内容项(例如，闪现)或者可以点击或选择该内容项(例如，点击)。在一个实施方式中，对内容项的兴趣的指示可以包括点击、选择、鼠标悬停、手指手势、摇动运动、语音命令、轻敲、或指示对内容项的兴趣的另一指示。在一些实施方式中，用户交互的指示可以包括用户使用内容项(例如，优惠券)在兑现位置处进行购买。

在一些实施方式中，数据处理系统120能够被设计和构造为向客户(例如，在线广告平台的广告客户，在线视频流送平台、社交媒体平台、社交网络、新闻聚合站点等的客户)提供关于他们的竞争者的通知。数据处理系统120可以包括被设计和构造为识别客户的竞争者的竞争分析器135。客户可以指代数据处理系统的用户，诸如在线广告主(例如，内容提供者125)。在一些实施方式中，客户可以指代可以与广告客户或内容提供者125相关联的数据处理系统120的第三方用户。竞争分析器135能够被配置为应用各种技术来识别客户的竞争者。竞争分析器135可以实时地、周期性地、或在请求时识别竞争者。在一些实施方式中，竞争分析器135可以响应于接收关于潜在竞争者的数据或响应于客户采取动作(或接收关于该动作的信息)来识别竞争者。在一个说明性实施方式中，竞争分析器135可以被配置为响应于客户添加、修改或去除广告宣传运动、改变与广告宣传运动相关联的内容选择准则(例如，添加/去除关键字、竞价金额、地理位置选择准则、人口统计数据选择准则等)来识别该客户的潜在竞争者。在一些实施方式中，竞争分析器135能够被配置为响应于确定客户的广告度量(诸如闪现率、点进率、转化率、每点击成本等)是次优的(例如，在一定时间段内减小或增加了阈值量)来识别客户的竞争者。

在一些实施方式中，竞争分析器135能够使用与客户(例如，内容提供者125)相关联的信息来识别竞争者。在一些实施方式中，竞争分析器135能够通过测量客户与潜在竞争者之间的向量距离来识别竞争者。向量的维度可以被称为“纳米市场(nano-market)”，其中每个维度可以表示诸如查询字符串、日、地理位置、或平台的信息(或一个或多个信息的组合)。可以使用诸如闪现、点击、成本等的度量来对市场中的每个广告主进行加权。然后，竞争分析器135可以应用一个或多个技术或向量函数来确定潜在竞争者和客户之间的距离。在一些实施方式中，竞争分析器135能够应用在等式1-6中标识的向量函数来确定向量距离。在等式1-6中，m指代纳米市场，诸如：搜索查询字符串、日、日内时间(例如，时间范围或上午、下午、傍晚、夜晚)、地理位置(例如，诸如纬度和经度的地理坐标)、地理区域(例如，国家、州、城市、城镇、县、地理区块(tile))、平台(例如，操作系统、移动操作系统、桌面操作系统)、设备类型(例如，移动设备、桌面设备、平板计算机、智能手机、移动电信设备、手表、智能手表、笔记本计算机)、web浏览器等。在等式1-6中，M指代考虑中的总纳米市场集合。等式1-6中使用的标识符h可以指代关于数据处理系统120为其识别竞争者的客户的信息。此外，在等式1-6中使用的标识符d可以指代与潜在竞争者相关联的域(例如，www_DOT_example_DOT_com)。

图2和图3分别提供了使用度量点击和成本的等式1-6的有效性的图形说明。关于已知竞争者信息来对等式1-6中的一个或多个进行绘图，以确定等式1-6是否识别出足够数目的竞争者。在该图示中，已知竞争者信息是从广告主提供的竞价以胜出(bid-to-beat)数据中获得的。广告主可以为广告宣传运动提供在某时间段期间击败域(例如，竞争者)的竞价金额。这些域表示广告主的已察觉竞争者。竞价金额可以是竞价金额的百分比增长或竞价金额的绝对增长。如果等式1-6中的一个或多个能够关于竞价以胜出数据来可靠地或者准确地识别足够数目的竞争者，则数据处理系统120能够使用等式1-6动态地并且自动地识别附加竞争者，而无需依靠广告主提供的数据。

图2图示了对于如下等式1-6中的每一个使用了点击的、作为竞争者列表大小的函数的查全率：SUM_OF_MIN 205、DOT_PRODUCT 210、OVERLAP 215、WEIGHTED_JACCARD 220、EXTENDED_JACCARD 225、和TWO_HOP_PAGE_RANK 230。y轴表示排名算法的查全率，该排名算法是经由广告主提供的竞价以胜出数据来识别的域的一部分，所述广告客户是使用等式1-6中的一个等式来在前k个竞争者中找出的。为了进行说明，如果竞价以胜出数据识别出竞争者foo.com和bar.com，并且等式1-6将竞争者排名为(1)rick.com、(2)bar.com、(3)springfield.com、(4)foo.com，则在1处的查全率为0％，在2处的查全率为50％，在3处的查全率为50％，并且在4处的查全率为100％(此外，在5处的查全率也被认为是100％)。对于图2所图示的等式1-6中的每一个，数据跨宣传运动来被聚合，对排序索引1...n取平均查全率以便比较算法。因此，如果数据处理系统120应用某算法来输出前N个竞争者，则估计这将输出经由广告主所提供的竞价以胜出数据来标识的竞争者中的平均X％。

如图2中所示，使用点击作为度量，TWO_HOP_PAGE_RANK 230、SUM_OF_MIN 205、和DOT_PRODUCT 210等式比其他三个等式表现更好，因为它们识别出更大百分比的竞争者(例如，具有更高的查全率值)。

如图3中所示，使用成本作为度量，SUM_OF_MIN 305和DOT_PRODUCT 310等式比OVERLAP 315、WEIGHTED_JACCARD 320和EXTENDED_JACCARD 325产生了更好的结果。然而，图3图示出使用成本作为度量可能没有产生与如图2所示的点击一样的强劲结果，因为所有等式1-6在点击作为度量的情况下表现得更好。因此，TWO_HOP_PAGE_RANK 230、SUM_OF_MIN205、和DOT_PRODUCT 210等式可以有效地识别客户或广告宣传运动将其视为他们想要超越的竞争者的竞争者域。

在一些实施方式中，竞争分析器135可以仅使用一个等式来识别竞争者(例如，等式2：SUM_OF_MIN)。在一些实施方式中，竞争分析器135可以使用多于一个等式来识别竞争者(例如，使用多个等式生成潜在竞争者的列表，并将竞争者识别为那些被识别为作为两个列表上的前N个竞争者的潜在竞争者)。在使用等式1-6中的一个或多个识别出竞争者后，竞争分析器135可以将数据存储在数据库150中，或者将所述数据提供给数据处理系统120的一个或多个模块或引擎。

在一些实施方式中，数据处理系统120包括被设计和构造为识别和评估与所识别的竞争者(例如，经由竞争分析器135识别的竞争者)相关联的事件的事件评估器140。事件评估器140可以检索由竞争分析器135存储在数据库150中的所识别的竞争者的列表，或者可以从竞争分析器135接收该信息。事件评估器140能够识别由这些所识别的竞争者或客户执行的动作以识别事件。在一个说明性实施方式中，动作可以指代数据处理系统120的用户经由数据处理的接口130来添加新的广告宣传运动，并且该事件可以指代用户对新的广告宣传运动的添加。事件能够与关于该事件的信息相关联，该信息诸如描述、时间戳、用户标识符(例如，诸如唯一匿名标识符的竞争者标识符)、地理位置等。事件可以包括：例如添加新广告宣传运动、编辑现有广告宣传运动(例如，改变竞价、改变用户界面、改变诸如关键字、短语、实体、人口统计数据、位置、设备类型等的内容选择准则)、去除现有的广告宣传运动、扩展现有广告宣传运动(添加新的关键字或人口统计数据)。事件可以包括：诸如竞争者赢得向量维度或纳米市场(搜索项、人口统计数据、web位置、地理位置等)中的更多(或最多)闪现的被动动作。

在一些实施方式中，数据库150能够存储事件数据，诸如在线广告平台的用户采取的动作或被动动作。事件评估器140能够访问存储这些事件的数据库150。在一些实施方式中，事件数据或动作可以由数据处理系统经由数据馈送(例如，流送数据、RSS数据馈送、动态实时数据馈送)接收。

在一些实施方式中，数据处理系统120基于动作来识别事件。在一些实施方式中，事件评估器140能够进一步被配置为(例如，经由事件聚合器)来聚合或组合所识别的事件。事件评估器140可以基于以下来组合事件：时间段(例如，落入预定或动态确定的时间段内的事件)、类别、竞争者标识符、事件类型、重要性、活动类型等。事件评估器140可以在事件可能过于粒状(granular)而不能单独地产生显著影响的情境下聚合或组合事件，但是事件作为总体可以是重要的或标示了重要的趋势或模式。在一个说明性实施方式中，事件评估器140可以将竞争者作出的增量的竞价增长组合成单个事件，使得组合的竞价增量倍表示以替代最近的递增竞价。在另一说明性实施方式中，事件评估器140可以针对已经有某时间段(例如，三周)没有访问他们的在线账户或者已经有某时间段没有以其他方式访问或查看他们的竞争者报告的用户(例如，在线广告客户)来聚合事件或报告。在这种情境下，事件聚合器可以组合增量竞价事件以表示最后三个增量竞价施加的变化，以替代仅合成最近的竞价变化，即使最后竞价变化独自就可能是重要的。

事件评估器140能够被设计和构造为确定所识别或聚合的事件的重要性。事件评估器140能够使用各种技术来测量事件。在一些实施方式中，事件评估器140可以通过基于竞价或向量函数来对事件与阈值(相对或绝对阈值)进行比较而确定事件的重要性。如果事件生成比阈值更有意义闪现(例如，更有意义闪现的百分比，诸如5％、10％、15％、20％、50％、75％、100％等)，或者该事件是在竞价价格上增加了阈值(例如，竞价价格的百分比增长或竞价价格的绝对增长)，则事件评估器140可以确定事件是重要的。在一个说明性实施方式中，如果事件导致多出5％意义的闪现(例如，闪现导致点击或转化，或者闪现被查看超过一定数目的秒或分钟)，则事件评估器140可以确定所识别的事件(例如，对内容选择准则的改变，诸如广告宣传运动的关键字的改变)是重要的。

在一些实施方式中，事件评估器140能够通过测量相对于广告客户的竞价来确定事件是否重要。当竞价超过广告客户在特定向量维度或纳米市场中的竞价，或潜在竞争者在特定向量中得到比客户更多的闪现时，则事件可以被视为是重要的。

在一些实施方式中，事件评估器140基于重要性来对事件进行加权。事件评估器140可以使用诸如逻辑回归分析或其他回归分析的机器学习机制来确定权重。事件评估器140可以使用逻辑回归模型来确定事件的类型(例如，添加新的广告宣传运动、编辑现有广告宣传运动、去除现有广告宣传运动、扩展现有广告宣传运动的范围、缩小现有广告宣传运动的范围、赢得宣传运动竞价或输掉宣传运动竞价)更显著或不太显着，并且相应地对那些事件进行加权。在一些实施方式中，权重可以基于事件的效果，例如提升竞争者的点进率、有意义闪现的数目、赢得竞价、转换率等的事件。在一个说明性实施方式中，如果竞争者扩展他们的广告宣传运动的范围并且达到多出5％意义的闪现(或指示重要事件的任何其他百分比)，则数据处理系统120可以确定事件是重要的并且提供通知。

数据处理系统120可以包括被设计和构造为生成并向用户设备(例如，使用设备110的内容提供者125或广告客户)提供通知的通知引擎145。通知引擎145能够基于新竞争者的到来或者来自现有广告类别中的现有竞争者的活动来生成通知。在一个说明性实施方式中，通知引擎145可以访问数据库150以检索存储在数据库150中的旧竞争者的列表。旧竞争者的列表可以指代先前识别的竞争者列表(例如，由数据处理系统性120在上一个报告周期、1天前、1周前、2周前、一个月前等生成的竞争者的列表)。在一些实施方式中，先前的竞争者列表可以指代在该列表被生成时被视为当前的竞争者列表并被用于提供通知的竞争者列表。已检索过先前的竞争者列表的通知引擎145能够将该旧竞争者列表与当前的、新生成的竞争者列表(例如，由竞争分析器135生成的竞争者列表)进行比较。通知引擎145能够对竞争者列表进行比较以识别任何的新竞争者。通知引擎145能够使用任何技术来识别新竞争者，包括例如去重技术、解析技术、比较技术等。因此，如果通知引擎145确定当前的竞争者列表上的竞争者不在检索到的旧竞争者列表上，则通知引擎145可以确定该竞争者是新竞争者，并且生成通知。该通知可以向客户指示存在新竞争者。通知还可以指示与该新竞争者相关联的信息，诸如类别、市场、指示何时(或基于什么数据)将该竞争者标识为是新竞争者等的时间戳。

在一些实施方式中，通知引擎145将旧竞争者列表上的竞争者的活动与新竞争者列表上的竞争者的活动进行比较。活动可以包括事件或动作。通知引擎145可以基于该比较来生成或提供通知。在一个说明性实施方式中，旧的、检索到的竞争者列表上的竞争者可能不活跃(例如，赢得很少的竞价、具有相对低数目的有意义闪现、具有恒定或无变化数目的闪现等)。然后，通知引擎145可以(例如，经由事件评估器)确定该相同竞争者现在具有相对较高的活动水平(例如，赢得更多竞价或具有更高数目的有意义的闪现)。因此，通知引擎145可以生成或向客户提供指示竞争者具有增加的活动水平的通知。该通知可以指示广告类别(例如，广告的类型，诸如视频广告、搜索广告、场境广告(contextual ad)、网幅广告、弹出广告、明显版面广告(above the fold ad))、广告市场(例如，大实体、中型实体、小实体、地理区域、商品类型、服务类型)、目标受众(例如，人口统计数据、地理区域)等。

在一些实施方式中，通知引擎145能够确定事件的重要性，并且然后基于该确定来生成或向客户提供通知。在一些实施方式中，通知引擎145从事件评估器140获得事件的重要性。

在一些实施方式中，通知引擎145能够基于所识别的新竞争者在客户的广告市场中赢得竞价来提供通知。数据处理系统120能够访问客户的账户简档以确定广告市场(例如，基于与客户的广告宣传运动相关联的内容选择准则、与账户简档或客户相关联的域、由客户提供的类别、客户的公司信息、或者由客户提供的指示广告市场的其他信息)。数据处理系统120能够进一步获得所识别的竞争者列表，并确定这些竞争者中的哪些竞争者处于客户的相同广告市场中。如果在客户的相同广告市场中所识别的新竞争者中的一个竞争者赢得广告市场中的竞价(或赢得预定的绝对阈值或相对阈值数目的竞价)，则通知引擎145可以响应于检测到赢得竞价而向客户提供新竞争者的指示。通知可以不包括标识该竞争者的信息，但是作为替代可以包括与该竞争者相关联的一般信息，诸如广告市场、竞争者的类别、触发该通知的事件的类型等。

在一些实施方式中，通知引擎145可以实时地(例如，在生成通知、识别新竞争者或竞争者的重要事件时)向内容提供者125推送通知。在一些实施方式中，通知引擎可以基于时间段(例如，周期性地、每天、每周、每两周、每月或某个其他时间段)来向内容提供者125提供通知。在一些实施方式中，通知引擎145能够被配置为响应于接收到对于通知的请求——诸如来自内容提供者125的对于通知的请求而向内容提供者125提供通知。

通知引擎145能够生成各种类型的通知。可以经由电子邮件、文本消息、SMS消息、经由在客户的计算设备(例如，内容提供者125)上执行的应用的通知、物理邮件(例如，每月或每季度报告)、音频通知来提供通知。在一些实施方式中，可以响应于客户登录到数据处理系统或经由web浏览器或其他应用访问他们的账户而提供通知。在一些实施方式中，通知引擎145能够生成包括关于竞争者的信息的报告。报告可以不包括关于竞争者的识别信息，但是作为替代可以包括关于竞争者的一般信息，诸如类别、竞争者的类型、垂直元等。在一些实施方式中，通知引擎145可以例如经由报告来指示竞争者是新竞争者(例如，基于将竞争者与旧的或先前的竞争者列表进行比较，其中新竞争者不在该列表上)。在一些实施方式中，通知引擎145可以指示竞争者是与重要事件相关联的旧竞争者(例如，增加的竞价金额、新的广告宣传运动等)。

在一些实施方式中，通知引擎145可以提供关于竞争者的附加信息，诸如与该竞争者相关联的事件信息。事件信息可以指示竞争者已经改变了他们的广告宣传运动或策略的方面。在一些实施方式中，信息可以指示与竞争者相关联的被动事件信息，诸如与该竞争者相关联的内容项的有意义闪现上的增加。

在一些实施方式中，通知引擎145可以以电子表格的形式生成报告，该电子表格以行的方式列出竞争者并且在相应的列中提供与该竞争者相关联的信息。在一些实施方式中，通知引擎145可以经由交互式图形用户界面——例如经由接口130来提供信息。交互式图形信息可以允许数据处理系统120的用户操纵显示、报告或信息，以促进改善他们的广告宣传运动。在一个说明性实施方式中，客户可以查看竞争者列表并请求关于一个或多个竞争者的附加信息。附加信息可以指示为什么数据处理系统120将竞争者识别为新竞争者(例如，与竞争者相关联的事件)。通过使用图形用户界面，客户可以采取动作来改变他们的广告策略或战术，以便改善他们的广告宣传运动或更好地与竞争者竞争。在一个说明性实施方式中，数据处理系统120可以指示新竞争者与具有增加的数目的有意义闪现的广告相关联。客户基于该信息可以选择增加他们与该竞争者在相同类别中的内容项的竞价金额。

在一些实施方式中，通知引擎145可以聚合一组通知。通知引擎145可以基于特性来聚合通知。通知引擎145可以基于事件的类型、类别、竞争者、客户、时间段、重要性、或其组合来聚合通知。

图4是经由计算机网络提供通知的方法的一个实施方式的图示。简要概述，在步骤405处，该方法包括访问在线广告平台上的客户的账户简档。在步骤410处，该方法包括将算法应用于该账户简档以确定客户的当前竞争者。在步骤415处，该方法包括检索在确定当前竞争者之前存储的竞争者列表。在步骤420处，该方法包括将当前竞争者与检索到的竞争者列表进行比较。在步骤425处，该方法包括基于该比较来识别新竞争者。在步骤430处，该方法包括相客户提供指示新竞争者的出现的通知。

包括步骤405-430的方法能够由在一个或多个计算设备、数据处理系统、或服务器上执行的一个或多个处理器执行。所述方法由如图1所示的数据处理系统120或图5中所示的计算系统500来执行。

更详细地，并且在一些实施方式中，数据处理系统在步骤405处访问客户的账户简档。在一些实施方式中，账户简档指代在线广告平台上的简档。在一些实施方式中，账户简档可以指代在线视频平台、社交媒体平台、在线新闻平台、新闻聚合器平台、在线社交网络平台、或者其中竞争者通常可以与客户竞争市场份额、闪现、点击、转化、或触及最终用户的任何其他在线平台上的客户简档。

账户信息可以包括关于能够促进识别客户的竞争者的关于客户的信息。该信息可以包括例如客户的广告市场、与客户的广告宣传运动相关联的内容选择准则(例如，关键字、实体、短语、人口统计数据、地理位置)、与客户相关联或由其提供的商品或服务的类型、市场、客户的业务信息(例如，利润、收入、或指示客户业务大小的其他度量)、客户域(例如，或与广告组或广告宣传运动相关联的网站、网页、主页、或着陆页)。

在一些实施方式中，该方法可以包括数据处理系统从数据库访问账户简档。在一些实施方式中，数据处理系统可以经由网络接收账户简档。在一些实施方式中，数据处理系统可以从客户请求来自该客户的信息，而不是访问账户简档。在一个说明性实施方式中，数据处理系统可以经由图形用户界面向用户提示能够促进识别客户的信息。这可以除了访问客户的账户信息之外或作为其替代来完成。在一些实施方式中，数据处理系统可以确定账户简档不包含足够的信息来识别竞争者，或者确定利用附加信息，能够使用等式1-6来更可靠地识别更多的竞争者。在一些实施方式中，数据处理系统可以从数据处理系统的数据库或可经由网络访问的其他数据库获得附加信息。因此，数据处理系统之后可以向客户提示该信息。

在步骤410处，数据处理系统(例如，经由竞争分析器)对与客户相关联的信息应用算法，以确定客户的当前竞争者。在一些实施方式中，数据处理系统应用一个或多个算法。数据处理系统能够将算法应用于账户简档以及从客户接收的、可以促进识别客户的任何附加信息。数据处理系统能够应用等式1-6中的一个或多个。在一些实施方式中，数据处理系统可以基于账户简档来确定应用一个或多个等式。在一些实施方式中，数据处理系统可以应用顶级排名算法，诸如SUM_OF_MIN向量距离等式。

在步骤415处，该方法包括数据处理系统检索在确定当前竞争者之前存储的竞争者列表。所检索的该先前的竞争者列表过去可能已经由数据处理系统使用例如等式1-6中的一个或多个而被生成。在一些实施方式中，先前的竞争者列表可能已经使用其他技术而被生成，诸如基于从客户获得的竞价以胜出信息的竞争者列表、或者竞争者的一些其他先前确定的列表。

在步骤420处，该方法包括数据处理系统(例如，经由通知引擎)将当前竞争者与检索到的竞争者列表进行比较。在一些实施方式中，数据处理系统能够将与当前竞争者相关联的活动信息和与所检索的竞争者列表相关联的活动信息进行比较。数据处理系统能够基于该比较来识别新竞争者，或者可以基于该比较来识别竞争者的变化的活动。在一个说明性实施方式中，数据处理系统能够基于该比较来确定当前列表上的竞争者也在检索到的列表上，但是具有活动上的增加(例如，客户在广告市场中赢得的竞价的增加的数目)。因此，数据处理系统可以确定该竞争者是新竞争者，即使该竞争者先前可能没有被视为是重要竞争者。

在步骤425处，该方法包括数据处理系统基于该比较来识别新竞争者。新竞争者可以是存在于当前竞争者列表中但不在所检索的旧竞争者列表上的竞争者。在一些实施方式中，所检索的旧竞争者列表可以包括在先前时间被识别为竞争者的所有竞争者，即使由于最小活动而当前未被认为是竞争者的那些实体。检索到的旧竞争者列表可以包括关于旧竞争者的活动水平的信息，其能够被用于促进识别不是更强竞争者的新竞争者或旧的弱竞争者。

在一些实施方式中，该方法包括数据处理系统识别与当前列表或检索到的列表上的竞争者相关联的事件(例如，经由事件评估器来识别)。数据处理系统能够聚合这些事件，评估这些事件、或以其他方式处理这些事件以生成通知。在一些实施方式中，数据处理系统能够连同通知一起包括关于事件的信息，或者响应于事件而生成通知。在一些实施方式中，数据处理系统能够将多个类型的事件聚合在一起，或对在某个时间段期间发生的事件进行聚合，并且将所聚合的信息提供给客户。

在步骤425处，数据处理系统(例如，经由通知引擎)能够基于识别新竞争者来生成通知。可以经由网络来提供该通知。可以经由文本消息、电子邮件、弹出窗口、提示、在客户的设备(例如，内容提供者设备)上执行的应用程序来提供该通知。在一些实施方式中，当客户登录到他们的账户或者以其他方式访问数据处理系统或通知引擎的图形用户界面时，能够向客户提供通知。

图5是根据说明性实施方式的计算系统500的框图。计算系统或计算设备500能够被用于实现系统100、内容提供者125、设备110、内容发布者115、数据处理系统120、接口130、事件评估器140、事件评估器140、通知引擎145、以及机器学习模块。计算系统500包括用于传输信息的总线505或其他通信组件，以及耦合到总线505以用于处理信息的处理器510或处理电路。计算系统500还能够包括耦合到总线以用于处理信息的一个或多个处理器510或处理电路。计算系统500还包括耦合到总线505以用于存储信息以及由处理器510执行的指令的主存储器515，诸如随机存取存储器(RAM)或其他动态存储设备。主存储器515还能够是用于在处理器510执行指令期间存储位置信息、临时变量、或其他中间信息。计算系统500可以进一步包括耦合到总线505的只读存储器(ROM)520或其他静态存储设备，以用于存储静态信息和用于处理器510的指令。诸如固态设备、磁盘或光盘的存储设备525耦合到总线505，以用于持久地存储信息和指令。

计算系统500可以经由总线505耦合到显示器535以用于向用户显示信息，所述显示器535诸如液晶显示器或有源矩阵显示器，。诸如包括字母数字和其它键的键盘的输入设备530可以耦合到总线505，以用于向处理器510传输信息和命令选择。在另一实施方式中，输入设备530具有触摸屏显示器535。输入设备530能够包括诸如鼠标、轨迹球、或光标方向键的光标控制，以用于向处理器510传输方向信息和命令选择以及用于控制显示器535上的光标移动的。

根据各种实施方式，本文所述的过程能够响应于处理器510执行包含在主存储器515中的指令的布置而由计算系统500实现。这样的指令能够从诸如存储设备525的另一计算机可读介质读取到主存储器515中。包含在主存储器515中的指令的布置的执行致使计算系统500执行本文描述的说明性过程。也可以采用多处理布置中的一个或多个处理器来执行包含在主存储器515中的指令。在替选实施方式中，硬连线电路可以被用于代替软件指令或与软件指令组合以实现说明性实施方式。因此，实施方式不限于硬件电路和软件的任何特定组合。

尽管在图5中已经描述了计算系统，本说明书中描述的主题和功能操作的实施方式能够被实现在其他类型的数字电子电路中或实现在计算机软件、固件、或硬件中，包括本说明书中公开的结构及其结构等同物、或者它们中的一个或多个的组合。

在本说明书中描述的主题和操作的实施方式可以以数字电子电路中、或者以计算机软件、固件、或硬件，包括本说明书中公开的结构及其结构等同物、或者它们的一个或更多的组合来实现。本说明书中描述的主题能够被实现为一个或多个计算机程序，即，计算机程序指令的一个或多个电路，其被编码在一个或多个计算机存储介质上，以用于由数据处理装置执行或控制数据处理装置的操作。替选地或另外地，程序指令能够被编码在人工生成的传播信号上，该信号例如机器生成的电、光、或电磁信号，其被生成以对信息进行编码以用于传输到合适的接收器设备以供数据处理设备执行。计算机存储介质能够是以下或被包括在其中：计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质能够是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质还能够是以下或者包括在以下中：一个或多个单独的组件或介质(例如，多个CD、盘或其他存储设备)中。

在本说明书中描述的操作能够通过数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据来执行。

词项“数据处理装置”或“计算设备”涵盖用于处理数据的各种装置、设备和机器，包括但不限于可编程处理器、计算机、片上系统、或前述中的多个、或者前述内容的组合。该装置能够包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还能够包括创建用于所讨论的计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或它们中的一个或多个的组合的代码。该装置和执行环境能够实现各种不同的计算模型基础设施，诸如web服务、分布式计算和网格计算基础架构。

计算机程序(也称为程序、软件、软件应用、脚本、或代码)能够以任何形式的编程语言编写，包括编译或解释语言、声明性或过程性语言，并且其能够以任何形式部署，包括作为独立程序或作为适于在计算环境中使用的电路、组件、子例程、对象、或其它单元。计算机程序可以但不必对应于文件系统中的文件。程序能够被存储在保持其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、专用于所讨论的程序的单个文件中或者多个协作文件(例如，存储一个或多个电路、子程序、或代码部分的文件)中。计算机程序能够被部署为在一个计算机上或在位于一个地点或跨多个地点分布并通过通信网络互连的多个计算机上执行。

适合于执行计算机程序的处理器包括但不限于通用和专用微处理器这两者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的必需元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘、或光盘，或者可操作地耦合以从其接收数据或向其传输数据，或者这两者。然而，计算机不需要具有这样的设备。此外，计算机可以被嵌入另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器、或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅举数例。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，包括但不限于半导体存储器设备，例如EPROM、EEPROM和闪存存储器设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器能够由专用逻辑电路补充或并入专用逻辑电路中。

为了提供与用户的交互，本说明书中描述的主题的实施方式能够被实现在具有以下的计算机上：用于向用户显示信息的显示设备——例如CRT(阴极射线管)或LCD(液晶显示器)监视器；以及键盘和指示设备，例如鼠标或轨迹球，用户通过它们能够向计算机提供输入。其他类型的设备也能够被用于提供与用户的交互；在大多数实现中，提供给用户的反馈能够是任何形式的感官反馈，例如视觉反馈、听觉反馈、或触觉反馈；并且能够接收来自用户的以任何形式的输入，包括声音、语音、或触觉输入。

尽管本说明书包含许多具体实施方式细节，但是这些细节不应被解释为对任何发明或可以要求保护的内容的范围的限制，而应当被解释为对特定发明的特定实施方式所特有的特征的描述。本说明书中在单独实施方式的场境下描述的某些特征也可以在单个实施方式中以组合方式实现。相反，在单个实施方式的场境下描述的各种特征也可以在多个实施方式中单独地或以任何合适的子组合来实现。此外，虽然可以在上面将特征描述为以某些组合起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中被删去，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或以连续顺序来执行这样的操作，或者需要执行所有所示的操作才能达到期望的结果。在某些情况下，多任务和并行处理可以是有利的。此外，上述实施方式中的各种系统组件的分离不应被理解为在所有实施方式中都需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或封装为多个软件产品。

对“或”的引用可以被解释为包含性的，使得使用“或”描述的任何术语可以指示以下中的任何一种：所描述的术语中的单个、多于一个、和全部。

如本文在说明书和权利要求书中所使用的，关于一个或多个元素的列表的短语“至少一个”应当被理解为意指选自元素列表中的元素中的任何一个或多个的至少一个元素，但不一定包括在元素列表内明确列出的每个元素中的至少一个，并且不排除元素列表中的元素的任何组合。除了短语“至少一个”所指代的元素列表中明确标识的元素以外，无论与明确标识的那些元素相关与否，该定义还允许元素可以可选地存在。因此，“A和B中的至少一个”(或等效地，“A或B中的至少一个”，或等效地，“A和/或B中的至少一个”)，在一个实施方式中可以指代：在没有B存在的情况下的、至少一个A——可选地包括多于一个A(并且可选地包括除B之外的元素)；在另一实施方式中指代：在没有A存在的情况下的、至少一个——选地包括多于一个B(并且可选地包括除A之外的元素)；在另一种实施方式中指代：至少一个A——可选地包括多于一个A，以及至少一个B——可选地包括多于一个B(并且可选地包括其他元素)；等。

因此，已经描述了本主题的特定实施方式。其他实施方式在所附权利要求书的范围内。在一些情况下，权利要求中所记载的动作可以以不同的顺序执行并且仍然达到期望的结果。另外，附图中描绘的过程不一定需要所示的特定顺序或连续顺序来达到期望的结果。在某些实施方式中，多任务和并行处理可以是有利的。

在附图、具体实施方式或任何权利要求中的技术特征后面跟有附图标记之处，仅出于增加附图、具体实施方式、和权利要求的可理解性的目的而包括该附图标记。因此，附图标记和它们的不存在都不对任何权利要求元素的范围具有任何限制作用。

本文所描述的系统和方法可以在不偏离其特性的情况下以其它特定形式来体现。例如，通知能够与能够生成和提供用于显示的通知的任何程序相关联。虽然本文提供的示例涉及广告程序，但是本文描述的系统和方法能够被应用于任何垂直元中的任何程序，其中由多个不同的通知生成系统生成的通知被提供以用于在单个用户界面上显示。前述实施方式是说明性的而非对所描述的系统和方法进行限制。因此，本文描述的系统和方法的范围由所附权利要求书而不是前述描述来指示，并且落入权利要求的等同物的意义和范围内的改变被涵盖在其中。

Claims (20)

1.一种向客户通知竞争者的方法，包括：

由计算设备访问在线广告平台上的广告客户的账户简档；

由所述计算设备将算法应用于所述账户简档，以确定所述广告客户的多个当前竞争者；

由所述计算设备从存储器元件检索在确定所述多个当前竞争者之前存储的竞争者列表；

由所述计算设备将所述多个当前竞争者与所检索的竞争者列表进行比较；

由所述计算设备基于所述比较来识别新竞争者；以及

由所述计算设备向所述广告客户提供指示所述新竞争者的出现的通知。

2.根据权利要求1所述的方法，其中，所述新竞争者不在所检索的竞争者列表上。

3.根据权利要求1所述的方法，还包括：

由所述计算设备将所述多个当前竞争者的第一活动与在所检索的竞争者列表上的竞争者的第二活动进行比较。

4.根据权利要求3所述的方法，其中，所检索的竞争者列表包括所述新竞争者，还包括：

基于所述第二活动大于所述第一活动来识别所述新竞争者。

5.根据权利要求4所述的方法，还包括：

通过识别事件来测量活动，所述事件包括以下中的至少一个：

添加新的广告宣传运动，

编辑现有广告宣传运动，

去除现有广告宣传运动，

扩展现有广告宣传运动的范围，

缩小现有广告宣传运动的范围，

赢得广告宣传运动竞价，以及

输掉广告宣传运动竞价。

6.根据权利要求5所述的方法，其中，所述事件包括第一事件和第二事件，还包括：

对所述第一事件应用第一权重；

对所述第二事件应用第二权重；以及

基于所述第一事件的所述第一权重和所述第二事件的所述第二权重来测量所述活动。

7.根据权利要求1所述的方法，还包括：

识别所述广告客户的广告市场；以及

基于所述新竞争者在所述广告市场中赢得竞价来确定所述新竞争者。

8.根据权利要求1所述的方法，其中，所述通知包括所述新竞争者的广告类别。

9.根据权利要求1所述的方法，其中，所述通知包括人口统计数据信息，所述人口统计数据信息与显示所述新竞争者的广告的计算设备相关联。

10.一种用于向客户通知竞争者的系统，包括：

数据处理系统，所述数据处理系统具有通知引擎、接口、存储处理器能够执行的指令的存储器元件、以及一个或多个处理器，所述一个或多个处理器被配置为：

访问在线广告平台上的广告客户的账户简档；

将算法应用于所述账户简档，以确定所述广告客户的多个当前竞争者；

检索在确定所述多个当前竞争者之前存储的竞争者列表；

将所述多个当前竞争者与所检索的竞争者列表进行比较；

基于所述比较来识别新竞争者；以及

向所述广告客户提供指示所述新竞争者的出现的通知。

11.根据权利要求10所述的系统，其中，所述新竞争者不在所检索的竞争者列表上。

12.根据权利要求10所述的系统，其中，所述处理器还被配置为：

将所述多个当前竞争者的第一活动与在所检索的竞争者列表上的竞争者的第二活动进行比较。

13.根据权利要求12所述的系统，其中，所检索的竞争者列表包括所述新竞争者，并且所述处理器还被配置为：

基于所述第二活动大于所述第一活动来识别所述新竞争者。

14.根据权利要求13所述的系统，其中，所述处理器还被配置为：

通过识别事件来测量活动，所述事件包括以下中的至少一个：

添加新的广告宣传运动，

编辑现有广告宣传运动，

去除现有广告宣传运动，

扩展现有广告宣传运动的范围，

缩小现有广告宣传运动的范围，

赢得广告宣传运动竞价，以及

输掉广告宣传运动竞价。

15.根据权利要求14所述的系统，其中，所述事件包括第一事件和第二事件，并且所述处理器还被配置为：

对所述第一事件应用第一权重；

对所述第二事件应用第二权重；以及

基于所述第一事件的所述第一权重和所述第二事件的所述第二权重来测量所述活动。

16.根据权利要求10所述的系统，其中，所述处理器还被配置为：

识别所述广告客户的广告市场；以及

基于所述新竞争者在所述广告市场中赢得竞价来确定所述新竞争者。

17.根据权利要求10所述的系统，其中，所述通知包括所述新竞争者的广告类别。

18.根据权利要求10所述的系统，其中，所述通知包括人口统计数据信息，所述人口统计数据信息与显示所述新竞争者的广告的计算设备相关联。

19.一种具有经由计算机网络提供信息的指令的计算机可读存储设备，所述指令包括指令用于：

访问在线广告平台上的广告客户的账户简档；

将算法应用于所述账户简档，以确定所述广告客户的多个当前竞争者；

检索在确定所述多个当前竞争者之前存储的竞争者列表；

将所述多个当前竞争者与所检索的竞争者列表进行比较；

基于所述比较来识别新竞争者；以及

向所述广告客户提供指示所述新竞争者的出现的通知。

20.根据权利要求19所述的计算机可读存储介质，其中，所述通知包括所述新竞争者的广告类别。