CN107889532A - 基于响应数据集对数据查询进行分类的系统和方法 - Google Patents

Abstract

用于基于响应数据集来确定数据查询中的分析关系的分析引擎包括用于存储数据的存储器和与存储器通信的处理器。处理器被配置为从查询仓库中识别用于分析的数据查询，检索与数据查询相关联的多个交互数据，其中交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互，其中查询结果包括多个链接，基于多个交互数据来识别对于多个链接中的每一个的链接选择计数，基于多个链接选择计数将数据查询分类为内容定向查询和数据创建者定向查询之一，并且基于分类的数据查询和多个链接选择计数生成查询特征分析。

Description

基于响应数据集对数据查询进行分类的系统和方法

相关申请的交叉引用

本申请要求于2015年9月4日提交的题为“Systems and Methods forClassifying Data Queries Based on Responsive Data Sets(基于响应数据集对数据查询进行分类的系统和方法)”的美国专利申请No.14/846,369的优先权，其内容通过引用全部包含在此。

背景技术

该描述涉及信息查询，更具体地，涉及基于响应数据集确定数据查询的特征的方法和系统。

可以使用诸如搜索查询的数据查询来识别至少一些在线信息(例如，网站)。系统可以将通常由查询词语组成的数据查询发送到查询引擎(诸如，搜索引擎)。然后，查询引擎可以向系统提供结果集(“查询结果”)。查询结果表示响应于数据查询的数据(诸如在线发布)。查询结果还包括经由诸如网络链接的链接访问这些数据(例如，包括在线发布)的方法。然后，系统可以经由网络链接访问诸如在线发布的数据。

在许多示例中，数据查询的结构和性质可以变化。在第一示例中，数据查询可以被设计为识别数据的特定创建者，诸如在线发布的发布者。查询系统可以用直接识别数据创建者的信息来发送数据查询。这种识别信息可以包括与数据创建者相关联的域名或通常与数据创建者相关联的描述性名称。在这样的示例中，查询系统通常将从查询结果中的特定数据创建者中选择数据。数据查询的该第一示例可以被识别为“创建者定向数据查询”。

或者，在第二示例中，数据查询可以被设计为识别可以包括在来自各种不同数据创建者的数据内的信息类别。查询系统可以用识别信息类别的信息来发送数据查询。例如，这种识别信息可以描述与多个数据创建者相关联的产品、服务或其他属性。数据查询的该第二示例可以被识别为“内容定向数据查询”。

查询引擎和相关系统可以受益于能够在两种所描述类型的数据查询之间进行区分。例如，与在数据查询寻求直接识别可能包括在来自各种数据创建者的数据内的信息类别时相反，确定数据查询何时寻求直接识别数据创建者可能是有益的。以这种方式区分数据查询可以允许改进查询结果的组织，并且在创建者定向数据查询的情况下，还可以提供查询引擎和数据创建者之间改进的交互。

发明内容

在一个方面，提供了一种用于基于响应数据集来确定数据查询中的分析关系的计算机实现的方法。该方法由耦合到存储器设备的分析引擎来实现。该方法包括从查询仓库中识别用于分析的数据查询，检索与数据查询相关联的多个交互数据，其中交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互，其中查询结果包括多个链接，基于多个交互数据来识别多个链接中的每一个的链接选择计数，基于多个链接选择计数，将数据查询分类为内容定向查询和数据创建者定向查询之一，并且基于分类的数据查询和多个链接选择计数生成查询特征分析。

在另一方面，提供了一种用于基于响应数据集确定数据查询中的分析关系的分析引擎。分析引擎包括用于存储数据的存储器和与存储器通信的处理器。处理器被配置为从查询仓库中识别用于分析的数据查询，检索与数据查询相关联的多个交互数据，其中交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互，其中查询结果包括多个链接，基于多个交互数据来识别多个链接中的每一个的链接选择计数，基于多个链接选择计数将数据查询分类为内容定向查询和数据创建者定向查询之一，并且基于分类的数据查询和多个链接选择计数生成查询特征分析。

在另一方面，提供一种具有在其上实施的处理器可执行指令的计算机可读存储设备，该处理器可执行指令用于基于响应数据集来确定数据查询中的分析关系。当由计算设备执行时，该处理器可执行指令使计算设备从查询仓库中识别用于分析的数据查询，检索与数据查询相关联的多个交互数据，其中交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互，其中查询结果包括多个链接，基于多个交互数据识别多个链接中的每一个的链接选择计数，基于多个链接选择计数将数据查询分类为内容定向查询和数据创建者定向查询之一，并且基于分类的数据查询和多个链接选择计数生成查询特征分析。

在另一方面，提供了一种基于响应数据集来确定数据查询中的分析关系的系统。系统包括用于从查询仓库中识别用于分析的数据查询的装置；用于检索与数据查询相关联的多个交互数据的装置，其中交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互，其中查询结果包括多个链接；用于基于多个交互数据来识别多个链接中的每一个的链接选择计数的装置；用于基于多个链接选择计数将数据查询分类为内容定向查询和数据创建者定向查询之一的装置；以及用于基于分类的数据查询和多个链接选择计数生成查询特征分析的装置。

在另一方面，提供了上述系统，其中系统还包括用于从数据创建者系统、查询引擎和查询分析系统中的至少一个检索多个交互数据的装置。

在另一方面，提供了上述系统，其中系统还包括用于基于多个交互数据来识别链接选择频率的装置，以及用于基于链接选择计数和链接选择频率对数据查询进行分类的装置。

在另一方面，提供了上述系统，其中系统还包括用于识别最小交互频率阈值的装置，以及用于基于满足最小交互频率阈值的交互数据的多个交互数据来识别链接选择计数的装置。

在另一方面，提供了上述系统，其中系统还包括用于识别最小链接选择计数阈值的装置，以及用于基于链接选择计数和最小链接选择计数阈值对数据查询进行分类的装置。

在另一方面，提供了上述系统，其中系统还包括用于向数据创建者系统提供基于分类的数据查询的业务模式分析的装置。

在另一方面，提供了上述系统，其中系统还包括用于基于分类的数据查询报告数据查询性能的装置。

在另一方面，提供了上述系统，其中系统还包括用于基于数据查询分类调整数据查询的查询结果的装置。

本文描述的特征、功能和优点可以在本公开的各种实施例中独立地实现，或者可以在其他实施例中组合，参考以下描述和附图可以看出其进一步的细节。

附图说明

图1是描绘示例在线数据环境的图；

图2是如图1的在线数据环境中所示的计算设备的框图，用于基于响应数据集来确定数据查询中的分析关系；

图3是在图1所示的在线数据环境中使用图2的计算设备基于响应数据集来确定数据查询中的分析关系的示例数据流程图；

图4是使用图1的在线数据环境基于响应数据集来确定数据查询中的分析关系的示例方法；和

图5是一个或多个示例计算设备的组件的图，用于使用可在图1所示的环境中使用的在线数据环境基于响应数据集来确定数据查询中的分析关系。

尽管各种实施例的具体特征可以在一些附图中而不是在其它附图中示出，但这仅是为了方便。任何附图的任何特征可以结合任何其他附图的任何特征被引用和/或声明。

具体实施方式

以下详细描述参考附图。不同附图中的相同附图标记可以识别相同或相似的元件。另外，以下详细描述并不旨在限制权利要求的范围。

本文描述的主题一般涉及信息查询，而且更具体地，涉及用于基于响应数据集来确定数据查询的特征的方法和系统。

如上所述，基于响应数据集确定数据查询中的分析关系可以允许改进查询结果的组织，并且在创建者定向数据查询的情况下，还可以提供查询引擎和数据创建者之间改进的交互。因此，确定数据查询中的分析关系的系统和方法——诸如下面描述的那些，可以是令人感兴趣的。

如本文所使用的，“分析关系”是指数据查询与由数据查询识别的数据之间的关系。在一些实施例中，分析关系包括但不限于在数据查询是否可以被分类为“内容定向查询”或“数据创建者定向查询”之间进行区分。或者，分析关系可以识别数据查询和数据之间的其他关系模式。

如本文所使用的，“数据查询”是指可用于识别数据的查询。在至少一些示例中，数据查询可以表示用于识别诸如在线发布内容的内容的词语(例如，搜索词语)。在许多示例中，数据查询可以由包括字母数字词语或单词的字母数字文本的一个或多个字符串来表示。在其他示例中，数据查询还可以包括语音、图像或视频查询。因此，数据查询可以表示用于识别包括在线资源的电子资源中的内容的搜索查询。

如本文所使用的，“查询结果”是指可以包括由查询处理引擎(诸如搜索引擎)产生的数据标识符和数据链接的响应结果。在许多示例中，查询结果相应地包括到相关联的数据的一个或多个链接，该链接可用于允许访问与一个或多个数据创建者相关联的数据。

如本文所使用的，“数据创建者”表示负责生成特定数据片段的实体。此外，在所描述的分析关系的场境中，“数据创建者定向查询”是指向查找与特定数据创建者相关联的数据的数据查询。在至少一些示例中，这样的数据创建者查询可以相应地包括与数据创建者相关的信息，该信息包括与数据创建者相关联的名称或变体。在其他示例中，这样的数据创建者查询可以包括识别与数据创建者相关联的辅助标识符的信息。在一些示例中，“数据创建者”也可以被称为发布者。

如本文所使用的，“内容定向查询”表示针对查找与特定数据创建者不相关联的数据的数据查询。相反，内容定向查询是仅识别具有与特定内容定向查询相关的内容的发布的数据查询，并且因此可以具有多个不同的数据创建者(或发布者)。

本文描述的系统利用与多个用户系统通信的分析引擎。在一些实施例中，分析引擎还与多个数据创建者系统(包括但不限于发布者系统)和多个查询引擎系统(包括但不限于搜索引擎系统)进行通信。分析引擎也可以与二级查询分析数据仓库进行通信。此外，如本文所述，所描述的系统通常可以彼此通信。因此，用户系统可以与数据创建者系统(包括发布者系统)和查询引擎系统(包括搜索引擎系统)交互。如下所述，本文描述的系统和方法被配置为基于响应数据集来确定数据查询中的分析关系，并且更具体地，基于与数据查询相关联的链接选择计数，将数据查询分类为内容定向查询和数据创建者定向查询之一。

在示例系统中，分析引擎分析用户系统和查询结果(由查询引擎基于数据查询来提供)之间的交互。如上文和下文所述，分析引擎识别用于分析的数据查询。此外，分析引擎还从几个系统之一接收交互数据。交互数据定义了在用户系统和查询结果之间进行的交互。在示例实施例中，交互数据定义了由查询结果中提供的用户系统web链接(或其他访问方法)所进行的选择。因此，分析引擎识别由用户系统对于每个数据查询的查询结果中提供的特定数据进行的选择。

此外，分析引擎分析交互数据以确定用户系统关于查询结果进行的交互的分布。例如，查询引擎可以识别用户系统对于由特定数据查询的查询结果中显示的每个数据创建者进行访问的不同链接(“链接选择计数”)的数量。此外，分析引擎可以识别对于用户系统访问的每个不同链接(“链接选择频率”)的选择频率。如上所述，“数据创建者定向查询”主要接收与用于特定数据创建者(或特定发布者)的链接的交互。或者，“内容定向数据查询”接收与各种数据创建者的交互(因为没有特定的数据创建者被定向)。基于链接选择计数和链接选择频率，分析引擎确定数据查询是“数据创建者定向搜索查询”还是“内容定向数据查询”。

在示例实施例中，可以由两个阈值来促进对数据查询是否为“数据创建者定向查询”或“内容定向数据查询”的确定。第一阈值(“最小交互频率阈值”)指定将包括在链接选择计数中的不同链接可能需要的链接选择的最小数量。由于一些交互可能被错误地进行，因此分析引擎可能仅将满足最小交互频率阈值时的链接选择识别为应用于链接选择计数。第二阈值(“最小链接选择计数阈值”)指定将被分类为“内容定向数据查询”的数据查询可能需要的不同链接选择的最小数量。

在一些示例中，可以基于特定数据创建者(或定向数据创建者)的名称的变化来创建数据查询。例如，数据创建者的域名可以是“EntityA.com”，但对于该数据创建者的定向数据查询可能包括替代形式和拼写错误，诸如“EntityAA.com”和“EntityA”。在至少一些示例中，分析引擎可以被配置为使用诸如自然语言处理或其他数据分类的技术来识别与定向数据创建者相关的这样的查询词语。此外，可以结合标准数据查询来分析对于这种变体和拼写错误形式的关联搜索查询。

在示例系统中，分析引擎计算设备被配置为：(i)从查询仓库中识别用于分析的数据查询，(ii)检索与数据查询相关联的多个交互数据，其中交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互，其中查询结果包括多个链接，(iii)基于多个交互数据识别多个链接中的每一个的链接选择计数，(iv)基于多个链接选择计数，将数据查询分类为内容定向查询和数据创建者定向查询之一，以及(v)基于分类数据查询和多个链接选择计数生成查询特征分析。

分析引擎被配置为从查询仓库中识别用于分析的数据查询(诸如搜索查询)。可以根据需要生成查询仓库，手动识别查询仓库，或者基于上述包括分析引擎、数据创建者系统和查询引擎系统的系统所捕获的数据查询的分析而先前生成查询仓库。在许多示例中，分析引擎可以同时处理多个数据查询，从而同时对多个数据查询进行分类。

分析引擎还被配置为检索与所识别的数据查询相关联的多个交互数据。交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互。查询结果包括多个链接，并且还可以包括基于链接的选择来描述数据可用性的描述信息。

如下所述，可以以各种格式提供交互数据。在第一示例中，由数据创建者或发布者提供交互数据。例如，数据创建者可以直接或通过中介收集用户系统访问其数据(例如访问与数据创建者相关联的网站)而生成的交互数据。在一个示例中，所收集的交互数据可以包括作为请求URL的一部分被传递以获取数据的信息。例如，查询引擎(例如，搜索引擎)可以产生具有多个数据链接的查询结果，使得每个数据链接包括识别(a)查询引擎和(b)数据查询本身的链接中的信息。因此，数据创建者可能能够识别由查询结果呈现的用户系统所做的链接选择。因此，通过聚合来自多个数据创建者的交互数据，分析引擎可以使用下面描述的方法对数据查询进行分类。

在第二示例中，由查询引擎(例如，搜索引擎)提供交互数据。如上所述，查询引擎被配置为响应于由用户系统生成的数据查询来提供查询结果。查询引擎还被配置为跟踪用户系统和查询结果之间的交互，该交互可用于识别数据查询的特征并对数据查询进行分类。查询引擎可以跟踪其接收到的数据查询，响应于每个数据查询提供的查询结果以及根据查询结果中呈现的链接所进行的选择。

在第三示例中，数据查询分析系统可以跟踪从查询引擎和数据创建者收集的交互数据，并将这样的交互数据提供给分析引擎。在其他示例中，所描述的系统的组合可以交互以将交互数据提供给分析引擎。

分析引擎还被配置为基于多个交互数据来识别对于多个链接中的每一个的链接选择计数。此步骤表示分析引擎识别对于在由查询引擎产生的查询结果中提供的每个链接所进行的链接选择的数量。如上所述，数据创建者定向查询导致仅对于与数据创建者相关联的链接进行链接选择。相比之下，内容定向数据查询导致将链接选择扩散在多个数据创建者提供的数据中。在至少一些示例中，当这样的多个链接都与相同的数据创建者相关联时，该步骤还可以涉及分析引擎将多个链接“解析”为一个链接。例如，一些数据创建者可以维护对特定数据的链接访问的多个实例，并且查询引擎可以产生访问多个实例中的每一个的多个链接。为了促进有效地对数据查询进行分类的目标，分析引擎可以将这样的多个链接视为一个链接，这是因为所有链接都与相同的数据创建者相关联。

下面的图示说明了数据查询、多个链接和链接选择计数之间的关系。考虑示例，其中当数据查询“XYZ”被输入至特定的查询引擎时产生以下结果：

数据查询：XYZ

链接1：XYZ.com

链接2：XYZZ.com

链接3：XYZA.com

链接4：XYZB.com

在该示例中，分析引擎识别“XYZ”以进行分析，并且检索用户系统和来自数据创建者、查询引擎和查询分析系统中的至少一个的查询结果之间的交互数据。交互数据可以包括链接选择(由数据创建者提供)，其包括作为嵌入信息的数据查询以及链接选择。在这样的示例中，处理交互数据以识别对于查询结果中提供的每个链接所做出的链接选择的数量。这种处理的交互数据当被聚合以包括多个用户系统和查询结果中提供的链接之间的交互时，可以如下表所示(表1)：

表1

在该示例中，分析引擎确定在对于数据查询“XYZ”的交互数据中识别的总点击的99％与数据创建者XYZ.com的选择相关联。如下所述，分析引擎确定数据查询“XYZ”是数据创建者定向查询。

考虑数据查询“car”的第二示例。当数据查询“car”被输入至特定查询引擎时产生以下结果：

数据查询：car

链接1：car.com

链接2：cars.com

链接3：automobile.com

链接4：vehicles.com

在该示例中，分析引擎识别“car”以进行分析，并且检索用户系统和来自数据创建者、查询引擎和查询分析系统中的至少一个的查询结果之间的交互数据。处理的交互数据当被聚合以包括多个用户系统和查询结果中提供的链接之间的交互时，可以如下表所示(表2)：

数据查询	查询结果链接标识符	链接点击	总点击的％
				car	car.com	35,000	35％
car	cars.com	30,000	30％
				car	automobile.com	25,000	25％
car	vehicle.com	10,000	10％

表2

在表2的示例中，分析引擎确定与数据查询“car”相关联的链接选择跨多个数据创建者分布。如下所述，分析引擎确定数据查询“car”不是数据创建者定向查询，而是内容定向查询。

分析引擎执行分类处理，以基于多个链接选择计数将数据查询分类为内容定向查询和数据创建者定向查询之一。在一个示例中，分析引擎应用分类算法，其至少包括因素(a)每个数据查询的不同链接选择的数量(“LINK_CNT”)，(b)每个数据查询的不同链接选择的数量的阈值(“LINK_CNT_TH”)，(c)链接选择频率(“LINK_FQ”)和(d)链接选择频率的阈值(“LINK_FQ_TH”)。在至少一个示例中，算法可以表示如下(算法1)：

如上所述，可以由分析引擎(单独地，或与查询引擎、数据创建者系统和任何其他系统结合地)处理描述用户系统与查询结果之间的交互的交互数据来确定链接选择的数量和链接选择频率。

分析引擎计算每个数据查询的不同链接选择的数量的阈值(在上文中表示为“LINK_CNT_TH”)。在一个示例中，可以通过使用与作为明确的内容定向的数据查询相似的标识符来识别数据创建者域的样本，计算该阈值。例如，查询“shoes”可以被识别为类似于“shoes.com”，查询“rental cars”可以被识别为类似于“rentalcars.com”，并且查询“restaurants”可以被识别为类似于“restaurants.com”。可以使用自然语言处理算法或手动输入来执行这样的识别。然后，分析引擎可以基于对与每个识别的词语相关联的查询结果的平均点击链接数量来确定阈值。使用上述示例，数据查询“shoes”具有选自查询结果的6个链接，另一个数据查询“restaurants”具有7个点击的链接，数据查询“rental cars”具有8个点击的链接。LINK_CNT_TH阈值将是所选链接的数量的平均值。因此，在该示例中，根据以下的平均值计算阈值：(6+7+8)/3＝7。在其他示例中，分析引擎还包括提供给LINK_CNT_TH的计算的查询结果的数量的因素。在附加示例中，可以将LINK_CNT_TH阈值计算为所选链接的数量的最小值。因此，在这种示例中，可以通过以下最小值来计算阈值：min(6,7,8)＝6。

分析引擎计算链接选择频率(“LINK_FQ_TH”)的阈值。在一个示例中，通过初始地识别具有与作为数据创建者定向的数据查询类似的标识符的数据创建者域的样本来确定该阈值。可以基于自然语言处理和/或手动输入来识别这样的数据创建者域。然后，分析引擎识别大多数识别的数据创建者域超出的链接选择频率。

如所描述的，分析引擎对数据查询进行分类。在示例实施例中，分析引擎可以将数据查询分类为数据创建者定向查询或内容定向查询。在其他实施例中，可以应用自然语言处理算法和其他数据分类算法来帮助对数据创建者定向查询的标识符是数据创建者名称的变体。例如，所描述的分类技术可以确定“ABC1”是识别“ABC.com”的数据查询，即使“1”的存在暗示其它。

分析引擎还可以提供对于每个分类的数据查询的链接选择(或“流量模式”)的分析。分析可以基本上对于每个报告的数据查询表示数据创建者的数据的选择频率的文本或图形描述。在示例实施例中，分析引擎向数据创建者提供该分析。在其他实施例中，分析引擎可以将该分析提供给任何合适的接收者系统。

分析引擎还可以对于每个分类的数据查询生成关于数据查询性能的报告。在一个示例中，分析引擎可以确定某些数据查询，尽管流行或与赞助有关，但可能对特定数据创建者或数据创建者产生相对有限的效用。

分析引擎还可以基于数据分类来调整使每个分类的数据查询的查询结果。在一个示例中，分析引擎可以确定选自查询结果的相对较少的链接。在这样的示例中，分析引擎可以指示查询引擎改变查询结果以为用户系统识别更相关的结果。

分析引擎还基于分类的数据查询和多个链接选择计数生成查询特征分析。在示例实施例中，查询特征分析表示对于每个数据查询的查询分类的指定以及与每个数据查询相关联的链接选择的统计表示和链接频率。更具体地，可以通过以下面所指示的方式(表3)提供用于特定查询的LINK_CNT、LINK_FQ和分类数据，来表示查询特征分析：

表3

因为链接频率对于每个链接选择是特定的，所以查询特征分析可以将链接频率表示为向量。因此，“每个选择的链接频率”可以包括与“链接选择计数”的值相同长度的向量。在一些示例中，查询特征分析还可以包括以反映在“每个选择的链接频率”的向量中的顺序与“链接选择计数”的每个链接相关联的链接。查询特征分析也可以由表示上述数据的任何图形描绘来表示。此外，可以应用查询特征分析来改进查询引擎的结果或促进与查询引擎相关联的改进的广告服务。

本文描述的方法和系统可以使用包括计算机软件、固件、硬件或其任何组合或子集的计算机编程或工程技术来实现，其中可以通过执行以下步骤之一来实现技术效果：(a)从查询仓库中识别用于分析的数据查询；(b)检索与数据查询相关联的多个交互数据，其中交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互，其中查询结果包括多个链接；(c)基于多个交互数据识别对于多个链接中的每一个的链接选择计数；(d)基于多个链接选择计数，将数据查询分类为内容定向查询和数据创建者定向查询之一；(e)基于分类的数据查询和多个链接选择计数生成查询特征分析；(f)从数据创建者系统、查询引擎和查询分析数据仓库中的至少一个检索多个交互数据；(g)基于多个交互数据识别链接选择频率；(h)基于链接选择计数和链接选择频率对数据查询进行分类；(i)识别最小交互频率阈值；(j)基于满足最小交互频率阈值的交互数据的多个交互数据识别链接选择计数；(k)识别最小链接选择计数阈值；(l)基于链接选择计数和最小链接选择计数阈值对数据查询进行分类；(m)向数据创建者系统提供基于分类的数据查询的流量模式分析；(n)基于分类的数据查询报告数据查询性能；和(o)基于数据查询分类来调整数据查询的查询结果。

本文描述的方法和系统的技术效果可以包括：(a)处理交互数据以识别由于缺乏对其他系统的这种聚合数据的访问而不可用的用户系统与查询结果的交互的特征；(b)提供查询分析以改进查询服务和查询结果生成；(c)提供查询分析以改善用户系统和查询引擎之间的交互；以及(d)以使得用户能够通过查询结果的增强组织来更有效地执行获取感兴趣的信息的任务的方式，改进在显示屏幕上的信息的呈现。

本文描述的是诸如分析引擎、多个用户系统、查询引擎和数据创建者服务器(或在线发布服务器)的计算机系统。如本文所述，所有这样的计算机系统包括处理器和存储器。然而，分析引擎被特别地配置为执行本文描述的步骤。

此外，本文所参考的计算机设备中的任何处理器也可以指一个或多个处理器，其中处理器可以在一个计算设备中或者并行起作用的多个计算设备中。此外，本文所涉及的计算机设备中的任何存储器也可以指一个或多个存储器，其中存储器可以在一个计算设备中或并行起作用的多个计算设备中。

如本文所使用的，处理器可以包括任何可编程系统，包括使用微控制器的系统、精简指令集电路(RISC)、专用集成电路(ASIC)、逻辑电路以及能够执行上述功能的任何其它电路或处理器。上述示例仅是示例，因此不旨在以任何方式限制词语“处理器”的定义和/或含义。

如本文所使用的，词语“数据库”可以指数据主体、关系数据库管理系统(RDBMS)或二者。如本文所使用的，数据库可以包括数据的任何集合，包括分层数据库、关系数据库、平面文件数据库、对象关系数据库、面向对象的数据库以及存储在计算机系统中的记录或数据的任何其他结构化集合。上述示例仅是示例，因此不旨在以任何方式限制词语数据库的定义和/或含义。RDBMS的示例包括但不限于Oracle数据库、MySQL、 DB2、 SQL Server、和PostgreSQL。然而，可以使用能够实现本文描述的系统和方法的任何数据库。(Oracle是加利福尼亚Redwood Shores的Oracle公司的注册商标；IBM是纽约Armonk的国际商业机器公司的注册商标；Microsoft是华盛顿Redmond的Microsoft公司的注册商标；Sybase是加利福尼亚Dublin的Sybase的注册商标。)

在一个实施例中，提供计算机程序，并且程序实施在计算机可读介质上。在示例实施例中，系统在单个计算机系统上执行，而不需要连接到服务器计算机。在另一个实施例中，系统在环境中运行(Windows是华盛顿Redmond的Microsoft公司的注册商标)。在另一个实施例中，该系统在大型机环境和服务器环境(UNIX是位于英国伯克郡的Reading的X/Open Company Limited的注册商标)中运行。该应用灵活，并且旨在运行在各种不同的环境中，而不会影响任何主要功能。在一些实施例中，系统包括分布在多个计算设备之间的多个组件。一个或多个组件可以是实施在计算机可读介质中的计算机可执行指令的形式。

如本文所使用的，单数列举并以单词“a”或“an”为前缀的要素或步骤应被理解为不排除多个要素或步骤，除非明确地列举了这样的排除。此外，本公开的“示例实施例”或“一个实施例”的引用不旨在被解释为排除还包括所述特征的附加实施例的存在。

如本文所使用的，词语“软件”和“固件”是可互换的，并且包括存储在存储器中用于由处理器执行的任何计算机程序，存储器包括RAM存储器、ROM存储器、EPROM存储器、EEPROM存储器和非易失性存储器RAM(NVRAM)存储器。上述存储器类型仅是示例，因此不限制可用于存储计算机程序的存储器的类型。

系统和处理不限于本文所述的特定实施例。此外，每个系统和每个处理的组件可以与本文所述的其它组件和处理独立地和单独地实现。每个组件和处理也可以与其他组装包和处理结合使用。

图1是描绘示例在线数据环境100的图。在线数据环境100可以在向包括移动计算设备的用户的用户提供在线信息的场境中组合在线发布使用。参考图1，示例环境100可以包括一个或多个广告商102(即，在线内容提供商)、一个或多个发布者104、内容管理系统(CMS)106和一个或多个用户接入设备108，其可以耦合到网络110。用户接入设备由用户150、152和154使用。图1中的元件102、104、106、108和110中的每一个可以使用硬件组件、软件组件或固件组件或这些组件的任何组合来实现或与其相关联。元件102、104、106、108和110可以例如使用通用服务器、软件处理和引擎和/或各种嵌入式系统来实现或与其相关联。元件102、104、106和110可以例如用作广告分布网络。虽然参考了分布广告，但是环境100可以适合于分布包括其他形式的赞助内容的其他形式的内容。CMS 106也可以被称为内容管理系统106。

广告商102可以包括与广告(“ads”)相关联的任何实体。广告或“ad”是指识别和促进(或以其他方式传达)一个或多个产品、服务、想法、消息、人物、组织或其他项目的任何形式的通信。广告不限于商业促销或其他通信。广告可以是公共服务公告或任何其他类型的通知，诸如以印刷或电子新闻或广播发布的公告。广告可能被称为赞助内容。

可以经由各种媒介和各种形式来传达广告。在一些示例中，可以通过诸如互联网的交互式媒体来传达广告，并且可以包括图形广告(例如，横幅广告)、文字广告、图像广告、音频广告、视频广告、组合任何这些组件中的多个之一的广告，或任何形式的电子递送广告。广告可以包括诸如嵌入式媒体、链接、元信息和/或机器可执行指令的嵌入式信息。还可以通过RSS(真正简单聚合)馈送、无线电频道、电视频道、打印媒体和其他媒体传达广告。

词语“ad”可以指单个“广告素材”和“广告组”。广告素材是指表示一个广告展示的任何实体。广告展示是指广告的任何形式的呈现，以便用户可看到/接收。在一些示例中，当广告显示在用户接入设备的显示设备上时，可能会发生广告展示。广告组例如是指表示共享共同特征的广告素材组的实体，诸如具有相同的广告选择和推荐准则。广告组可以用于创建广告活动。

广告商102可以提供(或以其他方式与之关联)与广告相关的产品和/或服务。广告商102可以包括例如零售商、批发商、仓库、制造商、经销商、医疗保健提供商、教育机构、金融机构、技术提供商、能源供应商、公用事业提供商或任何其他产品或服务提供商或经销商，或与其相关联。

广告商102可以直接或间接地生成和/或维护可能与广告商提供或以其他方式与广告商相关联的产品或服务相关的广告。广告商102可以包括或维护耦合到网络110的一个或多个数据处理系统112，诸如服务器或嵌入式系统。广告商102可以包括或维护在一个或多个数据处理系统上运行的一个或多个处理。

发布者104可以包括在环境100中生成、维护、提供、呈现和/或以其他方式处理内容的任何实体。“发布者”特别地包括内容的作者，其中作者可以是个人，或者，在出租作品的情况下，聘请负责创建在线内容的个人的业主。词语“内容”是指各种类型的基于Web的、基于软件应用的和/或以其他方式呈现的信息，包括文章、讨论帖子、报告、分析、财务报表、音乐、视频、图形、搜索结果、网页列表、信息馈送(例如，RSS馈送)、电视广播、无线电广播、印刷发布或可以使用诸如用户接入设备108之一的计算设备呈现给用户的任何其他形式的信息。

在一些实施方式中，发布者104可以包括具有互联网存在的内容提供商，诸如在线发布和新闻提供商(例如，在线报纸、在线杂志、电视网站等)、在线服务提供商(例如，金融服务提供商、健康服务提供商等)等。发布者104可以包括软件应用提供商、电视广播机构、无线电广播机构、卫星广播机构和其他内容提供商。一个或多个发布者104可以表示与CMS106相关联的内容网络。

发布者104可以从用户接入设备108(或环境100中的其他元件接收请求，并向请求设备提供或呈现内容。发布者可以经由各种媒介和以各种形式提供或呈现内容，包括基于网络和非网络的媒体和形式。发布者104可以生成和/或维护这样的内容和/或从其他网络资源检索内容。

除了内容之外，发布者104可以被配置为将检索到的内容与例如为与所检索的内容相关或相关联的广告的附加的内容集集成或组合以显示给用户150、152和154。如下面进一步讨论的，这些相关的广告可以从CMS106来提供，并且可以与内容组合以显示给用户150、152和154。在一些示例中，发布者104可以检索用于在特定用户接入设备上显示的内容108，然后将内容以及使得来自CMS106的一个或多个广告被显示给用户150、152或154的代码转发到用户接入设备108。如本文所使用的，用户接入设备108也可以被已知为客户端计算设备108。在其他示例中，发布者104可以检索内容，(例如，从CMS 106或广告商102)检索一个或多个相关广告，然后将广告和文章集成以形成用于显示给用户150、152或154的内容页面。

如上所述，发布者104中的一个或多个可以表示内容网络。在这种实现方式中，广告商102可以能够通过该内容网络向用户呈现广告。

发布者104可以包括或维护耦合到网络110的一个或多个数据处理系统114，诸如服务器或嵌入式系统。它们可以包括或维护在数据处理系统上运行的一个或多个处理。在一些示例中，发布者104可以包括用于存储内容和其他信息的一个或多个内容仓库124。

CMS 106管理广告并向广告商102、发布者104和用户接入设备108提供各种服务。CMS 106可以在广告仓库126中存储广告，并且通过环境100促进广告的分布或选择性提供和将广告推荐到用户接入设备108。在一些配置中，CMS 106可以包括或访问与管理在线内容和/或在线广告相关联的功能，特别是与向移动计算设备提供在线内容和/或在线广告相关联的功能。

CMS 106可以包括耦合到网络110的一个或多个数据处理系统116，诸如服务器或嵌入式系统。它还可以包括一个或多个处理，诸如服务器处理。在一些示例中，CMS 106可以包括广告服务系统120和一个或多个后端处理系统118。如本文所述，广告服务系统120还可以用作分析引擎计算设备，或者可以与分析引擎计算设备(未示出)通信。广告服务系统120可以包括一个或多个数据处理系统116，并且可以执行与向发布者或用户接入设备108递送广告相关联的功能。后端处理系统118可以包括一个或多个数据处理系统116，并且可以执行与识别待传递的相关广告、处理各种规则、执行过滤处理、生成报告、维护帐户和使用情况信息以及其他后端系统处理相关联的功能。CMS106可以使用后端处理系统118和广告服务系统120来选择性地通过发布者104向用户接入设备108推荐和提供来自广告商102的相关广告。

CMS 106可以包括或访问一个或多个抓取、索引和搜索模块(未示出)。这些模块可以浏览可访问资源(例如，万维网、发布者内容、数据馈送等)以识别、索引和存储信息。模块可以浏览信息并创建浏览信息的副本以供后续处理。模块还可以检查链接、验证代码、收获信息和/或执行其他维护或其他任务。

搜索模块可以从诸如万维网、发布者内容、内联网、新闻组、数据库和/或目录的各种资源搜索信息。搜索模块可以采用一个或多个已知的搜索或其他处理来搜索数据。在一些实施方式中，搜索模块可以对抓取的内容和/或从数据馈送接收到的内容进行索引以构建一个或多个搜索索引。搜索索引可以用于促进对与搜索查询相关的信息的快速检索。

CMS 106可以包括用于向广告商、发布者和用户接入设备提供各种特征的一个或多个接口或前端模块。例如，CMS 106可以提供一个或多个发布者前端接口(PFE)，用于允许发布者与CMS 106交互。CMS 106还可以提供一个或多个广告商前端接口(AFE)，用于允许广告商与CMS 106交互。在一些示例中，前端接口可以被配置为web应用，其向用户提供对CMS106中可用的特征的网络访问。

CMS 106向广告商102提供各种广告管理特征。CMS 106广告特征可以允许用户设置用户帐户，设置帐户偏好，创建广告，为广告选择关键字，为多个产品或者业务创建广告活动或举措，查看与帐户相关联的报告，分析成本和投资回报率，有选择地识别不同地区中的客户，有选择地向特定发布者推荐和提供广告，分析财务信息，分析广告效果，估算广告流量，访问关键字工具，为广告添加图形和动画等。

CMS 106可以允许广告商102创建广告并输入关键词或这些广告将出现的其他广告位置描述符。在一些示例中，当与这些广告相关联的关键词被包括在用户请求或请求的内容中时，CMS 106可向用户接入设备或发布者提供广告。CMS 106还可以允许广告商102为广告设置出价。出价可能表示广告商愿意为每个广告展示、用户点击广告或与广告的其他互动支付的最高金额。点击可以包括用户为选择广告所采取的任何操作。其他动作包括触觉反馈或陀螺仪反馈以生成点击。广告商102还可以选择货币和每月预算。

CMS 106还可以允许广告商102查看关于可由CMS 106维护的广告展示的信息。CMS106可以被配置为确定和维护与特定网站或关键词相关的广告展示数量。CMS 106还可以确定和维护点击广告的数量以及点击与展示的比率。

CMS 106还可以允许广告商102选择和/或创建对于广告的转换类型。当用户完成与给定广告相关的交易时，“转换”可能发生。当用户在被称为广告商的网页的广告上直接或隐含地(例如通过触觉或陀螺仪反馈)点击，并在离开该网页之前完成购买时，可以将转换定义为发生。在另一示例中，转换可以被定义为在预定时间(例如，七天)内向用户显示广告和在广告商的网页上进行相应购买。CMS 106可以将转换数据和其他信息存储在转换数据仓库136中。

CMS 106可以允许广告商102输入与广告相关联的描述信息。该信息可以用于协助发布者104确定要发布的广告。广告商102可以另外输入与所选择的转换类型相关联的成本/值，诸如对购买的每个产品或服务向发布者104赊欠五美元。

CMS 106可以向发布者104提供各种特征。当用户访问来自发布者104的内容时，CMS 106可以向用户接入设备108递送(与广告商102相关联的)广告。CMS 106可以被配置为递送与发布者网站、网站内容和发布者受众相关的广告。

在一些示例中，CMS 106可以抓取由发布者104提供的内容，并且基于所抓取的内容递送与发布者网站、网站内容和发布者受众相关的广告。CMS 106还可以基于用户信息和行为(诸如在搜索引擎网站上执行的特定搜索查询，如本文所描述的等等)或对待随后审查的广告的指定，来选择性地推荐和/或提供广告。CMS 106可以将用户相关信息存储在通用数据库146中。在一些示例中，CMS 106可以向发布者网站添加搜索服务，并且递送被配置为提供与由来自发布者网站的访问者的请求生成的搜索结果相关的适当和相关内容的广告。这些和其他方法的组合可以用于递送相关的广告。

CMS 106可以允许发布者104搜索并选择特定产品和服务以及相关联的广告，以与发布者104提供的内容一起显示。例如，发布者104可以搜索广告仓库126中的广告并选择用于与其内容一起显示的某些广告。

CMS 106可以被配置为选择性地将广告商102创建的广告直接地或通过发布者104推荐和提供给用户接入设备108。当用户请求搜索结果或从发布者104加载内容时，CMS 106可以选择性地向特定发布者104或者发送请求的用户接入设备108推荐和提供广告(如本文更详细地描述的)。

在一些实施方式中，CMS 106可以管理和处理环境100中的元件之中和之间的金融交易。例如，CMS 106可以对与发布者104相关联的帐户记入赊欠和对广告商102的帐户记入借方。这些和其他交易可以基于CMS 106接收和维护的转换数据、展示信息和/或点击率。

例如为用户接入设备108的“计算设备”可以包括能够从网络110接收信息的任何设备。用户接入设备108可以包括使用用于执行特定的任务的特定组件优化的通用计算组件和/或嵌入式系统。用户接入设备的示例包括个人计算机(例如台式计算机)、移动计算设备、蜂窝电话、智能电话、头戴式计算设备、媒体播放器/录像机、音乐播放器、游戏机、媒体中心、媒体播放器、电子平板电脑、个人数字助理(PDA)、电视系统、音频系统、无线电系统、可移动存储设备、导航系统、机顶盒、其他电子设备等。用户接入设备108还可以包括各种其他元件，诸如在各种机器上运行的处理。

网络110可以包括有助于诸如元件108、112、114和116的各种网络节点之中和之间的通信的任何元件或系统。网络110可以包括一个或多个电信网络，诸如计算机网络、电话或其他通信网络、互联网等。网络110可以包括包围广域(例如，WAN)或局域(例如，LAN)的共享、公共或专用数据网络。在一些实施方式中，网络110可以通过使用互联网协议(IP)的分组交换来促进数据交换。网络110可以促进有线和/或无线连接和通信。

仅出于解释的目的，参考图1所示的分立元件来描述本公开的某些方面。环境100中元件的数量、身份和排列不限于所示。例如，环境100可以包括任何数量的地理上分散的广告商102、发布者104和/或用户接入设备108，其可以是离散的、集成的模块或分布式系统。类似地，环境100不限于单个CMS 106，并且可以包括任何数量的集成或分布的CMS系统或元件。

此外，未示出的附加和/或不同元件可以被包含在图1所示的元件中或耦合到图1所示的元件，和/或某些所示的元件可能不存在。在一些示例中，由所示元件提供的功能可以由小于所示数量的部件或甚至由单个元件执行。所示的元件可以被实现为在单独的机器上运行的单个处理或者在单个机器上运行的单个处理。

CMS 106还可以被配置为直接或间接地提供查询引擎功能(或搜索引擎功能)，其可以使用户能够基于向CMS 106提交这样的搜索查询来识别来自发布者104的内容。在示例实施例中，用户接入设备108向CMS1010提交数据查询(图1中未示出)，然后，CMS 106识别反映来自发布者104的可用内容的标识符和链接的查询结果。因此，CMS 106可以有助于提供这样的查询或搜索引擎功能。在其他实施例中，CMS 106可以与辅助查询引擎服务器交互以提供这样的功能。

图2是如图1的在线数据环境中所示的计算设备的框图，其用于基于响应数据集确定数据查询中的分析关系。

图2示出了旨在表示各种形式的数字计算机的专用计算设备200的示例，诸如，笔记本电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备200还旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里所示的组件、它们的连接和关系以及它们的功能仅仅是示例，并不意味着限制本文中描述和/或要求保护的主题的实施方式。

在示例实施例中，计算设备200可以是用户接入设备108或数据处理设备112、114或116(图1所示)中的任何一个。计算设备200可以包括总线202、处理器204、主存储器206、只读存储器(ROM)208、存储设备210、输入设备212、输出设备214和通信接口216。总线202可以包括允许计算设备200的组件之间的通信的路径。

处理器204可以包括解释和执行指令的任何类型的常规处理器、微处理器或处理逻辑。处理器204可以处理用于在计算设备200内执行的指令，包括存储在存储器206中或存储设备210上的指令，以在诸如耦合到高速接口的显示器214的外部输入/输出设备上显示GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和存储器的类型。此外，可以连接多个计算设备200，每个设备提供必要操作的一部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。

主存储器206可以包括随机存取存储器(RAM)或存储用于由处理器204执行的信息和指令的另一类型的动态存储设备。ROM 208可以包括常规ROM设备或存储由处理器204使用的静态信息和指令的另一类型的静态存储设备。主存储器206在计算设备200内存储信息。在一个实施方式中，主存储器206是易失性存储器单元。在另一实施方式中，主存储器206是非易失性存储器单元。主存储器206还可以是另一形式的计算机可读介质，诸如磁盘或光盘。

存储设备210可以包括磁和/或光记录介质及其相应的驱动器。存储设备210能够为计算设备200提供海量存储。在一个实施方式中，存储设备210可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储设备，或包括存储区域网络或其他配置中的设备的设备阵列。计算机程序产品可以有形地实施在信息载体中。计算机程序产品还可以包含指令，当其被执行时，执行一个或多个方法，诸如上述的方法。信息载体是计算机或机器可读介质，诸如主存储器206、ROM 208、存储设备210或处理器204上的存储器。

高速控制器管理计算设备200的带宽密集型操作，而低速控制器管理较低带宽密集型操作。功能的这种分配仅作为示例。在一个实施方式中，高速控制器耦合到主存储器206、显示器214(例如，通过图形处理器或加速器)以及可接受各种扩展卡(未示出)的高速扩展端口。在实施方式中，低速控制器耦合到存储设备210和低速扩展端口。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪或诸如交换机或路由器的网络设备。

输入设备212可以包括常规机制，其允许计算设备200从用户150、152或154接收命令、指令或其他输入，包括视觉、音频、触摸、按钮按压、触笔等。此外，输入设备可以接收位置信息。因此，输入设备212可以包括例如相机、麦克风、一个或多个按钮、触摸屏和/或GPS接收器。输出设备214可以包括向用户输出信息的常规机制，包括显示器(包括触摸屏)和/或扬声器。通信接口216可以包括使得计算设备200能够与其他设备和/或系统通信的任何类似收发器的机制。例如，通信接口216可以包括用于经由诸如网络110(图1所示)的网络与另一设备或系统通信的机制。

如本文所述，计算设备200有助于将来自一个或多个发布者的内容以及例如广告的赞助内容的一个或多个集呈现给用户。计算设备200可以响应于处理器204执行包含在诸如存储器206的计算机可读介质中的软件指令来执行这些和其他操作。计算机可读介质可以被定义为物理或逻辑存储器设备和/或载波。软件指令可以从诸如数据存储设备210的另一计算机可读介质或经由通信接口216从另一设备读取到存储器206中。存储器206中包含的软件指令可以使处理器204执行本文所述的处理。或者，可以使用硬连线电路代替软件指令或与软件指令组合以实现与本文主题一致的处理。因此，与本文公开的主题的原理一致的实施方式不限于硬件电路和软件的任何特定组合。

计算设备200可以以多种不同的形式来实现，如图所示。例如，它可以实现为标准服务器，或者在一组这样的服务器中多次实现。它也可以实现为机架式服务器系统的一部分。此外，它可以在诸如膝上型计算机的个人计算机中实现。这些设备中的每一个可以包含一个或多个计算设备200，并且整个系统可以由彼此通信的多个计算设备200组成。

处理器204可以执行计算设备200内的指令，包括存储在主存储器206中的指令。处理器可以被实现为包括单独的和多个模拟和数字处理器的芯片。例如，处理器可以提供用于设备200的其他组件的协调，诸如用户界面、由设备200运行的应用以及由设备200的无线通信的控制。

计算设备200包括处理器204、主存储器206、ROM 208、输入设备212、诸如显示器214的输出设备、通信接口216以及包括例如接收器和收发器的其他组件。设备200还可以设置有诸如微驱动器或其他设备的存储设备210，以提供额外的存储。每个组件使用各种总线相互连接，并且若干组件可以安装在公共主板上或以其他方式适当地安装。

计算设备200可以通过通信接口216进行无线通信，通信接口216可以在必要时包括数字信号处理电路。通信接口216可以提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器发生。此外，诸如使用蓝牙、WiFi或其他此类收发器(未示出)，可能会发生短距离通信。此外，GPS(全球定位系统)接收器模块可以向设备200提供额外的导航和位置相关的无线数据，其可以由在设备200上运行的应用适当地使用。

图3是在图1所示的在线数据环境中使用图2的计算设备基于响应数据集确定数据查询中的分析关系的示例数据流程图。

在示例实施例中，多个用户311、313、315和317(即，多个在线用户)使用用户计算设备310、312、314和316与来自多个数据创建者330的数据进行交互。更具体地，用户计算设备310、312、314和316将多个数据查询350发送到查询引擎320并作为响应接收查询结果360。用户计算设备310、312、314和316从查询结果360中进行链接选择370，并访问来自数据创建者330之一的数据。如上所述，分析引擎340接收表示在用户计算设备310、312、314和316以及查询引擎320之间所进行的交换350、360和370的交互数据380。分析引擎340使用这样的交互数据380执行上述和本文描述的分类处理。

图4是使用图1的在线数据环境基于响应数据集来确定数据查询中的分析关系的示例方法。方法400由分析引擎计算设备340(图3所示)来执行。

分析引擎340被配置为从查询仓库中识别410用于分析的数据查询，检索420与数据查询相关联的多个交互数据，其中交互数据表示多个用户系统和基于数据查询先前生成的交互结果之间的交互，其中交互结果包括多个链接，基于多个交互数据识别430多个链接中的每一个的链接选择计数，基于多个链接选择计数将数据查询分类为内容定向查询和数据创建者定向查询之一，并且基于分类的数据查询和多个链接选择计数生成450查询特征分析。

分析引擎340被配置为从任何系统320、330和340(全部在图3中示出)中可用的查询仓库识别410用于分析的数据查询350(图3中所示)。可以根据需要生成，手动识别，或者基于由包括分析引擎340、数据创建者系统330和查询引擎系统的系统320、330和340捕获的数据查询350的分析而先前生成查询仓库。在许多示例中，分析引擎340可以同时处理多个数据查询350，并且因此同时对多个数据查询350进行分类。

分析引擎340还被配置为检索与所识别的数据查询350相关联的多个交互数据380(在图3中示出)。交互数据380表示(或描述)多个用户系统310、312、314和316(都在图3中示出)以及基于数据查询350先前生成的查询结果360之间的交互(图3所示)。查询结果360包括多个链接，并且还可以包括描述基于链接的选择的可用数据的描述信息。

如下所述，交互数据380可以以各种格式提供。在第一示例中，交互数据380由数据创建者330或发布者提供。例如，数据创建者330可以直接地或通过中介收集由访问他们的数据的用户系统310、312、314和316生成的交互数据380(例如，访问与数据创建者330相关联的网站)。在一个示例中，收集的交互数据可以包括作为请求URL的一部分被传递以获取数据的信息。例如，查询引擎320(例如，搜索引擎)可以使用多个数据链接产生查询结果360，使得每个数据链接在识别(a)查询引擎320和(b)数据查询350本身的链接中包括信息。因此，数据创建者330可能能够识别由查询结果360呈现的用户系统310、312、314和316所做的链接选择370。因此，通过从多个数据创建者330聚集交互数据380，分析引擎340可以使用下面描述的方法对数据查询350进行分类。

在第二示例中，由查询引擎320(例如，搜索引擎)提供交互数据380。如所描述的，查询引擎320被配置为响应于由用户系统310、312、314和316生成的数据查询350来提供查询结果360。查询引擎320还被配置为跟踪用户系统310、312、314和316以及可用于识别数据查询350的特征并对数据查询350进行分类的查询结果360之间的交互。查询引擎320可以跟踪其接收到的数据查询350，响应于每个数据查询350而提供的查询结果360以及从查询结果360中呈现的链接而做出的链接选择370。

在第三示例中，数据查询分析系统(未示出)可以跟踪从查询引擎320和/或数据创建者330收集到的交互数据380，并将这样的交互数据380提供给分析引擎340。在其他示例中，所描述的系统320、330和340的组合可以交互以将交互数据380提供给分析引擎340。

分析引擎340还被配置为基于多个交互数据380来识别针对多个链接中的每一个的链接选择计数。此步骤表示分析引擎340识别对于在由查询引擎320产生的查询结果360中提供的每个链接所进行的链接选择的数量。如上所述，数据创建者定向查询导致仅对于与数据创建者330相关联的链接进行链接选择。相比之下，内容定向数据查询导致将链接选择370扩散在由多个数据创建者330提供的数据中。在至少一些示例中，当这样的多个链接都与相同的数据创建者330相关联时，该步骤还可以涉及分析引擎340将多个链接“解析”为一个链接。例如，一些数据创建者330可以维护对特定数据的链接访问的多个实例，并且查询引擎320可以产生用于访问多个实例中的每一个的多个链接。为了促进有效地对数据查询350进行分类的目标，分析引擎340可以将这样的多个链接视为一个链接，这是因为所有链接都与相同的数据创建者330相关联。

下面的图示说明了数据查询350、多个链接和链接选择计数之间的关系。考虑示例，其中当数据查询350“XYZ”被输入值特定的查询引擎320时产生以下结果：

数据查询：XYZ

链接1：XYZ.com

链接2：XYZZ.com

链接3：XYZA.com

链接4：XYZB.com

在该示例中，分析引擎340识别“XYZ”以进行分析，并且检索用户系统310、312、314和316和来自数据创建者330、查询引擎320和查询分析系统(未示出)中的至少一个的查询结果360之间的交互数据。交互数据380可以包括链接选择370(由数据创建者330提供)，其包括作为嵌入信息的数据查询350以及链接选择370。在这样的示例中，处理交互数据380以识别对于查询结果360中提供的每个链接所做出的链接选择370的数量。这种处理的交互数据380当被聚合以包括多个用户系统310、312、314和316和查询结果360中提供的链接之间的交互时，可以如下表所示(表1)：

表1

在该示例中，分析引擎340确定在对于数据查询350“XYZ”的交互数据380中识别的总点击的99％与数据创建者330XYZ.com的选择相关联。如下所述，分析引擎确定数据查询“XYZ”是数据创建者定向查询。

考虑数据查询350“car”的第二示例。当数据查询350“car”被输入特定查询引擎时产生以下结果：

数据查询：car

链接1：car.com

链接2：cars.com

链接3：automobile.com

链接4：vehicles.com

在该示例中，分析引擎340识别“car”以进行分析，并且检索用户系统310、312、314和316和来自数据创建者330、查询引擎320和查询分析系统(未示出)中的至少一个的查询结果360之间的交互数据380。处理的交互数据380当被聚合以包括多个用户系统310、312、314和316和查询结果360中提供的链接之间的交互时，可以如下表所示(表2)：

数据查询	查询结果链接标识符	链接点击	总点击的％
				car	car.com	35,000	35％
car	cars.com	30,000	30％
				car	automobile.com	25,000	25％
car	vehicle.com	10,000	10％

表2

在表2的示例中，分析引擎340确定与数据查询350“car”相关联的链接选择370跨多个数据创建者330分布。如下所述，分析引擎340确定数据查询350“car”不是数据创建者定向查询，而是内容定向查询。

分析引擎340执行分类处理，以基于多个链接选择计数将数据查询350分类为内容定向查询和数据创建者定向查询之一。在一个示例中，分析引擎340应用分类算法，其至少包括因素(a)每个数据查询的不同链接选择的数量(“LINK_CNT”)，(b)每个数据查询的不同链接选择的数量的阈值(“LINK_CNT_TH”)，(c)链接选择频率(“LINK_FQ”)和(d)链接选择频率的阈值(“LINK_FQ_TH”)。在至少一个示例中，算法可以表示如下(算法1)：

如上所述，可以由分析引擎(单独地，或与查询引擎、数据创建者系统和任何其他系统结合地)处理描述用户系统310,312,314和316与查询结果360之间的交互的交互数据380来确定链接选择370的数量和链接选择频率。

分析引擎340计算每个数据查询的不同链接选择的数量的阈值(在上文中表示为“LINK_CNT_TH”)。在一个示例中，可以通过使用与作为明确的内容定向的数据查询相似的标识符来识别数据创建者域的样本，计算该阈值。例如，查询“shoes”可以被识别为类似于“shoes.com”，查询“rental cars”可以被识别为类似于“rentalcars.com”，并且查询“restaurants”可以被识别为类似于“restaurants.com”。可以使用自然语言处理算法或手动输入来执行这样的识别。然后，分析引擎340可以基于与每个识别的词语相关联的查询结果的平均点击链接数量来确定阈值。使用上述示例，数据查询“shoes”具有选自查询结果的6个链接，另一个数据查询“restaurants”具有7个点击的链接，数据查询“rental cars”具有8个点击的链接。LINK_CNT_TH阈值将是所选链接的数量的平均值。因此，在该示例中，由以下的平均值计算阈值：(6+7+8)/3＝7。在其他示例中，分析引擎340还包括提供给LINK_CNT_TH的计算的查询结果的数量的因素。在附加示例中，可以将LINK_CNT_TH阈值计算为所选链接的数量的最小值。因此，在这种示例中，可以通过以下最小值来计算阈值：min(6,7,8)＝6。

分析引擎340计算链接选择频率(“LINK_FQ_TH”)的阈值。在一个示例中，通过初始地识别具有与作为数据创建者定向的数据查询类似的标识符的数据创建者域的样本来确定该阈值。可以基于自然语言处理和/或手动输入来识别这样的数据创建者域。然后，分析引擎340识别大多数识别的数据创建者域超出的链接选择频率。

如所描述的，分析引擎对数据查询进行分类。在示例实施例中，分析引擎可以将数据查询分类为数据创建者定向或内容定向查询。在其他实施例中，可以应用自然语言处理算法和其他数据分类算法来帮助数据创建者定向查询的标识符是数据创建者名称的变体。例如，所描述的分类技术可以确定“ABC1”是识别“ABC.com”的数据查询，即使“1”的存在暗示其它。

分析引擎340还可以提供对于每个分类的数据查询350的链接选择(或“流量模式”)的分析。分析可以基本上对于每个报告的数据查询表示数据创建者的数据的选择频率的文本或图形描述。在示例实施例中，分析引擎340向数据创建者330提供该分析。在其他实施例中，分析引擎340可以将该分析提供给任何合适的接收者系统。

分析引擎340还可以生成关于每个分类的数据查询350的数据查询性能的报告。在一个示例中，分析引擎340可以确定某些数据查询350，尽管流行或与赞助有关，但可能对特定数据创建者330或数据创建者330产生相对有限的效用。

分析引擎340还可以基于数据分类来调整每个分类的数据查询350的查询结果360。在一个示例中，分析引擎340可以确定选自查询结果360的相对较少的链接。在这样的示例中，分析引擎340可以指示查询引擎320改变查询结果360以为用户系统310、312、314和316识别更相关的结果。

分析引擎340还基于分类的数据查询和多个链接选择计数生成查询特征分析。在示例实施例中，查询特征分析表示对于每个数据查询的查询分类的指定以及与每个数据查询相关联的链接选择的统计表示和链接频率。

图5是一个或多个示例计算设备的组件的图，用于使用可在图1所示的环境中使用的在线数据环境基于响应数据集来确定数据查询中的分析关系。

例如，一个或多个计算设备200可以形成内容管理系统(CMS)106、客户端计算设备108(均在图1中示出)、用户系统、搜索引擎和在线发布系统以及分析引擎340。图5还示出了数据库126和146(在图1中示出)的配置。数据库126和146耦合到执行特定任务的分析引擎340、内容提供商数据处理系统112和客户端计算设备108内的若干分开的组件。

分析引擎340包括用于从查询仓库中识别用于分析的数据查询的第一识别组件502。分析引擎340另外包括用于检索与数据查询相关联的多个交互数据的第一检索组件504，其中交互数据表示多个用户系统和基于数据查询先前生成的查询结果之间的交互，其中查询结果包括多个链接。分析引擎340还包括第二识别组件506，用于基于多个交互数据识别对于多个链接中的每一个的链接选择计数。分析引擎340还包括分类组件508，用于基于多个链接选择计数将数据查询分类为内容定向查询和数据创建者定向查询之一。分析引擎340还包括生成组件509，用于基于分类的数据查询和多个链接选择计数来生成查询特征分析。

在示例性实施例中，数据库126和146被划分为多个部分，包括但不限于数据查询分类模块510、阈值确定算法512和交互数据分析模块514。数据库126和146内的这些部分相互连接以根据需要更新和检索信息。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象编程语言和/或汇编/机器语言来实现。如本文所使用的，词语“机器可读介质”、“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，其用于向可编程处理器提供机器指令和/或数据，包括接收作为机器可读信号的机器指令的机器可读介质。然而，“机器可读介质”和“计算机可读介质”不包括暂时信号。词语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

另外，附图中描绘的逻辑流程不需要所示的特定顺序或顺序序列来实现期望的结果。此外，可以从所描述的流程中提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统中或从所描述的系统中移除。因此，其它实施例在以下权利要求的范围内。

应当理解，已经特别详细描述的上述实施例仅仅是示例性或可能的实施例，并且存在可以包括的许多其他组合、添加或替代。

此外，组件的特定命名、词语的大小写、属性、数据结构或任何其他编程或结构方面不是强制性的或重要的，并且实现本文描述的主题或其特征的机制可以具有不同的名称、格式或协议。此外，可以通过所述的硬件和软件的组合或完全在硬件元件中来实现系统。此外，本文所述的各种系统组件之间的功能的特定划分仅仅是为了示例的目的，而不是强制性的；可以由多个组件来替代执行由单个系统组件执行的功能，并且可以由单个组件来替代执行由多个组件执行的功能。

以上描述的一些部分根据关于信息的操作的算法和符号表示来呈现特征。这些算法描述和表示可以由数据处理领域的技术人员使用，以最有效地将其工作的实质传达给本领域技术人员。这些操作虽然在功能上或逻辑上被描述，但被理解为由计算机程序来实现。此外，有时也可以方便地将这些操作安排称为模块或功能名称，而不会失去一般性。

除非具体说明，否则从上述讨论中显而易见，应当理解，在整个描述中，利用诸如“处理”或“计算”或“计算”或“确定”或“显示”或“提供”的词语的讨论是指计算机系统或类似电子计算设备的动作和处理，其操纵和变换被表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理(电子)量的数据。

基于前述说明书，可以使用包括计算机软件、固件、硬件或其任何组合或子集的计算机编程或工程技术来实现上述实施例。具有计算机可读和/或计算机可执行指令的任何此类结果程序可以在一个或多个计算机可读介质内实施或提供，从而制作计算机程序产品，即制品。计算机可读介质可以例如是固定(硬)驱动器、软盘、光盘、磁带、诸如只读存储器(ROM)或闪速存储器等的半导体存储器或诸如互联网或其他通信网络或链接的任何发送/接收介质。可以通过执行直接来自一个介质的指令，通过将代码从一个介质复制到另一个介质，或通过在网络上传输代码来做出和/或使用包含计算机代码的制品。

虽然已经根据各种具体实施例描述了本公开，但是将认识到可以在权利要求的精神和范围内进行修改来实施本公开。

Claims (24)

1.一种用于基于响应数据集来确定数据查询中的分析关系的计算机实现的方法，所述方法使用耦合到存储器设备的分析引擎来实现，所述方法包括：

从查询仓库中识别用于分析的数据查询；

检索与所述数据查询相关联的多个交互数据，其中所述交互数据表示多个用户系统和基于所述数据查询先前生成的查询结果之间的交互，其中所述查询结果包括多个链接；

基于所述多个交互数据来识别对于所述多个链接中的每一个的链接选择计数；

基于多个所述链接选择计数，将所述数据查询分类为内容定向查询和数据创建者定向查询之一；以及

基于所分类的数据查询和多个所述链接选择计数生成查询特征分析。

2.根据权利要求1所述的方法，还包括：

从数据创建者系统、查询引擎和查询分析系统中的至少一个检索所述多个交互数据。

3.根据权利要求1或2所述的方法，还包括：

基于所述多个交互数据识别链接选择频率；以及

基于所述链接选择计数和所述链接选择频率对所述数据查询进行分类。

4.根据权利要求1至3中任一项所述的方法，还包括：

识别最小交互频率阈值；和

针对满足所述最小交互频率阈值的交互数据，基于所述多个交互数据来识别所述链接选择计数。

5.根据权利要求1至4中任一项所述的方法，还包括：

识别最小链接选择计数阈值；和

基于所述链接选择计数和所述最小链接选择计数阈值对所述数据查询进行分类。

6.根据权利要求1至5中任一项所述的方法，还包括：

向数据创建者系统提供基于所分类的数据查询的流量模式分析。

7.根据权利要求1至6中任一项所述的方法，还包括：

基于所分类的数据查询报告数据查询性能。

8.根据权利要求1至8中任一项所述的方法，还包括：

基于数据查询分类调整所述数据查询的查询结果。

9.一种用于基于响应数据集来确定数据查询中的分析关系的分析引擎，所述分析引擎包括用于存储数据的存储器，以及与所述存储器通信的处理器，所述处理器被编程为：

从查询仓库中识别用于分析的数据查询；

检索与所述数据查询相关联的多个交互数据，其中所述交互数据表示多个用户系统和基于所述数据查询先前生成的查询结果之间的交互，其中所述查询结果包括多个链接；

基于所述多个交互数据来识别对于所述多个链接中的每一个的链接选择计数；

基于多个所述链接选择计数，将所述数据查询分类为内容定向查询和数据创建者定向查询之一；以及

基于所分类的数据查询和多个所述链接选择计数生成查询特征分析。

10.根据权利要求9所述的分析引擎，其中所述处理器还被编程为：

从数据创建者系统、查询引擎和查询分析系统中的至少一个检索所述多个交互数据。

11.根据权利要求9或10所述的分析引擎，其中所述处理器还被编程为：

基于所述多个交互数据识别链接选择频率；以及

基于所述链接选择计数和所述链接选择频率对所述数据查询进行分类。

12.根据权利要求9至11中任一项所述的分析引擎，其中所述处理器还被编程为：

识别最小交互频率阈值；和

针对满足所述最小交互频率阈值的交互数据，基于所述多个交互数据来识别所述链接选择计数。

13.根据权利要求9至12中任一项所述的分析引擎，其中所述处理器还被编程为：

识别最小链接选择计数阈值；和

基于所述链接选择计数和所述最小链接选择计数阈值对所述数据查询进行分类。

14.根据权利要求9至13中任一项所述的分析引擎，其中所述处理器还被编程为：

向数据创建者系统提供基于所分类的数据查询的流量模式分析。

15.根据权利要求9至14中任一项所述的分析引擎，其中所述处理器还被编程为：

基于所分类的数据查询报告数据查询性能。

16.根据权利要求9至15中任一项所述的分析引擎，其中所述处理器还被编程为：

基于数据查询分类调整所述数据查询的查询结果。

17.一种计算机可读存储设备，具有在其上实施的处理器可执行指令，所述处理器可执行指令用于基于响应数据集来确定数据查询中的分析关系，其中所述计算机包括至少一个处理器和耦合到所述处理器的存储器，其中当所述处理器可执行指令被所述计算机执行时，所述处理器可执行指令使所述计算机：

从查询仓库中识别用于分析的数据查询；

检索与所述数据查询相关联的多个交互数据，其中所述交互数据表示多个用户系统和基于所述数据查询先前生成的查询结果之间的交互，其中所述查询结果包括多个链接；

基于所述多个交互数据来识别对于所述多个链接中的每一个的链接选择计数；

基于多个所述链接选择计数，将所述数据查询分类为内容定向查询和数据创建者定向查询之一；以及

基于所分类的数据查询和多个所述链接选择计数生成查询特征分析。

18.根据权利要求17所述的计算机可读存储设备，其中所述处理器可执行指令使所述计算设备：

从数据创建者系统、查询引擎和查询分析系统中的至少一个检索所述多个交互数据。

19.根据权利要求17或18所述的计算机可读存储设备，其中所述处理器可执行指令使所述计算设备：

基于所述多个交互数据识别链接选择频率；和

基于所述链接选择计数和所述链接选择频率对所述数据查询进行分类。

20.根据权利要求17至19中任一项所述的计算机可读存储设备，其中所述处理器可执行指令使所述计算设备：

识别最小交互频率阈值；和

针对满足所述最小交互频率阈值的交互数据，基于所述多个交互数据来识别所述链接选择计数。

21.根据权利要求17至20中任一项所述的计算机可读存储设备，其中所述处理器可执行指令使所述计算设备：

识别最小链接选择计数阈值；和

基于所述链接选择计数和所述最小链接选择计数阈值对所述数据查询进行分类。

22.根据权利要求17至21中任一项所述的计算机可读存储设备，其中所述处理器可执行指令使所述计算设备：

向数据创建者系统提供基于所分类的数据查询的流量模式分析。

23.根据权利要求17至22中任一项所述的计算机可读存储设备，其中所述处理器可执行指令使所述计算设备：

基于所分类的数据查询报告数据查询性能。

24.根据权利要求17至23中任一项所述的计算机可读存储设备，其中所述处理器可执行指令使所述计算设备：

基于数据查询分类调整所述数据查询的查询结果。