CN109697627A - 用于使用深层神经语言模型自动出价的系统和方法 - Google Patents
用于使用深层神经语言模型自动出价的系统和方法 Download PDFInfo
- Publication number
- CN109697627A CN109697627A CN201811224632.0A CN201811224632A CN109697627A CN 109697627 A CN109697627 A CN 109697627A CN 201811224632 A CN201811224632 A CN 201811224632A CN 109697627 A CN109697627 A CN 109697627A
- Authority
- CN
- China
- Prior art keywords
- inquiry
- cluster
- field
- server
- advertisement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 210000005036 nerve Anatomy 0.000 title abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000006116 polymerization reaction Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 10
- 230000003334 potential effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- RLLPVAHGXHCWKJ-IEBWSBKVSA-N (3-phenoxyphenyl)methyl (1s,3s)-3-(2,2-dichloroethenyl)-2,2-dimethylcyclopropane-1-carboxylate Chemical compound CC1(C)[C@H](C=C(Cl)Cl)[C@@H]1C(=O)OCC1=CC=CC(OC=2C=CC=CC=2)=C1 RLLPVAHGXHCWKJ-IEBWSBKVSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002304 perfume Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0273—Determination of fees for advertising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0273—Determination of fees for advertising
- G06Q30/0275—Auctions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开涉及用于使用深层神经语言模型自动出价的系统和方法。公开了用于预测从不同网页发布者接收的查询触发的互联网广告的潜在有效性的系统、设备和方法，其使用深度学习神经网络语言模型来聚合查询，并且基于预测的潜在效力自动调整广告商对广告的出价。使用查询‑群集而不是查询来调整广告的出价允许更准确和更一致的出价策略无论历史广告表现数据的稀疏性如何，更高的广告商的投资回报率以及更高的广告的发布者收入。
Description
技术领域
本公开涉及互联网领域，更具体地，涉及用于使用深层神经语言模型自动出价的系统和方法。
背景技术
在网络系统内，网络服务器可以托管包括网页内容以及链接到搜索引擎以搜索网页内容的搜索工具的网页。运行网页浏览器应用的用户的通信设备可以直接访问网页服务器以在网页浏览器应用内呈现网页。用户还可以在通过包括在另一网页上的链接重定向到网页之后访问该网页。
除了网页内容和搜索引擎之外，一些网页被设计为包括专用显示区域或空间，用于以例如广告的形式显示信息。互联网广告为广告商创造了新的场所、新的环境和新的平台，可以向互联网用户展示更具针对性和更具成本效益的广告活动，这些互联网用户可能不会在互联网之外接触其它形式的广告。
发明内容
根据本公开的一个方面，提供了一种服务器，包括：网络接口，网络接口被配置为：根据在信息发布服务器处从请求者接收的查询，从信息发布服务器接收对广告空间的出价邀请；并且响应于查询和出价邀请，接收来自广告商的出价；以及与网络接口通信的处理器，处理器被配置为：使用训练的查询-群集神经网络确定在预定义的一组查询群集中的查询的查询群集；至少根据训练的查询-群集神经网络确定的查询群集来聚合基于查询的广告的历史表现记录，以获得聚合的历史表现记录；基于查询群集和聚合的历史表现记录，来预测关于对广告商的查询的广告空间的有效性度量；并且根据所预测的有效性度量自动控制对从广告商接收的出价的调整，以获得经调整的出价。
根据本公开的另一方面，提供了一种方法，包括：根据在信息-发布服务器处从请求者接收的查询，从信息-发布服务器接收对广告空间的出价邀请；并且响应于查询和出价邀请，接收来自广告商的出价；使用训练的查询-群集神经网络确定在预定义的一组查询群集中的查询的查询群集；至少根据训练的查询-群集神经网络确定的查询群集来聚合基于查询的广告的历史表现记录，以获得聚合的历史表现记录；基于查询群集和聚合的历史表现记录，来预测关于广告商查询的广告空间的有效性度量；以及根据所预测的有效性度量自动控制对从广告商接收的出价的调整，以获得经调整的出价。
根据本公开的又一方面，提供了一种系统，包括：查询-聚合服务器，用于实现训练的查询-群集神经网络；以及广告服务器，包括：数据库，用于存储基于查询的广告的历史表现记录；网络接口，被配置为：根据在信息-发布服务器处从请求者接收的查询，从信息-发布服务器接收对广告空间的出价邀请；响应于查询和出价邀请，接收来自广告商的出价；将查询发送到查询-聚合服务器，以使用训练的查询-群集神经网络确定查询的查询群集；以及从查询-群集服务器接收查询的查询群集；以及与网络接口通信的处理器，处理器被配置为：从数据库获取基于查询的广告的历史表现记录；至少根据查询-群集服务器的训练的查询-群集神经网络确定的查询群集来聚合基于查询的广告的历史表现记录，从而获得聚合的历史表现记录；基于查询群集和聚合的历史表现记录，来预测关于广告商的查询的广告空间的有效性度量；以及根据所预测的有效性度量自动控制对从广告商接收的出价的调整，以获得的经调整的出价。
附图说明
图1示出了示例性广告网络系统的系统图；
图2示出了显示网页的示例性网络浏览器界面；
图3示出了互联网广告的示例历史表现记录；
图4示出了根据查询群集的互联网广告的示例性修改历史表现记录；
图5示出了用于实现对广告的潜在有效性的预测和提供广告出价建议的示例逻辑流程；
图6示出了用于所示示例性广告网络系统中的一个或多个组件的示例性计算机体系结构的框图。
具体实施方式
具体实施方式现在将在下文中参考附图更全面地描述主题，附图形成本发明的一部分并且通过图示的方式示出了具体的示例实施例。然而，主题可以以各种不同的形式体现，因此，所涵盖或要求保护的主题旨在被解释为不限于本文所述的任何示例实施例；提供示例实施例仅用于说明。同样，要求保护或涵盖的主题的范围相当广泛。其中，例如主题可以体现为方法、设备、组件或系统。因此，实施例例如可以采用硬件、软件、固件或其任何组合的形式(除软件本身之外)。因此，以下详细描述不应被视为具有限制意义。
在整个说明书和权利要求书中，术语可以具有超出明确说明的含义的上下文中暗示或暗示的细微差别的含义。同样地，这里使用的短语“在一个实施例中”不一定指相同的实施例，并且这里使用的短语“在另一实施例中”不一定指不同的实施例。例如，旨在要求保护的主题包括整个或部分示例实施例的组合。
通常，术语可以至少部分地从上下文中的使用来理解。例如，如本文所使用的诸如“和”、“或”或“和/或”的术语可包括多种含义，这些含义可至少部分地取决于使用这些术语的上下文。通常，“或”如果用于关联列表(例如A、B或C)，则意指A、B和C(此处使用的是包含性意义)，以及A、B或C(此处使用的是排他性意义)。另外，如本文所使用的术语“一个或多个”，取决于上下文，可以至少部分地用于描述单数意义的任何特征、结构或特征，或者可以用于描述复数意义的特征、结构或特征的组合。类似地，诸如“一”、“一个”或“该”之类的术语，至少部分地取决于上下文，可以被理解为传达单个用法或传达复数用法。另外，术语“基于”可以被理解为不一定旨在传达一组排他性的因素，而是可以替代地，至少部分地取决于上下文，允许存在不一定明确描述的其它因素。
本文描述的实施例的说明旨在提供对各种实施例的结构的一般理解。这些图示不旨在用作利用本文描述的结构或方法的装置和系统的所有元件和特征的完整描述。在阅读本公开后，许多其它实施例对于本领域普通技术人员来说是显而易见的。可以利用其它实施例并从本公开中得出其它实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。另外，图示仅仅是代表性的，并且可能未按比例绘制。图中的某些比例可能被放大，而其它比例可能被缩小。因此，本公开和附图应被视为说明性的而非限制性的。
随着互联网和移动电子设备的日益普及，消费者越来越依赖基于网页的内容来获取信息。因此，创建了利用先前不可用的互联网技术的新的基于互联网的广告网络系统。在基于互联网的广告网络系统内，广告商被理解为生成并以其它方式提供互联网广告，互联网广告提供例如待售的商品或服务。例如，互联网广告可以包含视听内容，包括但不限于文本、静止图像、音频和/或动画/视频。广告商可以创建、上传和管理其广告内容到广告内容数据库，并控制在例如发布者(或信息发布者，如下所述)的网页上呈现广告。广告商可以为其商品和服务维护其自己的网页(或使其网页被托管)。发布者的网页中显示的广告可以被超链接到与广告相对应的广告商的网页。
发布者被理解为主持用于除了其网页内容之外还接收和显示广告商的互联网广告的网页。例如，发布者可以在其网页中显示网页内容，同时以网页上的一个或多个插槽的形式预留空间以显示网络广告。发布者还可以访问和控制广告服务器，广告服务器基于输入到发布者网页上的搜索引擎的用户的搜索查询来选择要在发布者的网页上的广告空间上显示的互联网广告。广告客户可以同意为发布者在其在发布者网页上发布的互联网广告上发生的每次点击支付每次点击费用(CPC，cost-per-click)费率。点击互联网广告可以将用户导航到广告商的网页。
可以进一步将发布者区分为拥有和运营的发布者(OO发布者，owned andoperated publisher)和第三方发布者。OO发布者可以控制托管主要网页内容提供者(例如，Yahoo)和相关联的网页服务器的网页服务器。与OO发布者相关联的网页可以由广告商专门识别以显示他们的互联网广告。另一方面，第三方发布者可能与OO发布者或广告商没有直接关联。相反，第三方发布者可以包括与OO发布者相关联的搜索引擎(例如，Yahoo搜索)，并且与OO发布者签订协议以显示来自OO发布者可用的相同互联网广告数据库的互联网广告，但是其不是OO发布者的附属或受其控制。即便如此，第三方发布者网页可以基于输入到同一搜索引擎中的搜索查询来选择与OO发布者网页相同的互联网广告。随后针对在第三方发布者的网页上显示的互联网广告的点击，OO发布者可以与第三方发布者分割CPC收入。
发布者还可以通过在用户请求时(例如，通过用户在发布者的网页中键入搜索查询)向广告服务器或其它方发送电子邀请以允许对其网页上的广告空间进行出价。例如，发布者可以控制广告服务器管理来自各种广告商的出价，并从愿意支付最高CPC率的广告商中选择广告。或者，可以遵循第二价格拍卖模型，并且因此最高出价广告商向发布者支付第二高出价CPC费率以显示其广告。
因此，广告服务器可以托管出价平台。广告商可以预先向广告服务器提供关于广告商愿意接受广告的出价CPC费率的一般指导。如下面将更详细描述的，广告商还可以一般地或特别地预授权广告服务器以基于广告的潜在有效性来调整用于在发布者的网页中显示广告的出价。例如，广告服务器可以基于一组以互联网为中心的维度信息(例如，发布者的属性、访问发布者的用户设备的属性、广告商的属性以及用户设备经由发布者的网页输入到发布者的搜索引擎中并且触发广告服务器识别要显示的广告的查询的属性)来估计广告的潜在有效性。广告服务器可以使用各种广告商在由各种用户设备的各种查询产生的各种发布者上的广告的历史表现记录来执行这种估计。因此，广告服务器可以进一步配置为维护这些历史表现记录。根据一些实施例，广告服务器可以是特定发布者的网页服务器的一部分，并且根据其它实施例，广告服务器可以是与网页服务器通信的分离的设备。
广告的历史表现可以例如通过在用户点击之后是否被转换(convert)来确定。特别地，通过点击广告商的互联网广告，可以将用户引导到促销广告商的商品或服务的广告商自己的网页。一旦用户在点击之后被引导到广告商的网页，就可以由用户完成对广告商提供的转换。转换可以被理解为用户点击互联网广告中的一个或多个、用户浏览广告商的网页预定的时间长度、用户通过广告商网页上的信息输入字段输入个人信息(例如，姓名、邮寄地址、电话号码、或电子邮件地址)、或用户实际购买广告商在广告商网页上提供的商品或服务。这种转换可以与其它与广告相关联的属性(例如，发布者的属性、广告商、导致广告显示的搜索查询，以及从其做出查询的用户设备)一起由广告服务器监视和记录。可以分析具有相同或相似属性(维度信息和广告商信息)的一组广告以提供转换率。转换率可以进一步标准化为类似的基准转换率以获得转换率(CRR，conversion rate ratio)。具有上述属性的记录CRR提供互联网广告的历史表现记录，并且可以保存在历史表现数据库中。在同一申请人的美国专利申请No.15/064,310中更详细地描述了CRR的推导，该申请通过引用整体并入本文。
然而，由于具有上述相同属性的历史广告记录的稀疏性(sparsity)，对于特定属性组合可能没有足够数量的记录来呈现对广告的潜在表现的任何统计上显着的预测。特别地，搜索查询属性是巨大的维度(具有大量不同的搜索查询)，因此对数据稀疏性问题贡献最大。结果，在历史表现记录中可能找不到与广告相关联的查询。
以下公开通过至少根据搜索查询属性对历史表现记录采用数据聚合来解决该问题。具体地，搜索查询可以基于深度学习技术(例如，表示密集向量空间中的搜索查询的深度学习神经网络语言模型)以上下文和语义意义被聚合。这样，在密集向量空间中彼此接近的搜索查询可以被分类为相同的搜索查询群集，并且基本上是相同的搜索。当估计具有包括搜索查询的属性的广告的潜在有效性时，可以使用根据相同搜索查询群集而聚合的历史表现记录而不是相同搜索查询。结果，可以以合理的准确度估计广告服务器处理的明显更多的广告流量的潜在有效性，并且可以对广告流量的显着更大部分提供出价调整。
图1示出了网络系统100的示例性系统图，网络系统100用于至少基于广告流量和深度学习技术的维度信息来提供互联网广告的出价调整。网络系统100包括通过网络140彼此通信的广告服务器110、用户设备150、广告商服务器130，广告内容存储库134、网络服务器120和160、网页内容存储库125和165、历史广告表现数据库181和深度学习神经网络模型170。
广告商服务器130可以包括用于访问网络140的处理器131、存储器132和网络接口133。广告商服务器130可以生成广告商的互联网广告，其包括广告内容(例如视听内容)和到当用户点击该互联网广告时被激活的广告商的网页的链接(例如超链接)。互联网广告可以存储在与广告商服务器130通信的广告内容储存库134中。广告商服务器130还可以控制网络接口133以经由网络140将互联网广告发送到网络系统100内的其它设备和组件。
网络系统100的网络服务器120托管与OO发布者相对应的一个或多个网页。网络服务器120可以包括处理器121、存储器122、搜索引擎123和用于访问网络140的网络接口124。由网络服务器120托管的网页上包括的网页内容可以被存储在与网络服务器120通信的内容储存库125中。搜索引擎123可以接收用户的搜索查询并在网页内容储存库125中搜索相关的网页内容。网络服务器120可以基于由搜索引擎123确定的搜索结果，从网页内容储存库125中选择在托管网页上显示的网页内容。网络服务器120还可以从广告服务器110接收互联网广告，以将其包括在对托管网页的呈现中。
网络系统100的发布者网页服务器160可以包括托管与第三方发布者相对应的一个或多个网页的第三方网页服务器160。第三方网络服务器160可以包括处理器161、存储器162、搜索引擎163和用于访问网络140的网络接口164。由第三方网络服务器160托管的网页上包括的网页内容可以存储在与第三方网络服务器160通信的网页内容储存库165中。搜索引擎163可以接收用户的搜索查询并在网页内容储存库165中搜索相关网页内容。第三方网络服务器160可以基于由搜索引擎163确定的搜索结果，来自从网页内容储存库165选择在托管网页上显示的网页内容。第三方网络服务器160还可以从广告服务器110接收互联网广告以包括在对托管网页的呈现中。根据实施例，搜索引擎163可以链接到搜索引擎123，从而相同的逻辑将被用来将搜索结果返回到搜索引擎163和搜索引擎123两者中的搜索查询输入中。
网络系统100中的通信设备150可以包括处理器151、存储器152和用于访问网络140的网络接口153。通信设备150可以是例如台式计算机或便携式设备，例如蜂窝电话、智能电话、显示寻呼机、射频(RF)设备、红外(IR)设备、个人数字助理(PDA)、手持式计算机、平板计算机、笔记本计算机、机顶盒、可穿戴计算机、组合各种特征(例如前述设备的特征)的集成设备，等等。此外，通信设备150可以包括或可以执行各种可能的应用，诸如能够与其它设备通信(例如通过电子邮件、短消息服务(SMS)或者多媒体消息服务(MMS)传送一个或多个消息)的客户端软件应用，通信包括通过网络(例如社交网络，包括例如Facebook、LinkedIn、Twitter、Flickr或Google+，仅提供几个可能的示例)的通信。通信设备150还可以包括或执行用于传送内容(例如文本内容、多媒体内容等)的应用。通信设备150还可以包括或执行应用以执行各种可能的任务，例如浏览、搜索、播放各种形式的内容，包括本地存储或流式视频或游戏(诸如幻想体育联盟)。提供前述内容是为了说明所要求保护的主题包括特征或能力的宽泛范围。
例如，通信设备150可以运行网络浏览器应用，用于访问由网络服务器120或第三方网络服务器160托管的网页，以及呈现与网络浏览器应用内的托管网页相对应的网页内容。图2示出了示例性网页浏览器200，其在例如通信设备150上运行，并且呈现由例如网页服务器120或第三方网页服务器160托管的网页。由网页浏览器200呈现的网页包括搜索工具201，其中搜索工具201可以分别对应于包括在网页服务器120或第三方网页服务器160中的搜索引擎123或搜索引擎163。网页还包括第一赞助广告列表202、固定位置广告204和第二赞助广告列表205。可以设置第一赞助广告列表202、固定位置广告204和第二赞助广告列表205中的每一个可以被留出以供出价，并且广告可以由例如下面描述的广告服务器110的出价处置器113和广告选择器114基于搜索引擎123或搜索引擎163分析的搜索输入和/或搜索结果进行出价调整和选择。由网页浏览器200呈现的网页还可以包括网页内容结果203，其分别由例如搜索引擎123或搜索引擎163基于用户输入到搜索工具201的搜索查询生成。
返回图1，网络系统100的广告服务器110可以包括处理器111、存储器112、出价处置器113、广告选择器114、广告表现监视器116和用于访问的网络接口115。当用户(通过例如出价邀请)进行搜索时，广告服务器110可以从网页服务器120或160获得维度信息。广告服务器110可以从广告商接收出价广告，并基于所接收的维度信息和出价广告商的信息，选择要在由网页服务器120或160托管的网页上显示的绕线广告。
具体地，广告服务器110的出价处置器113可以基于使用历史广告表现记录预测的出价广告的潜在有效性、从网络服务器120或发布者网络服务器160接收的维度信息或者广告商信息，来确定是否调整来自广告商的出价。维度信息可以包括例如搜索查询信息(例如输入到搜索引擎123或搜索引擎163的用户的搜索查询)、通信设备属性信息(例如标识通信设备150的设备类型的信息)和/或发布者标识信息(例如将网页服务器120或第三方网页服务器160标识为与OO发布者或第三方发布者或特定发布者相关联的信息)。
历史广告表现记录可以在与网络140通信的历史广告表现数据库181中维护，并且由广告服务器110的出价处置器113访问。可以维护历史广告表现记录以跟踪所显示的具有维度信息和广告商信息的特定组合的广告的表现。记录的表现可以包括表现指示符，例如转换率(CRR)。例如，历史表现记录可以指示具有特定维度信息组合的广告历史上提供了特定CRR。因此，广告服务器110可以包含广告表现监视器116以跟踪历史广告的记录。在一些实现中，历史广告表现数据库181可以是广告服务器110的一部分。在一些其它实现方式中，可以采用专用服务器来执行广告表现监视。
图3示出了历史表现记录300的示例性集合，包括记录302、304、306、308、310、312和314，每个记录包括表现指示符CRR 320的数据字段以及数据字段的维度信息430(包括搜索查询332、设备属性334、发布者信息336和广告商信息338)。在一个实现方式中，当历史CRR对于特定维度组合的表现记录(例如记录406)不可用或不具有统计显着性时，CRR字段可以标记为“N/A”。例如，如果与相应的表现记录相关联的历史广告点击的数量小于预定数量(例如500)，则历史CRR可以被认为是统计上无关紧要的。因此，由于维度信息的大量组合可能不对应于统计CRR，历史表现记录300可能是稀疏的。
返回图1，广告服务器110的出价处置器113可以通过从历史广告表现数据库中识别具有与出价广告相同或相似的维度信息的记录或者它们的一些组合来获得对出价广告的潜在有效性的预测，并使用所识别的历史广告记录的相应表现指示符进行预测。例如，当出价处置器113准备确定对当前点击流量(其从搜索查询A得到、从发布者网页B接收，并且从通信设备类型C访问发布者网页B)的有效性预测，出价处置器113可以识别具有相同或类似搜索查询A、发布者网页B和通信设备类型C的历史广告表现数据库181(例如图3中的300)中的记录。出价处置器113随后可以基于已识别的记录和相应的历史表现指示符预测出价广告的潜在有效性。如下面将更详细描述的，这种预测过程可以涉及深度学习神经网络模型170的查询群集功能。
根据一些实施例，广告服务器110可以作为网页服务器120的一部分被包括在内，而在其它实施例中，广告服务器110可以是如图1所示的分离的计算设备。广告服务器110也可以与存储互联网广告的广告内容数据库134通信。存储在广告内容数据库134上的互联网广告可能已经由网络140通过网络接口115从广告商服务器130接收。
参考网络服务器120、第三方网络服务器160和广告服务器110描述的网页内容和互联网广告内容，可以在被递送到在通信设备150上运行的网络浏览器应用之前被集成在一起。
图1的神经网络模型170可以由多个服务器计算机实现。例如，神经网络170可以由服务器计算机171-173实现。神经网络170可以被配置为应用深度学习技术(例如，query2vec和/或word2vec)以帮助将由联网搜索引擎(例如搜索引擎123和/或搜索引擎163)接收的已知查询组合到查询群集中。例如，由计算机171-173供电并且进行历史数据训练的深度神经网络语言模型170可以被利用来学习用户搜索查询的高质量矢量表示，并且这些表示可以由标准聚合技术用来(例如，k-平均、分层聚合等)将类似的用户搜索查询分组为预定数量的查询群集。由深度学习神经网络语言模型170实现的分组策略可以考虑创建预定数量的查询群集，其优化每个查询群集内的搜索查询的稳健性。为了满足预定数量的查询群集的创建，神经网络170可以设置用户搜索查询相似性敏感度级别以将查询分组为预定数量的查询群集(例如1000个查询群集)。
随后可以根据查询群集而不是单独查询来查看图3的历史表现记录300。在一个实现方式中，如图4所示，图3的搜索查询信息332可以用查询群集信息410替换以获得修改的历史表现记录400。深度学习神经语言模型170自我学习用户搜索查询的高质量矢量表示，并且基于查询中的单词的上下文将语义上类似的查询分组到一起。例如，记录302、306、310和312中的查询可以聚集在一起(查询群集1)，因为“女鞋”和“运动鞋”被识别为指向向量表示中的类似项目，并且“女鞋”和“香奈儿香水”被认为与女性有关。
深度学习神经网络语言模型170还可以用于确定用于出价广告的查询群集。得到的查询群集可以由图1的广告服务器110的出价处置器113结合图4的修改的历史表现记录400使用，以获得对出价广告的有效性的预测，即使在图3的历史表现记录300相对于与出价广告相关联的特定搜索查询是稀疏的时也是如此。
图5示出了广告服务器110的出价处置器113和广告选择器114可以遵循的示例性逻辑流程。广告服务器可以接收当前广告的维度信息和广告商信息(502)。广告服务器可以访问历史表现数据库181以识别具有与当前出价广告相同或相似的维度信息和广告商信息的历史表现记录(504)。如果识别出这样的记录，则广告服务器随后确定历史表现指示符是否可用于所识别的历史表现记录(506)。如果历史表现指示符可用，则广告服务器随后可以使用历史表现指示符来调整当前出价广告的出价(508)。如果在历史表现记录中没有记录被识别为具有与出价广告相同或相似的维度信息和广告商信息(504的“否”分支)、或者识别出这样的记录但是相应的历史表现指示符不可用(506的“否”分支)，则广告服务器可以使用深度学习神经网络模型170获得当前出价广告的查询群集(510)，并且从经修改的表现记录400而不是原始表现记录300识别记录以预测当前出价广告的潜在有效性(512)。在一个实现方式中，广告服务器可以识别修改的历史记录400中的一组记录，其具有相同的查询群集、相同或相似的其它维度信息，以及相同的广告商信息512。广告服务器可以进一步(在512)聚合所识别的记录的可用表现指示符，以获得聚合的历史表现指示符(514)。随后，广告服务器基于聚合的历史表现指示符来调整对出价广告的出价(516)。
可以在广告服务器中灵活地定义上面的术语“相同或相似”。例如，广告服务器可以额外使用例如模糊文本匹配技术来确定查询是相同还是相似。因此，由于例如拼写错误导致的查询之间的差异可能不会导致查询被认为是不相同或相似的。
在一个实现方式中，广告服务器可以不执行504的“是”分支，从而即使存在与当前出价广告完全匹配的历史表现记录，潜在有效性和出价调整的预测也仅基于查询群集。这种方法使用更多的历史数据进行预测，因此在某些情况下可以提供更好的预测准确性。
此外，可以以分层方式进行对出价广告的潜在有效性的预测(512和514)。例如，可以省略考虑维度信息和广告商信息之一。具体地，在步骤512和514中可以省略广告商信息、设备信息、发布者信息或其任何组合。这样，可以根据这些维度进一步聚合历史表现指示符数据，其结果是预测可能涉及更多的历史数据。类似地，在逻辑流程步骤504中可以省略一些维度信息和广告商信息，并且因此504的“是”分支可以以类似的分层方式实现。
使用图3的历史表现记录300和图4的修改的历史表现记录400示出了示例。假设当前的出价广告具有以下属性：搜索查询“项链”、设备“移动电话”、发布者A、广告商A。广告服务器110在当前出价广告和历史表现记录300中没有识别一致的或类似的匹配。随后，广告服务器使用深度学习神经网络语言模型来确定当前出价广告“项链”的搜索查询属于查询群集1。随后，广告服务器访问修改的历史表现记录400，并将记录302和306识别为与当前的出价广告相同或相似。因此聚合的记录302和306以获得1.1的聚合CRR(记录302的CRR是1.1，以及306为N/A)。在上述分层实现中可以省略广告商信息，因此可以在数据聚合中额外地包括记录310，并且在这种情况下聚合CRR可以是1.05(例如，记录302和310的平均值)。
可以使用聚合的CRR来调整出价。例如，如果聚合的CRR为1.3，则广告商最初提出的出价可能会增加30％。随后，经调整的出价可以用作广告选择器从其它出价广告商中选择广告的基础。调整出价的许可可以由广告商预先授权，或者可以由广告商服务器实时提供。因此，广告商服务器可以实现自动评估算法以分析所提议的出价调整，并且实时允许或拒绝出价调整。对于使用图5的逻辑不能做出建议的出价调整的出价广告(如果在504和512中找不到匹配的记录、或者504和512中标识的记录没有表现指示符)，则广告服务器可以继续进行使用广告客户提供的原始出价值进行出价。
利用深度学习将查询分组到查询群集中的解决方案有助于为更多的搜索查询和显着更高的流量部分生成更准确的出价调整建议。此外，使用深度学习神经网络语言模型而不是其它自然语言处理模型进行查询群集有助于捕获复杂的语言、语义和上下文关系，从而实现更好的查询群集、更准确和一致的出价调整。更准确和更高的出价可以为广告客户带来更高的转化率和更高的投资回报率(ROI)，并为发布者带来更高的收入。
返回图1，网络系统100的网络140可以包括长途和接入网络的任何组合。例如，网络140可以包括被配置为将通信设备150与耦合到无线网络的其它客户端设备耦合的无线网络。无线网络可以采用独立的ad-hoc网络、网状网络、无线LAN(WLAN)网络、蜂窝网络等。无线网络还可以包括通过无线电无线链路等耦合的终端、网关、路由器等的系统，其可以自由地、随机地移动或任意地组织自身，从而网络拓扑可以改变(有时甚至快速地改变)。无线网络还可以采用多种网络接入技术，包括长期演进(LTE)、WLAN，无线路由器(WR)网，或第二代、第三代或第四代(2G、3G或4G)蜂窝技术或者类似技术。网络接入技术可以实现设备(例如具有不同移动性的客户端设备)的广域覆盖。例如，网络140可以通过一种或多种网络接入技术实现RF或无线类型通信，例如全球移动通信系统(GSM)、通用移动电信系统(UMTS)、通用分组无线电服务(GPRS)、增强数据。GSM环境(EDGE)、GPP长期演进(LTE)、LTE高级、宽带码分多址(WCDMA)、蓝牙，802.11b/g/n等。无线网络实际上可以包括任何类型的无线通信机制，通过该机制可以在网络140之间或之内的设备(例如客户端设备或计算设备)之间传送信号，等等。
经由网络140(可以包括参与数字通信网络的网络)传送的信号分组可以与一个或多个协议为可兼容或兼容的。所采用的信令格式或协议可以包括例如TCP/IP、UDP、DECnet、NetBEUI、IPX、Appletalk等。互联网协议(IP)的版本可以包括IPv4或IPv6。互联网包括例如允许信号分组在LAN之间通信的局域网(LAN)、广域网(WAN)、无线网络或长途公共网络。信号分组可以在网络140的节点之间传送，例如与采用本地网络地址的一个或多个站点通信。例如，信号分组可以通过互联网从用户站点经由耦合到互联网的接入节点传送。同样地，例如信号分组可以经由网络节点转发到经由网络接入节点耦合到网络140的目标站点。经由互联网通信的信号分组可以例如经由网关、服务器等的路径路由，其可以根据目标地址和到目标地址的网络路径的可用性来路由信号分组。
网络140还可以包括“内容传递网络”或“内容分发网络”(CDN)，其中CDN通常是指包括由网络链接的计算机或计算设备的集合或网络的分布式内容传递系统。CDN可以采用软件、系统、协议或技术来促进各种服务，例如存储、缓存、内容通信或流媒体或应用。服务还可以利用辅助技术，包括但不限于“云计算”、分布式存储、DNS请求处理、服务开通、信号监视和报告、内容定向、个性化或商业智能。CDN还可以使实体全部或部分地操作或管理另一站点基础设施。
网络140还可以包括对等(或P2P)网络，其中与可以使用专用设备(例如专用服务器)的网络相反，P2P网络可以采用网络参与者的计算能力或带宽；然而例如一些网络可以采用这两种方法以及其它方法。P2P网络通常可以用于通过ad hoc布置或配置来耦合节点。对等网络可以使用能够作为“客户端”和“服务器”两者操作的一些节点。
关于网络140，网络140可以耦合设备从而能够例如在网页服务器120、第三方网页服务器160和通信设备150之间或者网络系统100内的其它设备(包括例如，在通过无线网络耦合的无线设备)之间交换通信。网络140还可以包括大容量存储器，例如网络附加存储器(NAS)、存储区域网络(SAN)或其它形式的计算机或机器可读介质。网络140可以包括互联网、一个或多个局域网(LAN)、一个或多个广域网(WAN)、有线类型连接、无线类型连接或其任何组合。同样地，诸如可以采用不同架构或者可以与不同协议为可兼容或兼容的子网可以在更大的网络140内互操作。例如，可以使各种类型的设备能够提供用于区分架构或协议的可互操作的能力。作为一个说明性示例，路由器可以在以其它方式分离并独立的LAN之间提供链路。通信链路或信道可包括例如模拟电话线，例如双绞线、同轴电缆，包括T1、T2、T3或T4类型线的全数字或分数数字线、综合业务数字网(ISDN)、数字用户线(DSL)、包括卫星链路的无线链路或例如本领域技术人员可能已知的其它通信链路或信道。此外，计算设备或其它相关电子设备可以例如通过电话线或链路远程耦合到网络140。
图6示出了用于计算机600的示例性计算机体系结构。计算机600的实施例(包括包括附加组件的实施例并且包括比所描述的更少组件的实施例)可以代表包括如图1所示的网络系统100的任何一个或多个设备。
计算机600包括网络接口设备620，其使得经由网络626与其它计算机通信成为可能，其中网络626可以由图1中的网络140表示。计算机600可以包括都通过总线608连接的处理器602、主存储器604、静态存储器606，网络接口设备620、输出设备610(例如显示器或扬声器)、输入设备612和存储设备616。
处理器602表示任何类型的体系结构的中央处理单元，例如CISC(复杂指令集计算)、RISC(精简指令集计算)、VLIW(超长指令字)或混合体系结构，尽管也可以使用其它适当的处理器。处理器602执行指令并包括控制整个计算机600的操作的计算机600的部分。处理器602还可以表示控制器，其组织存储器中的数据和程序存储，并在计算机600的各个部分之间传输数据和其它信息。
处理器602被配置为从输入设备612接收输入数据和/或用户命令。输入设备612可以是键盘、鼠标或其它指示设备、轨迹球、滚动、按钮、触摸板、触摸屏、键盘麦克风、语音识别设备、视频识别设备，或用于用户将数据输入计算机600并控制计算机600的操作和/或处理步骤的操作以及本文所述的其它特征的任何其它适当机构。尽管仅示出了一个输入设备612，但是在另一实施例中，可以包括任何数量和类型的输入设备。例如，输入设备612可以包括加速度计、陀螺仪和全球定位系统(GPS)收发器。
处理器602还可以经由网络626与其它计算机通信以接收指令624，其中处理器可以控制将这样的指令624存储到下述项中的任意一个或多个中：主存储器604(例如随机存取存储器(RAM))、静态存储器606(例如只读存储器(ROM))，以及存储设备616。处理器602随后可以从主存储器604、静态存储器606或存储设备中的任何一个或多个读取并执行指令624。指令624还可以通过其它源存储在主存储器604、静态存储器606或存储设备616中的任何一个或多个上。指令624可以对应于例如表示本文描述的价格生成器113的指令。
尽管计算机600被示出为仅包含单个处理器602和单个总线608，但所公开的实施例同样适用于可具有多个处理器的计算机以及可具有多个总线的计算机，其中一些或全部以不同方法执行不同功能。
存储设备616表示用于存储数据的一个或多个机构。例如，存储设备616可以包括计算机可读介质622，例如只读存储器(ROM)、RAM、非易失性存储介质、光学存储介质、闪存设备和/或其它机器可读介质。在其它实施例中，可以使用任何适当类型的存储设备。尽管仅示出了一个存储设备616，但可以存在多个存储设备和多种类型的存储设备。此外，尽管计算机600被描绘为包含存储设备616，但它可以分布在其它计算机(例如在服务器)上。
存储设备616可以包括控制器(未示出)和计算机可读介质622，计算机可读介质622具有能够由处理器602执行以执行本文描述的过程的指令624。在另一实施例中，通过硬件代替基于处理器的系统来执行一些或所有功能。在一个实施例中控制器是网页浏览器，但是在其它实施例中，控制器可以是数据库系统、文件系统、电子邮件系统、媒体管理器、图像管理器、或者可以包括能够访问数据项的任何其它功能。存储设备616还可以包含附加软件和数据(未示出)，这对于理解本文描述的特征不是必需的。
输出设备610被配置为向用户呈现信息。例如，输出装置610可以是显示器，例如液晶显示器(LCD)、基于气体或等离子体的平板显示器或传统的阴极射线管(CRT)显示器，或计算机硬件领域的其它众所周知的显示器类型。因此在一些实施例中，输出设备610显示用户界面。在其它实施例中，输出设备610可以是被配置为向用户输出可听信息的扬声器。在其它实施例中，输出设备的任何组合可以由输出设备610表示。
网络接口设备620通过任何合适的通信协议向计算机600提供到网络626的连接。网络接口设备620经由无线或有线收发器614从网络626发送和/或接收数据。收发器614可以是蜂窝频率、射频(RF)、红外(IR)，或者能够与网络626或具有计算机600的一些或所有特征的其它计算机设备通信许多已知无线或有线传输系统中的任何一种。总线208可以代表一个或多个总线，例如USB、PCI、ISA(工业标准体系结构)、X-总线、EISA(扩展工业标准体系结构)或任何其它适当的总线和/或桥接器(也称为总线控制器)。
可以使用任何合适的硬件和/或软件(例如个人计算机或其它电子计算设备)来实现计算机600。除了这里描述的各种类型的可穿戴设备之外，计算机600还可以是便携式计算机、膝上型计算机、平板计算机或笔记本计算机、PDA、袖珍计算机、设备、电话或大型计算机。
所公开的方法和系统可以部分地在服务器、客户端设备、云计算环境中实现，部分地在服务器中并且部分地在客户端设备中实现，或者在服务器、云计算环境和客户端设备的组合中实现。
因此，前面的详细描述旨在被认为是说明性的而不是限制性的，并且应当理解，是下述权利要求(包括所有等同物)旨在限定本公开的精神和范围。
Claims (20)
1.一种服务器，包括：
网络接口，所述网络接口被配置为：
根据在信息发布服务器处从请求者接收的查询，从所述信息发布服务器接收对广告空间的出价邀请；并且
响应于所述查询和所述出价邀请，接收来自广告商的出价；以及
与所述网络接口通信的处理器，所述处理器被配置为：
使用训练的查询-群集神经网络确定在预定义的一组查询群集中的查询的查询群集；
至少根据所述训练的查询-群集神经网络确定的查询群集来聚合基于查询的广告的历史表现记录，以获得聚合的历史表现记录；
基于所述查询群集和所述聚合的历史表现记录，来预测关于针对所述广告商的查询的广告空间的有效性度量；并且
根据所预测的有效性度量自动控制对从所述广告商接收的出价的调整，以获得经调整的出价。
2.如权利要求1所述的服务器，其中，所述基于查询的广告的历史表现记录包括：
查询字段，指定与所述基于查询的广告相对应的查询；
设备类型字段，指定与所述基于查询的广告相对应的查询设备的类型；
发布者字段，标识基于查询的广告的发布者；
广告商字段，标识与所述基于查询的广告相对应的广告商；以及
表现指示符字段，指定与所述基于查询的广告相对应的表现指示符。
3.如权利要求2所述的服务器，其中，所述基于查询的广告的表现指示符对应于基于查询的广告的转换率与基准转换率之间的转换率比率。
4.如权利要求3所述的服务器，
其中，所述转换对应于查询设备在预定时间长度内浏览与基于查询的广告相关联的网页、所述查询设备向所述网页输入信息、或者所述查询设备被记录在所述网页上的购买；以及
其中，所述转换率对应于将所述基于查询的广告的转换次数，所述基于查询的广告的转换次数被标准化为所述基于查询的广告的浏览次数。
5.如权利要求2所述的服务器，其中，所述处理器被配置为通过以下方式聚合所述历史表现记录以获得所述聚合的历史表现记录：
使用所述查询-群集训练的神经网络将所述查询字段转换为查询群集字段；以及
聚合具有相同查询群集字段、设备类型字段、发布者字段和广告商字段的历史表现记录的表现指示符以获得所述聚合的历史表现记录。
6.如权利要求5所述的服务器，其中，所述处理器被配置为通过以下方式预测关于针对广告商的查询的广告空间的有效性度量：
从所聚合的表现历史表现记录中识别具有分别匹配所述查询群集、所述发布服务器、所述广告商和所述请求者的设备类型的查询群集字段、发布者字段、广告商字段以及设备类型字段的记录；以及
基于所识别记录的聚合表现指示符，来预测关于所述广告商的查询的广告空间的有效性度量。
7.如权利要求2所述的服务器，其中，所述处理器被配置为聚合所述历史表现记录以通过以下方式获得所述聚合历史表现记录：
使用所述查询-群集训练的神经网络将所述查询字段转换为查询群集字段；以及
聚合具有相同查询群集字段、设备类型字段和发布者字段的历史表现记录的表现指示符以获得所述聚合的历史表现记录，而无论所述广告商字段如何。
8.如权利要求2所述的服务器，其中，所述处理器被配置为聚合所述历史表现记录以通过以下方式获得所述聚合的历史表现记录：
使用所述查询-群集训练的神经网络将所述查询字段转换为查询群集字段；以及
聚合具有相同查询群集字段、设备类型字段和广告商字段的历史表现记录的表现指示符以获得所述聚合的历史表现记录，而无论所述发布者字段如何。
9.如权利要求2所述的服务器，其中，所述处理器被配置为聚合所述历史表现记录以通过以下方式获得所述聚合的历史表现记录：
使用所述查询-群集训练的神经网络将所述查询字段转换为查询群集字段；以及
聚合具有相同查询群集字段和设备类型字段的历史表现记录的表现指示符以获得所述聚合的历史表现记录，而无论所述广告商字段和所述发布者字段如何。
10.如权利要求1所述的服务器，其中，所述训练的查询-群集神经网络被配置为将查询转换为向量表示。
11.如权利要求10所述的服务器，其中，所述训练的查询-群集神经网络还被配置为基于聚合所述向量表示来聚合所述查询。
12.如权利要求10所述的服务器，其中，所述查询包括查询会话的文本，并且其中所述训练的查询-群集神经网络被配置为使用所述查询会话的文本中的单词的上下文信息来转换所述查询会话的文本。
13.一种方法，包括：
根据在信息-发布服务器处从请求者接收的查询，从所述信息-发布服务器接收对广告空间的出价邀请；并且
响应于所述查询和所述出价邀请，接收来自广告商的出价；
使用训练的查询-群集神经网络确定在预定义的一组查询群集中的查询的查询群集；
至少根据所述训练的查询-群集神经网络确定的查询群集来聚合基于查询的广告的历史表现记录，以获得聚合的历史表现记录；
基于所述查询群集和所述聚合的历史表现记录，来预测关于所述广告商查询的广告空间的有效性度量；以及
根据所预测的有效性度量自动控制对从所述广告商接收的出价的调整，以获得经调整的出价。
14.如权利要求13所述的方法，其中，所述基于查询的广告的历史表现记录包括：
查询字段，指定与所述基于查询的广告相对应的查询；
设备类型字段，指定与所述基于查询的广告相对应的查询设备的类型；
发布者字段，标识所述基于查询的广告的发布者；
广告商字段，标识与所述基于查询的广告相对应的广告商；以及
表现指示符字段，指定与所述基于查询的广告相对应的表现指示符。
15.如权利要求14所述的方法，其中，所述基于查询的广告的表现指示符对应于所述基于查询的广告的转换率与基准转换率之间的转换率比率。
16.如权利要求15所述的方法，
其中，所述转换对应于查询设备在预定时间长度内浏览与基于查询的广告相关联的网页、所述查询设备向所述网页输入信息、或所述查询设备被记录在所述网页上的购买；以及
其中，所述转换率对应于将所述基于查询的广告的转换次数，所述基于查询的广告的转换次数被标准化为所述基于查询的广告的浏览次数。
17.如权利要求14所述的方法，其中，聚合所述历史表现记录以获得所述聚合的历史表现记录包括：
使用所述查询-群集训练的神经网络将所述查询字段转换为查询群集字段；以及
聚合具有相同查询群集字段、设备类型字段、发布者字段和广告商字段的历史表现记录的表现指示符以获得所述聚合的历史表现记录。
18.如权利要求17所述的服务器，其中，来预测关于针对所述广告商的查询的广告空间的有效性度量包括：
从所聚合的表现历史表现记录中识别具有分别匹配所述查询群集、所述发布服务器、所述广告商和所述请求者的设备类型的查询群集字段、发布者字段、广告商字段、以及设备类型字段的记录；以及
基于所识别记录的聚合表现指示符，来预测关于针对所述广告商的查询的广告空间的有效性度量。
19.一种系统，包括：
查询-聚合服务器，用于实现训练的查询-群集神经网络；以及
广告服务器，包括：
数据库，用于存储基于查询的广告的历史表现记录；
网络接口，被配置为：
根据在信息-发布服务器处从请求者接收的查询，从所述信息-发布服务器接收对广告空间的出价邀请；
响应于所述查询和所述出价邀请，接收来自广告商的出价；
将所述查询发送到所述查询-聚合服务器，以使用训练的查询-群集神经网络确定所述查询的查询群集；以及
从所述查询-群集服务器接收所述查询的查询群集；以及
与所述网络接口通信的处理器，所述处理器被配置为：
从所述数据库获取基于查询的广告的历史表现记录；
至少根据所述查询-群集服务器的训练的查询-群集神经网络确定的查询群集来聚合所述基于查询的广告的历史表现记录，从而获得聚合的历史表现记录；
基于所述查询群集和所述聚合的历史表现记录，来预测关于所述广告商的查询的广告空间的有效性度量；以及
根据所预测的有效性度量自动控制对从所述广告商接收的出价的调整，以获得的经调整的出价。
20.如权利要求19所述的系统，
其中，所述基于查询的广告的历史表现记录包括指定与所述基于查询的广告相对应的查询的查询字段、指定与所述基于查询的广告相对应的表现指示符的表现指示符字段，以及至少第三字段；以及
其中，所述处理器被配置为聚合所述历史表现记录以通过以下方式获得所述聚合的历史表现记录：
使用所述查询-群集训练的神经网络将所述查询字段转换为查询群集字段；以及
聚合具有相同查询群集字段和所述第三字段的历史表现记录的表现指示符，以获得所述聚合的历史表现记录。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/789,452 US11436628B2 (en) | 2017-10-20 | 2017-10-20 | System and method for automated bidding using deep neural language models |
| US15/789,452 | 2017-10-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109697627A true CN109697627A (zh) | 2019-04-30 |
Family
ID=63833841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811224632.0A Pending CN109697627A (zh) | 2017-10-20 | 2018-10-19 | 用于使用深层神经语言模型自动出价的系统和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11436628B2 (zh) |
| EP (1) | EP3474214A1 (zh) |
| CN (1) | CN109697627A (zh) |
| TW (1) | TWI793170B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11423059B2 (en) * | 2019-07-30 | 2022-08-23 | Innoplexus Ag | System and method for restrictive clustering of datapoints |
| CN112446720B (zh) * | 2019-08-29 | 2024-05-14 | 北京搜狗科技发展有限公司 | 一种广告显示方法及装置 |
| US11295346B1 (en) * | 2020-09-22 | 2022-04-05 | Verizon Media Inc. | Pruning for content selection |
| US11775912B2 (en) * | 2020-12-31 | 2023-10-03 | Leadscorz Inc. | Systems and methods for real-time lead grading |
| CN113011921B (zh) * | 2021-03-18 | 2023-09-22 | 腾讯科技（深圳）有限公司 | 信息推送方法、装置、电子设备及可读存储介质 |
| US20220391986A1 (en) * | 2021-06-08 | 2022-12-08 | Michael Cameron Joyner | Fantasy Investment Gaming System and Method of Using Same |
| CN113837483A (zh) * | 2021-09-29 | 2021-12-24 | 深圳市易平方网络科技有限公司 | 基于无线接收装置的广告流量预估处理方法、装置、终端 |
| CN117689428A (zh) * | 2023-12-21 | 2024-03-12 | 广州迈量科技有限公司 | 广告瀑布流询价策略生成方法、装置、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101253526A (zh) * | 2005-08-11 | 2008-08-27 | 康塔网络公司 | 基于因特网的广告或服务的投放和定价的方法和系统 |
| US20110040611A1 (en) * | 2009-08-14 | 2011-02-17 | Simmons Willard L | Using competitive algorithms for the prediction and pricing of online advertisement opportunities |
| US20140032302A1 (en) * | 2012-07-30 | 2014-01-30 | Yahoo! Inc. | Systems and methods for implementing a mobile application based online advertising system |
| US20170061502A1 (en) * | 2015-08-31 | 2017-03-02 | Ebay Inc. | Unified cross-channel advertisement platform |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090204551A1 (en) * | 2004-11-08 | 2009-08-13 | International Business Machines Corporation | Learning-Based Method for Estimating Costs and Statistics of Complex Operators in Continuous Queries |
| US20070022005A1 (en) * | 2005-07-21 | 2007-01-25 | Hanna Nader G | Method for requesting, displaying, and facilitating placement of an advertisement in a computer network |
| US8364521B2 (en) * | 2005-09-14 | 2013-01-29 | Jumptap, Inc. | Rendering targeted advertisement on mobile communication facilities |
| US8209406B2 (en) | 2005-10-28 | 2012-06-26 | Adobe Systems Incorporated | Assessment of click or traffic quality |
| US20070256095A1 (en) * | 2006-04-27 | 2007-11-01 | Collins Robert J | System and method for the normalization of advertising metrics |
| US8150734B2 (en) * | 2008-06-24 | 2012-04-03 | Microsoft Corporation | Estimating advertising prices for an incumbent content provider |
| US8271325B2 (en) * | 2008-12-02 | 2012-09-18 | Google Inc. | Adjusting bids based on predicted performance |
| US20110040616A1 (en) | 2009-08-14 | 2011-02-17 | Yahoo! Inc. | Sponsored search bid adjustment based on predicted conversion rates |
| US8972397B2 (en) * | 2010-03-11 | 2015-03-03 | Microsoft Corporation | Auto-detection of historical search context |
| US20110264519A1 (en) | 2010-04-26 | 2011-10-27 | Webjuice, LLC | Social behavioral targeting of advertisements in a social networking environment |
| KR20120022011A (ko) | 2010-08-25 | 2012-03-09 | 엔에이치엔비즈니스플랫폼 주식회사 | 트래픽 품질에 기초한 광고 시스템 및 방법 |
| CN101980211A (zh) * | 2010-11-12 | 2011-02-23 | 百度在线网络技术（北京）有限公司 | 一种机器学习模型及其建立方法 |
| US20120253927A1 (en) * | 2011-04-01 | 2012-10-04 | Microsoft Corporation | Machine learning approach for determining quality scores |
| US10366413B2 (en) * | 2013-06-25 | 2019-07-30 | Microsoft Technology Licensing, Llc | Sponsored online content management using query clusters |
| US20160104074A1 (en) | 2014-10-10 | 2016-04-14 | Yahoo! Inc. | Recommending Bidded Terms |
| US20160188733A1 (en) * | 2014-12-29 | 2016-06-30 | Quixey, Inc. | Generating Recommendations Based on Clustered Application States |
| US20170132510A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Identifying Content Items Using a Deep-Learning Model |
| US10740789B2 (en) * | 2015-12-10 | 2020-08-11 | Facebook, Inc. | Modifying advertisement bids using predicted advertisement performance |
| US10672025B2 (en) | 2016-03-08 | 2020-06-02 | Oath Inc. | System and method for traffic quality based pricing via deep neural language models |
| CN105912686A (zh) * | 2016-04-18 | 2016-08-31 | 上海珍岛信息技术有限公司 | 一种基于机器学习的搜索引擎营销竞价方法及系统 |
-
2017
- 2017-10-20 US US15/789,452 patent/US11436628B2/en active Active
-
2018
- 2018-09-14 TW TW107132357A patent/TWI793170B/zh active
- 2018-10-10 EP EP18199716.4A patent/EP3474214A1/en not_active Withdrawn
- 2018-10-19 CN CN201811224632.0A patent/CN109697627A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101253526A (zh) * | 2005-08-11 | 2008-08-27 | 康塔网络公司 | 基于因特网的广告或服务的投放和定价的方法和系统 |
| US20110040611A1 (en) * | 2009-08-14 | 2011-02-17 | Simmons Willard L | Using competitive algorithms for the prediction and pricing of online advertisement opportunities |
| US20140032302A1 (en) * | 2012-07-30 | 2014-01-30 | Yahoo! Inc. | Systems and methods for implementing a mobile application based online advertising system |
| US20170061502A1 (en) * | 2015-08-31 | 2017-03-02 | Ebay Inc. | Unified cross-channel advertisement platform |
Non-Patent Citations (1)
| Title |
|---|
| 吴笛, 武汉大学出版社 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11436628B2 (en) | 2022-09-06 |
| EP3474214A1 (en) | 2019-04-24 |
| TW201928724A (zh) | 2019-07-16 |
| TWI793170B (zh) | 2023-02-21 |
| US20190122252A1 (en) | 2019-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697627A (zh) | 用于使用深层神经语言模型自动出价的系统和方法 | |
| US8510167B2 (en) | Consolidated content item request for multiple environments | |
| EP2534632B1 (en) | Communicating information in a social network system about activities from another domain | |
| KR102104256B1 (ko) | 소셜 네트워킹 시스템에서 스폰서 광고의 순위화 및 가격결정 | |
| CN109155136A (zh) | 从视频自动检测和渲染精彩场面的计算机化系统和方法 | |
| CN1889738B (zh) | 一种在移动终端上显示广告的方法和系统 | |
| US9600807B2 (en) | Server-side modification of messages during a mobile terminal message exchange | |
| US10672025B2 (en) | System and method for traffic quality based pricing via deep neural language models | |
| US10713692B2 (en) | Systems and methods for user propensity classification and online auction design | |
| US11777925B2 (en) | System, method, and program product using ephemeral identity for digital user identification | |
| US9734519B2 (en) | Native advertisement smart injection | |
| KR101783431B1 (ko) | 크라우드 펀딩 시스템을 통해 엔터테인먼트 관련 펀딩 정보 및 컨설팅 정보를 제공하는 방법 | |
| US20140122221A1 (en) | Optimizing bidding with multiple campaign types | |
| WO2016176038A1 (en) | Computerized system and method for selectively communication html content to a user's inbox as a native message | |
| US20190043094A1 (en) | Presenting a content item to an online system user including content dynamically generated by the online system for the user | |
| US20130275223A1 (en) | Future ad targeting | |
| CN106796695A (zh) | 应用安装的转化和识别 | |
| US20170213238A1 (en) | Evaluating performance of content item presentation by modifying parameters determining whether to present content item to users of an online system | |
| US10614484B2 (en) | Optimization of electronic media content item delivery based on past client interactions | |
| US10755308B2 (en) | Local-search optimization and pricing for rich ad allocation | |
| US20220358347A1 (en) | Computerized system and method for distilled deep prediction for personalized stream ranking | |
| US20170098250A1 (en) | Accounting for differences in user interaction with content presented by different systems when selecting content by an online system | |
| US10616161B1 (en) | Computerized system and method for digital content extraction and propagation in HTML messages | |
| US20150242886A1 (en) | Ad impression availability and associated adjustment values | |
| US9959258B2 (en) | Generating characteristics of users of an online system presented with content in a context relative to other content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210323 Address after: New York State, USA Applicant after: Verizon media Address before: New York State, USA Applicant before: Oath |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: New York, United States Applicant after: Yahoo Advertising Technology Co.,Ltd. Address before: New York, United States Applicant before: Verizon media |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190430 |
|
| RJ01 | Rejection of invention patent application after publication |