CN107609888A - 用于查询和投标词之间的点击率预测的系统和方法 - Google Patents

用于查询和投标词之间的点击率预测的系统和方法 Download PDF

Info

Publication number
CN107609888A
CN107609888A CN201710193252.4A CN201710193252A CN107609888A CN 107609888 A CN107609888 A CN 107609888A CN 201710193252 A CN201710193252 A CN 201710193252A CN 107609888 A CN107609888 A CN 107609888A
Authority
CN
China
Prior art keywords
word
bid
inquiry
vector
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710193252.4A
Other languages
English (en)
Other versions
CN107609888B (zh
Inventor
杜楠
李雅亮
范伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN107609888A publication Critical patent/CN107609888A/zh
Application granted granted Critical
Publication of CN107609888B publication Critical patent/CN107609888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明一般涉及用于搜索查询和投标词之间的点击率(CTR)预测的系统和方法。本发明的方面包括使用搜索查询和投标词的向量表示。在实施例中，基于注意的模型用于预测搜索‑投标词对的CTR。在实施例中，给定查询的具有最高CTR预测的投标词用于投放广告。因此，甚至在不与搜索查询精确匹配的情况下也可以使用投标词。

Description

用于查询和投标词之间的点击率预测的系统和方法
技术领域
本发明一般涉及在线广告，并且具体地涉及将用户查询映射到最相关的投标词。
背景技术
在线广告中，目标之一是使广告商将其广告呈现在潜在客户前。换句话说，在线广告商愿意将其广告或网页投放在感兴趣用户将看得见并且有机会响应和购买所广告的产品或服务的地方。
广告商尝试用许多方式实现其目标。一种方式是使用搜索查询来猜测用户的兴趣并且随后将适当的广告或网页呈现在该用户前。一种广告商可以投放其广告的方式是通过投标词的使用。
在在线广告中，投标词被广告商用来推销其产品或服务。投标词是广告商可以投标并购买的术语、短语、问题或句子，例如，“玩具”或“什么是最好的玩具”。在现有技术系统中，当用户例如在搜索引擎中生成查询并且使用投标词时，则响应于用户查询，拥有该精确的投标词的广告商则可以将其广告投放在用户前。
例如，玩具公司可能拥有投标词“玩具”和“什么是最好的玩具”。则该玩具公司可以在用户确实搜索“玩具”或“什么是最好的玩具”时将其广告投放在用户前。然而，如果用户搜索“最好的儿童教育产品”，则该广告商将不会投放其广告，除非其也拥有该投标词。
现有技术解决方案必须具有投标词和查询术语之间的精确匹配，以便触发广告或网页投放。如果搜索查询接近但不精确匹配一个或多个投标词，则广告将不被投放。
因此，需要以使点击率最大化的方式来执行搜索查询术语与投标词之间的映射的系统和方法。
发明内容
根据本发明的第一方面，提供了一种用于训练将查询与一组相关的投标词关联的模型的方法，所述方法包括：接收一组相应的查询、投标词和点击率，每个查询包括一个或多个词；将查询的每个词表示为向量表示；将每个投标词表示为向量表示，每个投标词包括一个或多个词；训练基于注意的模型以向一个或多个查询词的所述向量表示分配权重，并且将一个或多个查询词的加权向量表示与相应的投标词向量表示组合；以及使用相应的点击率的组合以形成用于预测所述查询的所述点击率的回归。
根据本发明的第二方面，提供了一种用于获得用户查询的相关投标词的方法，所述方法包括：接收包括一个或多个查询词的用户查询；以及将所述一个或多个查询词输入到基于注意的模型中，所述基于注意的模型包括：将每个查询词转换成向量表示；以加权方式将所述查询的所述向量表示与一组投标词表示组合，以便形成一组基于注意的查询-投标词组合向量；将每个基于注意的查询-投标词组合向量输入到用于预测点击率值的回归中；以及输出与所述基于注意的查询-投标词组合相对应的一组投标词，所述基于注意的查询-投标词组合根据所述回归产生高于阈值的点击率值。
根据本发明的第三方面，提供了一种包括一个或多个指令序列的非暂时性计算机可读介质或媒体的系统，所述指令序列在由所述一个或多个处理器执行时，使得执行用于获得用户查询的相关的投标词的步骤，包括：接收包括一个或多个查询词的用户查询；以及将所述一个或多个查询词输入到基于注意的模型中，所述基于注意的模型包括：将每个查询词转换成向量表示；以加权方式将所述查询的所述向量表示与一组投标词表示组合，以便形成一组基于注意的查询-投标词组合向量；所述向量表示与一组投标词表示组合，以便形成一组基于注意的查询-投标词组合向量；所述向量表示与一组投标词表示组合，以便形成一组基于注意的查询-投标词组合向量；将每个基于注意的查询-投标词组合向量输入到用于预测点击率值的回归中；以及输出与所述基于注意的查询-投标词组合相对应的一组投标词，所述基于注意的查询-投标词组合根据所述回归产生高于阈值的点击率值。
附图说明
将参考本发明的实施例，可以在附图中说明实施例的示例，在附图中，相似部分可以由相同或相似标号来表示。这些附图旨在是说明性而不是限制性的。尽管本发明通常是在这些实施例的上下文中描述，但是应当理解的是，本发明的精神和范围并不旨在限制于这些特定实施例。这些附图绝不限制本领域技术人员在不脱离本发明的精神和范围的情况下对本发明做出形式和细节的任何改变。
图1为描绘了根据本专利文档中的实施例的用于点击率预测的基于注意的模型的训练阶段的框图。
图2为描绘了根据本专利文档中的实施例的用于点击率预测的基于注意的模型的训练阶段的流程图。
图3为描绘了根据本专利文档中的实施例的关联查询和投标词的点击率预测系统的框图。
图4为描绘了根据本专利文档中的实施例的用于点击率预测的基于注意的模型的框图。
图5为描绘了根据本专利文档中的实施例的基于注意的模型的框图。
图6为描绘了根据本专利文档中的实施例的用于点击率预测的基于注意的模型的流程图。
图7为描绘了根据本专利文档中的实施例的计算机系统的框图。
具体实施方式
在下文描述中，出于解释的目的，阐述了具体细节以便提供对本发明的理解。但是，本领域的技术人员将显而易见的是，在没有这些具体细节的情况下，也可以实施本发明。此外，本领域技术人员将认识到的是，下文描述的本发明的实施例可以以诸如过程、装置、系统、设备或方法的多种方式实现在有形性计算机可读介质上。
图中示出的组件或模块是本发明的示例性实施例的说明并且意在避免模糊本发明。还应当理解的是，遍及本论述，组件可以被描述为单独的功能单元，其可以包括子单元，但是本领域技术人员还将认识到的是，各个组件或其部分可以被划分成单独的组件或者可以被集成在一起，包括被集成在单个系统或组件内。应当注意的是，本文论述的功能或操作可以被实现为组件/模块。组件可以用软件、硬件或其组合实现。
此外，附图内的组件或系统之间的连接并不旨在受限于直接连接。此外，这些组件之间的数据可以被修改、重新格式化或其它方式被中间组件改变。此外，可以使用额外的或更少的连接。应当注意的是，术语“耦合”、“连接”或“通信地耦合”应当被理解为包括直接连接、通过一个或多个中间设备的间接连接以及无线连接。
在说明书中对“一个实施例”、“优选实施例”“一实施例”或“实施例”的引用意指结合实施例描述的特定特征、结构、特性或功能被包括在本发明的至少一个实施例中并且可以在一个以上的实施例中。此外，上述短语在说明书各个地方的出现不必都指代相同的一个实施例或多个实施例。
某些术语在说明书各处的使用是为了说明而不应当被解释为进行限制。服务、功能或资源不受限于单个服务、功能或资源；这些术语的使用可以指代有关服务、功能或资源(其可以被分布或聚集)的分组。此外，存储器、数据库、信息库、数据存储、表格、硬件等的使用可以在本文中用于指代可以将信息输入或以其它方式记录在其中的系统组件。此外，某些术语在说明书各处的使用是为了说明而不应当被解释为进行限制。本文使用的任何标题仅是出于组织的目的并且不应当用于限制本描述或权利要求书的范围。本专利文件中提及的每个引用的全部内容通过引用的方式并入本文。
应当注意到的是：(1)可以有选择地执行某些步骤；(2)步骤可以不受限于本文阐述的特定次序；(3)可以以不同的次序来执行某些步骤；以及(4)可以并发地完成某些步骤。
在各个实施例中，本发明与涉及基于注意的模型的、存储在一个或多个非暂时性计算机可读介质上的设备、系统、方法和指令有关。这种存储在一个或多个非暂时性计算机可读介质上的设备、系统、方法和指令，除了其它优点外，可以产生将查询关联到投标词的点击率的预测。
还应当注意的是，尽管本文描述的实施例可以在将查询与投标词关联的环境下，但是当前专利文档的发明元素并不受限于此。因此，本发明元素可以应用或适用于其它环境。
在在线广告中，目标之一是使广告商将其广告或网页呈现在潜在客户前。换句话说，在线广告商愿意将其广告或网页投放在感兴趣用户将看得见并且有机会响应和购买所广告的产品或服务的地方。
广告商尝试用许多方式实现其目标。一种方式是使用搜索查询来猜测用户的兴趣并且随后将适当的广告呈现在该用户前。一种广告商可以投放其广告的方式是通过投标词的使用。投标词是广告商可以投标并购买的术语、短语、问题或句子，例如，“玩具”或“什么是最好的玩具”。
在实施例中，不与搜索查询精确匹配的投标词可以触发与该投标词相关联的广告投放。在实施例中，本文描述的系统和方法可以根据特定的搜索查询，基于预测的点击率(CTR,Click Through Rate)来对投标词进行排名并且使用最高排名的投标词来返回广告或网页。CTR是点击特定链接的用户与浏览某个网页的总用户数的比率。向相应的查询建议适当的投标词可以显著地提高网页的点击能力和转换率。
在实施例中，本文描述的系统和方法向用户查询建议相关的投标词。在实施例中，基于注意的模型使揭示搜索查询中的哪些词对最终提供投标词贡献最大成为可能。该预测可以有助于广告商更好地理解其用户的注意。
图1为描绘了根据本专利文档中的实施例的用于点击率预测的基于注意的模型的训练阶段的框图。图1示出了使用深度学习技术的基于注意的模型的训练阶段。
本文描述的实施例的系统通过提供将查询映射到投标词并且确定查询中的哪些关键字对最终提供投标词贡献最大(这将有助于广告商更好地理解其用户的注意)的系统和方法，来改善现有技术的广告系统。将高质量的投标词链接到用户查询带来提高的广告点击能力和增加的转换率。市场规模达数千万美元。
在实施例中，为了使用基于注意的模型来预测每个查询-投标词对的CTR，可以训练模型来学习用户行为。在图1中示出了学习系统架构。图1示出了将一组查询词输入到向量表示生成器115中。图1还示出了将一组投标词输入到向量表示生成器115中。
在实施例中，向量表示生成器115将词(查询词或投标词)转换成向量表示。向量表示生成器115可以使用用于实现向量表示的任何方法。用于向量表示的各种方法包括但不限于：跳-克模型或连续词袋(Word2Vec)、GloVe、一热表示或其它词嵌入表示。
向量表示生成器115将词作为输入并且输出1维向量表示。在实施例中，投标词由单个1维向量表示。
向量表示生成器115在连续向量空间中表示词，其中，在语义上类似的词被映射到附近点。在实施例中，向量表示使用关于出现在相同上下文中的词共享语义含义的概念。
Word2Vec方法使用模型组来产生词嵌入。这些模型可以是浅层的，被训练用于重构词的语言上下文的两层神经网络。
GloVe是用于获取词的向量表示的无监督学习算法。
一热表示向词汇中的每个词分配号码并且通过使用全零和一个“1”来表示号码，以便指示与关联于词的号码相关联的位置。
图1示出了被用作基于注意的模型130的输入的查询词向量表示120、投标词表示125和相应的CTR值140。在实施例中，投标词向量表示是单个投标词向量表示。在实施例中，可以通过使用投标词中的每个词的向量表示并且取这些向量表示的平均来计算单个投标词向量表示。在实施例中，可以使用递归神经网络(RNN)来实现单个投标词表示。
基于注意的模型130向每个词分配概率并且将概率组合成加权概率。
在实施例中，使用了查询词q1,q2,q3,…qN，它们是在根据查询的词分段之后获得的。每个表示是1维向量。在实施例中，使用投标词的一词嵌入表示b，其是1维向量。在实施例中，还使用针对相应查询和投标词的CTR值c。
实施例可以使用如下函数：
其中pi＝Wp*(qi+b)是分配给每个查询词的概率；WP是D乘1维矩阵，其将所组合的表示pi＝Wp*(qi+b)从D维投影到1维；Wp是用于测量每个查询词与投标词之间的关系的矩阵。因此，如公式所示，模型学习与投标词相对应的每个查询词的概率pi(这是根据qi和b来计算pi的原因)。可以对该表示进行加权和组合以经由归一化对CTR值c进行回归。在实施例中，可以通过以上公式经由梯度下降来实现用于学习pi、W和Wp的所有参数。
在实施例中，加权概率是CTR预测。使用图1的架构，基于注意的模型130可以学习各种查询术语和投标词对的CTR。
图2为描绘了根据本专利文档中的实施例的用于点击率预测的基于注意的模型的训练阶段的流程图。图2示出了与图1的系统架构相关联的流程。图2示出了接收一组相应的查询、投标词和点击率，查询中的每个查询包括一个或多个词205。图2还示出了将每个查询词表示为向量表示210。如图1中，向量表示可以使用任何向量表示来实现，包括但不限于：跳-克模型或连续词袋(Word2Vec)、GloVe、一热表示或其它词嵌入表示。在实施例中，可以将投标词表示为单个向量。
图2示出了将每个投标词表示为向量表示，每个投标词包括一个或多个词215。在实施例中，投标词向量表示是单个投标词向量表示。在实施例中，可以通过使用投标词中的每个词的向量表示并且取这些向量表示的平均来计算单个投标词向量表示。在实施例中，可以使用递归神经网络(RNN)来实现单个投标词表示。
图2示出了使用基于注意的模型来获得每个投标词和相应查询的加权计算表示并且生成点击率的回归模型220。在实施例中，基于注意的模型分配与每个词相关联的概率并且随后计算组合加权概率。在实施例中，可以使用参照图1描述的公式(方程1)来获得加权概率和CTR。
图3为描绘了根据本专利文档中的实施例的关联查询和投标词的点击率预测系统的框图。图3示出了高级的CTR预测的系统架构。一旦基于注意的模型已经学习了CTR和查询，其就可以用于预测任何查询的CTR。
查询可以是单个词或短语。在一些语言中，查询输入A/B/C/D 305可以被输入到分段模块310中。分段模块310将查询分段成其部分A、B、C和D 315。映射320用于将查询与投标词列表325进行比较并且预测CTR 330。映射320可以使用如关于图4描述的基于注意的模型。
在现有技术系统和方法中，映射仅能够进行直接比较。因此，如果查询词315恰好是投标词列表325上的投标词，则将返回该投标词。然而，在实施例中，即使当查询词315不与投标词列表325上的投标词精确匹配时，也可以基于预测的CTR来返回投标词。
例如，搜索查询可以是短语“给我的儿子的一个玩具”。该搜索查询可以被分段成词“一个”、“玩具”、“给”、“我的”和“儿子”。每个词将被映射到投标词，即使不存在与投标词的精确匹配。在实施例中，可以基于CTR预测来对投标词进行打分。
图4为描绘了根据本专利文档中的实施例的用于点击率预测的基于注意的模型的框图。图4示出了作为向量表示生成器425的输入的查询词：词1 405、词2 420至词n 415。在实施例中，向量表示生成器425将词(查询词或投标词)转换成向量表示。向量表示生成器425可以使用用于实现向量表示的任何方法。用于向量表示的各种方法包括但不限于：跳-克模型或连续词袋(Word2Vec)、GloVe、一热表示或其它词嵌入表示。
向量表示生成器425将词作为输入。向量表示生成器425输出向量表示。向量表示生成器425在连续向量空间中表示词，其中，在语义上类似的词被映射到附近点。在实施例中，向量表示使用关于出现在相同上下文中的词共享语义含义的概念。
Word2Vec方法使用模型组来产生词嵌入。这些模型可以是被训练用于重构词的语言上下文的浅的两层神经网络。
GloVe是用于获取词的向量表示的无监督学习算法。
一热表示向词汇中的每个词分配号码并且通过使用全零和一个“1”来表示号码，以便指示与关联于词的号码相关联的位置。
在实施例中，投标词向量表示是单个投标词向量表示。在实施例中，可以通过使用投标词中的每个词的向量表示并且取这些向量表示的平均来计算单个投标词向量表示。在实施例中，可以使用递归神经网络(RNN)来实现单个投标词表示。
在实施例中，图4示出了用作基于注意的模型450的查询词向量表示：词1表示q1430、词2表示q2 435、词n表示qN 450。每个向量表示是1维向量。在实施例中，投标词可以被表示为单个1维向量。
一旦已经对模型进行很好地训练，输入就可以是查询词并且就可以使用下面的公式来预测投标词和相应CTR值：
在实施例中，基于注意的模型450向每个词分配概率并且将概率组合成加权概率。在实施例中，加权概率是CTR预测。
使用图4的架构，基于注意的模型可以预测各种查询术语和投标词对的CTR。基于注意的模型输出CTR预测455。下文将关于图5描述基于注意的模型450。
将上文参照图3的其中查询是“给我的儿子的一个玩具”示例应用于图4中示出的实施例，查询被划分成词。词1 405将是一个。词2410将是“玩具”。词3将是“给”。词4将是“我的”。词6将是“儿子”。在实施例中，可以使用向量表示425将每个词和投标词表示为向量。
词1 405、词2 435、词3、词4、词5、词6的向量表示和投标词组合445可以用作基于注意的模型450。在实施例中，基于注意的模型450还将概率组合成分数，其是针对查询-投标词对的CTR预测。
在实施例中，CTR预测由投标选择器460用来选择最高得分投标词。在实施例中，最高得分投标词可以被页面返回器465用于基于最高得分投标词来确定响应于查询要返回给用户的广告或网页。由于CTR已经被预测，因此使用最高得分投标词来返回广告或网页将增大搜索结果的CTR。
可以对其它投标词迭代地运行基于注意的模型以利用该特定查询来预测其它投标词的分数。本领域技术人员将理解，上文示例旨在仅是示例性的而不是限制性的。
图5为描绘了根据本专利文档中的实施例的基于注意的模型的框图。图5更加详细地示出了基于注意的模型450。图5示出了基于注意的模型450将词1-n 505、510和515的向量表示作为输入。向量表示输入505、510和515被输入到概率预测器520。投标词或投标词组合550的向量表示也被输入到概率预测器520中。投标词组合550可以是投标词向量表示的平均或可以使用递归神经网络(RNN)来实现组合投标词。投标词组合550可以是单个投标词或投标词组合的向量表示。概率预测器520和组合器540实现参照图4描述的公式2中的公式。
概率预测器520向每个词分配与特定投标词相关联的概率。概率预测器示出与每个词525、530和535相关联的概率。每个概率525、530和535被输入到组合器540。组合器540取概率的加权组合以输出单个概率或CTR。单个概率表示特定投标词或投标词组合的查询的点击率(基于注意的模型的一组词输入)。可以关于多个投标词或投标词组合来运行基于注意的模型以确定最高排名的投标词。
组合器540可以执行概率的任何组合。在实施例中，使用加权平均。在实施例中，使用递归神经网络(RNN)来组合概率。
在实施例中，组合器的输出是CTR预测。CTR预测可以用于响应搜索查询来投放广告或网页。可以基于CTR预测来识别一组最高得分投标词。最高得分投标词可以用于投放广告或网页。例如，在上文示例中，投标词可以是“男孩玩具”。投标词“男孩玩具”的所有者具有可以被投放以响应于查询“给我的儿子的玩具”的相应广告或网页。
图6为描绘了根据本专利文档中的实施例的用于点击率预测的基于注意的模型的流程图。图6显示接收用户查询605。图6示出了将用户查询的词表示为向量表示610。图6还显示将投标词表示为向量表示615。在实施例中，词向量表示和投标词表示被输入到基于注意的模型以预测CTR 620。基于CTR预测，可以选择最高投标词的选择。这些最高投标词可以用于向搜索也返回结果630。
再次，返回到上文示例，在实施例中，可以基于可能的投标词“男孩玩具”、“玩具”、“儿童玩具”(如果其在CTR预测中得分最高)来返回网页。
本领域技术人员将理解，作为本发明的结果的各种益处是可用的。
本领域技术人员将理解，作为本发明的结果的一个益处是用于如下操作的能力：根据特定搜索查询，基于预测的CTR来对投标词进行排名并且使用最高排名的投标词来返回广告或网页。
本专利文档的方面涉及计算系统。为了本公开内容的目的，计算系统可以包括可操作用于计算、运算、确定、分类、处理、发送、接受、取回、产生、路由、切换、存储、显示、通信、表明、检测、记录、重新产生、处置或利用任意形式的信息、智能或用于商业、科学、控制或其它目的。例如，计算系统可以是个人计算机(例如，桌上型计算机或膝上型计算机)、平板计算机、移动设备(例如，个人数字助理(PDA)或智能电话)、服务器(例如，刀片服务器或机架服务器)、网络设备、或任何其它适当的设备并且大小、形状、性能、功能和价格可以变化。计算系统可以包括随机存取存储器(RAM)、一个或多个处理资源(诸如中央处理单元(CPU))或硬件或软件控制逻辑、ROM、和/或其它类型的存储器。计算系统的额外组件可以包括一个或多个磁盘驱动、用于与外部设备进行通信的一个或多个网络端口以及各种输入输出(I/O)设备，诸如键盘、鼠标、触摸屏和/或视频显示器。计算系统还可以包括可操作用于在各个硬件组件之间发送通信的一个或多个总线。
图7为描绘了根据本发明的实施例的计算系统700的框图。将理解的是，系统700示出的功能可操作用于支持计算系统的各个实施例-尽管应当理解的是，计算系统可以以不同的方式被配置并且包括不同的组件。如图7所示，系统700包括提供计算资源和控制计算机的一个或多个中央处理单元(CPU)701。CPU 701可以利用微处理器等来实现，并且还可以包括一个或多个图形处理单元(CPU)717和/或用于数学计算的浮点型协处理器。系统700还可以系统存储器702，其可以是以随机存取存储器(RAM)、只读存储器(ROM)或两者的形式。
还可以提供多个控制器和外围设备，如图7所示。输入控制器703表示到各个输入设备的接口704，诸如键盘、鼠标或手写笔。还可以有扫描仪控制器705，其与扫描仪706进行通信。系统700还可以包括用于与一个或多个存储设备708进行对接的存储控制器707，存储设备708中的每一个可以包括用于记录用于操作系统、效用和应用的指令的程序的存储介质，诸如磁带或磁盘、或光学介质，这可以包括实现本发明的各个方面的程序的实施例。存储设备708还可以用于存储处理的数据或要根据本发明进行处理的数据。系统700还可以包括用于提供到显示设备711的接口的显示控制器709，显示设备711可以是阴极射线管(CTR)、薄膜晶体管(TFT)显示器或其它类型的显示器。计算系统700还可以包括用于与打印机713进行通信的打印机控制器712。通信控制器714可以与一个或多个通信设备715对接，这使系统700能够通过包括互联网、以太网云、基于以太网的光纤信道(FCoE)/数据中心桥(DCB)云、局域网(LAN)、广域网(WAN)、存储域网(SAN)的多种网络中的任何网络或者包括红外信号的任何适当的电磁载波信号连接到远程设备。
在所示出的系统中，所有主要组件可以连接到总线716，其可以表示一个以上的物理总线。然而，各个系统组件可以在或可以不在彼此的物理接近域中。例如，可以将输入数据和/或输出数据从一个物理位置远程地发送到另一个物理位置。另外，可以通过网络从远程位置(例如，服务器)接入实现本发明的各个方面的程序。这样的数据和/或程序可以通过多种机器可读介质中的任何一种来传送，机器可读介质包括但不限于：磁介质，诸如硬盘、软盘和磁带；光介质，诸如CD-ROM和全息设备；磁光介质；和专门配置为存储或存储并执行程序代码的硬件设备，诸如专用集成电路(ASIC)、可编程逻辑设备(PLD)、闪存设备、以及ROM和RAM设备。
本发明的实施例可以被编码在具有一个或多个非暂时性计算机可读介质上，其具有针对一个或多个处理器或处理单元的指令使得多个步骤被执行。应当注意的是，一个或多个非暂时性计算机可读介质应当包括易失性和非易失性存储器。应当注意的是，替代的实现方式是可能的，包括硬件实现方式或软件/硬件实现方式。硬件实现的功能可以使用ASIC、可编程阵列、数字信号处理电路等来实现。因此，任何权利要求中的“单元”术语旨在覆盖软件和硬件实现方式两者。类似地，如本文所使用的，术语“计算机可读介质或介质”包括具有体现在其上的指令的程序的软件和/或硬件、或其组合。记住了这些替代的实现方式，要理解的是，附图和所附描述提供本领域技术人员编写程序代码(即，软件)和/或制造电路(即，硬件)所要求的功能信息以执行所要求的处理。
应当注意的是，本发明的实施例还可以涉及具有非暂时性、有形计算机可读介质的计算机产品，非暂时性、有形计算机可读介质其上具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是出于本发明的目的专门设计和构建的那些介质和计算机代码，或者它们可以是对于相关领域技术人员已知或可用的类型。有形计算机可读介质的示例包括但不限于：磁介质，诸如硬盘、软盘和磁带；光介质，诸如CD-ROM和全息设备；磁光介质；和专门配置为存储或存储并执行程序代码的硬件设备，诸如专用集成电路(ASIC)、可编程逻辑设备(PLD)、闪存设备、以及ROM和RAM设备。计算机代码的示例包括机器代码，诸如有编译器产生的，以及由计算机使用解释器执行的包含较高级代码的文件。本发明的实施例可以全部或部分地作为可以在处理设备所执行的程序模块中的机器可执行指令来实现。程序模块的示例包括库、程序、例程、对象、组件和数据结构。在分布式计算环境中，程序模块可以物理地位于是本地、远程或两者的设置中。
本领域技术人员将认识到，没有计算系统或编程语言对于本发明的实践是关键的。本领域技术人员还将认识到，上文描述的多个元素可以被物理地和/或功能地分离成子模块或组合在一起。
本科领技术人员将理解，先前示例和实施例是示例性的并且不限制本发明的范围。期望的是，在阅读本说明书和学习附图之后对于本领域技术人员显而易见的所有排列、增强、等效物、组合和其改进被包括在本发明的精神和范围内。
应当注意的是，可以以不同的方式配置下文权利要求的元素，包括具有多个从属性、配置和组合。例如，在实施例中，各个权利要求的主题可以与其它权利要求组合。

Claims (20)

1.一种用于训练将查询与一组相关的投标词关联的模型的方法，所述方法包括：
接收一组相应的查询、投标词和点击率，每个查询包括一个或多个词；
将查询的每个词表示为向量表示；
将每个投标词表示为向量表示，每个投标词包括一个或多个词；
训练基于注意的模型以向一个或多个查询词的所述向量表示分配权重，并且将一个或多个查询词的加权向量表示与相应的投标词向量表示组合；以及
使用相应的点击率的组合以形成用于预测所述查询的所述点击率的回归。
2.根据权利要求1所述的方法，还包括将查询分段成多个部分。
3.根据权利要求1所述的方法，其中，每个投标词的加权计算表示和相应的查询被输入到输出所述点击率的所述回归。
4.根据权利要求1所述的方法，其中，每个投标词的所述向量表示为单个向量。
5.根据权利要求4所述的方法，其中，通过对投标词中每个词的向量表示进行平均来实现每个投标词的单个向量表示。
6.根据权利要求4所述的方法，其中，所述单个向量表示使用递归神经网络来实现。
7.根据权利要求1所述的方法，其中，所述向量表示使用查找表来获得。
8.根据权利要求1所述的方法，其中，将所述查询与相关的投标词关联的所述模型用于获得查询的一组相关的投标词。
9.一种用于获得用户查询的相关投标词的方法，所述方法包括：
接收包括一个或多个查询词的用户查询；以及
将所述一个或多个查询词输入到基于注意的模型中，所述基于注意的模型包括：
将每个查询词转换成向量表示；
以加权方式将所述查询的所述向量表示与一组投标词表示组合，以便形成一组基于注意的查询-投标词组合向量；
将每个基于注意的查询-投标词组合向量输入到用于预测点击率值的回归中；以及
输出与所述基于注意的查询-投标词组合相对应的一组投标词，所述基于注意的查询-投标词组合根据所述回归产生高于阈值的点击率值。
10.根据权利要求9所述的方法，还包括将查询分段成多个部分。
11.根据权利要求9所述的方法，其中，所述将每个查询词转换成向量表示使用查找表以将所述查询词转换成向量表示。
12.根据权利要求9所述的方法，其中，所述投标词的向量表示为单个向量。
13.根据权利要求12所述的方法，其中，所述单个向量表示使用递归神经网络来实现。
14.根据权利要求12所述的方法，其中，所述单个向量使用投标词中的每个词的向量表示的平均向量表示来实现。
15.根据权利要求9所述的方法，其中，将所述查询的所述词中的每个词与一组投标词表示的所述组合对所述查询的每个词进行加权。
16.根据权利要求9所述的方法，其中，还包括基于输出的一组投标词来返回搜索页。
17.一种包括一个或多个指令序列的非暂时性计算机可读介质的系统，所述指令序列在由一个或多个处理器执行时，使得执行用于获得用户查询的相关的投标词的步骤，包括：
接收包括一个或多个查询词的用户查询；以及
将所述一个或多个查询词输入到基于注意的模型中，所述基于注意的模型包括：
将每个查询词转换成向量表示；
以加权方式将所述查询的所述向量表示与一组投标词表示组合，以便形成一组基于注意的查询-投标词组合向量；
将每个基于注意的查询-投标词组合向量输入到用于预测点击率值的回归中；以及
输出与所述基于注意的查询-投标词组合相对应的一组投标词，所述基于注意的查询-投标词组合根据所述回归产生高于阈值的点击率值。
18.根据权利要求17所述的系统，还包括能够将查询分段成多个部分的分段模块。
19.根据权利要求17所述的系统，其中，所述投标词的向量表示为单个向量。
20.根据权利要求17所述的系统，还包括基于输出的一组投标词来返回搜索页。
CN201710193252.4A 2016-07-11 2017-03-28 用于查询和投标词之间的点击率预测的系统和方法 Active CN107609888B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/206,966 US20180012251A1 (en) 2016-07-11 2016-07-11 Systems and methods for an attention-based framework for click through rate (ctr) estimation between query and bidwords
US15/206,966 2016-07-11

Publications (2)

Publication Number Publication Date
CN107609888A true CN107609888A (zh) 2018-01-19
CN107609888B CN107609888B (zh) 2021-08-27

Family

ID=60910943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710193252.4A Active CN107609888B (zh) 2016-07-11 2017-03-28 用于查询和投标词之间的点击率预测的系统和方法

Country Status (2)

Country Link
US (1) US20180012251A1 (zh)
CN (1) CN107609888B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360017A (zh) * 2018-09-11 2019-02-19 广东神马搜索科技有限公司 为查询语句确定广告保留价的方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10431207B2 (en) 2018-02-06 2019-10-01 Robert Bosch Gmbh Methods and systems for intent detection and slot filling in spoken dialogue systems
CN110569461B (zh) * 2018-05-18 2022-05-06 清华大学 网页点击量预测方法、装置、计算机设备及存储介质
CN108833173B (zh) * 2018-06-22 2020-10-27 中国科学技术大学 丰富结构信息的深度网络表征方法
CN109711883B (zh) * 2018-12-26 2022-12-02 西安电子科技大学 基于U-Net网络的互联网广告点击率预估方法
US11443347B2 (en) 2019-08-30 2022-09-13 Samsung Electronics Co., Ltd. System and method for click-through rate prediction
CN110929206B (zh) * 2019-11-20 2023-04-07 腾讯科技（深圳）有限公司 点击率预估方法、装置、计算机可读存储介质和设备
CN112883295B (zh) * 2019-11-29 2024-02-23 北京搜狗科技发展有限公司 一种数据处理方法、装置和介质
CN112949864B (zh) * 2021-02-01 2022-04-22 海南两心科技有限公司 预估模型的训练方法及装置
CN113033194B (zh) * 2021-03-09 2023-10-24 北京百度网讯科技有限公司 语义表示图模型的训练方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782901A (zh) * 2009-01-15 2010-07-21 林玉好 搜索引擎中的互联网广告加载方法及系统
EP2226756A1 (en) * 2009-02-27 2010-09-08 Research In Motion Limited Communications system providing mobile wireless communications device predicted search query terms based upon groups of related advertising terms
CN104992347A (zh) * 2015-06-17 2015-10-21 北京奇艺世纪科技有限公司 一种视频匹配广告的方法及装置
CN105740276A (zh) * 2014-12-10 2016-07-06 深圳市腾讯计算机系统有限公司 适用于商业化搜索的点击反馈模型的估算方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782901A (zh) * 2009-01-15 2010-07-21 林玉好 搜索引擎中的互联网广告加载方法及系统
EP2226756A1 (en) * 2009-02-27 2010-09-08 Research In Motion Limited Communications system providing mobile wireless communications device predicted search query terms based upon groups of related advertising terms
CN105740276A (zh) * 2014-12-10 2016-07-06 深圳市腾讯计算机系统有限公司 适用于商业化搜索的点击反馈模型的估算方法和装置
CN104992347A (zh) * 2015-06-17 2015-10-21 北京奇艺世纪科技有限公司 一种视频匹配广告的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANTRIKSH AGARWAL 等: "A comparative study of Linear learning methods in Click-Through Rate Prediction", 《2015 INTERNATIONAL CONFERENCE ON SOFT COMPUTING TECHNIQUES AND IMPLEMENTATIONS》 *
JING MA 等: "A CLICK-THROUGH RATE PREDICTION MODEL AND ITS APPLICATIONS TO SPONSORED SEARCH ADVERTISING", 《INTERNATIONAL CONFERENCE ON CYBERSPACE TECHNOLOGY》 *
SHUANGFEI ZHAI等: "Attention Based Recurrent Neural Networks for Online Advertising", 《PROCEEDINGS OF THE 25TH INTERNATIONAL CONFERENCE COMPANION ON WORLD WIDE WEB》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360017A (zh) * 2018-09-11 2019-02-19 广东神马搜索科技有限公司 为查询语句确定广告保留价的方法和装置
CN109360017B (zh) * 2018-09-11 2021-08-13 阿里巴巴（中国）有限公司 为查询语句确定广告保留价的方法和装置

Also Published As

Publication number Publication date
CN107609888B (zh) 2021-08-27
US20180012251A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
CN107609888A (zh) 用于查询和投标词之间的点击率预测的系统和方法
Zhou et al. Atrank: An attention-based user behavior modeling framework for recommendation
WO2020125445A1 (zh) 分类模型训练方法、分类方法、设备及介质
CN110866628A (zh) 利用动态时间上下文学习进行多界限时间序列预测的系统和方法
CN106649774A (zh) 基于人工智能的对象推送方法及装置
Rashaideh et al. A grey wolf optimizer for text document clustering
CN105787767A (zh) 一种广告点击率预估模型获取方法与系统
CN109766557A (zh) 一种情感分析方法、装置、存储介质及终端设备
Zhang et al. Forecasting of e-commerce transaction volume using a hybrid of extreme learning machine and improved moth-flame optimization algorithm
CN109670161A (zh) 商品相似度计算方法及装置、存储介质、电子设备
CN107958385A (zh) 基于买家定义函数的投标
Ji et al. Image-attribute reciprocally guided attention network for pedestrian attribute recognition
Gan et al. R-RNN: Extracting user recent behavior sequence for click-through rate prediction
CN112801425B (zh) 信息点击率的确定方法、装置、计算机设备和存储介质
Skenderi et al. Well googled is half done: Multimodal forecasting of new fashion product sales with image‐based google trends
Hu et al. Cosine metric supervised deep hashing with balanced similarity
CN107644051A (zh) 用于同类实体分组的系统和方法
Kumar et al. A new feature selection method for sentiment analysis in short text
CN115618096A (zh) 内积检索方法和电子设备
CN110362594A (zh) 一种信息处理方法和系统
CN112055038B (zh) 生成点击率预估模型的方法及预测点击概率的方法
Zhou et al. Optimizing search advertising strategies: Integrating reinforcement learning with generalized second-price auctions for enhanced ad ranking and bidding
Chowdhury et al. Few-shot class-incremental learning for 3d point cloud objects
Dinov et al. Black box machine-learning methods: Neural networks and support vector machines
Huang et al. Multi-view opinion mining with deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant