CN109960749B - 模型获取方法、关键词生成方法、装置、介质及计算设备 - Google Patents
模型获取方法、关键词生成方法、装置、介质及计算设备 Download PDFInfo
- Publication number
- CN109960749B CN109960749B CN201910136539.2A CN201910136539A CN109960749B CN 109960749 B CN109960749 B CN 109960749B CN 201910136539 A CN201910136539 A CN 201910136539A CN 109960749 B CN109960749 B CN 109960749B
- Authority
- CN
- China
- Prior art keywords
- keyword
- domain
- keywords
- obtaining
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的实施方式提供了一种模型获取方法、关键词生成方法、装置、介质及计算设备。模型获取方法包括：构建关键词生成模型，该模型包括基于编码器‑注意力机制‑解码器框架的主模块；在监督学习阶段，针对每个训练数据对，主模块基于其中源关键词和参考目标关键词的语义和领域信息构建概率分布，从概率分布中采样第一隐变量，生成第一目标关键词；通过最小化主模块的损失函数，利用梯度反向传播方式来更新主模块的参数。本发明的上述技术能够生成热门高频关键词以外的低频相关关键词，通过引入领域约束使生成的目标关键词与源关键词的领域更相关；此外，还可利用强化学习进一步地提高关键词的相关性和领域一致性。
Description
技术领域
本发明的实施方式涉及电子信息领域，更具体地，本发明的实施方式涉及一种模型获取方法、关键词生成方法、装置、介质及计算设备。
背景技术
随着科技的发展，电子数码设备通常拥有网站浏览、运行手机客户端应用等诸多功能，此外，还有专门用于电子书阅读的终端设备，如电纸书等。在上述这些功能中，有一些设有搜索引擎，用户可以在搜索框输入查询词，然后搜索到相关的内容。
以商业搜索为例，通常由两个问题需要考虑：首先，关键词出价问题，热门广告关键词非常昂贵，这是因为，更多的广告客户会在竞价较受欢迎的关键词上搜索，而不受欢迎的关键词很难发现，因此大多数广告几乎没有机会展示给用户；其次，效率低下问题，搜索查询的很大比例中，与很多广告相关但却不受欢迎的关键词，在搜索结果中并没有展示广告页面，现有的基于检索或基于匹配的方法要么恶化竞标，要么无法提出可以覆盖更多查询的方案，从而导致效率低下、广告展示次数少。
发明内容
在本上下文中，本发明的实施方式期望提供一种模型获取方法、关键词生成方法、装置、介质及计算设备，以提供能够覆盖更多查询的关键词，提高效率和展示次数。
在本发明实施方式的第一方面中，提供了一种基于领域约束的关键词生成模型的模型获取方法，包括：构建关键词生成模型，所述关键词生成模型包括基于编码器-注意力机制-解码器框架的主模块；获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词；以及利用所述多个训练数据对训练所述主模块，其中，所述训练的过程包括监督学习阶段，所述监督学习阶段包括：针对每一个训练数据对，所述主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于所述第一隐变量生成第一目标关键词；以及通过最小化主模块的损失函数，利用梯度反向传播方式来更新所述主模块的参数。
进一步地，基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布并采样包括：经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示；获得该训练数据对中源关键词和参考目标关键词各自的领域类别；基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。
进一步地，基于所述第一隐变量生成第一目标关键词包括：根据注意力机制，获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量；至少基于所述第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数；至少基于所述第一隐变量与所述第一上下文矢量，获得所述预设词表中各词的、表征语义信息的第一语言模型分数；以及根据所述预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和，确定对应的第一目标关键词。
进一步地，在所述监督学习阶段，解码器基于所述第一特定领域分数、所述第一上下文矢量以及所述第一隐变量作为解码器的输入来输出所述第一目标关键词。
进一步地，在计算所述第一加权和时，所述第一语言模型分数的权重和/或所述第一特定领域分数的权重为预设的固定值。
进一步地，经由预先训练好的支持向量机SVM来获取源关键词和参考目标关键词各自的领域类别。
进一步地，通过条件变分自编码CVAE来构建概率分布并采样第一隐变量。
进一步地，获得预设词表中各词的第一特定领域分数包括：预测所述第一隐变量的第一领域类别分布；以及将所述第一领域类别分布映射成预设词表中各词的第一特定领域分数。
进一步地，构建强化学习模块，所述强化学习模块包含在所述关键词生成模型中，所述训练的过程还包括强化学习阶段，所述强化学习阶段包括：在预设的值空间中采样一组值，作为多个候选领域约束因子；对于每一个源关键词，利用训练后的主模块生成与所述多个候选领域约束因子对应的多个候选目标关键词；利用所述强化学习模块中的奖励估计部获得每个候选目标关键词的奖励；以及更新所述强化学习模块中的策略部的参数以使所述策略部选择能够得到最大奖励的候选领域约束因子。
进一步地，利用训练后的主模块生成候选目标关键词包括：经由编码器获得该源关键词的编码表示；获得该源关键词的领域类别；将该源关键词的编码表示以及领域类别，构建第二概率分布并从该第二概率分布中采样第二隐变量；根据注意力机制，获得与该源关键词的编码表示相对应的第二上下文矢量；至少基于所述第二隐变量，获得预设词表中各词的、表征邻域信息的第二特定领域分数；至少基于所述第二隐变量与所述第二上下文矢量，获得所述预设词表中各词的、表征语义信息的第二语言模型分数；以及根据所述预设词表中各词的第二语言模型分数和第二特定领域分数的第二加权和，确定对应的第二目标关键词；其中，所述第二语言模型分数的权重为固定的常数，所述第二特定领域分数的权重为所述候选领域约束因子。
进一步地，所述第二语言模型分数的权重为领域约束因子，所述第二特定领域分数的权重为固定的常数。
进一步地，候选目标关键词的领域类别与当前源关键词对应的第二预测目标领域类别越接近、候选目标关键词与当前源关键词的相关度越高，对应的奖励越大。
进一步地，所述关键词包括广告关键词。
进一步地，所述源关键词包括广告商已购得的广告关键词；所述参考目标关键词包括与所述源关键词的领域匹配的潜在合适的目标关键词。
根据本发明的第二方面，还提供了一种基于领域约束的关键词生成方法，包括：获得待扩展关键词；以及利用基于领域约束的关键词生成模型，生成所述待扩展关键词对应的目标关键词，其中，该基于领域约束的关键词生成模型通过如上所述的基于领域约束的关键词生成模型的模型获取方法获得。
进一步地，所述待扩展关键词包括广告商已购得的广告关键词。
进一步地，生成的目标关键词用于被推荐给对应的广告商，以及/或用于对应的广告检索。
根据本发明的第三方面，还提供了一种基于领域约束的关键词生成模型的模型获取装置，其特征在于包括：构建单元，适于构建关键词生成模型，所述关键词生成模型包括基于编码器-注意力机制-解码器框架的主模块；训练数据获取单元，适于获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词；以及训练单元，适于利用所述多个训练数据对训练所述主模块，其中，所述训练的过程包括监督学习阶段，所述监督学习阶段包括：针对每一个训练数据对，所述主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于所述第一隐变量生成第一目标关键词；以及通过最小化主模块的损失函数，利用梯度反向传播方式来更新所述主模块的参数。
进一步地，所述训练单元适于通过如下过程来构建概率分布并采样：经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示；获得该训练数据对中源关键词和参考目标关键词各自的领域类别；基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。
进一步地，所述训练单元适于按照如下方式生成第一目标关键词：根据注意力机制，获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量；至少基于所述第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数；至少基于所述第一隐变量与所述第一上下文矢量，获得所述预设词表中各词的、表征语义信息的第一语言模型分数；以及根据所述预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和，确定对应的第一目标关键词。
进一步地，所述训练单元适于在所述监督学习阶段，通过解码器基于所述第一特定领域分数、所述第一上下文矢量以及所述第一隐变量作为解码器的输入来输出所述第一目标关键词。
进一步地，所述训练单元适于经由预先训练好的支持向量机SVM来获取源关键词和参考目标关键词各自的领域类别。
进一步地，所述训练单元适于通过条件变分自编码CVAE来构建概率分布并采样第一隐变量。
进一步地，所述训练单元适于按照如下方式获得预设词表中各词的第一特定领域分数：预测所述第一隐变量的第一领域类别分布；以及将所述第一领域类别分布映射成预设词表中各词的第一特定领域分数。
进一步地，所述构建单元适于构建强化学习模块，所述强化学习模块包含在所述关键词生成模型中，所述训练单元所执行的所述训练的过程还包括强化学习阶段，所述强化学习阶段包括：在预设的值空间中采样一组值，作为多个候选领域约束因子；对于每一个源关键词，利用训练后的主模块生成与所述多个候选领域约束因子对应的多个候选目标关键词；利用所述强化学习模块中的奖励估计部获得每个候选目标关键词的奖励；以及更新所述强化学习模块中的策略部的参数以使所述策略部选择能够得到最大奖励的候选领域约束因子。
进一步地，所述训练单元通过如下处理来生成候选目标关键词：经由编码器获得该源关键词的编码表示；获得该源关键词的领域类别；将该源关键词的编码表示以及领域类别，构建第二概率分布并从该第二概率分布中采样第二隐变量；根据注意力机制，获得与该源关键词的编码表示相对应的第二上下文矢量；至少基于所述第二隐变量，获得预设词表中各词的、表征邻域信息的第二特定领域分数；至少基于所述第二隐变量与所述第二上下文矢量，获得所述预设词表中各词的、表征语义信息的第二语言模型分数；以及根据所述预设词表中各词的第二语言模型分数和第二特定领域分数的第二加权和，确定对应的第二目标关键词；其中，所述第二语言模型分数的权重为固定的常数，所述第二特定领域分数的权重为所述候选领域约束因子。
进一步地，所述训练单元适于将所述第二语言模型分数的权重设置为领域约束因子，将所述第二特定领域分数的权重设置为固定的常数。
进一步地，所述训练单元适于：当候选目标关键词的领域类别与当前源关键词对应的第二预测目标领域类别越接近、候选目标关键词与当前源关键词的相关度越高时，将对应的奖励设置为越大。
进一步地，所述关键词包括广告关键词。
进一步地，所述源关键词包括广告商已购得的广告关键词；所述参考目标关键词包括与所述源关键词的领域匹配的潜在合适的目标关键词。
根据本发明的第四方面，还提供了一种基于领域约束的关键词生成装置，包括：待扩展关键词获得单元，适于获得待扩展关键词；存储单元，适于存储基于领域约束的关键词生成模型，其中，该基于领域约束的关键词生成模型通过上述的基于领域约束的关键词生成模型的模型获取装置获得；以及生成单元，适于利用所述存储单元中的基于领域约束的关键词生成模型，生成所述待扩展关键词对应的目标关键词。
进一步地，所述待扩展关键词包括广告商已购得的广告关键词。
进一步地，所述生成单元适于将生成的目标关键词推荐给对应的广告商，以及/或用于对应的广告检索。
根据本发明的第五方面，还提供了一种基于领域约束的关键词生成模型，该关键词生成模型通过如上述的基于领域约束的关键词生成模型的模型获取方法获得。
根据本发明的第六方面，还提供了一种存储有程序的存储介质，所述程序被处理器执行时实现如上所述的基于领域约束的关键词生成模型的模型获取方法或如上所述的基于领域约束的关键词生成方法。
根据本发明的第七方面，还提供了一种计算设备，包括如上所述的存储介质。
根据本发明实施方式的模型获取方法、关键词生成方法、装置、介质及计算设备，其所构建的关键词生成模型基于编码器-注意力机制-解码器框架，但与传统的编码器-注意力机制-解码器框架模型有着实质不同。本发明的上述方案在该编码器-注意力机制-解码器框架上，通过利用包含源关键词和参考目标关键词的训练数据对的语义信息和领域信息来获得预测的领域类别，以基于该领域类别来对要生成的目标关键词进行领域约束，使得基于上述领域约束生成的目标关键词不仅在语义上与训练数据对相关联，而且在所属领域上也与基于训练数据对所预测的领域类别相同或相近，相比现有技术，本发明的上述技术所生成的目标关键词更加准确，用于检索所得到的检索结果也较为精准。
针对广告关键词，本发明的上述方案可以根据广告商已有的关键词生成多样的相关关键词。在这个过程中，利用生成式的神经网络，来赋予生成的关键词更多的多样性，使其可以生成热门的高频关键词以外的低频的相关关键词；同时引入了领域约束，利用强化学习自动的加强领域知识对生成关键词的影响从而提高关键词的相关性和领域一致性，确保我们生成的关键词既多样又相关。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明实施方式的基于领域约束的关键词生成模型的模型获取方法的一个示例性处理的流程图；
图2A示出了根据本发明实施例的基于领域约束的关键词生成模型的模型获取方法的一个处理流程的具体实例的示意图；
图2B示出了根据本发明实施例的模型获取方法中构建的模型框架示意图；
图3A示出了采用现有技术方法与本发明的方法分别测试的结果的示意图；
图3B示出了领域约束因子在不同取值下模型最终生成的目标关键词的性能差别的示意图。
图4示意性地示出了根据本发明实施方式的基于领域约束的关键词生成方法的一个示例性处理的流程图；
图5示意性地示出了根据本发明实施方式的基于领域约束的关键词生成模型的模型获取装置的一个示例的结构框图；
图6示意性地示出了根据本发明实施方式的基于领域约束的关键词生成装置的一个示例的结构框图；
图7示意性地示出了根据本发明一实施例的计算机的结构示意图；
图8示意性地示出了根据本发明一实施例的计算机可读存储介质的示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
示例性方法1
下面结合图1来描述根据本发明示例性实施方式的基于领域约束的关键词生成模型的模型获取方法。
本发明的实施例提供了一种基于领域约束的关键词生成模型的模型获取方法，包括：构建基于编码器-注意力机制-解码器框架的关键词生成模型；获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词；以及利用所述多个训练数据对训练所述关键词生成模型，其中，所述训练的过程包括监督学习阶段，所述监督学习阶段包括：采用监督学习的方法，针对所述多个训练数据对中的每一个训练数据对，根据该训练数对中源关键词和参考目标关键词的语义信息和领域信息，预测该训练数据对对应的第一预测目标领域类别，以基于该第一预测目标领域类别生成对应的第一目标关键词。
图1示意性地示出了根据本公开实施例的基于领域约束的关键词生成模型的模型获取方法的一种示例性的处理流程100。
如图1所示，处理流程100开始后，首先执行步骤S110。
在步骤S110中，构建关键词生成模型，该关键词生成模型包括基于编码器-注意力机制-解码器框架(encoder-attention-decoder framework)的主模块。
其中，这里所说的关键词生成模型中的关键词例如可以是广告关键词或其他类型的检索关键词。
此外，在步骤S120中，获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词。下文中，用X表示源关键词，用Y表示参考目标关键词。其中，这里所说的领域相匹配例如可以是领域完全相同和/或相近。
在一个示例中，源关键词例如可以包括广告商已购得的广告关键词，而对应的参考目标关键词例如可以包括与上述源关键词的领域相匹配的潜在合适的目标关键词。比如，“减肥”所属的领域类别是“美容保健”，“减肥视频”所属的领域类别也是“美容保健”，这样，可以将“减肥”(作为源关键词X的示例)与“减肥视频”(作为参考目标关键词Y的示例)作为一个训练数据对。类似地，可以获得多个满足上述要求的训练数据对，例如，可以从现有的一些公开数据库或网页等处来获取上述训练数据对，这里不再赘述。
这样，在完成步骤S110和S120之后，接着执行步骤S130。
在步骤S130中，利用多个训练数据对训练关键词生成模型。
其中，上述训练的过程包括监督学习阶段，在监督学习阶段期间采用了监督学习的方法进行训练。具体地，针对每一个训练数据对，主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于所述第一隐变量生成第一目标关键词；以及通过最小化主模块的损失函数，利用梯度反向传播方式来更新主模块的参数。
应当理解的是，本发明的上述模型获取方法以及下文所描述的其他实施例中的关键词生成方法等方法，并不一定按照所示如图中的顺序来执行。例如，在图1所示的例子中，步骤S110也可以在步骤S120之后执行，或者，步骤S110和S120可以并行处理。
本发明实施例的上述基于领域约束的关键词生成模型的模型获取方法所构建的模型，其所构建的关键词生成模型虽然是基于编码器-注意力机制-解码器框架，但与传统的编码器-注意力机制-解码器框架模型有着实质不同。本发明的上述方案在该编码器-注意力机制-解码器框架上，通过利用包含源关键词和参考目标关键词的训练数据对的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于所述第一隐变量生成第一目标关键词，使得基于上述领域约束生成的目标关键词不仅在语义上与训练数据对相关联，而且在所属领域上也与训练数据对相同或相近，相比现有技术，本发明的上述技术所生成的目标关键词更加准确，用于检索所得到的检索结果也较为精准。此外，将本发明的上述技术用于检索，通过领域约束与语义利用相结合，将源关键词进行扩展后，也能够使得在领域、语义上与源关键词关联性较大的关键词得到展示，从而也能够使用户检索到更多更相关的结果，进而也提高了检索效率。
作为示例，在监督学习阶段，基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布并采样第一隐变量，例如可以包括：经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示；获得该训练数据对中源关键词和参考目标关键词各自的领域类别；基于将该训练数据对中源关键词和参考目标关键词各自的编码表示和以及领域类别作为隐变量网络的输入，构建概率分布并采样第一隐变量。
作为示例，在监督学习阶段，基于第一隐变量生成第一目标关键词，例如可以包括：根据注意力机制，获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量；至少基于第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数；至少基于第一隐变量与第一上下文矢量，获得预设词表中各词的、表征语义信息的第一语言模型分数；以及根据预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和，确定对应的第一目标关键词。
其中，语言模型分数(language model score)(如上述第一语言模型分数或下文将要提到的第二语言模型分数等)是用来表示语言连贯性、通顺度等特性的。特定领域分数(domain-specific score)(如上述第一特定领域分数或下文将要提到的第二特定领域分数等)是用来表示预设词表中各词的的分数。
图2A及图2B给出了本发明的一个优选实施例。
如图2A-2B所示，hx n表示源关键词的编码表示，hy m表示参考目标关键词的编码表示，其中，X表示源关键词，Y表示目标关键词，n表示源关键词长度，m表示目标关键词长度，dx表示源关键词的领域类别，e(dx)是源关键词的领域类别的向量表示，dy表示参考目标关键词的领域类别，而e(dy)是参考目标关键词的领域类别的向量表示。z表示隐变量，其服从预定的概率分布，优选正态分布。
图2B示出了关键词生成模型的示例性配置的示意图。如图2B所示，该关键词生成模型包括主模块和强化学习模块，其中主模块包括编码器-注意力机制-解码器框架、领域分类器、隐变量网络和领域约束网络。
如图2B所示，领域约束网络获取源关键词X和参考目标关键词Y各自的领域类别向量。例如，可以通过支持向量机SVM来实现领域约束网络，但领域约束网络并不限于SVM，本领域技术人员可以根据实际需要而采用其他模型。领域约束网络已经预先训练过，换言之，在监督学习阶段或者后面将要描述的强化学习阶段，不更新领域约束网络的参数。
隐变量网络可以通过条件变分自编码CVAE来实现，但不限于此，本领域技术人员也可以根据实际需要而采用其他网络。在训练阶段，隐变量网络基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。如图2B所示，将源关键词和参考目标关键词各自的编码表示hx n和hy m以及领域类别向量e(dx)和e(dy)输入隐变量网络中，隐变量网络基于该输入来构建后验概率分布，优选地正态分布，即：
在得到以上分布之后，即可以对以上分布进行采样来得到第一隐变量。
在推导阶段，隐变量网络基于源关键词的编码表示和领域类别构建概率分布并采样第一隐变量。需要说明的是，在图2A-2B中，虚线对应的部分表示只有在监督学习阶段才有，而在推导阶段或后文的强化学习阶段没有虚线部分。如图2B所示，在推导阶段，将源关键词的编码表示hx n和领域类别向量e(dx)输入隐变量网络中，隐变量网络基于该输入来构建以下先验概率分布(优选地，正态分布)并在其上采样第二隐变量：
另外，为了减小先验分布与后验分布之间的不一致性，在隐变量网络的损失函数中增加了KL发散项，所得到的损失函数为：
领域约束网络用来对广告关键词的特定领域信息建模。在关键词生成过程中纳入领域约束网络的输出，以提高商业搜索中生成的关键词(最终生成的目标关键词)的质量。在监督训练阶段中，领域约束网络用于至少基于第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数。具体地，领域约束网络首先预测第一隐变量的第一领域类别分布；然后将该第一领域类别分布映射成预设词表中各词的第一特定领域分数。
如下，可以基于Gumbel-Softmax来预测第一隐变量的第一领域类别分布：
∈～U(0，1)， (4)
g＝-log(-log(∈))， (5)
其中，∈是从均匀分布U(0，1)中取得的样本，g是从Gumbe1分布Gumbel(0，1)中取得的样本，od是通过多层神经感知机MLP和投影矩阵
计算得到的；
是推导过程中用到的所预测的领域类别的真实分布，
是训练过程中用到的分布，以及τ是用于调整样本分布的形状的参数，其在训练期间通过训练获得。
在监督学习中，我们用参考目标关键词的真实领域类别dy作为损失函数中的监督信号，以使得领域约束网络能够预测出预期的目标领域类别，该领域约束网络的定义如下：
其中，E表示数学期望。
领域约束网络的另一个任务是根据领域类型分布来计算特定领域分数。当获得第一隐变量的领域类别分布后，领域嵌入(target domainembedding)可以按如下计算：
其中，Vd是随机初始化的领域类别嵌入矩阵，其中将被自动学习。随后，可以按照如下来生成特定领域分数：
D(yt|e(d′y))＝Wd MLP(e(d′y)) (11)
其中，D(yt|e(d′y))是预设词表中各词的特定领域分数；Wd是领域词嵌入矩阵，其将在监督训练过程中被学习。
另外，在推导阶段，领域约束网络用于至少基于第二隐变量，获得预设词表中各词的、表征邻域信息的第二特定领域分数。推导阶段与训练阶段处理大致相似，所不同的在于：在推导阶段，公式(10)、(11)和(14)采用
来计算。
继续参考图2B，在训练阶段，解码器基于第一隐变量z和上下文矢量ct如下来生成预设词表中各词的表征语义信息的第一语言模型分数：
st＝GRU(st-1，[ct-1；z；e(yt-1)])， (12)
S(yt|y＜t，ct，z)＝Wsst， (13)
其中，5(yt|y＜t，ct，z)语言模型分数；并且Ws是需要被学习的语义词嵌入矩阵。
解码器通过领域约束因子β将语言模型分数和特定领域分数相组合来得到词生成分布，如下：
P(yt|y＜t，ct，z，e(d′y))＝softmax(S(yt|y＜t，ct，z)+βD)(yt|e(d′y)))。 (14)
其中，领域约束因子β用于控制特定领域信息在最终词分布中的影响，并且在监督学习过程中被固定为1。解码器的生成损失可以通过以下给出：
其中，E表示数学期望。
由此，在监督学习阶段，最终的损失函数为KL发散项L1、领域预测损失L2和生成损失L3的组合，即：
其中，max算子和因子δ用于平衡KL发散项和其他损失函数以便更好地优化。
在以上监督学习过程中，领域约束因子β固定不变，这对算法来说，是不利的。优选地，领域约束因子β需要根据目标关键词的的语义信息和特定领域信息来动态地确定。为此，我们在关键词学习模型中加入了强化学习模块来学习领域约束因子β。强化学习模块可以根据现有的强化学习算法来构建，并且包括策略部和奖励估计部。
在强化学习阶段，即不存在图2A-2B中的虚线部分，换句话说，不存在参考目标关键词的那部分信息。强化学习阶段，利用奖励估计器，来确定不同领域关键词所各自对应的动态权重的值。这样，本发明的实施例可以进一步优化领域约束的效果，使得当针对不同领域的关键词时，所采用的动态权重不同，也就是说，考虑在总的加权和(这个总分数)中特定领域信息的贡献所占比的不同。
应当说明的是，在图2B中输入至编码器的Y表示的参考目标关键词，而从解码器输出的Y’则表示的模型最终生成的对应的目标关键词。
在监督学习阶段，在预设的值空间中采样一组值，作为多个候选领域约束因子；对于每一个源关键词，利用通过以上监督训练阶段所训练得到的主模块生成与多个候选领域约束因子对应的多个候选目标关键词；利用强化学习模块中的奖励估计部获得每个候选目标关键词的奖励；以及更新强化学习模块中的策略部的参数以使策略部选择能够得到最大奖励的候选领域约束因子。
作为示例，利用训练后的主模块生成候选目标关键词包括：经由编码器获得该源关键词的编码表示；获得该源关键词的领域类别；将该源关键词的编码表示以及领域类别，构建第二概率分布并从该第二概率分布中采样第二隐变量；根据注意力机制，获得与该源关键词的编码表示相对应的第二上下文矢量；至少基于第二隐变量，获得预设词表中各词的、表征邻域信息的第二特定领域分数；至少基于第二隐变量与第二上下文矢量，获得预设词表中各词的、表征语义信息的第二语言模型分数；以及根据预设词表中各词的第二语言模型分数和第二特定领域分数的第二加权和，确定对应的第二目标关键词；其中，第二语言模型分数的权重为固定的常数，第二特定领域分数的权重为候选领域约束因子。
作为示例，第二语言模型分数的权重为领域约束因子，第二特定领域分数的权重为固定的常数。
例如，候选目标关键词的领域类别与当前源关键词对应的第二预测目标领域类别越接近、候选目标关键词与当前源关键词的相关度越高，对应的奖励越大。
作为示例，可以在强化学习阶段，将第二特定领域分数、第二上下文矢量以及第二隐变量作为解码器的输入，以根据解码器的输出对应地生成第二目标关键词。
强化学习算法已为本领域技术人员所熟知，在此不再详细描述其操作。
图3A给出了采用现有技术的两种方法(Seq2Seq和CVAE)与本发明的方法(DCKG)分别测试的结果。其中，Acc.表示最终测试阶段模型生成的目标关键词的领域与模型预测的关键词的领域的一致度，Acc.取值为1表示二者领域一致，Acc.取值为0表示二者领域不同；Rel.表示最终测试阶段模型生成的目标关键词与源关键词的相关度，Rel.取值为1表示二者相关，Rel.取值为0表示二者不相关。由图3A可以看出，本发明的处理效果要优于其他两种方法。
图3B给出了领域约束因子β在不同取值下(在该例子中，第二语言模型分数的权重为常数1，第二特定领域分数的权重为领域约束因子β)，模型最终生成的目标关键词的性能(Acc.及Re1.)。由此可以看出，对于当前领域“美容保健”的关键词来说，领域约束因子取值为2-3的效果比较好。若领域约束因子取值过小，则会导致生成的结果与源关键词的领域不太相关；而若领域约束因子过大，则会导致生成的结果与原关键词的领域虽然相近、但语义内容上却无太大关联。对于不同领域的关键词，其所需要的领域约束因子的值不尽相同，甚至可能相差较大，若采取相同的固定值，则会使得对于一些领域的关键词处理的效果好、而对于另一些领域的关键词处理效果差；相比之下，本发明的实施例动态地为不同领域的关键词确定不同的领域约束因子的值，则会使得不同领域的关键词都能够达到较好的处理效果。
示例性方法2
下面结合图4来描述根据本发明示例性实施方式的基于领域约束的关键词生成方法。
本发明的实施例提供了一种基于领域约束的关键词生成方法，包括：获得待扩展关键词；以及利用基于领域约束的关键词生成模型，生成待扩展关键词对应的目标关键词，其中，该基于领域约束的关键词生成模型通过上文所述的基于领域约束的关键词生成模型的模型获取方法获得。
图4示意性地示出了根据本公开实施例的基于领域约束的关键词生成方法的一种示例性的处理流程400。
如图4所示，处理流程400开始后，首先执行步骤S410。
在步骤S410中，获得待扩展关键词。
接着，在步骤S420中，利用基于领域约束的关键词生成模型，生成待扩展关键词对应的目标关键词，其中，该基于领域约束的关键词生成模型通过上文所述的基于领域约束的关键词生成模型的模型获取方法获得。
例如，待扩展关键词包括广告商已购得的广告关键词。
例如，生成的目标关键词用于被推荐给对应的广告商，以及/或用于对应的广告检索。
示例性装置1
接下来，参考图5对本发明示例性实施方式的基于领域约束的关键词生成模型的模型获取装置进行说明。
参见图5，示意性地示出了根据本发明一实施例的基于领域约束的关键词生成模型的模型获取装置的结构示意图，该装置可以设置于终端设备中，例如，该装置可以设置于台式计算机、笔记型计算机、智能移动电话以及平板电脑等智能电子设备中；当然，本发明实施方式的装置也可以设置于服务器中。本发明实施方式的装置500可以包括下述组成单元：构建单元510、训练数据获取单元520和训练单元530。
构建单元510，适于构建关键词生成模型，关键词生成模型包括基于编码器-注意力机制-解码器框架的主模块。
训练数据获取单元520，适于获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词。
训练单元530，适于利用多个训练数据对训练主模块，其中，训练的过程包括监督学习阶段，监督学习阶段包括：针对每一个训练数据对，主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于第一隐变量生成第一目标关键词；以及通过最小化主模块的损失函数，利用梯度反向传播方式来更新主模块的参数。
作为示例，训练单元530例如可以适于通过如下过程来构建概率分布并采样：经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示；获得该训练数据对中源关键词和参考目标关键词各自的领域类别；基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。
作为示例，训练单元530例如可以适于按照如下方式生成第一目标关键词：根据注意力机制，获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量；至少基于第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数；至少基于第一隐变量与第一上下文矢量，获得预设词表中各词的、表征语义信息的第一语言模型分数；以及根据预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和，确定对应的第一目标关键词。
作为示例，训练单元530例如可以适于在监督学习阶段，通过解码器基于第一特定领域分数、第一上下文矢量以及第一隐变量作为解码器的输入来输出第一目标关键词。
作为示例，训练单元530适于经由预先训练好的支持向量机SVM来获取源关键词和参考目标关键词各自的领域类别。
作为示例，训练单元530例如可以适于通过条件变分自编码CVAE来构建概率分布并采样第一隐变量。
作为示例，训练单元530例如可以适于按照如下方式获得预设词表中各词的第一特定领域分数：预测第一隐变量的第一领域类别分布；以及将第一领域类别分布映射成预设词表中各词的第一特定领域分数。
作为示例，构建单元510例如可以适于构建强化学习模块，强化学习模块包含在关键词生成模型中，训练单元530所执行的训练的过程还包括强化学习阶段，强化学习阶段包括：在预设的值空间中采样一组值，作为多个候选领域约束因子；对于每一个源关键词，利用训练后的主模块生成与多个候选领域约束因子对应的多个候选目标关键词；利用强化学习模块中的奖励估计部获得每个候选目标关键词的奖励；以及更新强化学习模块中的策略部的参数以使策略部选择能够得到最大奖励的候选领域约束因子。
作为示例，训练单元530例如可以通过如下处理来生成候选目标关键词：经由编码器获得该源关键词的编码表示；获得该源关键词的领域类别；将该源关键词的编码表示以及领域类别，构建第二概率分布并从该第二概率分布中采样第二隐变量；根据注意力机制，获得与该源关键词的编码表示相对应的第二上下文矢量；至少基于第二隐变量，获得预设词表中各词的、表征邻域信息的第二特定领域分数；至少基于第二隐变量与第二上下文矢量，获得预设词表中各词的、表征语义信息的第二语言模型分数；以及根据预设词表中各词的第二语言模型分数和第二特定领域分数的第二加权和，确定对应的第二目标关键词；其中，第二语言模型分数的权重为固定的常数，第二特定领域分数的权重为候选领域约束因子。
作为示例，训练单元530例如可以适于将第二语言模型分数的权重设置为领域约束因子，将第二特定领域分数的权重设置为固定的常数。
作为示例，训练单元530例如可以适于：当候选目标关键词的领域类别与当前源关键词对应的第二预测目标领域类别越接近、候选目标关键词与当前源关键词的相关度越高时，将对应的奖励设置为越大。
作为示例，关键词例如可以包括广告关键词。
作为示例，源关键词例如可以包括广告商已购得的广告关键词；参考目标关键词例如可以包括与源关键词的领域匹配的潜在合适的目标关键词。
应当理解的是，上述根据本发明实施例的基于领域约束的关键词生成模型的模型获取装置中的各组成单元能够分别执行与上文所描述的基于领域约束的关键词生成模型的模型获取方法中对应步骤相同的处理，并能够达到相类似的功能和技术效果，这里不再一一赘述。
示例性装置2
接下来，参考图6对本发明示例性实施方式的基于领域约束的关键词生成模型的模型获取装置进行说明。
参见图6，示意性地示出了根据本发明一实施例的基于领域约束的关键词生成装置的结构示意图，该装置可以设置于终端设备中，例如，该装置可以设置于台式计算机、笔记型计算机、智能移动电话以及平板电脑等智能电子设备中；当然，本发明实施方式的装置也可以设置于服务器中。本发明实施方式的装置600可以包括下述组成单元：待扩展关键词获得单元610、存储单元620和生成单元630。
待扩展关键词获得单元610，适于获得待扩展关键词。
存储单元620，适于存储基于领域约束的关键词生成模型，其中，该基于领域约束的关键词生成模型通过上文所述的基于领域约束的关键词生成模型的模型获取装置获得。
生成单元630，适于利用存储单元中的基于领域约束的关键词生成模型，生成待扩展关键词对应的目标关键词。
作为示例，待扩展关键词包括广告商已购得的广告关键词。
作为示例，生成单元适于将生成的目标关键词推荐给对应的广告商，以及/或用于对应的广告检索。
应当理解的是，上述根据本发明实施例的基于领域约束的关键词生成装置中的各组成单元能够分别执行与上文所描述的基于领域约束的关键词生成方法中对应步骤相同的处理，并能够达到相类似的功能和技术效果，这里不再一一赘述。
此外，本发明实施例还提供了一种基于领域约束的关键词生成模型，该关键词生成模型通过如上所述的基于领域约束的关键词生成模型的模型获取方法获得。
图7示出了适于用来实现本发明实施方式的示例性计算机系统/服务器70的框图。图7显示的计算机系统/服务器70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统/服务器70以通用计算设备的形式表现。计算机系统/服务器70的组件可以包括但不限于：一个或者多个处理器或者处理单元701，系统存储器702，连接不同系统组件(包括系统存储器702和处理单元701)的总线703。
计算机系统/服务器70典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器70访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器702可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)7021和/或高速缓存存储器7022。计算机系统/服务器70可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM7023可以用于读写不可移动的、非易失性磁介质(图7中未显示，通常称为“硬盘驱动器”)。尽管未在图7中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线703相连。系统存储器702中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块7024的程序/实用工具7025，可以存储在例如系统存储器702中，且这样的程序模块7024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块7024通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器70也可以与一个或多个外部设备704(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口705进行。并且，计算机系统/服务器70还可以通过网络适配器706与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器706通过总线703与计算机系统/服务器70的其它模块(如处理单元701等)通信。应当明白，尽管图7中未示出，可以结合计算机系统/服务器70使用其它硬件和/或软件模块。
处理单元701通过运行存储在系统存储器702中的程序，从而执行各种功能应用以及数据处理，例如，执行并实现基于领域约束的关键词生成模型的模型获取方法中的各步骤。
本发明实施方式的计算机可读存储介质一个具体例子如图8所示。
图8的计算机可读存储介质为光盘800，其上存储有计算机程序(即程序产品)，该程序被处理器执行时，会实现上述方法实施方式中所记载的各步骤，各步骤的具体实现方式在此不再重复说明。
应当注意，尽管在上文详细描述中提及了基于领域约束的关键词生成模型的模型获取装置的若干单元、模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：
方案1.基于领域约束的关键词生成模型的模型获取方法，其特征在于包括：
构建关键词生成模型，所述关键词生成模型包括基于编码器-注意力机制-解码器框架的主模块；
获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词；以及
利用所述多个训练数据对训练所述主模块，其中，所述训练的过程包括监督学习阶段，所述监督学习阶段包括：
针对每一个训练数据对，所述主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于所述第一隐变量生成第一目标关键词；以及
通过最小化主模块的损失函数，利用梯度反向传播方式来更新所述主模块的参数。
方案2.根据方案1所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布并采样包括：
经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示；
获得该训练数据对中源关键词和参考目标关键词各自的领域类别；
基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。
方案3.根据方案2所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，基于所述第一隐变量生成第一目标关键词包括：
根据注意力机制，获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量；至少基于所述第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数；
至少基于所述第一隐变量与所述第一上下文矢量，获得所述预设词表中各词的、表征语义信息的第一语言模型分数；以及
根据所述预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和，确定对应的第一目标关键词。
方案4.根据方案3所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，在所述监督学习阶段，解码器基于所述第一特定领域分数、所述第一上下文矢量以及所述第一隐变量作为解码器的输入来输出所述第一目标关键词。
方案5.根据方案3所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，在计算所述第一加权和时，所述第一语言模型分数的权重和/或所述第一特定领域分数的权重为预设的固定值。
方案6.根据方案2所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，经由预先训练好的支持向量机SVM来获取源关键词和参考目标关键词各自的领域类别。
方案7.根据方案2所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，通过条件变分自编码CVAE来构建概率分布并采样第一隐变量。
方案8.根据方案3所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，获得预设词表中各词的第一特定领域分数包括：
预测所述第一隐变量的第一领域类别分布；以及
将所述第一领域类别分布映射成预设词表中各词的第一特定领域分数。
方案9.根据方案1所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，构建强化学习模块，所述强化学习模块包含在所述关键词生成模型中，
所述训练的过程还包括强化学习阶段，所述强化学习阶段包括：
在预设的值空间中采样一组值，作为多个候选领域约束因子；
对于每一个源关键词，利用训练后的主模块生成与所述多个候选领域约束因子对应的多个候选目标关键词；
利用所述强化学习模块中的奖励估计部获得每个候选目标关键词的奖励：以及
更新所述强化学习模块中的策略部的参数以使所述策略部选择能够得到最大奖励的候选领域约束因子。
方案10.根据方案9所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，利用训练后的主模块生成候选目标关键词包括：
经由编码器获得该源关键词的编码表示；
获得该源关键词的领域类别；
将该源关键词的编码表示以及领域类别，构建第二概率分布并从该第二概率分布中采样第二隐变量；
根据注意力机制，获得与该源关键词的编码表示相对应的第二上下文矢量；
至少基于所述第二隐变量，获得预设词表中各词的、表征邻域信息的第二特定领域分数；
至少基于所述第二隐变量与所述第二上下文矢量，获得所述预设词表中各词的、表征语义信息的第二语言模型分数；以及
根据所述预设词表中各词的第二语言模型分数和第二特定领域分数的第二加权和，确定对应的第二目标关键词；其中，所述第二语言模型分数的权重为固定的常数，所述第二特定领域分数的权重为所述候选领域约束因子。
方案11.根据方案10所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，所述第二语言模型分数的权重为领域约束因子，所述第二特定领域分数的权重为固定的常数。
方案12.根据方案11所述的基于领域约束的关键词生成模型的模型获取方法，其中，候选目标关键词的领域类别与当前源关键词对应的第二预测目标领域类别越接近、候选目标关键词与当前源关键词的相关度越高，对应的奖励越大。
方案13.根据方案1-12中任一项所述的基于领域约束的关键词生成模型的模型获取方法，其中，所述关键词包括广告关键词。
方案14.根据方案1-12中任一项所述的基于领域约束的关键词生成模型的模型获取方法，其中：
所述源关键词包括广告商已购得的广告关键词；
所述参考目标关键词包括与所述源关键词的领域匹配的潜在合适的目标关键词。
方案15.一种基于领域约束的关键词生成方法，其特征在于包括：
获得待扩展关键词；以及
利用基于领域约束的关键词生成模型，生成所述待扩展关键词对应的目标关键词，其中，该基于领域约束的关键词生成模型通过方案1-14中任一项所述的基于领域约束的关键词生成模型的模型获取方法获得。
方案16.根据方案15所述的基于领域约束的关键词生成方法，其特征在于，所述待扩展关键词包括广告商已购得的广告关键词。
方案17.根据方案16所述的基于领域约束的关键词生成方法，其特征在于，生成的目标关键词用于被推荐给对应的广告商，以及/或用于对应的广告检索。
方案18.一种基于领域约束的关键词生成模型的模型获取装置，其特征在于包括：
构建单元，适于构建关键词生成模型，所述关键词生成模型包括基于编码器-注意力机制-解码器框架的主模块；
训练数据获取单元，适于获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词；以及
训练单元，适于利用所述多个训练数据对训练所述主模块，其中，所述训练的过程包括监督学习阶段，所述监督学习阶段包括：针对每一个训练数据对，所述主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于所述第一隐变量生成第一目标关键词；以及通过最小化主模块的损失函数，利用梯度反向传播方式来更新所述主模块的参数。
方案19.根据方案18所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元适于通过如下过程来构建概率分布并采样：经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示；获得该训练数据对中源关键词和参考目标关键词各自的领域类别；基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。
方案20.根据方案18所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，所述训练单元适于按照如下方式生成第一目标关键词：根据注意力机制，获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量；至少基于所述第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数；至少基于所述第一隐变量与所述第一上下文矢量，获得所述预设词表中各词的、表征语义信息的第一语言模型分数；以及根据所述预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和，确定对应的第一目标关键词。
方案21.根据方案20所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元适于在所述监督学习阶段，通过解码器基于所述第一特定领域分数、所述第一上下文矢量以及所述第一隐变量作为解码器的输入来输出所述第一目标关键词。
方案22.根据方案19所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元适于经由预先训练好的支持向量机SVM来获取源关键词和参考目标关键词各自的领域类别。
方案23.根据方案19所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元适于通过条件变分自编码CVAE来构建概率分布并采样第一隐变量。
方案24.根据方案20所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元适于按照如下方式获得预设词表中各词的第一特定领域分数：预测所述第一隐变量的第一领域类别分布；以及将所述第一领域类别分布映射成预设词表中各词的第一特定领域分数。
方案25.根据方案18所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述构建单元适于构建强化学习模块，所述强化学习模块包含在所述关键词生成模型中，所述训练单元所执行的所述训练的过程还包括强化学习阶段，所述强化学习阶段包括：在预设的值空间中采样一组值，作为多个候选领域约束因子；对于每一个源关键词，利用训练后的主模块生成与所述多个候选领域约束因子对应的多个候选目标关键词；利用所述强化学习模块中的奖励估计部获得每个候选目标关键词的奖励；以及更新所述强化学习模块中的策略部的参数以使所述策略部选择能够得到最大奖励的候选领域约束因子。
方案26.根据方案25所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元通过如下处理来生成候选目标关键词：经由编码器获得该源关键词的编码表示；获得该源关键词的领域类别；将该源关键词的编码表示以及领域类别，构建第二概率分布并从该第二概率分布中采样第二隐变量；根据注意力机制，获得与该源关键词的编码表示相对应的第二上下文矢量；至少基于所述第二隐变量，获得预设词表中各词的、表征邻域信息的第二特定领域分数；至少基于所述第二隐变量与所述第二上下文矢量，获得所述预设词表中各词的、表征语义信息的第二语言模型分数；以及根据所述预设词表中各词的第二语言模型分数和第二特定领域分数的第二加权和，确定对应的第二目标关键词；其中，所述第二语言模型分数的权重为固定的常数，所述第二特定领域分数的权重为所述候选领域约束因子。
方案27.根据方案26所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元适于将所述第二语言模型分数的权重设置为领域约束因子，将所述第二特定领域分数的权重设置为固定的常数。
方案28.根据方案27所述的基于领域约束的关键词生成模型的模型获取装置，其中，所述训练单元适于：当候选目标关键词的领域类别与当前源关键词对应的第二预测目标领域类别越接近、候选目标关键词与当前源关键词的相关度越高时，将对应的奖励设置为越大。
方案29.根据方案18-28中任一项所述的基于领域约束的关键词生成模型的模型获取装置，其中，所述关键词包括广告关键词。
方案30.根据方案18-28中任一项所述的基于领域约束的关键词生成模型的模型获取装置，其中：
所述源关键词包括广告商已购得的广告关键词；
所述参考目标关键词包括与所述源关键词的领域匹配的潜在合适的目标关键词。
方案31.一种基于领域约束的关键词生成装置，其特征在于包括：
待扩展关键词获得单元，适于获得待扩展关键词；
存储单元，适于存储基于领域约束的关键词生成模型，其中，该基于领域约束的关键词生成模型通过方案1-14中任一项所述的基于领域约束的关键词生成模型的模型获取装置获得；以及
生成单元，适于利用所述存储单元中的基于领域约束的关键词生成模型，生成所述待扩展关键词对应的目标关键词。
方案33.根据方案32所述的基于领域约束的关键词生成装置，其特征在于，所述待扩展关键词包括广告商已购得的广告关键词。
方案34.根据方案33所述的基于领域约束的关键词生成装置，其特征在于，所述生成单元适于将生成的目标关键词推荐给对应的广告商，以及/或用于对应的广告检索。
方案35.一种基于领域约束的关键词生成模型，其特征在于，该关键词生成模型通过如方案1-14中任一项所述的基于领域约束的关键词生成模型的模型获取方法获得。
方案36.一种存储有程序的存储介质，所述程序被处理器执行时实现如方案1-14中的任一项所述的基于领域约束的关键词生成模型的模型获取方法或如方案15-17中的任一项所述的基于领域约束的关键词生成方法。
方案37.一种计算设备，包括如方案36所述的存储介质。
Claims (19)
1.一种基于领域约束的关键词生成模型的模型获取方法，其特征在于包括：
构建关键词生成模型，所述关键词生成模型包括基于编码器-注意力机制-解码器框架的主模块；
获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词；以及
利用所述多个训练数据对训练所述主模块，其中，所述训练的过程包括监督学习阶段，所述监督学习阶段包括：
针对每一个训练数据对，所述主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于所述第一隐变量生成第一目标关键词；以及
通过最小化主模块的损失函数，利用梯度反向传播方式来更新所述主模块的参数；
其中，基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布并采样包括：
经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示；
获得该训练数据对中源关键词和参考目标关键词各自的领域类别；基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。
2.根据权利要求1所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，基于所述第一隐变量生成第一目标关键词包括：
根据注意力机制，获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量；至少基于所述第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数；
至少基于所述第一隐变量与所述第一上下文矢量，获得所述预设词表中各词的、表征语义信息的第一语言模型分数；以及根据所述预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和，确定对应的第一目标关键词。
3.根据权利要求2所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，在所述监督学习阶段，解码器基于所述第一特定领域分数、所述第一上下文矢量以及所述第一隐变量作为解码器的输入来输出所述第一目标关键词。
4.根据权利要求2所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，在计算所述第一加权和时，所述第一语言模型分数的权重和/或所述第一特定领域分数的权重为预设的固定值。
5.根据权利要求1所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，经由预先训练好的支持向量机SVM来获取源关键词和参考目标关键词各自的领域类别。
6.根据权利要求1所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，通过条件变分自编码CVAE来构建概率分布并采样第一隐变量。
7.根据权利要求2所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，获得预设词表中各词的第一特定领域分数包括：
预测所述第一隐变量的第一领域类别分布；以及将所述第一领域类别分布映射成预设词表中各词的第一特定领域分数。
8.根据权利要求1所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，构建强化学习模块，所述强化学习模块包含在所述关键词生成模型中，
所述训练的过程还包括强化学习阶段，所述强化学习阶段包括：
在预设的值空间中采样一组值，作为多个候选领域约束因子；对于每一个源关键词，利用训练后的主模块生成与所述多个候选领域约束因子对应的多个候选目标关键词；利用所述强化学习模块中的奖励估计部获得每个候选目标关键词的奖励；
以及
更新所述强化学习模块中的策略部的参数以使所述策略部选择能够得到最大奖励的候选领域约束因子。
9.根据权利要求8所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，利用训练后的主模块生成候选目标关键词包括：
经由编码器获得该源关键词的编码表示；获得该源关键词的领域类别；
将该源关键词的编码表示以及领域类别，构建第二概率分布并从该第二概率分布中采样第二隐变量；
根据注意力机制，获得与该源关键词的编码表示相对应的第二上下文矢量；
至少基于所述第二隐变量，获得预设词表中各词的、表征邻域信息的第二特定领域分数；
至少基于所述第二隐变量与所述第二上下文矢量，获得所述预设词表中各词的、表征语义信息的第二语言模型分数；以及
根据所述预设词表中各词的第二语言模型分数和第二特定领域分数的第二加权和，确定对应的第二目标关键词；其中，所述第二语言模型分数的权重为固定的常数，所述第二特定领域分数的权重为所述候选领域约束因子。
10.根据权利要求9所述的基于领域约束的关键词生成模型的模型获取方法，其特征在于，所述第二语言模型分数的权重为领域约束因子，所述第二特定领域分数的权重为固定的常数。
11.根据权利要求10所述的基于领域约束的关键词生成模型的模型获取方法，其中，候选目标关键词的领域类别与当前源关键词对应的第二预测目标领域类别越接近、候选目标关键词与当前源关键词的相关度越高，对应的奖励越大。
12.根据权利要求1-11中任一项所述的基于领域约束的关键词生成模型的模型获取方法，其中，所述关键词包括广告关键词。
13.根据权利要求1-11中任一项所述的基于领域约束的关键词生成模型的模型获取方法，其中：
所述源关键词包括广告商已购得的广告关键词；所述参考目标关键词包括与所述源关键词的领域匹配的潜在合适的目标关键词。
14.一种基于领域约束的关键词生成方法，其特征在于包括：获得待扩展关键词；以及利用基于领域约束的关键词生成模型，生成所述待扩展关键词对应的目标关键词，其中，该基于领域约束的关键词生成模型通过权利要求1-3中任一项所述的基于领域约束的关键词生成模型的模型获取方法获得。
15.根据权利要求14所述的基于领域约束的关键词生成方法，其特征在于，所述待扩展关键词包括广告商已购得的广告关键词。
16.根据权利要求15所述的基于领域约束的关键词生成方法，其特征在于，生成的目标关键词用于被推荐给对应的广告商，以及/或用于对应的广告检索。
17.一种基于领域约束的关键词生成模型的模型获取装置，其特征在于包括：
构建单元，适于构建关键词生成模型，所述关键词生成模型包括基于编码器-注意力机制-解码器框架的主模块；
训练数据获取单元，适于获取多个训练数据对，其中，每个训练数据对包括领域相匹配的源关键词和参考目标关键词；以及训练单元，适于利用所述多个训练数据对训练所述主模块，其中，所述训练的过程包括监督学习阶段，所述监督学习阶段包括：针对每一个训练数据对，所述主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布，从概率分布中采样第一隐变量，并且基于所述第一隐变量生成第一目标关键词；以及通过最小化主模块的损失函数，利用梯度反向传播方式来更新所述主模块的参数；
其中，所述训练单元适于通过如下过程来构建概率分布并采样：经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示；获得该训练数据对中源关键词和参考目标关键词各自的领域类别；基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。
18.根据权利要求17所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元适于按照如下方式生成第一目标关键词：根据注意力机制，获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量；至少基于所述第一隐变量，获得预设词表中各词的、表征邻域信息的第一特定领域分数；至少基于所述第一隐变量与所述第一上下文矢量，获得所述预设词表中各词的、表征语义信息的第一语言模型分数；以及根据所述预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和，确定对应的第一目标关键词。
19.根据权利要求18所述的基于领域约束的关键词生成模型的模型获取装置，其特征在于，所述训练单元适于在所述监督学习阶段，通过解码器基于所述第一特定领域分数、所述第一上下文矢量以及所述第一隐变量作为解码器的输入来输出所述第一目标关键词。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910136539.2A CN109960749B (zh) | 2019-02-22 | 2019-02-22 | 模型获取方法、关键词生成方法、装置、介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910136539.2A CN109960749B (zh) | 2019-02-22 | 2019-02-22 | 模型获取方法、关键词生成方法、装置、介质及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109960749A CN109960749A (zh) | 2019-07-02 |
| CN109960749B true CN109960749B (zh) | 2021-04-06 |
Family
ID=67023847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910136539.2A Active CN109960749B (zh) | 2019-02-22 | 2019-02-22 | 模型获取方法、关键词生成方法、装置、介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109960749B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7320058B2 (ja) * | 2019-05-20 | 2023-08-02 | 株式会社Ｎｔｔドコモ | 対話システム |
| CN111091011B (zh) * | 2019-12-20 | 2023-07-28 | 科大讯飞股份有限公司 | 领域预测方法、领域预测装置及电子设备 |
| CN111597779B (zh) * | 2020-04-23 | 2022-05-27 | 腾讯科技（深圳）有限公司 | 文本生成方法、装置、设备以及存储介质 |
| CN113470649A (zh) * | 2021-08-18 | 2021-10-01 | 三星电子（中国）研发中心 | 语音交互方法及装置 |
| CN113626614B (zh) * | 2021-08-19 | 2023-10-20 | 车智互联（北京）科技有限公司 | 资讯文本生成模型的构造方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107329954A (zh) * | 2017-06-29 | 2017-11-07 | 浙江工业大学 | 一种基于文档内容和相互关系的主题检测方法 |
| CN109086357A (zh) * | 2018-07-18 | 2018-12-25 | 深圳大学 | 基于变分自动编码器的情感分类方法、装置、设备及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11080587B2 (en) * | 2015-02-06 | 2021-08-03 | Deepmind Technologies Limited | Recurrent neural networks for data item generation |
| CN108959256B (zh) * | 2018-06-29 | 2023-04-07 | 北京百度网讯科技有限公司 | 短文本的生成方法、装置、存储介质和终端设备 |
| CN109214003B (zh) * | 2018-08-29 | 2019-08-09 | 陕西师范大学 | 基于多层注意力机制的循环神经网络生成标题的方法 |
-
2019
- 2019-02-22 CN CN201910136539.2A patent/CN109960749B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107329954A (zh) * | 2017-06-29 | 2017-11-07 | 浙江工业大学 | 一种基于文档内容和相互关系的主题检测方法 |
| CN109086357A (zh) * | 2018-07-18 | 2018-12-25 | 深圳大学 | 基于变分自动编码器的情感分类方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109960749A (zh) | 2019-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109960749B (zh) | 模型获取方法、关键词生成方法、装置、介质及计算设备 | |
| Qi et al. | Finding all you need: web APIs recommendation in web of things through keywords search | |
| CN111079028B (zh) | 基于多源辅助信息的协同过滤推荐系统及方法 | |
| US11544474B2 (en) | Generation of text from structured data | |
| CN109885842B (zh) | 处理文本神经网络 | |
| CN111931062B (zh) | 一种信息推荐模型的训练方法和相关装置 | |
| Ahmadian et al. | A deep learning based trust-and tag-aware recommender system | |
| JP5143879B2 (ja) | ランキング指向の協調フィルタリング推薦方法および装置 | |
| EP4181026A1 (en) | Recommendation model training method and apparatus, recommendation method and apparatus, and computer-readable medium | |
| CN111242310B (zh) | 特征有效性评估方法、装置、电子设备及存储介质 | |
| CN114048331A (zh) | 一种基于改进型kgat模型的知识图谱推荐方法及系统 | |
| CN108920521A (zh) | 基于伪本体的用户画像-项目推荐系统及方法 | |
| CN111783873A (zh) | 基于增量朴素贝叶斯模型的用户画像方法及装置 | |
| Wei et al. | Autoias: Automatic integrated architecture searcher for click-trough rate prediction | |
| US20220383119A1 (en) | Granular neural network architecture search over low-level primitives | |
| Wu et al. | Leveraging neighborhood session information with dual attentive neural network for session-based recommendation | |
| CN112055038B (zh) | 生成点击率预估模型的方法及预测点击概率的方法 | |
| CN109977292B (zh) | 搜索方法、装置、计算设备和计算机可读存储介质 | |
| CN114579892A (zh) | 一种基于跨城市兴趣点匹配的用户异地访问位置预测方法 | |
| Rubens et al. | Influence-based collaborative active learning | |
| CN116975434A (zh) | 内容推荐方法以及相关设备 | |
| Sun et al. | Similarity matrix enhanced collaborative filtering for e-government recommendation | |
| JP2023550510A (ja) | 推薦方法、装置、電子機器及び記憶媒体 | |
| US10937078B1 (en) | Dynamic generation of item description content | |
| CN111563159B (zh) | 文本排序方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |