CN111738000A

CN111738000A - 一种短语推荐的方法以及相关装置

Info

Publication number: CN111738000A
Application number: CN202010710926.5A
Authority: CN
Inventors: 王业全; 李响; 王爱华; 魏望
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2020-10-02
Anticipated expiration: 2040-07-22
Also published as: CN111738000B

Abstract

本申请公开了一种短语推荐的方法以及相关装置，涉及人工智能的自然语言处理技术。通过自动构建批数据，并从批数据中确定与目标短语之间的距离大于预设阈值的负样本，以构建训练三元组对目标神经网络进行训练；并根据训练后的目标神经网络对短语向量集进行更新；进而基于输入短语与更新后的短语向量集中的短语的距离关系确定推荐短语。从而实现了智能短语推荐的过程，由于训练三元组中样本之间距离关系的调整，保证了对于目标神经网络训练的准确性，使得输入短语的向量表示更准确，提高了推荐短语的准确性。

Description

一种短语推荐的方法以及相关装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种短语推荐的方法以及相关装置。

背景技术

随着人工智能技术的发展，越来越多的人工智能应用出现在人们的生活中，例如自动识别用户输入的短语并生成推荐内容。

一般，对于短语识别的过程是基于识别网络模型进行的，为了保证网络模型识别的准确性，一般人工会为训练样本设定一定的标签进行训练，例如设定正样本或负样本。

但是，人工标注样本的过程耗时耗力，且在大量数据的场景中，无法准确的对所有样本进行标注，使得基于标注样本的训练效果有限，从而影响短语推荐的准确性。

发明内容

有鉴于此，本申请提供一种短语推荐的方法，可以有效避免由于人工标注造成的效率低下，提高短语推荐过程的效率。

本申请第一方面提供一种短语推荐的方法，可以应用于终端设备中包含短语推荐功能的系统或程序中，具体包括：将短语样本集输入目标神经网络，以得到短语向量集；

从所述短语向量集中提取批数据，所述批数据中包括多个训练短语向量，所述训练短语向量之间对应的语义相关联；

从所述批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语，所述目标短语为多个所述训练短语向量中的一个；

基于所述负样本短语、所述目标短语和正样本短语构建训练三元组，以对所述目标神经网络进行训练，所述正样本短语为至少两个所述训练短语向量中的一个，所述正样本短语与所述目标短语不同，所述正样本短语与所述目标短语之间的距离小于所述负样本短语与所述目标短语之间的距离；

根据训练后的所述目标神经网络对所述短语向量集进行更新；

将输入短语输入训练后的所述目标神经网络，以得到输入向量；

基于所述输入向量与更新后的所述短语向量集中的向量的距离关系确定推荐短语。

可选的，在本申请一些可能的实现方式中，所述基于所述负样本短语、所述目标短语和正样本短语构建训练三元组，以对所述目标神经网络进行训练，包括：

基于所述负样本短语、所述目标短语和正样本短语构建所述训练三元组；

将所述训练三元组映射到目标球面上，以得到归一化的训练三元组向量，所述目标球面上的向量处于同一尺度下表示；

基于归一化的所述训练三元组向量确定损失信息，以对所述目标神经网络进行训练。

可选的，在本申请一些可能的实现方式中，所述基于归一化的所述训练三元组向量确定损失信息，以对所述目标神经网络进行训练，包括：

获取训练目标，所述正样本短语与所述目标短语之间的距离为A，所述负样本短语与所述目标短语之间的距离为B，所述训练目标为A与B的差值大于训练阈值；

基于所述训练目标对归一化的所述训练三元组向量进行调整，以得到所述损失信息；

根据所述损失信息对所述目标神经网络进行训练。

可选的，在本申请一些可能的实现方式中，所述基于所述训练目标对归一化的所述训练三元组向量进行调整，以得到所述损失信息，包括：

确定所述训练目标指示的目标距离；

基于所述目标距离对归一化的所述训练三元组向量进行调整，以得到所述损失信息。

可选的，在本申请一些可能的实现方式中，所述方法还包括：

确定目标维度；

将所述训练三元向量输入线性层，以基于所述目标维度对所述训练三元向量的表示维度进行更新。

可选的，在本申请一些可能的实现方式中，所述将短语样本集输入目标神经网络，以得到短语向量集，包括：

从所述短语样本集中抽取多个样本，以得到所述批数据；

基于关键信息从所述批数据中确定多个所述短语单元；

将多个所述短语单元输入所述目标神经网络，以得到所述短语向量集。

可选的，在本申请一些可能的实现方式中，所述基于关键信息从所述批数据中确定多个所述短语单元，包括：

获取所述关键信息对应的关键词条；

基于所述关键词条确定至少一个关联词条；

根据所述关联词条在所述批数据中聚类得到多个所述短语单元。

可选的，在本申请一些可能的实现方式中，所述将输入短语输入训练后的所述目标神经网络，以得到输入向量，包括：

检测所述输入短语在所述短语样本集中的关联短语；

若所述关联短语指示所述输入短语不存在所述短语样本集中，则将所述输入短语输入训练后的所述目标神经网络，以得到所述输入向量。

统计输入的所述输入短语不存在所述短语样本集中的输入数量；

若所述输入数量达到更新阈值，则基于所述输入向量对所述短语向量集进行更新；

基于更新后的所述短语向量集对所述目标神经网络进行更新。

获取所述短语样本集对应的文本粒度；

基于所述文本粒度对输入信息进行处理，以得到所述目标短语。

将所述目标神经网络输入预设优化器，以得到优化后的所述目标神经网络，所述预设优化器用于指示目标步长，所述目标步长用于指示所述目标神经网络的训练过程。

可选的，在本申请一些可能的实现方式中，更新后的所述短语向量集为低维密度表示的向量集，所述目标神经网络包括卷积神经网络、递归神经网络或循环神经网络。

本申请第二方面提供一种短语推荐的装置，包括：输入单元，用于将短语样本集输入目标神经网络，以得到短语向量集；

确定单元，用于从所述短语向量集中提取批数据，所述批数据中包括多个训练短语向量，所述训练短语向量之间对应的语义相关联；

所述确定单元，还用于从所述批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语，所述目标短语为多个所述训练短语向量中的一个；

构建单元，用于基于所述负样本短语、所述目标短语和正样本短语构建训练三元组，以对所述目标神经网络进行训练，所述正样本短语为至少两个所述训练短语向量中的一个，所述正样本短语与所述目标短语不同，所述正样本短语与所述目标短语之间的距离小于所述负样本短语与所述目标短语之间的距离；

更新单元，用于根据训练后的所述目标神经网络对所述短语向量集进行更新；

所述输入单元，还用于将输入短语输入训练后的所述目标神经网络，以得到输入向量；

推荐单元，用于基于所述输入向量与更新后的所述短语向量集中的向量的距离关系确定推荐短语。

可选的，在本申请一些可能的实现方式中，所述构建单元，具体用于基于所述负样本短语、所述目标短语和正样本短语构建所述训练三元组；

所述构建单元，具体用于将所述训练三元组映射到目标球面上，以得到归一化的训练三元组向量，所述目标球面上的向量处于同一尺度下表示；

所述构建单元，具体用于基于归一化的所述训练三元组向量确定损失信息，以对所述目标神经网络进行训练。

可选的，在本申请一些可能的实现方式中，所述构建单元，具体用于获取训练目标，所述正样本短语与所述目标短语之间的距离为A，所述负样本短语与所述目标短语之间的距离为B，所述训练目标为A与B的差值大于训练阈值；

所述构建单元，具体用于基于所述训练目标对归一化的所述训练三元组向量进行调整，以得到所述损失信息；

所述构建单元，具体用于根据所述损失信息对所述目标神经网络进行训练。

可选的，在本申请一些可能的实现方式中，所述构建单元，具体用于确定所述训练目标指示的目标距离；

所述构建单元，具体用于基于所述目标距离对归一化的所述训练三元组向量进行调整，以得到所述损失信息。

可选的，在本申请一些可能的实现方式中，所述构建单元，具体用于确定目标维度；

所述构建单元，具体用于将所述训练三元向量输入线性层，以基于所述目标维度对所述训练三元向量的表示维度进行更新。

可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于从所述短语样本集中抽取多个样本，以得到所述批数据；

所述输入单元，具体用于基于关键信息从所述批数据中确定多个所述短语单元；

所述输入单元，具体用于将多个所述短语单元输入所述目标神经网络，以得到所述短语向量集。

可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于获取所述关键信息对应的关键词条；

所述输入单元，具体用于基于所述关键词条确定至少一个关联词条；

所述输入单元，具体用于根据所述关联词条在所述批数据中聚类得到多个所述短语单元。

可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于检测所述输入短语在所述短语样本集中的关联短语；

所述输入单元，具体用于若所述关联短语指示所述输入短语不存在所述短语样本集中，则将所述输入短语输入训练后的所述目标神经网络，以得到所述输入向量。

可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于统计输入的所述输入短语不存在所述短语样本集中的输入数量；

所述输入单元，具体用于若所述输入数量达到更新阈值，则基于所述输入向量对所述短语向量集进行更新；

所述输入单元，具体用于基于更新后的所述短语向量集对所述目标神经网络进行更新。

可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于获取所述短语样本集对应的文本粒度；

所述输入单元，具体用于基于所述文本粒度对输入信息进行处理，以得到所述目标短语。

可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于将所述目标神经网络输入预设优化器，以得到优化后的所述目标神经网络，所述预设优化器用于指示目标步长，所述目标步长用于指示所述目标神经网络的训练过程。

本申请第三方面提供一种计算机设备，包括：存储器、处理器以及总线系统；所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的短语推荐的方法。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的短语推荐的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

通过将短语样本集输入目标神经网络，以得到短语向量集；然后从短语向量集中提取批数据，批数据中包括多个训练短语向量，训练短语向量之间对应的语义相关联；进而从批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语，目标短语为多个训练短语向量中的一个；并基于负样本短语、目标短语和正样本短语构建训练三元组，以对目标神经网络进行训练，正样本短语为至少两个训练短语向量中的一个，正样本短语与目标短语不同，正样本短语与目标短语之间的距离小于负样本短语与目标短语之间的距离；进一步的根据训练后的目标神经网络对短语向量集进行更新；并将输入短语输入训练后的目标神经网络，以得到输入向量；进而基于输入向量与更新后的短语向量集中的向量的距离关系确定推荐短语。从而实现了智能短语推荐的过程，由于训练三元组中样本之间距离关系的调整，保证了对于目标神经网络训练的准确性，使得对于输入短语的表示更准确，提高了推荐短语的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为短语推荐系统运行的网络架构图；

图2为本申请实施例提供的一种短语推荐的流程架构图；

图3为本申请实施例提供的一种短语推荐的方法的流程图；

图4为本申请实施例提供的一种短语推荐的场景示意图；

图5为本申请实施例提供的一种短语推荐的框架示意图；

图6为本申请实施例提供的另一种短语推荐的场景示意图；

图7为本申请实施例提供的一种网络模型的架构图；

图8为本申请实施例提供的另一种网络模型的架构图；

图9为本申请实施例提供的另一种网络模型的架构图；

图10为本申请实施例提供的一种短语推荐的方法的流程图；

图11为本申请实施例提供的一种短语推荐装置的结构示意图；

图12为本申请实施例提供的一种终端设备的结构示意图；

图13为本申请实施例提供的一种服务器的结构示意图。

具体实施方式

本申请实施例提供了一种短语推荐的方法以及相关装置，可以应用于终端设备中包含短语推荐功能的系统或程序中，通过将短语样本集输入目标神经网络，以得到短语向量集；然后从短语向量集中提取批数据，批数据中包括多个训练短语向量，训练短语向量之间对应的语义相关联；进而从批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语，目标短语为多个训练短语向量中的一个；并基于负样本短语、目标短语和正样本短语构建训练三元组，以对目标神经网络进行训练，正样本短语为至少两个训练短语向量中的一个，正样本短语与目标短语不同，正样本短语与目标短语之间的距离小于负样本短语与目标短语之间的距离；进一步的根据训练后的目标神经网络对短语向量集进行更新；并将输入短语输入训练后的目标神经网络，以得到输入向量；进而基于输入向量与更新后的短语向量集中的向量的距离关系确定推荐短语。从而实现了智能短语推荐的过程，由于训练三元组中样本之间距离关系的调整，保证了对于目标神经网络训练的准确性，使得对于输入短语的表示更准确，提高了推荐短语的准确性。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，对本申请实施例中可能出现的一些名词进行解释。

短语：文本中存在着大量的对理解文本内容十分重要的词汇。比如说：人工智能是计算机科学的重要组成部分。该句话的短语包括“人工智能”和“计算机科学”。短语一般由一个或若干个单词构成。

分词系统：文本的粒度一般包含字符（单字，一般可简称为字），词语（一般可以简称为词），句子，段落，篇章等级别。举例：人工智能是计算机科学的重要组成部分。字符（单字）级别：“人”，“工”，“智”，“ 能”…，词语级别：“人工”，“智能”，“是”，“计算机”，“科学”，“的”，“重要”，“组成”，“部分”。句子级别则是整个文本。段落和篇章级别均是针对更广泛的定义。分词系统则可以将输入文本切分为词语级别的表示形式。

应理解，本申请提供的短语推荐方法可以应用于终端设备中包含短语推荐功能的系统或程序中，例如媒体内容平台，具体的，短语推荐系统可以运行于如图1所示的网络架构中，如图1所示，是短语推荐系统运行的网络架构图，如图可知，短语推荐系统可以提供与多个信息源的短语推荐，终端通过网络建立与服务器的连接，进而向服务器发送目标短语，然后服务器根据目标短语输出对应的关联短语；而对于服务器侧则会基于数据集对用于识别短语的网络模型进行训练；可以理解的是，图1中示出了多种终端设备，在实际场景中可以有更多或更少种类的终端设备参与到短语推荐的过程中，具体数量和种类因实际场景而定，此处不做限定，另外，图1中示出了一个服务器，但在实际场景中，也可以有多个服务器的参与，特别是在多内容应用交互的场景中，具体服务器数量因实际场景而定。

本实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

可以理解的是，上述短语推荐系统可以运行于个人移动终端，例如：作为媒体内容平台这样的应用，也可以运行于服务器，还可以作为运行于第三方设备以提供短语推荐，以得到信息源的短语推荐处理结果；具体的短语推荐系统可以是以一种程序的形式在上述设备中运行，也可以作为上述设备中的系统部件进行运行，还可以作为云端服务程序的一种，具体运作模式因实际场景而定，此处不做限定。

自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、信息检索、机器人问答系统和知识图谱等技术。

随着人工智能技术的发展，越来越多的人工智能应用出现在人们的生活中，特别是自然语言处理技术，例如自动识别用户输入的短语并生成推荐内容。

但是，人工标注样本的过程耗时耗力，在大量数据的场景中，可能需要花费大量的人力物力进行标注的过程，影响短语推荐的效率。

为了解决上述问题，本申请提出了一种短语推荐的方法，该方法应用于图2所示的短语推荐的流程框架中，如图2所示，为本申请实施例提供的一种短语推荐的流程架构图，首先确定用于模型训练的短语样本集，然后将数据集划分为多个批数据，并基于这些批数据构件三元组，从而对目标神经网络进行训练；并通过训练后的目标神经网络对短语样本集中所有的短语进行编码表示，从而实现基于输入短语得到推荐的输出短语的过程。

可以理解的是，本申请所提供的方法可以为一种程序的写入，以作为硬件系统中的一种处理逻辑，也可以作为一种短语推荐装置，采用集成或外接的方式实现上述处理逻辑。作为一种实现方式，该短语推荐装置通过将短语样本集输入目标神经网络，以得到短语向量集；然后从短语向量集中提取批数据，批数据中包括多个训练短语向量，训练短语向量之间对应的语义相关联；进而从批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语，目标短语为多个训练短语向量中的一个；并基于负样本短语、目标短语和正样本短语构建训练三元组，以对目标神经网络进行训练，正样本短语为至少两个训练短语向量中的一个，正样本短语与目标短语不同，正样本短语与目标短语之间的距离小于负样本短语与目标短语之间的距离；进一步的根据训练后的目标神经网络对短语向量集进行更新；并将输入短语输入训练后的目标神经网络，以得到输入向量；进而基于输入向量与更新后的短语向量集中的向量的距离关系确定推荐短语。从而实现了智能短语推荐的过程，由于训练三元组中样本之间距离关系的调整，保证了对于目标神经网络训练的准确性，使得对于输入短语的表示更准确，提高了推荐短语的准确性。

本申请实施例提供的方案涉及人工智能中的自然语言处理技术，可以应用于广告系统中，具体通过如下实施例进行说明：

结合上述流程架构，下面将对本申请中短语推荐的方法进行介绍，请参阅图3，图3为本申请实施例提供的一种短语推荐的方法的流程图，本申请实施例至少包括以下步骤：

301、将短语样本集输入目标神经网络，以得到短语向量集。

本实施例中，短语样本集是由多个短语构建的，具体的，短语的数量级一般为千万级别；而短语的种类可以是“字”“词”或其他文字粒度的划分。另外，对于短语样本集的来源，可以是由短语推荐所应用的场景所收集的，例如在电商软件的短语推荐过程中，短语样本集即为用户在使用电商软件进行查询或购物过程中输入的相关语料，以及与语料所关联的关键词信息，即“牛奶”“奶粉”“婴儿”等搜索关键词。

可以理解的是，目标神经网络即为一种文本表示网络，也可以称为短语网络（PhraseNet），其作用主要是将上述短语样本集中的短语样本装换为向量表示。具体的，目标神经网络可以是长短期记忆网络（Long Short-Term Memory，LSTM）、卷积神经网络（Convolutional Neural Network, CNN）、循环神经网络（Recurrent Neural Network，RNN）等神经网络中的一种或多种的组合，例如目标神经网络为CNN与LSTM的组合，或目标神经网络为3层LSTM的连接，具体的组合形式因实际场景而定，此处不做限定。

302、从短语向量集中提取批数据。

本实施例中，批数据中包括多个训练短语向量，训练短语向量之间对应的语义相关联；即批数据（batch）基于短语样本集进行样本提取所得，具体的，可以从短语样本集中随机选取一定数量的样本作为批数据。

应当注意的是，本申请中的批数据是关联的训练短语向量的集合，具体的，可以是批数据中的每一行为语义相关联的训练短语向量；例如：批数据中的第一行目标数据组包括“王者荣耀”、“百里守约”、“英雄联盟”这些训练短语，且这些训练短语都是与游戏相关，为相互关联的；另外，也可以是批数据中的每一列为语义相关联的训练短语向量，具体的集合形式因实际场景而定，此处不做限定。

在一些实施例中，可以从短语向量集提取一个以上的批数据，每个批数据包括多个语义上相关联的训练短语向量，例如从短语向量集提取3个批数据，每个批数据包括100个关于游戏的训练短语向量，即语义上相关联的训练短语向量。通过批数据的划分减少了同时处理样本的数量，减小了资源占用；而提取一个以上的批数据保证了处理样本的效率，且可以进行并行的处理，进一步提高了处理样本的效率。

可以理解的是，训练短语向量对应的语义可以是一个字，如“茶”；也可以是一个词语，如“北京”，还可以是几个词语的组成，如“清华学生”，具体的训练短语形式因实际场景而定，此处不做限定。

可选的，由于批数据是由短语样本集挑选出来的，且批数据中的训练短语相互关联，故可以基于关键信息对短语样本集进行处理，从而提取批数据。具体的，首先从短语样本集中抽取多个样本，以得到批数据；然后基于关键信息从批数据中确定多个短语单元，进而将多个短语单元输入目标神经网络，以得到短语向量集，该短语单元即为相似语义的短语的集合。其中关键信息即为不同的用于划分训练短语的维度，例如：关键信息为“游戏相关”、“儿童相关”、“生活用品”等，具体划分形式因实际场景而定。

另外，考虑到单一关键信息的描述程度有限，还可以对关键信息进行扩展以丰富短语单元的组成。即获取关键信息对应的关键词条；然后基于关键词条确定至少一个关联词条；进而根据关联词条在批数据中聚类得到多个短语单元。例如关键信息为游戏，则对应的关键词条可以包括单机游戏、网络游戏、收集游戏等，然后基于这些关键词条进行短语的聚类，从而构建短语单元，保证了批数据中短语的相似性。

通过对短语样本集的处理，使得数据之间的关系更加清晰，有利于后续步骤中相关关联数据的提取，提高训练效率。

303、从批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语。

本实施例中，目标短语为多个训练短语向量中的一个；由于批数据按照训练短语向量进行了划分，即语义相关联的训练短语向量位置接近，例如处于同一行。而对于负样本短语的确定，即基于批数据中的任一训练短语向量作为目标短语，计算该目标短语与批数据中其他训练短语向量的距离，具体的，预设阈值的设定可以是某一数值，例如距离2。

在本步骤的负样本短语可以是批数据中任何一个训练短语向量所代表的样本短语，只要该负样本短语与目标短语之间的距离大于正样本短语与目标短语之间的距离即可，但为了加快收敛目标神经网络的训练过程，在一些实施例中，可以规定从批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语，其中该预设阈值可以是根据经验值确定的阈值，或者根据对目标短语的训练短语向量与批数据中的其他向量短语向量的距离来确定，例如，该预设阈值可以是目标短语的训练短语向量与批数据中的其他向量短语向量的距离的平均值。在一种可能的场景中，通过对于预设阈值的设定，负样本短语可以是与目标短语与批数据中其他训练短语向量的距离最大的训练短语向量所代表的短语。即负样本（negative）短语代表和目标短语不相关的短语；对应的，negative可以是从batch中所有的短语中计算欧式距离最大者当作negative短语。

可以理解的是，negative的确定可以是选取batch中欧式距离最大的，也可以是选取batch中欧式距离达到一定预设阈值的，即不需要对batch中所有的短语进行遍历计算，一旦有短语与目标样本的欧式距离达到阈值，则可以确定为负样本，从而提高了样本确定的效率。

另外，对于距离计算的过程可以是将batch中的向量转换为向量表示，具体的可以转换为低维密集向量，也可以转换为高维稀疏向量。

应当注意的是，本实施例中以一个batch为例进行说明，在实际场景中，涉及负样本确定的可以是多个batch，或短语样本集；但考虑到时效的因素，每个batch之间构建训练样本效率较高。

另外，本实施例中以欧式距离为例进行说明，其他用于指示词向量间相似度的距离表示方式也可以适用，例如曼哈顿距离，即计算两点之间的距离不再是直线距离，而是投影到坐标轴的长度之和；或切比雪夫距离，即将2个点之间的距离定义为其各坐标数值差的最大值，具体距离计算方式因实际场景而定，此处不做限定。

304、基于负样本短语、目标短语和正样本短语构建训练三元组，以对目标神经网络进行训练。

本实施例中，正样本短语为多个训练短语向量中的一个，正样本短语与目标短语不同，正样本短语与目标短语之间的距离小于负样本短语与目标短语之间的距离。

在一些实施例中可以计算目标短语的短语向量与该目标短语所在批数据中其他各个短语向量之间的距离，从所述其他各个短语向量中选择与目标短语的短语向量距离小于目标短语与负样本短语之间的距离的各个短语向量，将该各个短语向量对应的短语作为正样本短语。

具体的，批数据可以包括多行短语向量，正样本短语与目标短语可以属于同一批数据的同一行或同一列；例如正样本为与目标短语属于同一行的短语，例如：第一行包括“王者荣耀”、“百里守约”、“英雄联盟”；目标短语，可以从本行的短语中任意指定，如“王者荣耀”；对应的正样本（positive）短语代表和目标短语相关的短语，即可以从本行中剩余的短语中选择，如“英雄联盟”。

通过对于正样本短语、目标短语以及负样本短语的动态生成，即基于不同的目标短语，可以自动匹配语义相关联的正样本短语，并确定距离达到预设阈值的负样本短语，从而构建为训练三元组，该训练三元组可以表示为<目标短语（anchor），正样本短语（positive），负样本短语（negative）>。

在一些实施例中，可以从批数据的训练短语向量中选择多个目标短语，按照步骤303所述的方法在批数据确定与该多个目标短语中每一个分别对应的训练短语向量作为负样本短语并且按照步骤304所述的方法在批数据确定与该多个目标短语中每一个分别对应的训练短语向量作为正样本短语，从而得到多个训练三元组<目标短语（anchor），正样本短语（positive），负样本短语（negative）>。

可以理解的是，上述训练三元组的表示方式仅为示例，具体的元素次序或表述形式因实际场景而定。

本实施例中，基于训练三元组对目标神经网络进行训练的过程可以是根据训练目标进行的。具体的，首先获取训练目标；然后基于训练目标对归一化的训练三元组向量进行调整，以得到损失信息；进而根据损失信息对目标神经网络进行训练。其中，正样本短语与目标短语之间的距离为A，负样本短语与目标短语之间的距离为B，训练目标为使得A小于B且A与B的差值大于训练阈值。在一些实施例中，训练目标可以是使得正样本短语与目标短语之间的距离为A小于一定的阈值，或负样本短语与目标短语之间的距离为B大于一定阈值，从而使得A与B的差值大于训练阈值。在一些实施例中，可将经过步骤304训练后的目标神经网络重复步骤301-304，进行迭代训练，直至满足训练收敛条件，即，使得批数据中的各个训练短语向量中，语义相关联的各个训练短语向量之间的距离较小，而语义不关联的各个训练短语向量之间的距离较大。

下面结合一种具体的场景进行说明。

如图4所示，为本申请实施例提供的一种短语推荐的场景示意图。图中左侧为训练三元组输入网络模型前距离A与距离B的数值关系；而右侧为训练三元组输入网络模型后距离A与距离B的数值关系，即训练目标。具体的，训练目标即让positive和anchor之间的距离尽可能的小，让negative和anchor之间的距离尽可能的大，从而满足A与B的差值大于训练阈值。具体的可以通过以下公式实现：

其中，a_i代表anchor短语表示，p_i代表positive短语表示，n_i代表negative短语表示，d(a_i，p_i)表示positive和anchor之间的距离，d(a_i，n_i)表示negative和anchor之间的距离。

而d(x_i，y_i)代表距离的计算方法，例如采用欧式距离，则设定p=2代表欧式距离，即首先确定训练目标指示的目标距离；然后基于目标距离对训练向量的第二距离关系进行调整，以得到损失信息。其中具体的数值设定应实际场景而定。

可选的，由于上述训练三元组中的各个元素可能距离表示不在一个尺度，故为了使各个距离具有可比性，可以进行归一化操作。即首先将所述训练三元组映射到目标球面上，以得到归一化的训练三元组向量，所述目标球面上的向量处于同一尺度下表示；然后基于所述训练目标调整所述训练三元组向量对应的所述第二距离关系，以得到所述损失信息。

具体的，可以采用L2 归一化（L2 normalization），即将训练三元组对应的距离映射到超球面（hypersphere），从而对训练三元向量进行L2归一化。具体计算公式如下：

output = x / sqrt(max(sum(x**2), epsilon))

其中，x为输入特征，即训练三元向量；epsilon为极小数，如1e-12。

可以理解的是，上述过程以训练三元向量为例说明，具体的可以是对训练集中所有的训练短语均进行了归一化操作，从而使得全局所有的短语表示可以在同一维度进行度量，提高短语推荐的准确性。

可选的，在基于上述训练三元组的训练之前，还可以进行采用线性层（linear）进行降维处理，如由768维降低到128维。具体的，首先确定目标维度；然后将训练三元向量输入线性层，以基于目标维度对训练向量的表示维度进行更新，该更新过程可以通过下述代码实现：

m=nn.Linear(768,128) //调整范围

input=torch.randn(128, 768) //输入维度

output=m(input) //维度调整

print(output.size())

torch. size([128,128]) //输出维度

通过上述维度调整使得在进行训练操作时有更小的计算复杂度，也可以减少存储空间。

可选的，在基于上述训练三元组的训练之后，还可以进行网络模型的优化，具体可以通过Adam算法实现，即将目标神经网络输入预设优化器，以得到优化后的目标神经网络，预设优化器用于指示目标步长，目标步长用于指示目标神经网络的训练过程，从而提高训练过程的准确性。

305、根据训练后的目标神经网络对短语向量集进行更新。

本实施例中，通过上述步骤动态构建的训练三元组对目标神经网络进行训练后，基于训练后的目标神经网络对短语向量集中的向量表示进行更新，即将短语样本集中的短语输入训练后的目标神经网络，从而得到更新后的向量表示，即更新后的短语向量集。

306、将输入短语输入训练后的目标神经网络，以得到输入向量。

本实施例中，输入短语可以是不同粒度的文本信息，例如字、词或句子，若输入短语的粒度与网络模型对应的短语样本集的文本粒度不同，则可以进行调整。

具体的，首先确定输入信息；然后基于短语样本集对应的文本粒度对输入信息进行处理，以得到输入短语。例如短语样本集是基于词粒度训练的，则将输入信息划分为词粒度进行输入，从而提高输入信息识别的准确性。

可以理解的是，由于短语推荐的过程将短语样本集中所有的短语均进行了低维向量表示，故可以快速的根据输入短语在短语样本集中确定输入向量。

在一些应用场景中，可从用户接收用户输入的短语作为输入短语，具体的，用户输入短语的方式可以是键盘输入、手写输入等接触式输入方式；用户输入短语的方式也可以是语音输入等非接触式输入方式。

307、基于输入向量与更新后的短语向量集中的向量的距离关系确定推荐短语。

本实施例中，基于输入向量与更新后的短语向量集中的向量的距离关系确定推荐短语，可以是选取与输入向量的距离最近或距离小于一定阈值的短语向量集中的向量作为推荐短语。具体的，还可以根据输入向量与更新后的短语向量集中的向量之间的距离进行排序，选取序列前端的短语作为推荐短语。

另外，确定推荐短语的过程还可以基于输入向量在短语向量集中的存在情况确定，即短语向量集中存在与输入向量相同的向量，此时直接输出该相同的向量对应的短语即为推荐短语。

可选的，若输入短语并不是短语样本集中的短语，则需要检测输入短语在短语样本集中的关联信息，即与输入短语相似的短语对应的向量表达；当关联信息指示输入短语不存在短语样本集中时，则将输入短语输入目标神经网络，以得到编码向量（输入向量）；从而基于编码向量确定短语样本集中的关联短语。

在一种可能的场景中，上述短语推荐的方法可以应用于广告系统中，即对广告系统标签改写、推荐。例如，广告主或用户搜索，“王者荣耀”，很有可能该用户是一个对游戏感兴趣的人，此时推荐“魔兽世界”、“dota”等游戏是一个有效且合理的推荐，可以有效地增加广告系统对用户、广告主的理解。对于搜索引擎也有类似的作用，一个用户查找“尿布”，那么很有可能其对儿童玩具也有兴趣，如“奶粉”、“儿童积木”等值得推荐，从而实现了快捷的短语推荐的过程，且保证了推荐短语的准确性。

结合上述实施例可知，通过将短语样本集输入目标神经网络，以得到短语向量集；然后从短语向量集中提取批数据，批数据中包括多个训练短语向量，训练短语向量之间对应的语义相关联；进而从批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语，目标短语为多个训练短语向量中的一个；并基于负样本短语、目标短语和正样本短语构建训练三元组，以对目标神经网络进行训练，正样本短语为至少两个训练短语向量中的一个，正样本短语与目标短语不同，正样本短语与目标短语之间的距离小于负样本短语与目标短语之间的距离；进一步的根据训练后的目标神经网络对短语向量集进行更新；并将输入短语输入训练后的目标神经网络，以得到输入向量；进而基于输入向量与更新后的短语向量集中的向量的距离关系确定推荐短语。从而实现了智能短语推荐的过程，由于训练三元组中样本之间距离关系的调整，保证了对于目标神经网络训练的准确性，使得对于输入短语的表示更准确，提高了推荐短语的准确性。

在图3所示实施例的基础上，目标神经网络可以基于如图5所示的框架进行训练，图5为本申请实施例提供的一种短语推荐的框架示意图，图中示出了分别将目标短语、正样本短语和负样本短语经过编码器（encoder）编码，即封装了目标神经网络的编码器，然后进行L2归一化后得到短语的向量表示，从而进行梯度信息的获取，并对网络模型参数进行更新。

其中，对于负样本短语的训练过程是不断的迭代进行的，这是由于为了确定合适的负样本，具体的负样本确定过程参见图3所示实施例步骤303的描述，此处不做赘述。从而在确定合适的负样本之后再输入训练器与目标短语、正样本短语组成训练三元组进行模型训练。

可以理解的是，编码器可以采用向量的高维稀疏表示，或向量的低维密集表示。但是由于短语是一种非常短的文本，采用高维稀疏表示方法不够精准，例如tf*idf的表示，其他的如one-hot方案无法体现短语间的相似度。比如说，“北京”和“上海”均是中国的城市，应该有一定的相似度，但是one-hot的表示导致不具备相似度。

而在一般场景中，低维的短语表示方案难以实现的原因是难以训练，很容易达到所有的短语向量趋同的陷阱，失去了意义。采用语言模型训练得到的词向量是单词级别，短语级别的向量质量比较差，无法有效使用。

但是结合本申请提供的负样本的确定，以及训练三元组的构建过程，可以提高短语在低维密集表示中的质量，可以有效的对网络模型进行训练。

故本实施例中采用低维密集表示；且由于维度低，对应的计算速度快，占用空间小。而且可以精准比较两个低维密集表示的相似度，如高维稀疏表示，“北京”[1,0,0,…]，“华盛顿”[0,1,0,…]，这种情况下“北京”和“华盛顿”的相似度是0，但是采用低维密集表示时，其相似度可能是0.7，保证了训练过程的准确性。

在一种可能的场景中，总共有3万个单词，每个单词占据一个维度，其中第一维是“北京”，即短语中存在北京，那么第一维就是1，否则为0；那么“北京”的高维稀疏表示则是[1,0,0,…](总共是3万维)。对于低维密集表示，则是使用一个低维（如100维）的向量来表示文本，与高维稀疏不同的是，每个维度不是0或者1，而是一个小数。即“北京”的的表示则是[0.175438, 0.34896, -0.3825, …](共300维)。从而达到了计算速度快，占用空间小，且保证了训练过程的准确性。

在一种可能的场景中，基于上述架构训练后的网络模型可以得到如图6所示的结果，图6为本申请实施例提供的另一种短语推荐方法的场景示意图。图中示出了数据集中部分短语之间训练后的关联关系，其中短语之间的距离即表示短语之间的关联程度，例如“苹果笔记本”、“iPhone”、“Touch ID”和 “iPad”都是相关联的产品，故各个短语之间的距离近，而“苹果笔记本”与“百里守约”之间没有关联，则短语之间的距离远。

可以理解的是，短语样本集在经过本申请提供的短语推荐方法训练过得网络模型处理后，可以输入如图6所示的网格图，即将短语样本集中所有的短语进行关联，在查询目标短语的关联短语时，即检索与目标短语距离最近的短语即为关联短语。

上述实施例介绍了本申请中网络模型的输入与输出过程，而在输入过程中涉及的编码器可以是文本表示网络，例如递归神经网络（RecursiveNN）、循环神经网络（RecurrentNN），卷积神经网络（Convosutionas Neuras Network，CNN）等。

具体的，编码器可以采用CNN，即一种带有卷积结构的深度神经网络。如图7所示，为本申请实施例提供的一种网络模型的架构图；卷积神经网络包含了由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的短语或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取短语信息的方式与位置无关。这其中隐含的原理是：短语的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的短语信息也能用在另一部分上。所以对于短语上的所有元素，我们都能使用同样的学习得到的短语信息。在同一卷积层中，可以使用多个卷积核来提取不同的短语信息，一般地，卷积核数量越多，卷积操作反映的短语信息越丰富。

可以理解的是，卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

另外，编码器还可以采用RecursiveNN。RecursiveNN的输入是两个子节点（也可以是多个），输出就是将这两个子节点编码后产生的父节点，父节点的维度和每个子节点是相同的。如图8所示，为本申请实施例提供的另一种网络模型的架构图。C1和C2分别是表示两个子节点的向量，P_1,2是表示父节点的向量。子节点和父节点组成一个全连接神经网络，也就是子节点的每个神经元都和父节点的每个神经元两两相连。

具体的，把产生的父节点的向量和其他子节点的向量再次作为网络的输入，再次产生它们的父节点。如此递归下去，直至整棵树处理完毕。最终，将得到根节点的向量，可以认为它是对整棵树的表示，这样就实现了把树映射为一个向量。

可选的，本申请使用的递归网络可以包括但并不局限于深度递归神经网络，且该深度递归神经网络的网络节点可以包括GRU(Gated Recurrent Unit，一种LSTM变体)单元或长短期记忆网络 (Long Short-Term Memory，LSTM)单元，或者其他能够有效建立时序关系的网络单元。

在另一种可能的场景中，编码器还可以采用RecurrentNN。如图9所示，为本申请实施例提供的另一种网络模型的架构图。即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出；

具体的，如果将RecurrentNN进行网络展开，那么参数W,U,V是共享的，而传统神经网络却不是的。并且在使用梯度下降算法中，每一步的输出不仅依赖当前步的网络，并且还以来前面若干步网络的状态。比如，在t=4时，还需要向后传递三步，已经后面的三步都需要加上各种的梯度。

另外，编码器还可以采用BERT，即一种文本表示方法，可以将输入的文本表示为一个低维密集的向量。在计算机科学，低维密集向量，一般不超过一千维，向量中每个元素均不是0，而是处于0和1之间的一个小数。对应的高维稀疏向量一般超过一千维，向量中绝大部分元素是0。具体的编码器形式因具体场景而定，此处不做限定。

有上述实施例可见，本实施例一方面解决低维短语表示质量低，难以使用统一度量衡进行度量的问题；另一方面解决了由于训练集合负例设置不当，容易陷入短语表示趋同的陷阱；优化了以往解决方案要么全局计算，计算量庞大，要么人工标注，成本高的问题。

上述实施例介绍了短语推荐的过程，而在短语推荐的过程中，为了提高对于不存在短语样本集中的短语的识别性能，可以相应的对目标神经网络进行调整。下面，对该场景介绍，请参阅图10，图10为本申请实施例提供的一种短语推荐的方法的流程图，本申请实施例至少包括以下步骤：

1001、获取预设时间段内的输入短语。

本实施例中，输入短语可以是不同粒度的文本信息，例如字、词或句子，若输入短语的粒度与目标神经网络对应的短语样本集的文本粒度不同，则可以进行调整。

具体的，对于输入短语的粒度与目标神经网络对应的短语样本集的文本粒度不同的情况。可以首先确定输入信息；然后基于短语样本集对应的文本粒度对输入信息进行处理，以得到输入短语。例如短语样本集是基于词粒度训练的，则将输入信息划分为词粒度进行输入，从而提高输入信息识别的准确性。

可以理解的是，对于预设时间段的设定可以是用户设定的一段时间，例如24小时；也可以是完成多个短语推荐任务后对应的时间，例如完成一千次短语推荐后，具体的预设时间段的设定因实际场景而定，此处不做限定。

1002、统计输入短语在短语训练集中的存在情况。

本实施例中，统计输入短语在短语训练集中的存在情况，即统计识别了不存在短语训练集中的短语的数量，例如在预设时间段内识别了1000个短语，其中不存在短语训练集中的短语数量为600。

具体的，存在情况的表示可以是基于输入短语不存在短语训练集中的短语数量，也可以是基于输入短语不存在短语训练集中的概率，例如在预设时间段内识别了500个输入短语，其中不存在短语训练集中的短语数量为200，则输入短语不存在短语训练集中的概率为200/500=0.4。

1003、基于输入短语的存在情况触发对目标神经网络的调整。

本实施例中，对目标神经网络进行调整的依据是输入短语在短语训练集中的存在情况。具体的，首先统计输入的输入短语不存在短语样本集中的输入数量；若输入数量达到更新阈值，则基于输入向量对短语向量集进行更新；然后基于更新后的短语向量集对目标神经网络进行更新。其中，更新阈值也可以采用输入短语不存在短语训练集中的概率。

为了保证目标神经网络的准确性，在不存在于短语样本集中的短语输入之后，可以对目标神经网络进行更新。具体的，即将不存在于短语样本集中的输入短语加入短语样本集中，并执行上述图3所示实施例对应的目标神经网络的训练过程，从而目标神经网络进行更新；然后基于更新后的目标神经网络对短语样本集中的短语进行向量表示，从而保证短语样本集中的短语表示的准确性。

可选的，对于更新过程中短语样本集的选择，可以是基于全部的短语样本集；也可以基于部分的短语样本集，例如选择与输入短语距离在一定范围内的样本，则减少了样本处理量。由于目标神经网络的更新过程主要是为了提高对于不存在与短语样本集中的短语的识别性能，故基于部分的短语样本集进行目标神经网络的更新不会影响短语的识别性能，即该过程是基于图3所示实施例的目标神经网络的训练过程之后，对目标神经网络进行针对性调整的过程，无需重新基于所有短语训练集进行训练，提高了神经网络更新的效率，并保证了神经网络的识别性能。

在一种可能的场景中，上述短语推荐的方法可以应用于广告系统中，即对广告系统标签改写、推荐。例如，广告主或用户搜索，“王者荣耀”，很有可能该用户是一个对游戏感兴趣的人，此时推荐“魔兽世界”、“dota”等游戏是一个有效且合理的推荐，可以有效地增加广告系统对用户、广告主的理解。对于搜索引擎也有类似的作用，一个用户查找“尿布”，那么很有可能其对儿童玩具也有兴趣，如“奶粉”、“儿童积木”等值得推荐，从而实现了快捷的短语推荐过程，且保证了短语推荐的准确性。

为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置。请参阅图11，图11为本申请实施例提供的一种短语推荐装置的结构示意图，短语推荐装置1100包括：

输入单元1101，用于将短语样本集输入目标神经网络，以得到短语向量集；

确定单元1102，用于从所述短语向量集中提取批数据，所述批数据中包括多个训练短语向量，所述训练短语向量之间对应的语义相关联；

所述确定单元1102，还用于从所述批数据中确定与目标短语之间的距离大于预设阈值的样本，以作为负样本短语，所述目标短语为多个所述训练短语向量中的一个；

构建单元1103，用于基于所述负样本短语、所述目标短语和正样本短语构建训练三元组，以对所述目标神经网络进行训练，所述正样本短语为至少两个所述训练短语向量中的一个，所述正样本短语与所述目标短语不同，所述正样本短语与所述目标短语之间的距离小于所述负样本短语与所述目标短语之间的距离；

更新单元1104，用于根据训练后的所述目标神经网络对所述短语向量集进行更新；

所述输入单元1101，还用于将输入短语输入训练后的所述目标神经网络，以得到输入向量；

推荐单元1105，用于基于所述输入向量与更新后的所述短语向量集中的向量的距离关系确定推荐短语。

可选的，在本申请一些可能的实现方式中，所述构建单元1103，具体用于基于所述负样本短语、所述目标短语和正样本短语构建所述训练三元组；

所述构建单元1103，具体用于将所述训练三元组映射到目标球面上，以得到归一化的训练三元组向量，所述目标球面上的向量处于同一尺度下表示；

所述构建单元1103，具体用于基于归一化的所述训练三元组向量确定损失信息，以对所述目标神经网络进行训练。

可选的，在本申请一些可能的实现方式中，所述构建单元1103，具体用于获取训练目标，所述正样本短语与所述目标短语之间的距离为A，所述负样本短语与所述目标短语之间的距离为B，所述训练目标为A与B的差值大于训练阈值；

所述构建单元1103，具体用于基于所述训练目标对归一化的所述训练三元组向量进行调整，以得到所述损失信息；

所述构建单元1103，具体用于根据所述损失信息对所述目标神经网络进行训练。

可选的，在本申请一些可能的实现方式中，所述构建单元1103，具体用于确定所述训练目标指示的目标距离；

所述构建单元1103，具体用于基于所述目标距离对归一化的所述训练三元组向量进行调整，以得到所述损失信息。

可选的，在本申请一些可能的实现方式中，所述构建单元1103，具体用于确定目标维度；

所述构建单元1103，具体用于将所述训练三元向量输入线性层，以基于所述目标维度对所述训练三元向量的表示维度进行更新。

可选的，在本申请一些可能的实现方式中，所述输入单元1101，具体用于从所述短语样本集中抽取多个样本，以得到所述批数据；

所述输入单元1101，具体用于基于关键信息从所述批数据中确定多个所述短语单元；

所述输入单元1101，具体用于将多个所述短语单元输入所述目标神经网络，以得到所述短语向量集。

可选的，在本申请一些可能的实现方式中，所述输入单元1101，具体用于获取所述关键信息对应的关键词条；

所述输入单元1101，具体用于基于所述关键词条确定至少一个关联词条；

所述输入单元1101，具体用于根据所述关联词条在所述批数据中聚类得到多个所述短语单元。

可选的，在本申请一些可能的实现方式中，所述输入单元1101，具体用于检测所述输入短语在所述短语样本集中的关联短语；

所述输入单元1101，具体用于若所述关联短语指示所述输入短语不存在所述短语样本集中，则将所述输入短语输入训练后的所述目标神经网络，以得到所述输入向量。

可选的，在本申请一些可能的实现方式中，所述输入单元1101，具体用于统计输入的所述输入短语不存在所述短语样本集中的输入数量；

所述输入单元1101，具体用于若所述输入数量达到更新阈值，则基于所述输入向量对所述短语向量集进行更新；

所述输入单元1101，具体用于基于更新后的所述短语向量集对所述目标神经网络进行更新。

可选的，在本申请一些可能的实现方式中，所述输入单元1101，具体用于获取所述短语样本集对应的文本粒度；

所述输入单元1101，具体用于基于所述文本粒度对输入信息进行处理，以得到所述目标短语。

可选的，在本申请一些可能的实现方式中，所述输入单元1101，具体用于将所述目标神经网络输入预设优化器，以得到优化后的所述目标神经网络，所述预设优化器用于指示目标步长，所述目标步长用于指示所述目标神经网络的训练过程。

本申请实施例还提供了一种终端设备，如图12所示，是本申请实施例提供的另一种终端设备的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理（personal digital assistant，PDA）、销售终端（point of sales，POS）、车载电脑等任意终端设备，以终端为手机为例：

图12示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图12，手机包括：射频（radio frequency，RF）电路1210、存储器1220、输入单元1230、显示单元1240、传感器1250、音频电路1260、无线保真（wireless fidelity，WiFi）模块1270、处理器1280、以及电源1290等部件。本领域技术人员可以理解，图12中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图12对手机的各个构成部件进行具体的介绍：

RF电路1210可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1280处理；另外，将设计上行的数据发送给基站。通常，RF电路1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（low noiseamplifier，LNA）、双工器等。此外，RF电路1210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（globalsystem of mobile communication，GSM）、通用分组无线服务（general packet radioservice，GPRS）、码分多址（code division multiple access，CDMA）、宽带码分多址（wideband code division multiple access, WCDMA）、长期演进（long term evolution，LTE）、电子邮件、短消息服务（short messaging service，SMS）等。

存储器1220可用于存储软件程序以及模块，处理器1280通过运行存储在存储器1220的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1230可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1230可包括触控面板1231以及其他输入设备1232。触控面板1231，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1231上或在触控面板1231附近的操作，以及在触控面板1231上一定范围内的隔空触控操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1280，并能接收处理器1280发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231，输入单元1230还可以包括其他输入设备1232。具体地，其他输入设备1232可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1240可包括显示面板1241，可选的，可以采用液晶显示器（liquidcrystal display，LCD）、有机发光二极管（organic light-emitting diode，OLED）等形式来配置显示面板1241。进一步的，触控面板1231可覆盖显示面板1241，当触控面板1231检测到在其上或附近的触摸操作后，传送给处理器1280以确定触摸事件的类型，随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。虽然在图12中，触控面板1231与显示面板1241是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1231与显示面板1241集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1250，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1241和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1260、扬声器1261，传声器1262可提供用户与手机之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号，传输到扬声器1261，由扬声器1261转换为声音信号输出；另一方面，传声器1262将收集的声音信号转换为电信号，由音频电路1260接收后转换为音频数据，再将音频数据输出处理器1280处理后，经RF电路1210以发送给比如另一手机，或者将音频数据输出至存储器1220以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图12示出了WiFi模块1270，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1280是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1220内的软件程序和/或模块，以及调用存储在存储器1220内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1280可包括一个或多个处理单元；可选的，处理器1280可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1280中。

手机还包括给各个部件供电的电源1290（比如电池），可选的，电源可以通过电源管理系统与处理器1280逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该终端所包括的处理器1280还具有执行如上述短语推荐方法的各个步骤的功能。

本申请实施例还提供了一种服务器，请参阅图13，图13是本申请实施例提供的一种服务器的结构示意图，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（central processing units，CPU）1322（例如，一个或一个以上处理器）和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330（例如一个或一个以上海量存储设备）。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储介质1330通信，在服务器1300上执行存储介质1330中的一系列指令操作。

服务器1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

上述实施例中由短语推荐装置所执行的步骤可以基于该图13所示的服务器结构。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有短语推荐指令，当其在计算机上运行时，使得计算机执行如前述图3至图10所示实施例描述的方法中短语推荐装置所执行的步骤。

本申请实施例中还提供一种包括短语推荐指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图3至图10所示实施例描述的方法中短语推荐装置所执行的步骤。

本申请实施例还提供了一种短语推荐系统，所述短语推荐系统可以包含图11所描述实施例中的短语推荐装置，或者图12所描述的终端设备，或者图13所描述的服务器。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，短语推荐装置，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-onlymemory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种短语推荐的方法，其特征在于，包括：

将短语样本集输入目标神经网络，以得到短语向量集；

2.根据权利要求1所述的方法，其特征在于，所述基于所述负样本短语、所述目标短语和正样本短语构建训练三元组，以对所述目标神经网络进行训练，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于归一化的所述训练三元组向量确定损失信息，以对所述目标神经网络进行训练，包括：

根据所述损失信息对所述目标神经网络进行训练。

4.根据权利要求3所述的方法，其特征在于，所述基于所述训练目标对归一化的所述训练三元组向量进行调整，以得到所述损失信息，包括：

确定所述训练目标指示的目标距离；

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

确定目标维度；

6.根据权利要求1所述的方法，其特征在于，所述将短语样本集输入目标神经网络，以得到短语向量集，包括：

从所述短语样本集中抽取多个样本，以得到所述批数据；

基于关键信息从所述批数据中确定多个短语单元；

7.根据权利要求6所述的方法，其特征在于，所述基于关键信息从所述批数据中确定多个所述短语单元，包括：

获取所述关键信息对应的关键词条；

基于所述关键词条确定至少一个关联词条；

8.根据权利要求1所述的方法，其特征在于，所述将输入短语输入训练后的所述目标神经网络，以得到输入向量，包括：

检测所述输入短语在所述短语样本集中的关联短语；

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：

获取所述短语样本集对应的文本粒度；

11.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：

12.根据权利要求1所述的方法，其特征在于，更新后的所述短语向量集为低维密度表示的向量集，所述目标神经网络包括卷积神经网络、递归神经网络或循环神经网络。

13.一种短语推荐的装置，其特征在于，包括：

输入单元，用于将短语样本集输入目标神经网络，以得到短语向量集；

14.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行权利要求1至12任一项所述的短语推荐的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1至12任一项所述的短语推荐的方法。