CN116070614A - 用于搜索场景的文本相似度计算方法及双塔模型训练方法 - Google Patents

Abstract

本公开公开了一种用于搜索场景的文本相似度计算方法及双塔模型训练方法，涉及计算机技术领域，进一步涉及深度学习及自然语言处理领域。具体实现方案为：获取搜索请求中的第一查询文本，并获取待处理资源的第一资源文本；其中，待处理资源为基于搜索请求召回的资源；分别在第一查询文本和第一资源文本中添加提示信息，得到第二查询文本和第二资源文本；分别对第二查询文本和第二资源文本进行语义信息提取，得到第二查询文本的第一语义向量和第二资源文本的第二语义向量；根据第一语义向量和第二语义向量，计算查询文本与资源文本之间的相似度。可在一定程度上解决因模型输入数据结构差异带来的语义丢失问题，提升模型性能。

Description

用于搜索场景的文本相似度计算方法及双塔模型训练方法

技术领域

本公开涉及计算机技术领域，进一步涉及深度学习及自然语言处理领域，尤其涉及一种用于搜索场景的文本相似度计算方法及双塔模型训练方法。

背景技术

在搜索场景中，当用户输入查询文本时，往往需要向用户展示相关度更高的搜索结果。例如，在广告搜索场景中，通过相关性模型获得查询文本与候选搜索结果之间的相关性，以此筛选出能够满足用户需求的优质广告内容。因此，如何提高文本之间的相似度计算的准确度，成为本领域的重要的研究方向之一。

发明内容

本公开提供了一种用于搜索场景的文本相似度计算方法及双塔模型训练方法。

根据本公开的第一方面，提供了一种用于搜索场景的文本相似度计算方法，包括：

获取搜索请求中的第一查询文本，并获取待处理资源的第一资源文本；其中，所述待处理资源为基于所述搜索请求召回的资源；

分别在所述第一查询文本和所述第一资源文本中添加提示信息，得到第二查询文本和第二资源文本；

分别对所述第二查询文本和所述第二资源文本进行语义信息提取，得到所述第二查询文本的第一语义向量和所述第二资源文本的第二语义向量；

根据所述第一语义向量和所述第二语义向量，计算所述查询文本与所述资源文本之间的相似度。

根据本公开的第二方面，提供了一种双塔模型训练方法，其中，所述双塔模型用于在搜索场景中计算文本语义相似度任务，所述方法包括：

获取训练数据，所述训练数据包括第一文本样本对和所述第一文本样本对的标签；其中，所述第一文本样本对包括第一文本和第二文本；

在所述第一文本中添加提示信息，得到第三文本，并在所述第二文本中添加提示信息，得到第四文本；

分别对所述第三文本和所述第四文本进行标记化处理，得到所述双塔模型的模型输入，并根据所述模型输入和所述标签对所述双塔模型进行训练。

根据本公开的第三方面，提供了一种用于搜索场景的文本相似度计算装置，包括：

第一获取模块，用于获取搜索请求中的第一查询文本，并获取待处理资源的第一资源文本；其中，所述待处理资源为基于所述搜索请求召回的资源；

添加模块，用于分别在所述第一查询文本和所述第一资源文本中添加提示信息，得到第二查询文本和第二资源文本；

提取模块，用于分别对所述第二查询文本和所述第二资源文本进行语义信息提取，得到所述第二查询文本的第一语义向量和所述第二资源文本的第二语义向量；

第二获取模块，用于根据所述第一语义向量和所述第二语义向量，计算所述查询文本与所述资源文本之间的相似度。

根据本公开的第四方面，提供了一种双塔模型训练装置，其中，所述双塔模型用于在搜索场景中计算文本语义相似度任务，所述装置包括：

第一获取模块，用于获取训练数据，所述训练数据包括第一文本样本对和所述第一文本样本对的标签；其中，所述第一文本样本对包括第一文本和第二文本；

添加模块，用于在所述第一文本中添加提示信息，得到第三文本，并在所述第二文本中添加提示信息，得到第四文本；

训练模块，用于分别对所述第三文本和所述第四文本进行标记化处理，得到所述双塔模型的模型输入，并根据所述模型输入和所述标签对所述双塔模型进行训练。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述第一方面的用于搜索场景的文本相似度计算方法，或者执行前述第二方面的双塔模型训练方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行前述第一方面的用于搜索场景的文本相似度计算方法，或者执行前述第二方面的双塔模型训练方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据前述第一方面的用于搜索场景的文本相似度计算方法，或者执行前述第二方面的双塔模型训练方法。

根据本公开的用于搜索场景的文本相似度计算方法，在第一查询文本和第一资源文本中添加提示信息，可在保障双塔模型与大模型的输入数据结构一致的同时，根据在第一查询文本和第一资源文本中添加的提示信息，使得第一查询文本侧和第一资源文本侧的内容相互提示学习，可在一定程度上解决因模型输入数据结构差异带来的语义丢失问题，提升模型性能，提高文本之间的相似度计算的准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的一种文本相似度计算方法的示意图；

图2是根据本公开实施例提供的一种用于搜索场景的文本相似度计算方法的流程示意图；

图3是根据本公开实施例提供的一种广告搜索场景中文本相似度计算的示意图；

图4是根据本公开实施例提供的另一种用于搜索场景的文本相似度计算方法的流程示意图；

图5是根据本公开实施例提供的一种双塔模型训练方法的流程示意图；

图6是根据本公开实施例提供的另一种双塔模型训练方法的流程示意图；

图7是根据本公开实施例提供的一种用于搜索场景的文本相似度计算装置的结构框图；

图8是根据本公开实施例提供的一种双塔模型训练装置的结构框图；

图9是用以实现本公开实施例的用于搜索场景的文本相似度计算方法或者双塔模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

相关技术中，对于文本之间相似度计算问题(或海量数据之间语义匹配问题)可利用“大模型+萃取双塔”的方式予以解决。如图1所示，以广告搜索场景为例，“大模型+萃取双塔”为将查询文本query与候选广告资源文本ad拼接后作为整体输入到大模型中，通过语义模型和MLP(Multi-Layer Perceptron，多层感知机)进行计算得到相似度，并以大模型作为teacher为海量样本预估相关性soft label得到双塔模型的训练数据。最后以大模型预训练模型作为初始模型参数并使用模型萃取技术，得到与大模型性能相近的萃取双塔模型。

然而，上述“大模型+萃取双塔”的方式虽然在大模型下使query与ad内容特征深度交互，但双塔模型的输入结构仍为单侧query和单侧ad内容而非query-ad内容拼接整体，萃取前后模型的输入数据结构差异导致语义丢失，模型准确度损失较大。

为此，本公开提供了一种用于搜索场景的文本相似度计算方法及双塔模型训练方法。具体地，下面参考附图描述本公开实施例的用于搜索场景的文本相似度计算方法及双塔模型训练方法。

图2是根据本公开实施例提供的一种用于搜索场景的文本相似度计算方法的流程示意图。需要说明的是，本公开实施例的用于搜索场景的文本相似度计算方法可应用于本公开实施例的用于搜索场景的文本相似度计算装置，该用于搜索场景的文本相似度计算装置可被配置于电子设备上。如图2所示，该用于搜索场景的文本相似度计算方法可包括如下步骤：

步骤201，获取搜索请求中的第一查询文本，并获取待处理资源的第一资源文本。其中，待处理资源为基于搜索请求召回的资源。

作为一种示例，当搜索场景为广告搜索场景时，第一查询文本可以是用户搜索请求中的查询文本query，待处理资源即为基于搜索请求召回的候选广告资源，第一资源文本为待处理资源的候选广告资源文本ad。

可选地，本公开所述的搜索场景还可以是其他搜索场景，例如新闻搜索场景、商品名搜索场景、词条搜索场景等，本公开对此不做具体限定。

步骤202，分别在第一查询文本和第一资源文本中添加提示信息，得到第二查询文本和第二资源文本。

在本公开的一些实施例中，提示信息包括N个提示槽虚拟标志位[MASK]，其中N为正整数。

步骤203，分别对第二查询文本和第二资源文本进行语义信息提取，得到第二查询文本的第一语义向量和第二资源文本的第二语义向量。

作为一种示例，可通过于语义提取模块分别对第二查询文本和第二资源文本进行语义信息提取，得到第二查询文本的第一语义向量和第二资源文本的第二语义向量。

在一种实现方式中，可对第二查询文本进行标记化，并在标记化过程中，在第二查询文本的句首设置[CLS]标志位，在第二查询文本之中第一查询文本的句尾和提示信息的句尾均设置[SEP]标志位，得到第二查询文本的标记化结果。对第二资源文本进行标记化，并在标记化过程中，在第二资源文本的句首设置[CLS]标志位，在第二资源文本之中第一资源文本的句尾和提示信息的句尾均设置[SEP]标志位，得到第二资源文本的标记化结果。进而根据第二查询文本的标记化结果对第二查询文本进行语义信息提取，得到第二查询文本的第一语义向量，并根据第二资源文本的标记化结果对第二资源文本进行语义信息提取，得到第二资源文本的第二语义向量。

如图3所示，以广告搜索场景为例，在第一查询文本query中添加2个提示槽虚拟标志位[MASK]的提示信息，得到第二查询文本。也就是说，本公开实施例中的用于搜索场景的文本相似度计算方法，借鉴soft prompt思想及语义模型中mask的机制，在双塔模型输入层面构造prompt slot虚拟位置，在保障大模型及萃取后的双塔模型输入数据结构一致的同时，将mask作为提示内容，使得query侧和ad侧内容相互提示学习。对第二查询文本进行标记化，得到第二查询文本的标记化结果[CLS][MASK][MASK][SEP]query[SEP]。在第一资源文本ad中添加2个提示槽虚拟标志位[MASK]的提示信息，得到第二资源文本。对第二资源文本进行标记化，得到第二资源文本的标记化结果[CLS][MASK][MASK][SEP]ad[SEP]。

需要说明的是，在本示例中，提示信息包括2个提示槽虚拟标志位[MASK]仅为示例性的，在本公开一些实施例中，提示信息中[MASK]的数量可根据实际情况确定。

步骤204，根据第一语义向量和第二语义向量，计算查询文本与资源文本之间的相似度。

在一种实现方式中，可利用余弦距离计算第一语义向量和第二语义向量的余弦相似度作为查询文本与资源文本之间的相似度。

根据本公开实施例的用于搜索场景的文本相似度计算方法，在第一查询文本和第一资源文本中添加提示信息，可在保障双塔模型与大模型的输入数据结构一致的同时，根据在第一查询文本和第一资源文本中添加的提示信息，使得第一查询文本侧和第一资源文本侧的内容相互提示学习，可在一定程度上解决因模型输入数据结构差异带来的语义丢失问题，提升模型性能，提高文本之间的相似度计算的准确度。

图4是根据本公开实施例提供的另一种用于搜索场景的文本相似度计算方法的流程示意图。如图4所示，该用于搜索场景的文本相似度计算方法可包括如下步骤：

步骤401，获取搜索请求中的第一查询文本，并获取待处理资源的第一资源文本。其中，待处理资源为基于搜索请求召回的资源。

步骤402，分别在第一查询文本和第一资源文本中添加提示信息，得到第二查询文本和第二资源文本。

步骤403，对第二查询文本进行标记化，并在标记化过程中，在第二查询文本的句首设置[CLS]标志位，在第二查询文本之中第一查询文本的句尾和提示信息的句尾均设置[SEP]标志位，得到第二查询文本的标记化结果。

步骤404，对第二资源文本进行标记化，并在标记化过程中，在第二资源文本的句首设置[CLS]标志位，在第二资源文本之中第一资源文本的句尾和提示信息的句尾均设置[SEP]标志位，得到第二资源文本的标记化结果。

步骤405，将第二查询文本的标记化结果输入至预先训练的双塔模型中第一塔形网络进行语义信息提取，得到第二查询文本的第一语义向量。其中，双塔模型用于计算语义相似度任务。

在本公开一些实施例中，可基于第一塔形网络中的嵌入单元对第二查询文本的标记化结果进行嵌入计算，得到第二查询文本的第一文本向量。基于第一塔形网络中的语义提取单元和第一文本向量对第二查询文本进行语义信息提取，并根据第二查询文本之中提示信息的语义向量生成第二查询文本的第一语义向量。

需要说明的是，有关本实施例中的双塔模型训练方法可参考本公开后续实施例中的描述，在此不再赘述。

步骤406，将第二资源文本的标记化结果输入至双塔模型中第二塔形网络进行语义信息提取，得到第二资源文本的第二语义向量。

在本公开一些实施例中，基于第二塔形网络中的嵌入单元对第二资源文本的标记化结果进行嵌入计算，得到第二资源文本的第二文本向量。基于第二塔形网络中的语义提取单元和第二文本向量对第二资源文本进行语义信息提取，并根据第二资源文本之中提示信息的语义向量生成第二资源文本的第二语义向量。

步骤407，根据第一语义向量和第二语义向量，计算查询文本与资源文本之间的相似度。

在本公开的实施例中，步骤401-步骤404，步骤407可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

根据本公开实施例的用于搜索场景的文本相似度计算方法，在第一查询文本和第一资源文本中添加提示信息，获得第二查询文本和第二资源文本，并分别对第二查询文本和第二资源文本进行标记化。根据标记化结果以及预先训练的双塔模型进行语义信息提取，进而计算查询文本与资源文本之间的相似度。本公开可在保障双塔模型与大模型的输入数据结构一致的同时，根据在第一查询文本和第一资源文本中添加的提示信息，使得第一查询文本侧和第一资源文本侧的内容相互提示学习，可在一定程度上解决因模型输入数据结构差异带来的语义丢失问题。此外本公开利用了预先训练的用于计算语义相似度任务中的双塔模型，进一步提高文本之间的相似度计算的准确度。

本公开还提出一种双塔模型训练方法。其中，该双塔模型用于在搜索场景中计算文本语义相似度任务。图5是根据本公开实施例提供的一种双塔模型训练方法的流程示意图。需要说明的是，本公开实施例的模型的双塔模型训练方法可应用于本公开实施例的双塔模型训练装置，该双塔模型训练装置可被配置于电子设备上。如图5所示，该双塔模型训练方法可包括以下步骤：

步骤501，获取训练数据，训练数据包括第一文本样本对和第一文本样本对的标签。其中，第一文本样本对包括第一文本和第二文本。

需要说明的是，第一文本样本对的标签可以是第一文本样本对中第一文本和第二文本的参考相似度。

步骤502，在第一文本中添加提示信息，得到第三文本，并在第二文本中添加提示信息，得到第四文本。

在本公开的一些实施例中，提示信息包括N个提示槽虚拟标志位[MASK]，其中N为正整数。

步骤503，分别对第三文本和第四文本进行标记化处理，得到双塔模型的模型输入，并根据模型输入和标签对双塔模型进行训练。

根据本公开实施例的双塔模型训练方法，在第一文本和第二文本中添加提示信息，可保障双塔模型与大模型的输入数据结构一致，根据提示信息，使得第一文本侧和第二文本侧的内容相互提示学习。由此训练获得双塔模型，可在一定程度上解决因模型输入数据结构差异带来的语义丢失问题，提升双塔模型在相似度计算任务中的性能，提高文本相似度计算的准确度。

图6是根据本公开实施例提供的另一种双塔模型训练方法的流程示意图。如图6所示，该双塔模型训练方法可包括以下步骤：

步骤601，获取训练数据，训练数据包括第一文本样本对和第一文本样本对的标签。其中，第一文本样本对包括第一文本和第二文本。

步骤602，在第一文本中添加提示信息，得到第三文本，并在第二文本中添加提示信息，得到第四文本。

步骤603，对第三文本进行标记化，并在标记化过程中，在第三文本的句首设置[CLS]标志位，在第三文本之中第一文本的句尾和提示信息的句尾均设置[SEP]标志位，得到第三文本的标记化结果。

步骤604，对第四文本进行标记化，并在标记化过程中，在第四文本的句首设置[CLS]标志位，在第四文本之中第二文本的句尾和提示信息的句尾均设置[SEP]标志位，得到第四文本的标记化结果。

步骤605，将第三文本的标记化结果和第四文本的标记化结果作为双塔模型的模型输入。

步骤606，根据模型输入和标签对双塔模型进行训练。

在一种实现方式中，可将第三文本的标记化结果输入至双塔模型中第一塔形网络，得到第一塔形网络输出的第三文本之中提示信息的语义向量。将第四文本的标记化结果输入至双塔模型中第二塔形网络，得到第二塔形网络输出的第四文本之中提示信息的语义向量。将第三文本之中提示信息的语义向量和第四文本之中提示信息的语义向量输入至双塔模型中语义相似度计算单元，得到第一文本和第二文本之间的相似度。根据相似度和标签，生成双塔模型的损失值，并根据损失值对双塔模型进行训练。

在本公开的实施例中，步骤601和步骤602可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

根据本公开实施例的双塔模型训练方法，在第一文本和第二文本中添加提示信息，可保障双塔模型与大模型的输入数据结构一致，根据提示信息，使得第一文本侧和第二文本侧的内容相互提示学习。对添加了提示信息的第三文本和第四文本进行标记化，并将标记化结果作为双塔模型的模型输入，由此训练获得双塔模型，可在一定程度上解决因模型输入数据结构差异带来的语义丢失问题，进一步提升双塔模型在相似度计算任务中的性能，提高文本相似度计算的准确度。

图7是根据本公开实施例提供的一种用于搜索场景的文本相似度计算装置的结构框图。如图7所示，该用于搜索场景的文本相似度计算装置包括：第一获取模块701，添加模块702，提取模块703和第二获取模块704。

其中，

第一获取模块701，用于获取搜索请求中的第一查询文本，并获取待处理资源的第一资源文本；其中，所述待处理资源为基于所述搜索请求召回的资源。

添加模块702，用于分别在所述第一查询文本和所述第一资源文本中添加提示信息，得到第二查询文本和第二资源文本。

提取模块703，用于分别对所述第二查询文本和所述第二资源文本进行语义信息提取，得到所述第二查询文本的第一语义向量和所述第二资源文本的第二语义向量。

第二获取模块704，用于根据所述第一语义向量和所述第二语义向量，计算所述查询文本与所述资源文本之间的相似度。

在本公开一些实施例中，提取模块703具体用于：对所述第二查询文本进行标记化，并在所述标记化过程中，在所述第二查询文本的句首设置[CLS]标志位，在所述第二查询文本之中所述第一查询文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第二查询文本的标记化结果；对所述第二资源文本进行标记化，并在所述标记化过程中，在所述第二资源文本的句首设置[CLS]标志位，在所述第二资源文本之中所述第一资源文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第二资源文本的标记化结果；根据所述第二查询文本的标记化结果对所述第二查询文本进行语义信息提取，得到所述第二查询文本的第一语义向量，并根据所述第二资源文本的标记化结果对所述第二资源文本进行语义信息提取，得到所述第二资源文本的第二语义向量。

在本公开一些实施例中，提取模块703具体用于：将所述第二查询文本的标记化结果输入至预先训练的双塔模型中第一塔形网络进行语义信息提取，得到所述第二查询文本的第一语义向量；其中，所述双塔模型用于计算语义相似度任务；将所述第二资源文本的标记化结果输入至所述双塔模型中第二塔形网络进行语义信息提取，得到所述第二资源文本的第二语义向量。

在本公开一些实施例中，提取模块703具体用于：基于所述第一塔形网络中的嵌入单元对所述第二查询文本的标记化结果进行嵌入计算，得到所述第二查询文本的第一文本向量；基于所述第一塔形网络中的语义提取单元和所述第一文本向量对所述第二查询文本进行语义信息提取，并根据所述第二查询文本之中所述提示信息的语义向量生成所述第二查询文本的第一语义向量。

在本公开一些实施例中，提取模块703具体用于：基于所述第二塔形网络中的嵌入单元对所述第二资源文本的标记化结果进行嵌入计算，得到所述第二资源文本的第二文本向量；基于所述第二塔形网络中的语义提取单元和所述第二文本向量对所述第二资源文本进行语义信息提取，并根据所述第二资源文本之中所述提示信息的语义向量生成所述第二资源文本的第二语义向量。

在本公开一些实施例中，提示信息包括N个提示槽虚拟标志位[MASK]，其中所述N为正整数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据本公开实施例提供的一种双塔模型训练装置的结构框图。

其中，该双塔模型用于在搜索场景中计算文本语义相似度任务。如图8所示，该双塔模型训练装置包括：第一获取模块801，添加模块802和训练模块803。其中，

第一获取模块801，用于获取训练数据，所述训练数据包括第一文本样本对和所述第一文本样本对的标签；其中，所述第一文本样本对包括第一文本和第二文本。

添加模块802，用于在所述第一文本中添加提示信息，得到第三文本，并在所述第二文本中添加提示信息，得到第四文本。

训练模块803，用于分别对所述第三文本和所述第四文本进行标记化处理，得到所述双塔模型的模型输入，并根据所述模型输入和所述标签对所述双塔模型进行训练。

在本公开一些实施例中，训练模块803具体用于：对所述第三文本进行标记化，并在所述标记化过程中，在所述第三文本的句首设置[CLS]标志位，在所述第三文本之中所述第一文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第三文本的标记化结果；对所述第四文本进行标记化，并在所述标记化过程中，在所述第四文本的句首设置[CLS]标志位，在所述第四文本之中所述第二文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第四文本的标记化结果；将所述第三文本的标记化结果和所述第四文本的标记化结果作为所述双塔模型的模型输入。

在本公开一些实施例中，训练模块803具体用于：将所述第三文本的标记化结果输入至所述双塔模型中第一塔形网络，得到所述第一塔形网络输出的所述第三文本之中所述提示信息的语义向量；将所述第四文本的标记化结果输入至所述双塔模型中第二塔形网络，得到所述第二塔形网络输出的所述第四文本之中所述提示信息的语义向量；将所述第三文本之中所述提示信息的语义向量和所述第四文本之中所述提示信息的语义向量输入至所述双塔模型中语义相似度计算单元，得到所述第一文本和所述第二文本之间的相似度；根据所述相似度和所述标签，生成所述双塔模型的损失值，并根据所述损失值对所述双塔模型进行训练。

在本公开一些实施例中，提示信息包括N个提示槽虚拟标志位[MASK]，其中所述N为正整数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开的实施例，本公开还提供了一种电子设备和一种计算机可读存储介质。

如图9所示，图9是用以实现本公开实施例的用于搜索场景的文本相似度计算方法或者双塔模型训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。

存储器902即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的用于搜索场景的文本相似度计算方法或者双塔模型训练方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的用于搜索场景的文本相似度计算方法或者双塔模型训练方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的用于搜索场景的文本相似度计算方法或者双塔模型训练方法对应的程序指令/模块(例如，附图7所示的第一获取模块701，添加模块702，提取模块703和第二获取模块704，以及附图8所示的第一获取模块801，添加模块802和训练模块803)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于搜索场景的文本相似度计算方法或者双塔模型训练方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储用于搜索场景的文本相似度计算方法或者双塔模型训练方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至用以实现用于搜索场景的文本相似度计算方法或者双塔模型训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于搜索场景的文本相似度计算方法或者双塔模型训练方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与用于搜索场景的文本相似度计算方法或者双塔模型训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，即本公开还提出了一种计算机程序，该计算机程序在被处理器执行时，实现上述实施例所描述的用于搜索场景的文本相似度计算方法或者双塔模型训练方法，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种用于搜索场景的文本相似度计算方法，包括：

获取搜索请求中的第一查询文本，并获取待处理资源的第一资源文本；其中，所述待处理资源为基于所述搜索请求召回的资源；

分别在所述第一查询文本和所述第一资源文本中添加提示信息，得到第二查询文本和第二资源文本；

分别对所述第二查询文本和所述第二资源文本进行语义信息提取，得到所述第二查询文本的第一语义向量和所述第二资源文本的第二语义向量；

根据所述第一语义向量和所述第二语义向量，计算所述查询文本与所述资源文本之间的相似度。

2.如权利要求1所述的方法，其中，所述分别对所述第二查询文本和所述第二资源文本进行语义信息提取，得到所述第二查询文本的第一语义向量和所述第二资源文本的第二语义向量，包括：

对所述第二查询文本进行标记化，并在所述标记化过程中，在所述第二查询文本的句首设置[CLS]标志位，在所述第二查询文本之中所述第一查询文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第二查询文本的标记化结果；

对所述第二资源文本进行标记化，并在所述标记化过程中，在所述第二资源文本的句首设置[CLS]标志位，在所述第二资源文本之中所述第一资源文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第二资源文本的标记化结果；

根据所述第二查询文本的标记化结果对所述第二查询文本进行语义信息提取，得到所述第二查询文本的第一语义向量，并根据所述第二资源文本的标记化结果对所述第二资源文本进行语义信息提取，得到所述第二资源文本的第二语义向量。

3.如权利要求2所述的方法，其中，所述根据所述第二查询文本的标记化结果对所述第二查询文本进行语义信息提取，得到所述第二查询文本的第一语义向量，并根据所述第二资源文本的标记化结果对所述第二资源文本进行语义信息提取，得到所述第二资源文本的第二语义向量，包括：

将所述第二查询文本的标记化结果输入至预先训练的双塔模型中第一塔形网络进行语义信息提取，得到所述第二查询文本的第一语义向量；其中，所述双塔模型用于计算语义相似度任务；

将所述第二资源文本的标记化结果输入至所述双塔模型中第二塔形网络进行语义信息提取，得到所述第二资源文本的第二语义向量。

4.如权利要求3所述的方法，其中，所述将所述第二查询文本的标记化结果输入至预先训练的双塔模型中第一塔形网络进行语义信息提取，得到所述第二查询文本的第一语义向量，包括：

基于所述第一塔形网络中的嵌入单元对所述第二查询文本的标记化结果进行嵌入计算，得到所述第二查询文本的第一文本向量；

基于所述第一塔形网络中的语义提取单元和所述第一文本向量对所述第二查询文本进行语义信息提取，并根据所述第二查询文本之中所述提示信息的语义向量生成所述第二查询文本的第一语义向量。

5.如权利要求3所述的方法，其中，所述将所述第二资源文本的标记化结果输入至所述双塔模型中第二塔形网络进行语义信息提取，得到所述第二资源文本的第二语义向量，包括：

基于所述第二塔形网络中的嵌入单元对所述第二资源文本的标记化结果进行嵌入计算，得到所述第二资源文本的第二文本向量；

基于所述第二塔形网络中的语义提取单元和所述第二文本向量对所述第二资源文本进行语义信息提取，并根据所述第二资源文本之中所述提示信息的语义向量生成所述第二资源文本的第二语义向量。

6.如权利要求1至5中任一项所述的方法，其中，所述提示信息包括N个提示槽虚拟标志位[MASK]，其中所述N为正整数。

7.一种双塔模型训练方法，其中，所述双塔模型用于在搜索场景中计算文本语义相似度任务，所述方法包括：

获取训练数据，所述训练数据包括第一文本样本对和所述第一文本样本对的标签；其中，所述第一文本样本对包括第一文本和第二文本；

在所述第一文本中添加提示信息，得到第三文本，并在所述第二文本中添加提示信息，得到第四文本；

分别对所述第三文本和所述第四文本进行标记化处理，得到所述双塔模型的模型输入，并根据所述模型输入和所述标签对所述双塔模型进行训练。

8.如权利要求7所述的方法，其中，所述分别对所述第三文本和所述第四文本进行标记化处理，得到所述双塔模型的模型输入，包括：

对所述第三文本进行标记化，并在所述标记化过程中，在所述第三文本的句首设置[CLS]标志位，在所述第三文本之中所述第一文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第三文本的标记化结果；

对所述第四文本进行标记化，并在所述标记化过程中，在所述第四文本的句首设置[CLS]标志位，在所述第四文本之中所述第二文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第四文本的标记化结果；

将所述第三文本的标记化结果和所述第四文本的标记化结果作为所述双塔模型的模型输入。

9.如权利要求8所述的方法，其中，所述根据所述模型输入和所述标签对所述双塔模型进行训练，包括：

将所述第三文本的标记化结果输入至所述双塔模型中第一塔形网络，得到所述第一塔形网络输出的所述第三文本之中所述提示信息的语义向量；

将所述第四文本的标记化结果输入至所述双塔模型中第二塔形网络，得到所述第二塔形网络输出的所述第四文本之中所述提示信息的语义向量；

将所述第三文本之中所述提示信息的语义向量和所述第四文本之中所述提示信息的语义向量输入至所述双塔模型中语义相似度计算单元，得到所述第一文本和所述第二文本之间的相似度；

根据所述相似度和所述标签，生成所述双塔模型的损失值，并根据所述损失值对所述双塔模型进行训练。

10.如权利要求7至9中任一项所述的方法，其中，所述提示信息包括N个提示槽虚拟标志位[MASK]，其中所述N为正整数。

11.一种用于搜索场景的文本相似度计算装置，包括：

第一获取模块，用于获取搜索请求中的第一查询文本，并获取待处理资源的第一资源文本；其中，所述待处理资源为基于所述搜索请求召回的资源；

添加模块，用于分别在所述第一查询文本和所述第一资源文本中添加提示信息，得到第二查询文本和第二资源文本；

提取模块，用于分别对所述第二查询文本和所述第二资源文本进行语义信息提取，得到所述第二查询文本的第一语义向量和所述第二资源文本的第二语义向量；

第二获取模块，用于根据所述第一语义向量和所述第二语义向量，计算所述查询文本与所述资源文本之间的相似度。

12.如权利要求11所述的装置，其中，所述提取模块具体用于：

对所述第二查询文本进行标记化，并在所述标记化过程中，在所述第二查询文本的句首设置[CLS]标志位，在所述第二查询文本之中所述第一查询文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第二查询文本的标记化结果；

对所述第二资源文本进行标记化，并在所述标记化过程中，在所述第二资源文本的句首设置[CLS]标志位，在所述第二资源文本之中所述第一资源文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第二资源文本的标记化结果；

根据所述第二查询文本的标记化结果对所述第二查询文本进行语义信息提取，得到所述第二查询文本的第一语义向量，并根据所述第二资源文本的标记化结果对所述第二资源文本进行语义信息提取，得到所述第二资源文本的第二语义向量。

13.如权利要求12所述的装置，其中，所述提取模块具体用于：

将所述第二查询文本的标记化结果输入至预先训练的双塔模型中第一塔形网络进行语义信息提取，得到所述第二查询文本的第一语义向量；其中，所述双塔模型用于计算语义相似度任务；

将所述第二资源文本的标记化结果输入至所述双塔模型中第二塔形网络进行语义信息提取，得到所述第二资源文本的第二语义向量。

14.如权利要求13所述的装置，其中，所述提取模块具体用于：

基于所述第一塔形网络中的嵌入单元对所述第二查询文本的标记化结果进行嵌入计算，得到所述第二查询文本的第一文本向量；

基于所述第一塔形网络中的语义提取单元和所述第一文本向量对所述第二查询文本进行语义信息提取，并根据所述第二查询文本之中所述提示信息的语义向量生成所述第二查询文本的第一语义向量。

15.如权利要求13所述的装置，其中，所述提取模块具体用于：

基于所述第二塔形网络中的嵌入单元对所述第二资源文本的标记化结果进行嵌入计算，得到所述第二资源文本的第二文本向量；

基于所述第二塔形网络中的语义提取单元和所述第二文本向量对所述第二资源文本进行语义信息提取，并根据所述第二资源文本之中所述提示信息的语义向量生成所述第二资源文本的第二语义向量。

16.如权利要求11至15中任一项所述的装置，其中，所述提示信息包括N个提示槽虚拟标志位[MASK]，其中所述N为正整数。

17.一种双塔模型训练装置，其中，所述双塔模型用于在搜索场景中计算文本语义相似度任务，所述装置包括：

第一获取模块，用于获取训练数据，所述训练数据包括第一文本样本对和所述第一文本样本对的标签；其中，所述第一文本样本对包括第一文本和第二文本；

添加模块，用于在所述第一文本中添加提示信息，得到第三文本，并在所述第二文本中添加提示信息，得到第四文本；

训练模块，用于分别对所述第三文本和所述第四文本进行标记化处理，得到所述双塔模型的模型输入，并根据所述模型输入和所述标签对所述双塔模型进行训练。

18.如权利要求17所述的装置，其中，所述训练模块具体用于：

对所述第三文本进行标记化，并在所述标记化过程中，在所述第三文本的句首设置[CLS]标志位，在所述第三文本之中所述第一文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第三文本的标记化结果；

对所述第四文本进行标记化，并在所述标记化过程中，在所述第四文本的句首设置[CLS]标志位，在所述第四文本之中所述第二文本的句尾和所述提示信息的句尾均设置[SEP]标志位，得到所述第四文本的标记化结果；

将所述第三文本的标记化结果和所述第四文本的标记化结果作为所述双塔模型的模型输入。

19.如权利要求18所述的装置，其中，所述训练模块具体用于：

将所述第三文本的标记化结果输入至所述双塔模型中第一塔形网络，得到所述第一塔形网络输出的所述第三文本之中所述提示信息的语义向量；

将所述第四文本的标记化结果输入至所述双塔模型中第二塔形网络，得到所述第二塔形网络输出的所述第四文本之中所述提示信息的语义向量；

将所述第三文本之中所述提示信息的语义向量和所述第四文本之中所述提示信息的语义向量输入至所述双塔模型中语义相似度计算单元，得到所述第一文本和所述第二文本之间的相似度；

根据所述相似度和所述标签，生成所述双塔模型的损失值，并根据所述损失值对所述双塔模型进行训练。

20.如权利要求17至19中任一项所述的装置，其中，所述提示信息包括N个提示槽虚拟标志位[MASK]，其中所述N为正整数。

21.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法，或者能够执行权利要求7至10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行如权利要求1至6中任一项所述的方法，或者使所述计算机执行如权利要求7至10中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1至6中任一项所述方法的步骤，或者实现权利要求7至10中任一项所述方法的步骤。

Images