CN111950272B - 文本相似度的生成方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种文本相似度的生成方法、装置及电子设备，涉及人工智能技术领域，尤其涉及深度学习及自然语言处理技术领域。具体实现方案为：获取第一文本与第二文本；对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列；确定第一分词序列对应的第一词向量序列与第一位置向量序列，及第二分词序列对应的第二词向量序列与第二位置向量序列；根据第一词向量序列与第一位置向量序列，及第二词向量序列与第二位置向量序列，生成第一文本与第二文本的目标相似度。由此，通过本申请的方案，引入文本中各分词的位置信息，从而有效对文本的序列信息进行建模，提升了文本相关性建模的准确度。

Description

文本相似度的生成方法、装置及电子设备

技术领域

本申请涉及人工智能技术领域，尤其涉及深度学习及自然语言处理技术领域，提出一种文本相似度的生成方法、装置及电子设备。

背景技术

相关性模型在检索、问答、推荐等互联网技术中具有广泛的应用。其中，基于矩阵乘法的相关性模型被证明在建模两个文本序列的相关性时，具有很好的效果。

相关技术中，基于矩阵乘法的相关性模型，将两个文本分别使用两个词袋模型作为输入，经过一个矩阵乘法捕获两个文本的相关性信息，最后通过一个全连接层输出打分。但是，由于将文本序列输入模型时，仅考虑了文本的语义信息，从而使得模型不具备建模序列信息的能力，准确性较差。

发明内容

本申请提供了一种用于文本相似度生成的方法、装置、电子设备以及存储介质。

根据本申请的一方面，提供了一种文本相似度的生成方法，包括：获取第一文本与第二文本；对所述第一文本与所述第二文本分别进行分词处理，以生成所述第一文本对应的第一分词序列及所述第二文本对应的第二分词序列；确定所述第一分词序列对应的第一词向量序列与第一位置向量序列，及所述第二分词序列对应的第二词向量序列与第二位置向量序列；以及根据所述第一词向量序列与第一位置向量序列，及所述第二词向量序列与所述第二位置向量序列，生成所述第一文本与所述第二文本的目标相似度。

根据本申请的另一方面，提供了一种文本相似度的生成装置，包括：获取模块，用于获取第一文本与第二文本；第一生成模块，用于对所述第一文本与所述第二文本分别进行分词处理，以生成所述第一文本对应的第一分词序列及所述第二文本对应的第二分词序列；确定模块，用于确定所述第一分词序列对应的第一词向量序列与第一位置向量序列，及所述第二分词序列对应的第二词向量序列与第二位置向量序列；以及第二生成模块，用于根据所述第一词向量序列与第一位置向量序列，及所述第二词向量序列与所述第二位置向量序列，生成所述第一文本与所述第二文本的目标相似度。

根据本申请的再一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的文本相似度的生成方法。

根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如前所述的文本相似度的生成方法。

根据本申请的技术方案，解决了相关技术中，将文本序列输入相关性模型时，仅考虑了文本的语义信息，从而使得相关性模型不具备建模序列信息的能力，准确性较差的问题。通过对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列，进而根据第一分词序列对应的第一词向量序列与第一位置向量序列，及第二分词序列对应的第二词向量序列与第二位置向量序列，生成第一文本与第二文本的目标相似度。由此，通过在文本的向量表示中融合文本中各分词的语义信息和位置信息，从而通过引入文本中各分词的位置信息，有效对文本的序列信息进行建模，提升了文本相关性建模的准确度。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例所提供的一种文本相似度的生成方法的流程示意图；

图2为本申请实施例所提供的另一种文本相似度的生成方法的流程示意图；

图3为本申请实施例所提供的再一种文本相似度的生成方法的流程示意图；

图4为本申请实施例提供的一种文本相似度的生成装置的结构示意图；

图5为用来实现本申请实施例的文本相似度的生成方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例针对相关技术中，将文本序列输入相关性模型时，仅考虑了文本的语义信息，从而使得相关性模型不具备建模序列信息的能力，准确性较差的问题，提出一种文本相似度的生成方法。

下面参考附图对本申请提供的文本相似度的生成方法、装置、电子设备及存储介质进行详细描述。

图1为本申请实施例所提供的一种文本相似度的生成方法的流程示意图。

如图1所示，该文本相似度的生成方法，包括以下步骤：

步骤101，获取第一文本与第二文本。

需要说明的是，本申请实施例的文本相似度的生成方法，可以由本申请实施例的文本相似度的生成装置执行。本申请实施例的文本相似度的生成装置可以配置在任意电子设备中，以执行本申请实施例的文本相似度的生成方法。

其中，第一文本与第二文本，是指当前需要确定两者之间的相似度的文本数据。比如，本申请实施例的文本相似度的生成方法应用在问答领域时，第一文本可以是用户输入的问题，第二文本可以是问答服务的数据库中存储的答案。

在本申请实施例中，不同的应用场景，第一文本与第二文本的获取方式可以是不同。比如，本申请实施例的文本相似度的生成方法，应用在问答领域时，可以通过问答服务的服务器获取用户通过客户端输入的问题，作为第一文本，进而将从数据库中召回的各候选答案作为第二文本；又如，本申请实施例的文本相似度的生成方法，应用在新闻推荐领域时，可以将用户设置的个人资料，或者新闻推荐服务的服务器通过大数据统计分析确定的用户偏好信息，确定为第一文本，并可以将从数据库中获取的待推荐新闻的标题或内容，确定为第二文本，等等。

需要说明的是，获取第一文本与第二文本的方式，可以包括但不限于以上列举的情形。实际使用时，本申请实施例的文本相似度的生成方法，可以应用在任意需要进行文本相似度计算的场景中，可以根据实际需要及具体的应用场景，确定第一文本与第二文本的获取方式，本申请实施例对此不做限定。

步骤102，对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列。

其中，第一分词，是指第一文本中包括的分词；第一分词序列，是指由各第一分词组成的分词序列。第二分词，是指第二文本中包括的分词；第二分词序列，是指由各第二分词组成的分词序列。

在本申请实施例中，可以采用任意的分词工具对第一文本与第二文本分别进行分词处理，以确定第一文本中包括的各第一分词，以及第二文本中包括的各第二分词，进而利用各第一分词构成第一文本对应的第一分词序列，以及利用各第二分词构成第二文本对应的第二分词序列。

需要说明的是，实际使用时，可以根据实际需要及具体的应用场景，选择合适的分词工具对第一文本与第二文本进行分词处理，本申请实施例对此不做限定。比如，结巴分词工具、盘古分词工具、HanLP(Han Language Processing)分词工具，等等。

步骤103，确定第一分词序列对应的第一词向量序列与第一位置向量序列，及第二分词序列对应的第二词向量序列与第二位置向量序列。

其中，第一词向量，是指第一分词对应的词向量；第一词向量序列，是指由第一分词序列中的每个第一分词对应的第一词向量构成的向量序列。第二词向量，是指第二分词对应的词向量；第二词向量序列，是指由第二分词序列中的每个第二分词对应的第二词向量构成的向量序列。也就是说，第一词向量序列中词向量的数量与第一分词序列中包括的分词数量相同，第二词向量序列中词向量的数量与第二分词序列中包括的分词数量相同。第一词向量序列与第二词向量序列的表现形式可以是矩阵。

举例来说，第一分词序列中包括5个第一分词，第二分词序列中包括4个分词，第一词向量与第二词向量均为50维的行向量，则第一词向量序列中包括5个50维的行向量，即第一词向量序列为一个5行50列的矩阵；第二词向量序列中包括4个50维的行向量，即第二词向量序列为一个4行50列的矩阵。

需要说明的是，第一词向量与第二词向量的表现形式也可以是不同的，以便于对第一词向量序列和第二词向量序列的后续处理。例如，第一词向量可以为行向量，则第二词向量可以为列向量；或者，第一词向量可以为列向量，则第二词向量可以为行向量。比如，在上例中，第一词向量为50维的行向量，第二词向量为50维的列向量，则第一词向量序列为一个5行50列的矩阵，第二词向量序列为一个50行4列的矩阵。

其中，第一位置向量，是指用于表征第一分词在第一文本中的位置信息的向量；第一位置向量序列，是指由第一分词序列中的每个第一分词对应的第一位置向量构成的向量序列。第二位置向量，是指用于表征第二分词在第二文本中的位置信息的向量；第二位置向量序列，是指由第二分词序列中的每个第二分词对应的第二位置向量构成的向量序列。

在本申请实施例中，可以采用任意的基于深度学习的词向量映射模型，确定第一分词序列中的每个第一分词对应的第一词向量，以及第二分词序列中的每个第二分词对应的第二词向量，并利用各第一词向量构成第一词向量序列，以及利用各第二词向量构成第二词向量序列。

需要说明的是，实际使用时，可以根据实际需要及具体的应用场景，选择合适的词向量映射模型，本申请实施例对此不做限定。比如，word2vec(word to vector)模型、GloVe(Global vectors for word representation，用于词表示的全局向量)、ELMo(Embeddingsfrom Language Models，基于语言模型的词向量)模型、BERT(Bidirectional EncoderRepresentations from Transformers，基于变压器的双向编码表示)模型，等等。

在本申请实施例中，可以根据第一分词序列中的每个第一分词在第一文本中的位置，确定每个第一分词对应的第一位置向量，进而利用各第一位置向量，构成第一位置向量序列。

作为一种可能的实现方式，可以将第一分词在第一文本中的次序，确定为第一分词对应的第一位置向量。比如，第一文本中包括3个第一分词，则第1个第一分词对应的第一位置向量可以为[1]，第2个第一分词对应的第一位置向量可以为[2]，第3个第一分词对应的第一位置向量可以为[3]，即第一位置向量序列为

作为另一种可能的实现方式，还可以预设位置向量的维度，进而根据预设的位置向量的维度与第一分词在第一文本中的次序，确定第一分词对应的第一位置向量。比如，预设的位置向量为5维的零向量，第一文本中包括3个第一分词，则第1个第一分词对应的第一位置向量可以为[0 0 0 0 1]，第2个第一分词对应的第一位置向量可以为[0 0 0 0 2]，第3个第一分词对应的第一位置向量可以为[0 0 0 0 3]，即第一位置向量序列为

或者，第1个第一分词对应的第一位置向量还可以为[0 0 0 0 1]，第2个第一分词对应的第一位置向量可以为[0 0 0 1 0]，第3个第一分词对应的第一位置向量可以为[0 0 1 0 0]，即第一位置向量序列为/>

等等。

需要说明的是，第二位置向量序列的确定方式与第一位置向量序列相同，此处不再赘述。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，确定第一位置向量与第二位置向量的的维度，以及第一位置向量序列与第二位置向量序列的确定方式，本申请实施例对此不做限定。

步骤104，根据第一词向量序列与第一位置向量序列，及第二词向量序列与第二位置向量序列，生成第一文本与第二文本的目标相似度。

在本申请实施例中，由于第一词向量序列可以对第一文本的语义信息进行表示，第一位置向量序列可以对第一文本中各第一分词的位置信息进行表示，即表达了第一文本中的序列信息；相应的，第二词向量序列可以对第二文本的语义信息进行表示，第二位置向量序列可以对第二文本中各第二分词的位置信息进行表示，即表达了第二文本中的序列信息，从而可以根据第一词向量序列与第一位置向量，及第二词向量序列与第二位置向量序列，确定第一文本与第二文本的目标相似度。

作为一种可能的实现方式，可以将第一词向量序列与第一位置向量序列进行融合，以及将第二词向量序列与第二位置向量序列进行融合，并根据融合后的两个向量序列之间的相似度，确定第一文本与第二文本的目标相似度。可选的，可以利用预先训练的深度学习模型对融合后的两个向量序列进行处理，以通过深度学习模型输出第一文本与第二文本的相似度。

根据本申请实施例的技术方案，通过对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列，进而根据第一分词序列对应的第一词向量序列与第一位置向量序列，及第二分词序列对应的第二词向量序列与第二位置向量序列，生成第一文本与第二文本的目标相似度。由此，通过在文本的向量表示中融合文本中各分词的语义信息和位置信息，从而通过引入文本中各分词的位置信息，有效对文本的序列信息进行建模，提升了文本相关性建模的准确度。

在本申请一种可能的实现形式中，可以利用矩阵乘法和文本相关性模型，捕获第一文本对应的第一词向量序列和第一位置向量序列，与第二文本对应的第二词向量序列和第二位置向量序列之间的相关性，以进一步提升文本相关性建模的准确度。

下面结合图2，对本申请实施例提供的文本相似度的生成方法进行进一步说明。

图2为本申请实施例所提供的另一种文本相似度的生成方法的流程示意图。

如图2所示，该文本相似度的生成方法，包括以下步骤：

步骤201，获取第一文本与第二文本。

步骤202，对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列。

步骤203，确定第一分词序列对应的第一词向量序列与第一位置向量序列，及第二分词序列对应的第二词向量序列与第二位置向量序列。

上述步骤201-203的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤204，根据第一词向量序列与第一位置向量序列，生成第一向量序列。

其中，第一向量序列，是指将第一词向量序列与第一位置向量序列融合后，生成的同时包含第一文本的语义信息和位置信息的向量序列。

在本申请实施例中，可以将第一词向量序列与第一位置向量序列进行融合处理，以生成第一文本对应的第一向量序列，从而使得第一文本的向量表示，既可以对第一文本的语义信息进行表示，又可以对第一文本的位置信息进行表示，实现了语义信息与位置信息的融合。

可选地，可以对第一词向量序列与第一位置向量序列进行拼接处理，以生成第一向量序列。即在本申请实施例一种可能的实现形式中，上述第一词向量序列包括M个第一词向量，第一位置向量序列包括M个第一位置向量，第一向量序列中包括M个第一向量，M为正整数；相应的，上述步骤204，可以包括：

将第一词向量序列中的第i个第一词向量与第一位置向量序列中的第i个第一位置向量进行拼接，以生成第一向量序列中的第i个第一向量，其中，i为小于或等于M的正整数。

在本申请实施例中，若第一文本中包括M个第一分词，则第一词向量序列中包括M个第一词向量，第一位置向量序列中包括M个第一位置向量，从而可以将每个第一分词对应的第一词向量与第一位置向量进行拼接，以生成每个第一分词对应的第一向量。也就是说，可以将第一词向量序列中的第i个第一词向量与第一位置向量序列中的第i个第一位置向量进行拼接，以生成第一向量序列中的第i个第一向量，从而生成第一向量序列。

可选地，还可以将第一词向量序列与第一位置向量序列进行加权求和，以生成第一向量序列。即在本申请实施例一种可能的实现形式中，上述第一词向量序列包括M个第一词向量，第一位置向量序列包括M个第一位置向量，第一向量序列中包括M个第一向量，M为正整数；相应的，上述步骤204，可以包括：

将第i个第一词向量与第i个第一位置向量的加权均值，确定为第一位置向量序列中的第i个第一向量。

在本申请实施例中，若第一文本中包括M个第一分词，则第一词向量序列中包括M个第一词向量，第一位置向量序列中包括M个第一位置向量，从而可以确定每个第一分词对应的第一词向量与第一位置向量的加权均值，以生成每个第一分词对应的第一向量。也就是说，可以将第一词向量序列中的第i个第一词向量与第一位置向量序列中的第i个第一位置向量的加权均值，确定为第一向量序列中的第i个第一向量，从而生成第一向量序列。

需要说明的是，实际使用时，第一词向量的权重与第一位置向量的权重，可以根据实际需要预设，本申请实施例对此不做限定。比如，可以将第一词向量序列中的第i个第一词向量与第一位置向量序列中的第i个第一位置向量之和，确定为第一向量序列中的第i个第一向量，从而生成第一向量序列；或者，还可以将第一词向量序列中的第i个第一词向量与第一位置向量序列中的第i个第一位置向量的均值，确定为第一向量序列中的第i个第一向量，从而生成第一向量序列。

步骤205，根据第二词向量序列与第二位置向量序列，生成第二向量序列。

其中，第二向量序列，是指将第二词向量序列与第二位置向量序列融合后，生成的同时包含第二文本的语义信息和位置信息的向量序列。

在本申请实施例中，可以将第二词向量序列与第二位置向量序列进行融合处理，以生成第二文本对应的第二向量序列，从而使得第二文本的向量表示，既可以对第二文本的语义信息进行表示，又可以对第二文本的位置信息进行表示，实现了语义信息与位置信息的融合。

可选地，可以对第二词向量序列与第二位置向量序列进行拼接处理，以生成第二向量序列。即在本申请实施例一种可能的实现形式中，上述第二词向量序列包括N个第二词向量，第二位置向量序列包括N个第二位置向量，所述第二向量序列中包括N个第二向量，N为正整数；相应的，上述步骤205，可以包括：

将第二词向量序列中的第j个第二词向量与第二位置向量序列中的第j个第二位置向量进行拼接，以生成第二向量序列中的第j个第二向量，其中，j为小于或等于N的正整数。

在本申请实施例中，若第二文本中包括N个第二分词，则第二词向量序列中包括N个第二词向量，第二位置向量序列中包括N个第二位置向量，从而可以将每个第二分词对应的第二词向量与第二位置向量进行拼接，以生成每个第二分词对应的第二向量。也就是说，可以将第二词向量序列中的第j个第二词向量与第二位置向量序列中的第j个第二位置向量进行拼接，以生成第二向量序列中的第j个第二向量，从而生成第二向量序列。

可选地，还可以将第二词向量序列与第二位置向量序列进行加权求和，以生成第二向量序列。即在本申请实施例一种可能的实现形式中，上述第二词向量序列包括N个第二词向量，第二位置向量序列包括N个第二位置向量，第二向量序列中包括N个第二向量，N为正整数；相应的，上述步骤205，可以包括：

将第j个第二词向量与第j个第二位置向量的加权均值，确定为第二位置向量序列中的第j个第二向量。

在本申请实施例中，若第二文本中包括N个第二分词，则第二词向量序列中包括N个第二词向量，第二位置向量序列中包括N个第二位置向量，从而可以确定每个第二分词对应的第二词向量与第二位置向量的加权均值，以生成每个第二分词对应的第二向量。也就是说，可以将第二词向量序列中的第j个第二词向量与第二位置向量序列中的第j个第二位置向量的加权均值，确定为第二向量序列中的第j个第二向量，从而生成第二向量序列。

需要说明的是，实际使用时，第二词向量的权重与第二位置向量的权重，可以根据实际需要预设，本申请实施例对此不做限定。比如，可以将第二词向量序列中的第j个第二词向量与第二位置向量序列中的第j个第二位置向量之和，确定为第二向量序列中的第j个第二向量，从而生成第二向量序列；或者，还可以将第二词向量序列中的第j个第二词向量与第二位置向量序列中的第j个第二位置向量的均值，确定为第二向量序列中的第j个第二向量，从而生成第二向量序列。

步骤206，根据第一向量序列和第二向量序列，生成目标相似度。

在本申请实施例中，可以通过矩阵乘法捕获第一向量序列与第二向量序列的相关性，进而生成第一文本与第二文本的目标相似度。即在本申请实施例一种可能的实现形式中，上述步骤206，可以包括：

将第一向量序列和第二向量序列相乘，以生成目标矩阵；

根据目标矩阵，生成目标相似度。

在本申请实施例中，由于第一向量序列与第二向量序列的表现形式可以为矩阵，第一向量的维度与第二向量的维度也可以是相同的，从而可以将第一向量序列与第二向量序列进行矩阵乘法，以生成目标矩阵，从而使得目标矩阵中包含了第一文本中任一个第一分词与第二文本中任一个第二分词的相关性信息，进而可以根据目标矩阵，生成第一文本与第二文本的目标相似度。

需要说明的是，若第一向量序列的列数和第二向量序列的行数相同，则可以直接对第一向量序列与第二向量序列进行矩阵乘法；若第一向量序列的列数与第二向量的列数相同，则可以对第一向量序列与第二向量序列的转置进行矩阵乘法。

作为一种可能的实现方式，可以利用基于深度学习的文本相关性模型，对目标矩阵进行识别处理，以确定第一文本与第二文本的目标相似度。即在本申请实施例一种可能的实现形式中，上述根据目标矩阵，生成目标相似度，可以包括：

将目标矩阵输入文本相关性模型，以生成目标相似度。

其中，文本相关性模型，可以是预先训练的基于矩阵乘法的相关性模型。也就是说，文本相关性模型可以根据两个矩阵的乘积，确定两个矩阵对应的文本之间的相似度。

作为一种可能的实现方式，文本相关性模型可以根据第一文本中每个第一分词分别与第二文本中每个第二分词之间的相似度，确定第一文本与第二文本的目标相似度。即在本申请实施例一种可能的实现形式中，上述文本相关性模型包括多层卷积层和全连接层，第一向量序列包括M个第一向量，第二向量序列包括N个第二向量，目标矩阵包括M×N个元素，M与N为正整数；相应的，上述将目标矩阵输入文本相关性模型，以生成目标相似度，可以包括：

将目标矩阵输入多层卷积层，以生成M×N个相似度；以及

将M×N个相似度输入全连接层，以生成目标相似度。

在本申请实施例中，若第一文本中包括M个第一分词，第二文本中包括N个第二分词，由于一个第一分词与第一向量序列中的一个第一向量对应，一个第二分词与第二向量序列中的一个第二向量对应，从而第一向量序列中包括M个第一向量，第二向量序列中包括N个第二向量。在将第一向量序列与第二向量序列进行矩阵乘法时，第一向量序列中的每个第一向量均需要与第二向量序列中的每个第二向量进行相乘，从而目标矩阵中可以包括M×N个元素，且一个元素为一个第一向量与一个第二向量的乘积。

举例来说，第一文本中包括10个第一分词，第二文本中包括5个第二分词，即第一向量序列中包括10个第一向量，第二向量序列中包括5个第二向量，则目标矩阵中第i行第j列的元素为第一向量序列中第i个第一向量与第二向量序列中第j个第二向量的乘积。

在本申请实施例中，文本相关性模型可以是基于卷积神经网络的深度学习模型。文本相关性模型中包括的多个卷积层的尺寸可以是不同的，从而通过多个卷积层对目标矩阵进行卷积处理，可以将目标矩阵变换至不同的尺寸，以捕捉目标矩阵中各元素之间的相关性，从而确定出第一文本中的M个第一分词分别与第二文本中N个第二分词的相似度，即输出M×N个相似度。

相应的，确定出第一文本中的M个第一分词分别与第二文本中N个第二分词的相似度之后，可以将M×N个相似度输入一个全连接层，以对M×N个相似度进行融合，以生成第一文本与第二文本的目标相似度。

可选的，全连接层可以对M×N个相似度进行求和处理，以将M×N个相似度之和确定为第一文本与第二文本的目标相似度；或者，全连接层还可以对M×N个相似度进行平均处理，以将M×N个相似度的均值确定为第一文本与第二文本的目标相似度。

需要说明的是，对M×N个相似度进行融合的方式，可以包括但不限于以上列举的情形。实际使用时，可以根据实际需要及具体的应用场景，选择对M×N个相似度进行融合，以生成目标相似度的方式，本申请实施例对此不做限定。

根据本申请实施例的技术方案，通过对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列，并对第一分词序列对应的第一词向量序列与第一位置向量序列进行融合，以生成第一向量序列，以及对第二分词序列对应的第二词向量序列与第二位置向量序列进行融合，以生成第二向量序列，进而将第一向量序列与第二向量序列的乘积输入文本相关性模型，以生成第一文本与第二文本的目标相似度。由此，通过在文本的向量表示中融合文本中各分词的语义信息和位置信息，并通过矩阵乘法和文本相关性模型捕获两个文本之间的相关性信息，从而不仅通过引入文本中各分词的位置信息，有效对文本的序列信息进行建模，而且进一步提升了文本相关性建模的准确度。

在本申请一种可能的实现形式中，为保证相同分词对应的词向量表示的一致性，以及相同位置的分词对应的位置向量表示的一致性，可以通过查表的方式，确定分词对应的词向量和位置向量，以进一步提升文本相关性建模的准确度。

下面结合图3，对本申请实施例提供的文本相似度的生成方法进行进一步说明。

图3为本申请实施例所提供的再一种文本相似度的生成方法的流程示意图。

如图3所示，该文本相似度的生成方法，包括以下步骤：

步骤301，获取第一文本与第二文本。

步骤302，对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列。

上述步骤301-302的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤303，根据预设的分词与分词标识的映射关系，确定第一分词序列中的每个第一分词对应的第一分词标识。

作为一种可能的实现方式，可以通过统计分析的方法，确定实际的语言环境中所包括的所有分词，并为每个分词分配唯一的分词标识，进而将每个分词与其对应的分词标识进行对应存储，以生成预设的分词与分词标识的映射关系。

举例来说，实际的语言环境为中文，通过统计分析确定中文语言环境中包括18000个分词，则可以为这18000个分词分别分配一个唯一的分词标识，以生成预设的分词与分词标识的映射关系。比如，分词“我”对应的分词标识为“213”，分词“是”对应的分词标识为“36”，等等。

在本申请实施例中，确定出第一文本对应的第一分词序列之后，可以通过查询预设的分词与分词标识的映射关系，确定每个第一分词对应的第一分词标识。

步骤304，根据每个第一分词在第一文本中的位置，确定每个第一分词对应的第一位置标识。

其中，第一分词在第一文本中的位置，可以是指第一分词在第一文本中的序列位。比如，第一文本为“我是中国人”，则对第一文本进行分词处理，确定的第一分词序列为：“我是中国人”，则第一分词“我”在第一文本中的位置可以为“1”，第一分词“是”在第一文本中的位置可以为“2”，第一分词“中国”在第一文本中的位置可以为“3”，第一分词“人”在第一文本中的位置可以为“4”。

作为一种可能的实现方式，可以将第一分词在第一文本中的位置确定为第一分词对应的第一位置标识。比如，在上例中，第一分词“我”对应的第一位置标识可以为“1”，第一分词“是”对应的第一位置标识可以为“2”，第一分词“中国”对应的第一位置标识可以为“3”，第一分词“人”对应的第一位置标识可以为“4”。

作为另一种可能的实现方式，还可以通过一定的规则或者随机的方式，根据分词在文本中的位置，为每个位置分配唯一的位置标识，以生成分词位置与位置标识的映射关系。从而在确定出第一文本对应的第一分词序列之后，可以根据每个第一分词在第一文本中的位置，从分词位置与位置标识的映射关系中查询每个第一分词对应的第一位置标识。

步骤305，从潜入向量表中，获取每个第一分词标识对应的第一词向量，并作为每个第一分词对应的第一词向量。

其中，潜入向量表，可以是指包括分词标识与词向量的映射关系，以及包括位置标识与位置向量的映射关系的向量表。

作为一种可能的实现方式，可以采用任意的基于深度学习的词向量映射模型，对预设的分词与分词标识的映射关系中包括的所有分词进行处理，以确定每个分词对应的词向量，进而将分词对应的词向量与该分词对应的分词标识进行对应存储，以生成潜入向量表中包括的分词标识与词向量的映射关系。

在本申请实施例中，确定出第一分词序列中的每个第一分词对应的第一分词标识之后，可以通过查询潜入向量表，确定与每个第一分词标识对应的第一词向量，进而将与第一分词标识对应的第一词向量，确定为相应的第一分词对应的第一词向量。从而，通过查询潜入向量表，确定每个第一分词对应的第一词向量，可以保证相同分词对应的词向量是相同的，有利于提升文本相关性建模的准确性。

步骤306，从潜入向量表中，获取每个第一位置标识对应第一位置向量，并作为每个第一分词对应的第一位置向量。

作为一种可能的实现方式，可以依据一定的规则，确定每个位置标识对应的位置向量，以确定每个位置标识对应的位置向量，进而将位置标识与相应的位置向量进行对应存储，以生成潜入向量表中包括的位置标识与位置向量的映射关系。其中，依据的规则可以包括位置向量的维度、生成方式等，本申请实施例对此不做限定。

举例来说，依据的规则为“位置向量为5维的行向量，将位置标识确定对应的位置向量”，则位置标识“1”对应的位置向量为[0 0 0 0 1]，位置标识“2”对应的位置向量为[00 0 0 2]，位置标识“3”对应的位置向量为[0 0 0 0 3]，以此类推。

在本申请实施例中，确定出第一分词序列中的每个第一分词对应的第一位置标识之后，可以通过查询潜入向量表，确定与每个第一位置标识对应的第一位置向量，进而将与第一位置标识对应的第一位置向量，确定为相应的第一分词对应的第一位置向量。从而，通过查询潜入向量表，确定每个第一分词对应的第一位置向量，可以保证相同位置的分词对应的位置向量是相同的，有利于提升文本相关性建模的准确性。

步骤307，根据每个第一词向量，生成第一词向量序列。

在本申请实施例中，确定出第一分词序列中每个第一分词对应的第一词向量之后，可以将每个第一词向量进行组合，以生成第一词向量序列。可选的，可以将每个第一词向量作为第一词向量序列中的一行元素，从而生成第一词向量序列；或者，还可以将每个第一词向量作为第一词向量序列中的一列元素，从而生成第一词向量序列，本申请实施例对此不做限定。

步骤308，根据每个第一位置向量，生成第一位置向量序列。

在本申请实施例中，确定出第一分词序列中每个第一分词对应的第一位置向量之后，可以将每个第一位置向量进行组合，以生成第一位置向量序列。可选的，可以将每个第一位置向量作为第一位置向量序列中的一行元素，从而生成第一位置向量序列；或者，还可以将每个第一位置向量作为第一位置向量序列中的一列元素，从而生成第一位置向量序列，本申请实施例对此不做限定。

需要说明的是，第一位置向量序列的生成方式与第一词向量序列的生成方式，可以是相同的，以便于后续对第一位置向量序列与第一词向量序列的处理。比如，若每个第一词向量为第一词向量序列中的一行元素，则每个第一位置向量可以为第一位置向量序列中的一行元素；若每个第一词向量为第一词向量序列中的一列元素，则每个第一位置向量可以为第一位置向量序列中的一列元素。

步骤309，根据预设的分词与分词标识的映射关系，确定第二分词序列中的每个第二分词对应的第二分词标识。

在本申请实施例中，确定出第二文本对应的第二分词序列之后，可以通过查询预设的分词与分词标识的映射关系，确定每个第二分词对应的第二分词标识。

步骤310，根据每个第二分词在第二文本中的位置，确定每个第二分词对应的第二位置标识。

其中，第二分词在第二文本中的位置，可以是指第二分词在第二文本中的序列位。比如，第二文本为“我是中国人”，则对第二文本进行分词处理，确定的第二分词序列为：“我是中国人”，则第二分词“我”在第二文本中的位置可以为“1”，第二分词“是”在第二文本中的位置可以为“2”，第二分词“中国”在第二文本中的位置可以为“3”，第二分词“人”在第二文本中的位置可以为“4”。

作为一种可能的实现方式，可以将第二分词在第二文本中的位置确定为第二分词对应的第二位置标识。比如，在上例中，第二分词“我”对应的第二位置标识可以为“1”，第二分词“是”对应的第二位置标识可以为“2”，第二分词“中国”对应的第二位置标识可以为“3”，第二分词“人”对应的第二位置标识可以为“4”。

作为另一种可能的实现方式，还可以通过一定的规则或者随机的方式，根据分词在文本中的位置，为每个位置分配唯一的位置标识，以生成分词位置与位置标识的映射关系。从而在确定出第二文本对应的第二分词序列之后，可以根据每个第二分词在第二文本中的位置，从分词位置与位置标识的映射关系中查询每个第二分词对应的第二位置标识。

步骤311，从潜入向量表中，获取每个第二分词标识对应的第二词向量，并作为每个第二分词对应的第二词向量。

在本申请实施例中，确定出第二分词序列中的每个第二分词对应的第二分词标识之后，可以通过查询嵌入向量表，确定与每个第二分词标识对应的第二词向量，进而将与第二分词标识对应的第二词向量，确定为相应的第二分词对应的第二词向量。从而，通过查询嵌入向量表，确定每个第二分词对应的第二词向量，可以保证相同分词对应的词向量是相同的，有利于提升文本相关性建模的准确性。

步骤312，从潜入向量表中，获取每个第二位置标识对应第二位置向量，并作为每个第二分词对应的第二位置向量。

在本申请实施例中，确定出第二分词序列中的每个第二分词对应的第二位置标识之后，可以通过查询潜入向量表，确定与每个第二位置标识对应的第二位置向量，进而将与第二位置标识对应的第二位置向量，确定为相应的第二分词对应的第二位置向量。从而，通过查询潜入向量表，确定每个第二分词对应的第二位置向量，可以保证相同位置的分词对应的位置向量是相同的，有利于提升文本相关性建模的准确性。

步骤313，根据每个第二词向量，生成第二词向量序列。

在本申请实施例中，确定出第二分词序列中每个第二分词对应的第二词向量之后，可以将每个第二词向量进行组合，以生成第二词向量序列。可选的，可以将每个第二词向量作为第二词向量序列中的一行元素，从而生成第二词向量序列；或者，还可以将每个第二词向量作为第二词向量序列中的一列元素，从而生成第二词向量序列，本申请实施例对此不做限定。

步骤314，根据每个第二位置向量，生成第二位置向量序列。

本申请实施例中，确定出第二分词序列中每个第二分词对应的第二位置向量之后，可以将每个第二位置向量进行组合，以生成第二位置向量序列。可选的，可以将每个第二位置向量作为第二位置向量序列中的一行元素，从而生成第二位置向量序列；或者，还可以将每个第二位置向量作为第二位置向量序列中的一列元素，从而生成第二位置向量序列，本申请实施例对此不做限定。

需要说明的是，第二位置向量序列的生成方式与第二词向量序列的生成方式，可以是相同的，以便于后续对第二位置向量序列与第二词向量序列的处理。比如，若每个第二词向量为第二词向量序列中的一行元素，则每个第二位置向量可以为第二位置向量序列中的一行元素；若每个第二词向量为第二词向量序列中的一列元素，则每个第二位置向量可以为第二位置向量序列中的一列元素。

步骤315，根据第一词向量序列与第一位置向量序列，及第二词向量序列与第二位置向量序列，生成第一文本与第二文本的目标相似度。

上述步骤315的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

根据本申请实施例的技术方案，通过对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列，并根据预设的分词与分词标识的映射关系，确定第一分词序列中的每个第一分词对应的第一分词标识，以及第二分词序列中的每个第二分词对应的第二分词标识，之后根据每个第一分词在第一文本中的位置，确定每个第一分词对应的第一位置标识，以及根据每个第二分词在第二文本中的位置，确定每个第二分词对应的第二位置标识，进而根据潜入向量表，确定第一分词序列对应第一词向量序列与第一位置向量序列，以及第二分词序列对应第二词向量序列与第二位置向量序列，以生成第一文本与第二文本的目标相似度。由此，通过在文本的向量表示中融合文本中各分词的语义信息和位置信息，并通过查表的方式确定文本中各分词对应的词向量和位置向量，从而不仅通过引入文本中各分词的位置信息，有效对文本的序列信息进行建模，而且保证了词向量表示和位置向量表示的一致性，进一步提升了文本相关性建模的准确度。

为了实现上述实施例，本申请还提出一种文本相似度的生成装置。

图4为本申请实施例提供的一种文本相似度的生成装置的结构示意图。

如图4所示，该文本相似度的生成装置40，包括：

获取模块41，用于获取第一文本与第二文本；

第一生成模块42，用于对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列；

确定模块43，用于确定第一分词序列对应的第一词向量序列与第一位置向量序列，及第二分词序列对应的第二词向量序列与第二位置向量序列；以及

第二生成模块44，用于根据第一词向量序列与第一位置向量序列，及第二词向量序列与第二位置向量序列，生成第一文本与第二文本的目标相似度。

在实际使用时，本申请实施例提供的文本相似度的生成装置，可以被配置在任意电子设备中，以执行前述文本相似度的生成方法。

根据本申请实施例的技术方案，通过对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列，进而根据第一分词序列对应的第一词向量序列与第一位置向量序列，及第二分词序列对应的第二词向量序列与第二位置向量序列，生成第一文本与第二文本的目标相似度。由此，通过在文本的向量表示中融合文本中各分词的语义信息和位置信息，从而通过引入文本中各分词的位置信息，有效对文本的序列信息进行建模，提升了文本相关性建模的准确度。

在本申请一种可能的实现形式中，上述第二生成模块44，包括：

第一生成子模块，用于根据第一词向量序列与第一位置向量序列，生成第一向量序列；

第二生成子模块，用于根据第二词向量序列与第二位置向量序列，生成第二向量序列；以及

第三生成子模块，用于根据第一向量序列和第二向量序列，生成目标相似度。

进一步的，在本申请另一种可能的实现形式中，上述第三生成子模块，包括：

第一生成单元，用于将第一向量序列和第二向量序列相乘，以生成目标矩阵；

第二生成单元，用于根据目标矩阵，生成目标相似度。

进一步的，在本申请再一种可能的实现形式中，上述第二生成单元，包括：

第一生成子单元，用于将目标矩阵输入文本相关性模型，以生成目标相似度。

进一步的，在本申请又一种可能的实现形式中，上述文本相关性模型包括多层卷积层和全连接层，上述第一向量序列包括M个第一向量，上述第二向量序列包括N个第二向量，上述目标矩阵包括M×N个元素，M与N为正整数；相应的，上述生成子单元，包括：

第二生成子单元，用于将目标矩阵输入多层卷积层，以生成M×N个相似度；以及

第三生成子单元，用于将M×N个相似度输入全连接层，以生成目标相似度。

进一步的，在本申请又一种可能的实现形式中，上述第一词向量序列包括M个第一词向量，上述第一位置向量序列包括M个第一位置向量，上述第一向量序列中包括M个第一向量，M为正整数；相应的，其中，上述第一生成子模块，包括：

第三生成单元，用于将第一词向量序列中的第i个第一词向量与第一位置向量序列中的第i个第一位置向量进行拼接，以生成第一向量序列中的第i个第一向量，其中，i为小于或等于M的正整数；

或者

第一确定单元，用于将第i个第一词向量与第i个第一位置向量的加权均值，确定为第一位置向量序列中的第i个第一向量。

进一步的，在本申请另一种可能的实现形式中，上述第二词向量序列包括N个第二词向量，上述第二位置向量序列包括N个第二位置向量，上述第二向量序列中包括N个第二向量，N为正整数；相应的，上述第二生成子模块，包括：

第四生成子单元，用于将第二词向量序列中的第j个第二词向量与第二位置向量序列中的第j个第二位置向量进行拼接，以生成第二向量序列中的第j个第二向量，其中，j为小于或等于N的正整数；

或者

第二确定单元，用于将第j个第二词向量与第j个第二位置向量的加权均值，确定为第二位置向量序列中的第j个第二向量。

进一步的，在本申请再一种可能的实现形式中，上述确定模块43，包括：

第一确定子模块，用于根据预设的分词与分词标识的映射关系，确定第一分词序列中的每个第一分词对应的第一分词标识；

第二确定子模块，用于根据每个第一分词在第一文本中的位置，确定每个第一分词对应的第一位置标识；

第一获取子模块，用于从潜入向量表中，获取每个第一分词标识对应的第一词向量，并作为每个第一分词对应的第一词向量；

第二获取子模块，用于从潜入向量表中，获取每个第一位置标识对应第一位置向量，并作为每个第一分词对应的第一位置向量；

第四生成子模块，用于根据每个第一词向量，生成第一词向量序列；以及

第五生成子模块，用于根据每个第一位置向量，生成第一位置向量序列。

进一步的，在本申请另一种可能的实现形式中，上述确定模块43，包括：

第三确定子模块，用于根据预设的分词与分词标识的映射关系，确定第二分词序列中的每个第二分词对应的第二分词标识；

第四确定子模块，用于根据每个第二分词在第二文本中的位置，确定每个第二分词对应的第二位置标识；

第三获取子模块，用于从潜入向量表中，获取每个第二分词标识对应的第二词向量，并作为每个第二分词对应的第二词向量；

第四获取子模块，用于从潜入向量表中，获取每个第二位置标识对应第二位置向量，并作为每个第二分词对应的第二位置向量；

第六生成子模块，用于根据每个第二词向量，生成第二词向量序列；以及

第七生成子模块，用于根据每个第二位置向量，生成第二位置向量序列。

需要说明的是，前述对图1、图2、图3所示的文本相似度的生成方法实施例的解释说明也适用于该实施例的文本相似度的生成装置40，此处不再赘述。

根据本申请实施例的技术方案，通过对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列，并对第一分词序列对应的第一词向量序列与第一位置向量序列进行融合，以生成第一向量序列，以及对第二分词序列对应的第二词向量序列与第二位置向量序列进行融合，以生成第二向量序列，进而将第一向量序列与第二向量序列的乘积输入文本相关性模型，以生成第一文本与第二文本的目标相似度。由此，通过在文本的向量表示中融合文本中各分词的语义信息和位置信息，并通过矩阵乘法和文本相关性模型捕获两个文本之间的相关性信息，从而不仅通过引入文本中各分词的位置信息，有效对文本的序列信息进行建模，而且进一步提升了文本相关性建模的准确度。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是根据本申请实施例的文本相似度的生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个电子设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的文本相似度的生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的文本相似度的生成方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的文本相似度的生成方法对应的程序指令/模块(例如，附图4所示的获取模块41、第一生成模块42、确定模块43及第二生成模块44)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的文本相似度的生成方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据文本相似度的生成方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至文本相似度的生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

文本相似度的生成方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与文本相似度的生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过对第一文本与第二文本分别进行分词处理，以生成第一文本对应的第一分词序列及第二文本对应的第二分词序列，进而根据第一分词序列对应的第一词向量序列与第一位置向量序列，及第二分词序列对应的第二词向量序列与第二位置向量序列，生成第一文本与第二文本的目标相似度。由此，通过在文本的向量表示中融合文本中各分词的语义信息和位置信息，从而通过引入文本中各分词的位置信息，有效对文本的序列信息进行建模，提升了文本相关性建模的准确度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (8)

1.一种文本相似度的生成方法，包括：

获取第一文本与第二文本；

对所述第一文本与所述第二文本分别进行分词处理，以生成所述第一文本对应的第一分词序列及所述第二文本对应的第二分词序列；

确定所述第一分词序列对应的第一词向量序列与第一位置向量序列，及所述第二分词序列对应的第二词向量序列与第二位置向量序列；以及

根据所述第一词向量序列与第一位置向量序列，及所述第二词向量序列与所述第二位置向量序列，生成所述第一文本与所述第二文本的目标相似度；

其中，所述根据所述第一词向量序列与第一位置向量序列，及所述第二词向量序列与所述第二位置向量序列，生成所述第一文本与所述第二文本的目标相似度，包括：

根据所述第一词向量序列与第一位置向量序列，生成第一向量序列；

根据所述第二词向量序列与第二位置向量序列，生成第二向量序列；以及

将所述第一向量序列和所述第二向量序列相乘，以生成目标矩阵；

将所述目标矩阵输入文本相关性模型，以生成所述目标相似度；

其中，所述文本相关性模型包括多层卷积层和全连接层，所述第一向量序列包括M个第一向量，所述第二向量序列包括N个第二向量，所述目标矩阵包括M×N个元素，M与N为正整数，其中，所述将所述目标矩阵输入文本相关性模型，以生成所述目标相似度，包括：

将所述目标矩阵输入所述多层卷积层，以生成M×N个相似度；以及

将所述M×N个相似度输入全连接层，以生成所述目标相似度；

其中，所述确定所述第一分词序列对应的第一词向量序列与第一位置向量序列，包括：

根据预设的分词与分词标识的映射关系，确定所述第一分词序列中的每个第一分词对应的第一分词标识；

根据每个所述第一分词在所述第一文本中的位置，确定每个所述第一分词对应的第一位置标识；

从潜入向量表中，获取每个所述第一分词标识对应的第一词向量，并作为每个所述第一分词对应的第一词向量；

从所述潜入向量表中，获取每个所述第一位置标识对应第一位置向量，并作为每个所述第一分词对应的第一位置向量；

根据每个所述第一词向量，生成所述第一词向量序列；以及

根据每个所述第一位置向量，生成所述第一位置向量序列；

其中，所述确定所述第二分词序列对应的第二词向量序列与第二位置向量序列，包括：

根据所述预设的分词与分词标识的映射关系，确定所述第二分词序列中的每个第二分词对应的第二分词标识；

根据每个所述第二分词在所述第二文本中的位置，确定每个所述第二分词对应的第二位置标识；

从所述潜入向量表中，获取每个所述第二分词标识对应的第二词向量，并作为每个所述第二分词对应的第二词向量；

从所述潜入向量表中，获取每个所述第二位置标识对应第二位置向量，并作为每个所述第二分词对应的第二位置向量；

根据每个所述第二词向量，生成所述第二词向量序列；以及

根据每个所述第二位置向量，生成所述第二位置向量序列。

2.如权利要求1所述的方法，其中，所述第一词向量序列包括M个第一词向量，所述第一位置向量序列包括M个第一位置向量，所述第一向量序列中包括M个第一向量，M为正整数，其中，所述根据所述第一词向量序列与第一位置向量序列生成第一向量序列，包括：

将所述第一词向量序列中的第i个第一词向量与所述第一位置向量序列中的第i个第一位置向量进行拼接，以生成所述第一向量序列中的第i个第一向量，其中，i为小于或等于M的正整数；

或者

将所述第i个第一词向量与所述第i个第一位置向量的加权均值，确定为所述第一位置向量序列中的第i个第一向量。

3.如权利要求1所述的方法，其中，所述第二词向量序列包括N个第二词向量，所述第二位置向量序列包括N个第二位置向量，所述第二向量序列中包括N个第二向量，N为正整数，其中，所述根据所述第二词向量序列与第二位置向量序列，生成第二向量序列，包括：

将所述第二词向量序列中的第j个第二词向量与所述第二位置向量序列中的第j个第二位置向量进行拼接，以生成所述第二向量序列中的第j个第二向量，其中，j为小于或等于N的正整数；

或者

将所述第j个第二词向量与所述第j个第二位置向量的加权均值，确定为所述第二位置向量序列中的第j个第二向量。

4.一种文本相似度的生成装置，包括：

获取模块，用于获取第一文本与第二文本；

第一生成模块，用于对所述第一文本与所述第二文本分别进行分词处理，以生成所述第一文本对应的第一分词序列及所述第二文本对应的第二分词序列；

确定模块，用于确定所述第一分词序列对应的第一词向量序列与第一位置向量序列，及所述第二分词序列对应的第二词向量序列与第二位置向量序列；以及

第二生成模块，用于根据所述第一词向量序列与第一位置向量序列，及所述第二词向量序列与所述第二位置向量序列，生成所述第一文本与所述第二文本的目标相似度；

其中，所述第二生成模块，包括：

第一生成子模块，用于根据所述第一词向量序列与第一位置向量序列，生成第一向量序列；

第二生成子模块，用于根据所述第二词向量序列与第二位置向量序列，生成第二向量序列；以及

第三生成子模块，用于根据所述第一向量序列和所述第二向量序列，生成所述目标相似度；

其中，所述第三生成子模块，包括：

第一生成单元，用于将所述第一向量序列和所述第二向量序列相乘，以生成目标矩阵；

第二生成单元，用于根据所述目标矩阵，生成所述目标相似度；

其中，所述第二生成单元，包括：

第一生成子单元，用于将所述目标矩阵输入文本相关性模型，以生成所述目标相似度；

其中，所述文本相关性模型包括多层卷积层和全连接层，所述第一向量序列包括M个第一向量，所述第二向量序列包括N个第二向量，所述目标矩阵包括M×N个元素，M与N为正整数，其中，所述生成子单元，包括：

第二生成子单元，用于将所述目标矩阵输入所述多层卷积层，以生成M×N个相似度；以及

第三生成子单元，用于将所述M×N个相似度输入全连接层，以生成所述目标相似度；

其中，所述确定模块，包括：

第一确定子模块，用于根据预设的分词与分词标识的映射关系，确定所述第一分词序列中的每个第一分词对应的第一分词标识；

第二确定子模块，用于根据每个所述第一分词在所述第一文本中的位置，确定每个所述第一分词对应的第一位置标识；

第一获取子模块，用于从潜入向量表中，获取每个所述第一分词标识对应的第一词向量，并作为每个所述第一分词对应的第一词向量；

第二获取子模块，用于从所述潜入向量表中，获取每个所述第一位置标识对应第一位置向量，并作为每个所述第一分词对应的第一位置向量；

第四生成子模块，用于根据每个所述第一词向量，生成所述第一词向量序列；以及

第五生成子模块，用于根据每个所述第一位置向量，生成所述第一位置向量序列；

其中，所述确定模块，包括：

第三确定子模块，用于根据所述预设的分词与分词标识的映射关系，确定所述第二分词序列中的每个第二分词对应的第二分词标识；

第四确定子模块，用于根据每个所述第二分词在所述第二文本中的位置，确定每个所述第二分词对应的第二位置标识；

第三获取子模块，用于从所述潜入向量表中，获取每个所述第二分词标识对应的第二词向量，并作为每个所述第二分词对应的第二词向量；

第四获取子模块，用于从所述潜入向量表中，获取每个所述第二位置标识对应第二位置向量，并作为每个所述第二分词对应的第二位置向量；

第六生成子模块，用于根据每个所述第二词向量，生成所述第二词向量序列；以及

第七生成子模块，用于根据每个所述第二位置向量，生成所述第二位置向量序列。

5.如权利要求4所述的装置，其中，所述第一词向量序列包括M个第一词向量，所述第一位置向量序列包括M个第一位置向量，所述第一向量序列中包括M个第一向量，M为正整数，其中，所述第一生成子模块，包括：

第三生成单元，用于将所述第一词向量序列中的第i个第一词向量与所述第一位置向量序列中的第i个第一位置向量进行拼接，以生成所述第一向量序列中的第i个第一向量，其中，i为小于或等于M的正整数；

或者

第一确定单元，用于将所述第i个第一词向量与所述第i个第一位置向量的加权均值，确定为所述第一位置向量序列中的第i个第一向量。

6.如权利要求4所述的装置，其中，所述第二词向量序列包括N个第二词向量，所述第二位置向量序列包括N个第二位置向量，所述第二向量序列中包括N个第二向量，N为正整数，其中，所述第二生成子模块，包括：

第四生成子单元，用于将所述第二词向量序列中的第j个第二词向量与所述第二位置向量序列中的第j个第二位置向量进行拼接，以生成所述第二向量序列中的第j个第二向量，其中，j为小于或等于N的正整数；

或者

第二确定单元，用于将所述第j个第二词向量与所述第j个第二位置向量的加权均值，确定为所述第二位置向量序列中的第j个第二向量。

7. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。

Images