CN112560501B - 语义特征的生成方法、模型训练方法、装置、设备及介质 - Google Patents

Abstract

本公开公开了一种语义特征的生成方法、模型训练方法、装置、设备及介质，涉及机器学习与自然语言处理等人工智能技术领域。具体实现方案为：对目标文档进行片段切分，得到目标文档的片段序列；采用预先训练的双向语义编码模型，生成目标文档的片段序列中各文档片段的语义特征；基于目标文档的片段序列中各文档片段的语义特征，获取目标文档的语义特征。本公开还公开了双向语义编码模型的训练方法。本公开的技术，通过采用预先训练的双向语义编码模型，能够有效地提高目标文档中各文档片段的语义特征的准确性，进而能够有效地提高目标文档的语义特征的表达准确性。而且本公开还能够有效地提高双向语义编码模型对语义特征表示的准确性。

Description

语义特征的生成方法、模型训练方法、装置、设备及介质

技术领域

本公开涉及计算机技术领域，具体涉及机器学习与自然语言处理等人工智能技术领域，尤其涉及一种语义特征的生成方法、模型训练方法、装置、设备及介质。

背景技术

语义检索是搜索引擎中的一个核心技术，即给定用户输入的搜索词如Query,如何快速地从文档(Document)库中检索出与该Query语义最相关的候选Document。

现有技术中，可以对用户的Query和Document库中的各Document分别计算语义表示。然后可以采用近似最近邻检索(Approximate Nearest Neighbor；ANN)技术，基于Query的语义表示和Document库中的各Document的语义表示进行语义检索，得到Top K个最相关的候选Document。其中的Document的语义表示可以取该Document的一个重要域或多个重要域的表示，例如可以取Document的主题(Title)、摘要等的语义表示作为该Document的语义表示。

发明内容

本公开提供了一种语义特征的生成方法、模型训练方法、装置、设备及介质。

根据本公开的一方面，提供了一种语义特征的生成方法，其中，所述方法包括：

对目标文档进行片段切分，得到目标文档的片段序列；

采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征；

基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征。

根据本公开的另一方面，提供了一种双向语义编码模型的训练方法，其中，所述方法包括：

采集训练数据集；

基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练。

根据本公开的再一方面，提供了一种语义特征的生成装置，其中，所述装置包括：

切分模块，用于对目标文档进行片段切分，得到目标文档的片段序列；

生成模块，用于采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征；

获取模块，用于基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征。

根据本公开的又一方面，提供了一种双向语义编码模型的训练装置，其中，所述装置包括：

采集模块，用于采集训练数据集；

训练模块，用于基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练。

根据本公开的再另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的再又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的又另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

根据本公开的技术，通过采用预先训练的双向语义编码模型，能够有效地提高目标文档中各文档片段的语义特征的准确性，进而能够有效地提高目标文档的语义特征的表达准确性。而且根据本公开的技术，还可以通过采集训练数据集；基于采集的训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练，可以实现对双向语义编码模型进行有效地训练，进而能够有效地提高双向语义编码模型对语义特征表示的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是本实施例的双向语义编码模型的结构示意图；

图4是本实施例的Transformer-XL模型的工作原理图；

图5是图4所示的Transformer-XL模型的注意力机制图；

图6是本实施例的左编码模块的工作原理图；

图7是本实施例的右编码模块的工作原理图；

图8是本实施例的双向语义编码模型的注意力机制图；

图9是根据本公开第三实施例的示意图；

图10是根据本公开第四实施例的示意图；

图11是本实施例的左编码模块和右编码模块的掩码训练示意图；

图12是根据本公开第五实施例的示意图；

图13是根据本公开第六实施例的示意图；

图14是根据本公开第七实施例的示意图；

图15是根据本公开第八实施例的示意图；

图16是用来实现本公开实施例的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种语义特征的生成方法，具体可以包括如下步骤：

S101、对目标文档进行片段切分，得到目标文档的片段序列；

S102、采用预先训练的双向语义编码模型，生成目标文档的片段序列中各文档片段的语义特征；

S103、基于目标文档的片段序列中各文档片段的语义特征，获取目标文档的语义特征。

本实施例的语义特征的生成方法的执行主题为语义特征的生成装置，该语义特征的生成装置的执行主体为电子实体，或者也可以为采用软件集成的应用。本实施例的语义特征的生成装置，用于基于预先训练的双向语义编码模型，实现生成目标文档中的各文档片段的语义特征。

本实施例中的目标文档(Document)可以为文档(Document)库中的任一篇Document。本实施例的Document库中的Document可以为包括较多语句、或者较多段落的长文档。例如，可以为网络上的一篇新闻、一本电子书或者其他包括较多语句的长文档。可选地，本实施例的目标文档可以为去除标点符号、仅保留文档中的文字信息。不过经过理论证明，即使不去除标点符号，也不影响后续处理效果。

本实施例中，需要先对目标文档进行片段切分，得到目标文档的片段序列，该目标文档的片段序列中可以包括至少两个文档片段，且至少两个文档片段按照在目标文档中的先后顺序依次排列。具体地，本实施例中，在对目标文档进行片段切分的时候，可以按照固定的预设长度对目标文档进行片段切分，这样，按照从前向后的顺序，除了最后一个文档片段，前面的各个文档片段的长度理论上都是相同的。

本实施例在生成目标文档的片段序列中各文档片段的语义特征时，采用预先训练的双向语义编码模型，生成目标文档的片段序列中各文档片段的语义特征。该双向语义编码模型可以对各文档片段进行两个方向的编码，进而使得编码后的文档片段的语义特征更加准确。最后，在具体地自然语言处理(Natural Language Processing；NLP)任务中，可以基于目标文档的片段序列中各文档片段的语义特征，获取目标文档的语义特征。例如，在语义匹配任务中，还可以基于目标文档的片段序列中各文档片段的语义特征，并同时参考待匹配的搜索词的语义特征，获取目标文档的语义特征。例如，在其他任务中，还可以直接基于目标文档的片段序列中各文档片段的语义特征，生成目标文档的语义特征，例如可以基于目标文档的片段序列中各文档片段的语义特征，进行取平均等数学运算，生成目标文档的语义特征。

本实施例的语义特征的生成方法的一种适用场景可以为：在用户输入搜索词之后，基于用户的搜索词在Document库中搜索Document，以每个Document作为目标文档，可以按照本实施例的方式，生成每个目标文档的片段序列中的各文档片段的语义特征，进而后续可以基于每个目标文档的片段序列中的各文档片段的语义特征，实现语义匹配任务，搜索到用户的搜索词相关的Document，进而能够有效地提高文档匹配的准确率和匹配效率。另外，本实施例的语义特征的生成方法还可以适用于其他NLP的处理任务，在此不再一一举例赘述。

本实施例的语义特征的生成方法，通过对目标文档进行片段切分，得到目标文档的片段序列；采用预先训练的双向语义编码模型，生成目标文档的片段序列中各文档片段的语义特征；并基于目标文档的片段序列中各文档片段的语义特征，获取目标文档的语义特征。本实施例的技术方案中，通过采用预先训练的双向语义编码模型，能够有效地提高目标文档中各文档片段的语义特征的准确性，进而能够有效地提高目标文档的语义特征的表达准确性。

图2是根据本公开第二实施例的示意图；如图2所示，本实施例的语义特征的生成方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地描述本申请的技术方案。如图2所示，本实施例的语义特征的生成方法，具体可以包括如下步骤：

S201、对目标文档进行片段切分，得到目标文档的片段序列；

该步骤的实施方式可以参考上述图1所示实施例的步骤S101，在此不再赘述。

S202、采用双向语义编码模型中的左编码模块，获取目标文档的片段序列中各文档片段的左编码特征；

S203、采用双向语义编码模型中的右编码模块，获取目标文档的片段序列中各文档片段的右编码特征；

S204、对于目标文档的片段序列中各文档片段，将对应的文档片段的左编码特征和对应的文档片段的右编码特征拼接，得到对应的文档片段的语义特征；

本实施例中的步骤S202-S204为上述图1所示实施例的步骤S102的一种实现方式。

S205、计算目标文档的片段序列中各文档片段的语义特征和待匹配的搜索词的语义特征的相似度；

S206、基于各文档片段的语义特征和待匹配的搜索词的语义特征的相似度，获取与待匹配的搜索词的语义特征的相似度最大的文档片段的语义特征，作为目标文档的语义特征。

本实施例中以基于用户的搜索词，在Document库中搜索与用户的搜索词匹配的Document的场景为例，来介绍本申请的技术方案。此时，对应地上述图1所示实施例的步骤S103，具体可以包括：基于目标文档的片段序列中各文档片段的语义特征，并参考待匹配的搜索词的语义特征，获取目标文档的语义特征。进一步地，本实施例中，以基于目标文档的片段序列中各文档片段的语义特征，并参考待匹配的搜索词的语义特征，获取目标文档的语义特征,包括本实施例的步骤S205和步骤S206为例，来描述本申请的技术方案。实际应用中，在其他的NLP任务中，图1所示实施例的步骤S103还可以采用其他实现方式，在此不再一一举例赘述。

图3是本实施例的双向语义编码模型的结构示意图。如图3所示，本实施例的双向语义编码模型以包括左编码模块和右编码模块为例。

本实施例的双向语义编码模型可以称之为Bi-Transformer-XL模型，该模型可以基于现有的Transformer-XL或者XLNet做以改进。例如，图4是本实施例的Transformer-XL模型的工作原理图。如图4所示，Transformer-XL模型对文档Document从左到右分段建模，例如图4中以将文档Document包括X1X2…X9为例，将Document分成Document-1、Document-2、Document-3三个文档片段为例。假如，本实施例中单次建模最大长度为3，其中Document-1中包括X1、X2、X3，Document-2中包括X4、X5、X6，Document-3中包括X7、X8、X9。

如图4所示，该Transformer-XL模型在工作时，分别将Document-1、Document-2、Document-3依次输入至Transformer-XL模型中。该Transformer-XL模型先基于Document-1中的X1、X2和X3进行编码得到编码结果mem-Doc-1。然后再基于Document-1的编码结果mem-Doc-1和Document-2中的X4、X5和X6进行编码得到编码结果mem-Doc-2。再基于Document-2的编码结果mem-Doc-2和Document-3中的X7、X8和X9进行编码得到编码结果mem-Doc-3。

图5是图4所示的Transformer-XL模型的注意力机制图。结合上述图4所示的工作原理，可以得到如图5所示注意力机制。如图5所示，Transformer-XL模型在每个文档片段内，注意力是双向的，例如在Document-1、Document-2和Document-3内，X1-X3、X4-X6、X7-X9各自内部是互相能够看见对方，感知对方的存在。而由于Document-2的编码参考了Document-1的编码结果，Document-3的编码又参考了Document-2的编码结果，所以在不同的文档片段之间注意力机制是单向的，如从左到右。这样的建模限制了模型的能力，例如，最左边的字符X1的语义表达就无法参考Document-2和Document-3片段内的X4-X9的字符。

基于上述Transformer-XL模型的限制能力，本实施例的双向语义编码模型即Bi-Transformer-XL模型，可以通过两个联合模型建模，分别从左到右和从右到左建模语义特征。即该双向语义编码模型中包括的左编码模块从左到右进行建模，而右编码模块从右到左进行建模。其中左编码模块可以称之为Left-Transformer-XL模型，右编码模块可以称之为Right-Transformer-XL模型。其中向左编码模块输入的文档片段从左到右分片段依次输入。图6是本实施例的左编码模块的工作原理图，其工作原理与上述图4所示的Transformer-XL模型的工作原理相同，其注意力机制如图5所示。图7是本实施例的右编码模块的工作原理图。如图6所示，右编码模块与上述左编码模块的工作原理对称，向右编码模块输入的文档片段从右到左分片段依次输入。

例如，该右编码模块即Right-Transformer-XL模型在工作时，分别将Document-3、Document-2、Document-1依次输入至Right-Transformer-XL模型中。该Right-Transformer-XL模型先基于Document-3中的X7、X8和X9进行编码得到编码结果Rmem-Doc-1。然后再基于Document-3的编码结果Rmem-Doc-3和Document-2中的X4、X5和X6进行编码得到编码结果Rmem-Doc-2。再基于Document-2的编码结果Rmem-Doc-2和Document-1中的X1、X2和X3进行编码得到编码结果Rmem-Doc-1。

例如，参考上述图6，步骤S202在实施时，Lmem-Doc-1、Lmem-Doc-2和Lmem-Doc-3，可以分别作为文档Document的三个文档片段Document-1、Document-2、Document-3的左编码特征。

同理，参考上述图7，步骤S203在实施时，Rmem-Doc-3、Rmem-Doc-2和Rmem-Doc-1，可以分别作为文档Document的三个文档片段Document-3、Document-2、Document-1的右编码特征。

如图3所示，该双向语义编码模型中还包括一个特征处理模块，可以将文档片段的左编码特征和对应的文档片段的右编码特征拼接，得到对应的文档片段的语义特征。例如，对于文档片段Document-1，可以将Lmem-Doc-1和Rmem-Doc-1拼接，得到Document-1的语义特征；其中Rmem-Doc-1的生成过程，参考了Document-2和Document-3的右编码结果Rmem-Doc-2和Rmem-Doc-3，所以，可以认为，通过该方式得到的Document-1的语义特征能够参考Document-2中的X4-X6、以及Document-3中的X7-X9，进而使得得到的Document-1的语义特征能够参考所有上下文的语义信息。

同理，对于文档片段Document-2，可以将Lmem-Doc-2和Rmem-Doc-2拼接，得到Document-2的语义特征；其中Lmem-Doc-2的生成过程，参考了Document-1的左编码结果Lmem-Doc-1；Rmem-Doc-2的生成过程，参考了Document-3编码结果Rmem-Doc-3；所以，可以认为，通过该方式得到的Document-2的语义特征能够参考Document-1中的X1-X3、以及Document-3中的X7-X9，进而使得得到的Document-2的语义特征能够参考所有上下文的语义信息。

同理，对于文档片段Document-3，可以将Lmem-Doc-3和Rmem-Doc-3拼接，得到Document-3的语义特征；其中Lmem-Doc-3的生成过程，参考了Document-2的左编码结果Lmem-Doc-2；Lmem-Doc-2的生成过程，参考了Document-1编码结果Lmem-Doc-1；所以，可以认为，通过该方式得到的Document-3的语义特征能够参考Document-1中的X1-X3、以及Document-2中的X4-X6，进而使得得到的Document-3的语义特征能够参考所有上下文的语义信息。

基于以上所述，可以得到图8所示的双向语义编码模型的注意力机制图。如图8所示，左侧为左编码模块的注意力机制图，与上述图5所示的Transformer-XL模型的注意力机制图相同。而右侧为右编码模块的注意力机制图，与左编码模块的注意力机制图对称。这样，将两者拼接起来，可以使得最终得到的每个文档片段的语义特征，都能够充分参考所有上下文的语义信息，动态地进行语义表示，提升双向语义编码模型的语义特征表示效果，增强各文档片段的语义特征的准确性。

在本实施例的语义匹配场景下，得到文档片段的语义特征之后，可以参考上述步骤S205和步骤S206，计算目标文档的片段序列中各文档片段的语义特征和待匹配的搜索词的语义特征的相似度；本实施例的待匹配的搜索词的语义特征，也可以采用预先训练的双向语义编码模型来生成。例如本实施例的待匹配的搜索词可以为用户输入的搜索词，相对于对目标文档进行切分采用的预设长度，该待匹配的搜索词的长度较短，因此，本实施例中在生成待匹配的搜索词的语义特征时，可以不对待匹配的搜索词进行切分。而直接将待匹配的搜索词输入至双向语义编码模型中，由左编码模块编码得到该待匹配的搜索词的左编码特征；由右编码模块编码得到该待匹配的搜索词的右编码特征；将该待匹配的搜索词的左编码特征和右编码特征拼接，得到该待匹配的搜索词的语义特征。实际应用中，也可以采用其他方式获取该待匹配的搜索词的语义特征，在此不做限定。

然后再基于各文档片段的语义特征和待匹配的搜索词的语义特征的相似度，获取与待匹配的搜索词的语义特征的相似度最大的文档片段的语义特征，作为目标文档的语义特征。

进一步在语义匹配中，可以将Document库中各Document作为目标文档，按照本实施例的方式，获取各Document的语义特征，然后计算各Document的语义特征与待匹配的搜索词的语义特征的相似度，并获取相似度最大的Document作为候选Document，实现语义匹配的搜索。本实施例的方式，由于采用的Document的语义特征的准确性非常高，可以有效地提高语义匹配任务的准确性。

本实施例的语义特征的生成方法，通过采用双向语义编码模型中的左编码模块和右编码模块，可以使得各文档片段的语义特征能够充分参考所有上下文的语义信息，动态地进行语义表示，进而能够有效地提高文档的语义特征表示的准确性。

图9是根据本公开第三实施例的示意图；图9是本实施例提供一种双向语义编码模型的训练方法，如图9所示，本实施例的双向语义编码模型的训练方法，具体可以包括如下步骤：

S901、采集训练数据集；

S902、基于采集的训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练。

本实施例的双向语义编码模型的训练方法的执行主体可以为双向语义编码模型的训练装置，该双向语义编码模型的训练装置可以为电子实体，或者也可以为采用软件集成的应用，用于对包括左编码模块和右编码模块的双向语义编码模型进行训练。

也就是说，本实施例的双向语义编码模型包括有左编码模块和右编码模块两部分结构。本实施例的左编码模块可以理解为对输入的文字信息进行从左到右方向的编码，得到相应的左编码特征。右编码模块可以理解为对输入的文字信息进行从右到左方向的编码，得到相应的右编码特征。本实施例的双向语义编码模型，通过采用左编码模块和右编码模块，实现对输入的文字信息的两个方向的编码，进而可以使得最终得到的编码后的语义特征更加准确。具体地，本实施例的双向语义编码模型具体可以采用上述图2所示实施例中采用的双向语义编码模型，详细可以参考上述实施例的相关记载，在此不再赘述。

本实施例的双向语义编码模型的训练方法，通过采集训练数据集；基于采集的训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练，可以实现对双向语义编码模型进行有效地训练，进而能够有效地提高双向语义编码模型对语义特征表示的准确性。

图10是根据本公开第四实施例的示意图；如图10所示，本实施例的双向语义编码模型的训练方法，在上述图9所述实施例的基础上，进一步更加详细地介绍本申请的技术方案。如图10所示，本实施例的双向语义编码模型的训练方法，具体可以包括如下步骤：

S1001、采集包括数条训练语料的第一训练数据集；

S1002、基于采集的第一训练数据集中的数条训练语料，对双向语义编码模型中的左编码模块和右编码模块进行掩码训练，使得左编码模块和右编码模块学习预测掩码字符的能力；

S1003、采集包括数组样本对的第二训练数据集；其中各组样本对中包括正样本对和负样本对；正样本对和负样本对中包括共同的训练搜索词；正样本对中还包括正样本文档；负样本对中还包括负样本文档；

本实施例的样本对中包括的训练搜索词，可以为用户的搜索词Query。正样本对中的正样本文档可以为与Query具有相关性的文档Document。而负样本对中的负样本文档可以为与Query不具有相关性的文档Document。本实施例的样本对可以人工标注，也可以通过用户点击等行为日志自动收集。若Query-Document构成正样本，则Query和Document中每个片段都为正例；反之亦然。

S1004、基于采集的第二训练数据集中的数组样本对，对双向语义编码模型中的左编码模块和右编码模块进行语义匹配任务的训练，使得双向语义编码模型学习语义匹配的能力。

需要说明的是，本实施例中，以双向语义编码模型的训练同时包括上述步骤S1001-S1002和S1003-S1004两种训练为例，通过在S1003-S1004之前增加S1001-S1002的掩码训练过程，可以进一步增强双向语义编码模型的训练效果。可选地，实际应用中，双向语义编码模型的训练也可以仅包括上述S1003-S1004的训练步骤。

进一步可选地，本实施例的步骤S1002，具体可以包括如下两种方式：

第一种方式、基于采集的第一训练数据集中的数条训练语料，分别对双向语义编码模型中的左编码模块和右编码模块进行掩码训练；

也就是说，该种训练方式中，左编码模块和右编码模块的参数可以不共享，可以分别对左编码模块和右编码模块进行掩码训练。

第二种方式、基于采集的第一训练数据集中的数条训练语料，对双向语义编码模型中的左编码模块或者右编码模块进行掩码训练；并将掩码训练后的左编码模块或者右编码模块的参数，共享给未进行掩码训练的右编码模块或者左编码模块。

该种训练方式中，左编码模块和右编码模块的参数可以共享，训练过程中，可以仅对其中一个进行掩码训练。然后将训练后的参数共享给另一个。

无论上述哪种训练方式，均能够使得训练后的双向语义编码模型能够有效地提高文档片段的语义特征表示的准确性，进而能够有效地提高文档的语义特征表示的准确性。

例如，基于采集的第一训练数据集中的数条训练语料，对双向语义编码模型中的左编码模块进行掩码训练，具体可以包括如下步骤：

(a1)对于各训练语料，对训练语料进行掩码，并进行片段切分，得到训练语料片段序列；

例如，可以参考上述图1所示实施例中的目标文档的切分方式，对训练语料进行切分。本实施例的训练语料也可以为长文本的形式。同理，切分后的训练语料片段序列中也可以包括至少两个训练语料片段，参数上述实施例的相关记载，在此不再赘述。

另外，本实施例中，对训练语料的掩码可以为随机掩码。例如，以训练语料为包括X1X2…X9的文档Document为例。图11是本实施例的左编码模块和右编码模块的掩码训练示意图。如图11所示，本实施例中以对X2、X4、X8和X9进行掩码为例，以片段长度为3，将Document片段切分后，得到Document-1、Document-2、Document-3三个文档片段，其中Document-1包括X1、【M】、X3；Document-2包括【M】、X5、X6；Document-3包括X7、【M】、【M】；其中【M】为掩码后的字符。

(b1)将训练语料片段序列中的各训练语料片段按照从左到右的顺序依次输入至左编码模块中；

(c1)获取左编码模块基于输入的各训练片段进行编码，并基于编码后的特征进行解码后、预测的各训练片段中掩码后的字符；

例如，可以将Document-1、Document-2、Document-3顺次输入左编码模块中，左编码模块先基于输入的Document-1中的X1、【M】、X3进行编码得到Lmem-Doc-1，再基于编码结果Lmem-Doc-1解码预测遮掩【M】。然后再基于Lmem-Doc-1以及输入的Document-2中的【M】、X5、X6进行编码得到Lmem-Doc-2，再基于编码结果Lmem-Doc-2解码预测遮掩的【M】。同理，再基于Document2编码后的Lmem-Doc-2以及输入的Document-3中的X7、【M】、【M】进行编码得到Lmem-Doc-3，再基于编码结果Lmem-Doc-3解码预测遮掩的两个【M】。

(d1)基于各训练片段中的真实掩码的字符和左编码模块预测的掩码的字符，构建第一损失函数；

本实施例的训练过程中，可以基于每次预测的结果构建第一损失函数，也可以基于一个训练语料的预测结果，整体构建第一损失函数。例如，构建的第一损失函数可以用于表征左编码模块预测的掩码的字符与真实掩码的字码的差值，如可以取两者的字符特征表示的差值。差值越小，表示两者越接近，否则两者差距越大。

例如，基于一个训练语料中的多个预测结果构建第一损失函数时，可以取各个预测的掩码字符与对应的真实掩码字符的字符特征表示的平均差值，或者均方差值等，在此不做限定。

(e1)检测第一损失函数是否收敛；若未收敛时，执行步骤(f1)；若收敛时，执行步骤(g1)；

(f1)调整左编码模块的参数，使得第一损失函数趋于收敛；返回步骤(a1)选择下一条训练语料，继续进行训练；

(g1)检测在连续预设轮数的训练中第一损失函数是否始终收敛、或者训练轮数是否到达预设阈值；若是，确定左编码模块的参数，进而确定左编码模块，结束；否则返回(a1)选择下一条训练语料，继续进行训练。

步骤(a1)-(f1)为左编码模块的训练过程。

步骤(g1)为左编码模块的训练截止条件。本实施例中以训练截止条件包括两种情况为例，第一种训练截止条件中，在连续预设轮数的训练中第一损失函数是否始终收敛，若始终收敛，则可以认为该左编码模块已经训练完毕。其中该连续预设轮数可以根据实际需求来设置，例如可以为连续80轮、100轮、200轮或者其他正整数，在此不做限定。第二种训练截止条件中，防止第一损失函数一直在趋于收敛，但是永远无法达到收敛的情况。此时，可以设置一个训练的最大轮数，在训练轮数达到最大训练轮数时，可以认为左编码模块已经训练完毕。例如根据实际需求，预设阈值可以设置为百万级或者其他更大数量级的数值，在此不做限定。

本实施例的掩码训练过程中，也可以使用基于Transformers的双向编码表示(Bidirectional Encoder Representation from Transformers；BERT)模型的掩码语言模型(Masked Language Model；MLM)或者使用XLNet模型的排列语言模型(PermutationLanguage Model；PLM)机制进行学习，详细可以参考相关技术，在此不再赘述。但是，本申请的包括左编码模块和右编码模块的双向语义编码模型的掩码训练，不同于传统的BERT和XLNet的掩码，只能基于片段内的学习，而本实施例的双向语义编码模型中的左编码模块和右编码模块的掩码训练，可以使得模型能够基于上文或者下文的内容去学习，可以进一步提高掩码训练的学习效果。

通过上述对左编码模块的训练，可以使得训练后的左编码模块能够准确预测掩码信息，以便于后续对左编码处理的片段进行准确地语义特征表达。

再例如，基于采集的第一训练数据集中的数条训练语料，对双向语义编码模型中的右编码模块进行掩码训练，具体可以包括如下步骤：

(a2)对于各训练语料，对训练语料进行掩码，并进行片段切分，得到训练语料片段序列；训练语料片段序列中包括至少两个训练语料片段；

(b2)将训练语料片段序列中的各训练语料片段按照从右到左的顺序依次输入至右编码模块中；

(c2)获取右编码模块基于输入的各训练片段进行编码，并基于编码后的特征进行解码后、预测的各训练片段中掩码后的字符；

如图11所示，与左编码模块不同的是，可以将Document-3、Document-2、Document-1顺次输入右编码模块中，右编码模块先基于输入的Document-3中的X7、【M】、【M】进行编码得到Rmem-Doc-3，再基于编码结果Rmem-Doc-3解码预测遮掩的两个【M】；然后再基于Rmem-Doc-3以及输入的Document-2中的【M】、X5、X6进行编码得到Rmem-Doc-2，再基于编码结果Rmem-Doc-2解码预测遮掩的【M】。同理，再基于Document2编码后的Rmem-Doc-2以及输入的Document-1中的X1、【M】、X3进行编码得到Rmem-Doc-1，再基于编码结果Rmem-Doc-1解码预测遮掩的【M】。

(d2)基于各训练片段中的真实掩码的字符和右编码模块预测的掩码的字符，构建第二损失函数；

其中第二损失函数的构建过程与上述第一损失函数的构建过程相似，详细可以参考上述第一损失函数的构建过程，在此不再赘述。

(e2)检测第二损失函数是否收敛；若未收敛时，执行步骤(f2)；若收敛时，执行步骤(g2)；

(f2)调整右编码模块的参数，使得第二损失函数趋于收敛；返回步骤(a2)选择下一条训练语料，继续进行训练；

(g2)检测在连续预设轮数的训练中第二损失函数是否始终收敛、或者训练轮数是否到达预设阈值；若是，确定右编码模块的参数，进而确定右编码模块，结束；否则返回(a2)选择下一条训练语料，继续进行训练。

步骤(a2)-(f2)为右编码模块的训练过程。

步骤(g2)为右编码模块的训练截止条件，与上述步骤(g1)所述的左编码模块的训练截止条件相似，详细可以参考上述相关记载，在此不再赘述。

通过上述对右编码模块的训练，可以使得训练后的右编码模块能够准确预测掩码信息，以便于后续对右编码处理的片段进行准确地语义特征表达。

进一步可选地，本实施例的步骤S1004，具体可以包括如下步骤：

(a3)基于各组样本对中的训练搜索词，采用包括左编码模块和右编码模块的双向语义编码模型，获取训练搜索词的语义特征；

例如，该步骤具体执行时，对于每一组样本对，可以先获取左编码模块对样本对中的训练搜索词进行编码得到的训练搜索词的左编码特征；再获取右编码模块对该训练搜索词进行编码得到的训练搜索词的右编码特征；最后将训练搜索词的左编码特征和训练搜索词的右编码特征拼接，得到训练搜索词的语义特征。

(b3)基于各组样本对中的正样本文档，采用包括左编码模块和右编码模块的双向语义编码模型，获取正样本文档的语义特征；

(c3)基于各组样本对中的负样本文档，采用包括左编码模块和右编码模块的双向语义编码模型，获取负样本文档的语义特征；

(d3)基于训练搜索词的语义特征与正样本文档的语义特征的第一语义相似度、和训练搜索词的语义特征与负样本文档的语义特征的第二语义相似度，构建第三损失函数，以使得第一语义相似度与第二语义相似度的差值，大于预设阈值；

本实施例中构建第三损失函数的目的是使得训练搜索词的语义特征与正样本文档的语义特征的第一语义相似度足够大，而训练搜索词的语义特征与负样本文档的语义特征的第二语义相似度足够小，为了控制两者的差距，可以通过设置第一语义相似度与第二语义相似度的差值，大于预设阈值来控制，当该预设阈值足够大的时候，可以确保第一语义相似度足够大，而第二语义相似度足够小。

实际应用中，可以采用不同的训练策略，进而设置不同的第三损失函数，在此不再一一举例赘述。

(e3)检测第三损失函数是否收敛；若未收敛时，执行步骤(f3)；若收敛时，执行步骤(g3)；

(f3)调整双向语义编码模型中的左编码模块和右编码模块的参数，使得第三损失函数趋于收敛。返回步骤(a3)选择下一组样本对，继续进行训练；

本实施例中，调整双向语义编码模型中的左编码模块和右编码模块的参数可以包括两种方式：

第一种方式、左编码模块和右编码模块的参数共享，此时调整后的左编码模块和右编码模块的参数始终同步。

第二种方式、左编码模块和右编码模块的参数可以不共享，此时可以随意调整左编码模块和右编码模块的参数，两者的参数可以不同步，只要能够使得第三损失函数趋于收敛即可。

无论采用哪种训练方式，均能够有效地保证训练得到的双向语义编码模型进行语义特征表达的准确性。

(g3)检测在连续预设轮数的训练中第三损失函数是否始终收敛、或者训练轮数是否到达预设阈值；若是，确定左编码模块和右编码模块的参数，进而确定双向语义编码模型，结束；否则返回(a3)选择下一组样本对，继续进行训练。

步骤(a3)-(f3)为双向语义编码模型的训练过程。

步骤(g3)为双向语义编码模型的训练截止条件，与上述步骤(g1)所述的左编码模块的训练截止条件以及步骤(g2)所述的右编码模块的训练截止条件相似，详细可以参考上述相关记载，在此不再赘述。

上述对双向语义编码模型的训练，可以使得该双向语义编码模型在进行语义特征表达时，可以充分考虑上下文的所有信息，有效地提高双向语义编码模型的语义表达的准确性。

进一步可选地，上述实施例中的步骤(b3)具体实现时，可以包括如下步骤：

(a4)基于各组样本对中的正样本文档，对正样本文档进行片段切分，得到正样本文档片段序列；

具体可以参考上述实施例中的目标文档的片段切分，其实现原理相同，在此不再赘述。

(b4)将正样本文档片段序列中的各正样本文档片段，按照从左到右的顺序依次输入至左编码模块中，获取左编码模块基于输入的各正样本文档片段，得到各正样本文档片段的左编码特征；

例如，可以参考上述图6所示实施例的左编码模块的工作原理，实现各正样本文档片段的左编码特征的获取。

(c4)将正样本文档片段序列中的各正样本文档片段，按照从右到左的顺序依次输入至右编码模块中，获取右编码模块基于输入的各正样本文档片段，得到各正样本文档片段的右编码特征。

例如，可以参考上述图7所示实施例的右编码模块的工作原理，实现各正样本文档片段的右编码特征的获取。

(d4)对于正样本文档中的各正样本文档片段，将正样本文档片段的左编码特征和正样本文档片段的右编码特征拼接，得到正样本文档片段的语义特征；

参考上述实施例的相关记载，将各正样本文档片段的左编码特征和右编码特征拼接，得到该正样本文档片段的语义特征，可以使得得到的该正样本文档片段的语义特征充分参考正样本文档中的所有上下文信息，进而能够对正样本文档片段的语义特征进行更加准确地表达。

(e4)基于正样本文档中的各正样本文档片段的语义特征和训练搜索词的语义特征，获取与训练搜索词的语义特征的相似度最大的正样本文档片段的语义特征，作为正样本文档的语义特征。

进一步可选地，步骤(b4)具体实现时，可以包括如下步骤：

(a5)基于各组样本对中的负样本文档，对负样本文档进行片段切分，得到负样本文档片段序列；

同理，也可以参考上述实施例中的目标文档的片段切分，其实现原理相同，在此不再赘述。

(b5)将负样本文档片段序列中的各负样本文档片段，按照从左到右的顺序依次输入至左编码模块中，获取左编码模块基于输入的各负样本文档片段，得到各负样本文档片段的左编码特征；

(c5)将负样本文档片段序列中的各负样本文档片段，按照从右到左的顺序依次输入至右编码模块中，获取右编码模块基于输入的各负样本文档片段，得到各负样本文档片段的右编码特征；

(d5)对于负样本文档中的各负样本文档片段，将负样本文档片段的左编码特征和正样本文档片段的右编码特征拼接，得到负样本文档片段的语义特征；

(e5)基于负样本文档中的各负样本文档片段的语义特征和训练搜索词的语义特征，获取与训练搜索词的语义特征的相似度最大的负样本文档片段的语义特征，作为负样本文档的语义特征。

需要说明的是，步骤(a5)-(e5)的负样本文档的语义特征的获取过程，与上述步骤(a4)-(e4)的正样本文档的语义特征的获取过程相似，具体实现过程可以参考步骤(a4)-(e4)的实现方式，在此不再赘述。

本实施例的双向语义编码模型的训练方法，通过采用上述训练方式对双向语义编码模型中的左编码模块和右编码模块进行训练，进而可以使得训练的双向语义编码模型在进行语义特征表示时，能够充分参考上下文信息，使得得到的语义特征更加准确。

图12是根据本公开第五实施例的示意图；如图12所示，本实施例提供一种语义特征的生成装置1200，包括：

切分模块1201，用于对目标文档进行片段切分，得到目标文档的片段序列；

生成模块1202，用于采用预先训练的双向语义编码模型，生成目标文档的片段序列中各文档片段的语义特征；

获取模块1203，用于基于目标文档的片段序列中各文档片段的语义特征，获取目标文档的语义特征。

本实施例的语义特征的生成装置1200，通过采用上述模块实现语义特征的生成的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图13是根据本公开第六实施例的示意图；如图13所示，本实施例的语义特征的生成装置在上述图12所述实施例的基础上，进一步更加详细地介绍本申请的技术方案。

如图13所示，本实施例的语义特征的生成装置中，生成模块1202，包括：

第一编码单元12021，用于采用双向语义编码模型中的左编码模块，获取目标文档的片段序列中各文档片段的左编码特征；

第二编码单元12022，用于采用双向语义编码模型中的右编码模块，获取目标文档的片段序列中各文档片段的右编码特征；

拼接单元12023，用于对于目标文档的片段序列中各文档片段，将对应的文档片段的左编码特征和对应的文档片段的右编码特征拼接，得到对应的文档片段的语义特征。

进一步可选地，本实施例的语义特征的生成装置中，获取模块1203，用于：

基于目标文档的片段序列中各文档片段的语义特征，并参考待匹配的搜索词的语义特征，获取目标文档的语义特征。

进一步可选地，如图13所示，本实施例的语义特征的生成装置中，获取模块1203，包括：

计算单元12031，用于计算目标文档的片段序列中各文档片段的语义特征和待匹配的搜索词的语义特征的相似度；

获取单元12032，用于基于各文档片段的语义特征和待匹配的搜索词的语义特征的相似度，获取与待匹配的搜索词的语义特征的相似度最大的文档片段的语义特征，作为目标文档的语义特征。

本实施例的语义特征的生成装置1200，通过采用上述模块实现语义特征的生成的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图14是根据本公开第七实施例的示意图；如图14所示，本实施例提供一种双向语义编码模型的训练装置1400，包括：

采集模块1401，用于采集训练数据集；

训练模块1402，用于基于采集的训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练。

本实施例的双向语义编码模型的训练装置1400，通过采用上述模块实现双向语义编码模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图15是根据本公开第八实施例的示意图；如图15所示，本实施例的双向语义编码模型的训练装置在上述图14所述实施例的基础上，进一步更加详细地介绍本申请的技术方案。

例如，本实施例的采集模块1401，用于：

采集包括数条训练语料的第一训练数据集。

进一步可选地，本实施例的训练模块1402，用于：

基于采集的第一训练数据集中的数条训练语料，对双向语义编码模型中的左编码模块和右编码模块进行掩码训练，使得左编码模块和右编码模块学习预测掩码字符的能力。

进一步可选地，本实施例的训练模块1402，用于：

基于采集的第一训练数据集中的数条训练语料，分别对双向语义编码模型中的左编码模块和右编码模块进行掩码训练；或者

基于采集的第一训练数据集中的数条训练语料，对双向语义编码模型中的左编码模块或者右编码模块进行掩码训练；并将掩码训练后的左编码模块或者右编码模块的参数，共享给未进行掩码训练的右编码模块或者左编码模块。

进一步可选地，如图15所示，本实施例的双向语义编码模型的训练装置中，训练模块1402，包括：

预处理单元14021，用于对于各训练语料，对训练语料进行掩码，并进行片段切分，得到训练语料片段序列；

输入单元14022，用于将训练语料片段序列中的各训练语料片段按照从左到右的顺序依次输入至左编码模块中；

预测单元14023，用于获取左编码模块基于输入的各训练片段进行编码，并基于编码后的特征进行解码后、预测的各训练片段中掩码后的字符；

第一构建单元14024，用于基于各训练片段中的真实掩码的字符和左编码模块预测的掩码的字符，构建第一损失函数；

第一检测单元14025，用于检测第一损失函数是否收敛；

第一调整单元14026，用于若第一损失函数未收敛时，调整左编码模块的参数，使得第一损失函数趋于收敛。

进一步可选地，输入单元14022，还用于将训练语料片段序列中的各训练语料片段按照从右到左的顺序依次输入至右编码模块中；

预测单元14023，还用于获取右编码模块基于输入的各训练片段进行编码，并基于编码后的特征进行解码后、预测的各训练片段中掩码后的字符；

第一构建单元14024，还用于基于各训练片段中的真实掩码的字符和右编码模块预测的掩码的字符，构建第二损失函数；

第一检测单元14025，还用于检测第二损失函数是否收敛；

第一调整单元14026，还用于若第二损失函数未收敛时，调整右编码模块的参数，使得第二损失函数趋于收敛。

进一步可选地，本实施例的双向语义编码模型的训练装置1400中，采集模块1401，还用于：

采集包括数组样本对的第二训练数据集；其中各组样本对中包括正样本对和负样本对；正样本对和负样本对中包括共同的训练搜索词；正样本对中还包括正样本文档；负样本对中还包括负样本文档。

进一步可选地，本实施例的双向语义编码模型的训练装置1400中，训练模块1402，还具体用于：

基于采集的第二训练数据集中的数组样本对，对双向语义编码模型中的左编码模块和右编码模块进行语义匹配任务的训练，使得双向语义编码模型学习语义匹配的能力。

进一步可选地，如图15所示，本实施例的双向语义编码模型的训练装置中，训练模块1402，还包括：

第一特征获取单元1402a，用于基于各组样本对中的训练搜索词，采用包括左编码模块和右编码模块的双向语义编码模型，获取训练搜索词的语义特征；

第二特征获取单元1402b，用于基于各组样本对中的正样本文档，采用包括左编码模块和右编码模块的双向语义编码模型，获取正样本文档的语义特征；

第三特征获取单元1402c，用于基于各组样本对中的负样本文档，采用包括左编码模块和右编码模块的双向语义编码模型，获取负样本文档的语义特征；

第二构建单元1402d，用于基于训练搜索词的语义特征与正样本文档的语义特征的第一语义相似度、和训练搜索词的语义特征与负样本文档的语义特征的第二语义相似度，构建第三损失函数；

第二检测单元1402e，用于检测第三损失函数是否收敛；

第二调整单元1402f，用于若第三损失函数不收敛，调整双向语义编码模型中的左编码模块和右编码模块的参数，使得第三损失函数趋于收敛。

进一步可选地，第一特征获取单元1402a，用于：

获取左编码模块对训练搜索词进行编码得到的训练搜索词的左编码特征；

获取右编码模块对训练搜索词进行编码得到的训练搜索词的右编码特征；

将训练搜索词的左编码特征和训练搜索词的右编码特征拼接，得到训练搜索词的语义特征。

进一步可选地，第二特征获取单元1402b，用于：

基于各组样本对中的正样本文档，对正样本文档进行片段切分，得到正样本文档片段序列；

将正样本文档片段序列中的各正样本文档片段，按照从左到右的顺序依次输入至左编码模块中，获取左编码模块基于输入的各正样本文档片段，得到各正样本文档片段的左编码特征；

将正样本文档片段序列中的各正样本文档片段，按照从右到左的顺序依次输入至右编码模块中，获取右编码模块基于输入的各正样本文档片段，得到各正样本文档片段的右编码特征；

对于正样本文档中的各正样本文档片段，将正样本文档片段的左编码特征和正样本文档片段的右编码特征拼接，得到正样本文档片段的语义特征；

基于正样本文档中的各正样本文档片段的语义特征和训练搜索词的语义特征，获取与训练搜索词的语义特征的相似度最大的正样本文档片段的语义特征，作为正样本文档的语义特征。

进一步可选地，第三特征获取单元1402b，用于：

基于各组样本对中的负样本文档，对负样本文档进行片段切分，得到负样本文档片段序列；

将负样本文档片段序列中的各负样本文档片段，按照从左到右的顺序依次输入至左编码模块中，获取左编码模块基于输入的各负样本文档片段，得到各负样本文档片段的左编码特征；

将负样本文档片段序列中的各负样本文档片段，按照从右到左的顺序依次输入至右编码模块中，获取右编码模块基于输入的各负样本文档片段，得到各负样本文档片段的右编码特征；

对于负样本文档中的各负样本文档片段，将负样本文档片段的左编码特征和正样本文档片段的右编码特征拼接，得到负样本文档片段的语义特征；

基于负样本文档中的各负样本文档片段的语义特征和训练搜索词的语义特征，获取与训练搜索词的语义特征的相似度最大的负样本文档片段的语义特征，作为负样本文档的语义特征。

实际应用中，上述训练模块1402中可以仅包括预处理单元14021-第一调整单元14026，也可以仅包括第一特征获取单元1402a-第二调整单元1402f，或者也可以两者都同时包括；图14所示实施例中以同时包括为例。

本实施例的双向语义编码模型的训练装置1400，通过采用上述模块实现双向语义编码模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图16示出了用来实施本公开的实施例的电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图16所示，电子设备1600包括计算单元1601，其可以根据存储在只读存储器(ROM)1602中的计算机程序或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序，来执行各种适当的动作和处理。在RAM 1603中，还可存储电子设备1600操作所需的各种程序和数据。计算单元1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。

电子设备1600中的多个部件连接至I/O接口1605，包括：输入单元1606，例如键盘、鼠标等；输出单元1607，例如各种类型的显示器、扬声器等；存储单元1608，例如磁盘、光盘等；以及通信单元1609，例如网卡、调制解调器、无线通信收发机等。通信单元1609允许电子设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1601执行上文所描述的各个方法和处理，例如语义特征的生成方法或者双向语义编码模型的训练方法。例如，在一些实施例中，语义特征的生成方法或者双向语义编码模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到电子设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时，可以执行上文描述的语义特征的生成方法或者双向语义编码模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行语义特征的生成方法或者双向语义编码模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (32)

1.一种语义特征的生成方法，其中，所述方法包括：

对目标文档进行片段切分，得到目标文档的片段序列；

采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征；所述双向语义编码模型包括左编码模块和右编码模块，其中所述左编码模块对各所述文档片段编码时参考所述片段序列中的所述文档片段的上文片段的语义信息，所述右编码模块对各所述文档片段编码时参考所述片段序列中的所述文档片段的下文片段的语义信息；所述左编码模块和所述右编码模块的注意力机制在各所述文档片段内是双向的，在不同所述文档片段之间是单向的，使得生成的各文档片段的语义特征参考了所述片段序列中的所有文档片段；

基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征。

2.根据权利要求1所述的方法，其中，采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征，包括：

采用所述双向语义编码模型中的左编码模块，获取所述目标文档的片段序列中各文档片段的左编码特征；

采用所述双向语义编码模型中的右编码模块，获取所述目标文档的片段序列中各文档片段的右编码特征；

对于所述目标文档的片段序列中各所述文档片段，将对应的所述文档片段的左编码特征和对应的所述文档片段的右编码特征拼接，得到对应的所述文档片段的语义特征。

3.根据权利要求1或者2所述的方法，其中，基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征，包括：

基于所述目标文档的片段序列中各文档片段的语义特征，并参考待匹配的搜索词的语义特征，获取所述目标文档的语义特征。

4.根据权利要求3所述的方法，其中，基于所述目标文档的片段序列中各文档片段的语义特征，并参考待匹配的搜索词的语义特征，获取所述目标文档的语义特征，包括：

计算所述目标文档的片段序列中各所述文档片段的语义特征和所述待匹配的搜索词的语义特征的相似度；

基于各所述文档片段的语义特征和所述待匹配的搜索词的语义特征的相似度，获取与所述待匹配的搜索词的语义特征的相似度最大的所述文档片段的语义特征，作为所述目标文档的语义特征。

5.一种双向语义编码模型的训练方法，其中，所述方法包括：

采集训练数据集；

基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练；其中所述左编码模块对文档片段编码时参考所述文档片段所在的片段序列中、所述文档片段的上文片段的语义信息，所述右编码模块对所述文档片段编码时参考所述片段序列中的所述文档片段的下文片段的语义信息；所述左编码模块和所述右编码模块的注意力机制在各所述文档片段内是双向的，在不同所述文档片段之间是单向的，使得生成的各文档片段的语义特征参考了所述片段序列中的所有文档片段；

基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练，包括：

基于采集的所述训练数据集，对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行语义匹配任务的训练，使得所述双向语义编码模型学习语义匹配的能力。

6.根据权利要求5所述的方法，其中，采集训练数据集，包括：

采集包括数条训练语料的第一训练数据集。

7.根据权利要求6所述的方法，其中，基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练，还包括：

基于采集的所述第一训练数据集中的数条训练语料，对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行掩码训练，使得所述左编码模块和所述右编码模块学习预测掩码字符的能力。

8.根据权利要求7所述的方法，其中，基于采集的所述第一训练数据集中的数条训练语料，对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行掩码训练，包括：

基于采集的所述第一训练数据集中的数条训练语料，分别对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行掩码训练；或者

基于采集的所述第一训练数据集中的数条训练语料，对所述双向语义编码模型中的所述左编码模块或者所述右编码模块进行掩码训练；并将掩码训练后的所述左编码模块或者所述右编码模块的参数，共享给未进行掩码训练的所述右编码模块或者所述左编码模块。

9.根据权利要求8所述的方法，其中，基于采集的所述第一训练数据集中的数条训练语料，对所述双向语义编码模型中的所述左编码模块进行掩码训练，包括：

对于各所述训练语料，对所述训练语料进行掩码，并进行片段切分，得到训练语料片段序列；

将所述训练语料片段序列中的各训练语料片段按照从左到右的顺序依次输入至所述左编码模块中；

获取所述左编码模块基于输入的各所述训练片段进行编码，并基于编码后的特征进行解码后、预测的各所述训练片段中掩码后的字符；

基于各所述训练片段中的真实掩码的字符和所述左编码模块预测的掩码的字符，构建第一损失函数；

检测所述第一损失函数是否收敛；

若所述第一损失函数未收敛时，调整所述左编码模块的参数，使得所述第一损失函数趋于收敛。

10.根据权利要求8所述的方法，其中，基于采集的所述第一训练数据集中的数条训练语料，对所述双向语义编码模型中的所述右编码模块进行掩码训练，包括：

对于各所述训练语料，对所述训练语料进行掩码，并进行片段切分，得到训练语料片段序列；

将所述训练语料片段序列中的各所述训练语料片段按照从右到左的顺序依次输入至所述右编码模块中；

获取所述右编码模块基于输入的各所述训练片段进行编码，并基于编码后的特征进行解码后、预测的各所述训练片段中掩码后的字符；

基于各所述训练片段中的真实掩码的字符和所述右编码模块预测的掩码的字符，构建第二损失函数；

检测所述第二损失函数是否收敛；

若所述第二损失函数未收敛时，调整所述右编码模块的参数，使得所述第二损失函数趋于收敛。

11.根据权利要求5所述的方法，其中，采集训练数据集，包括：

采集包括数组样本对的第二训练数据集；其中各组所述样本对中包括正样本对和负样本对；所述正样本对和所述负样本对中包括共同的训练搜索词；所述正样本对中还包括正样本文档；所述负样本对中还包括负样本文档。

12.根据权利要求11所述的方法，其中，基于采集的所述第二训练数据集中的所述数组样本对，对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行语义匹配任务的训练，包括：

基于各组所述样本对中的所述训练搜索词，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述训练搜索词的语义特征；

基于各组所述样本对中的所述正样本文档，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述正样本文档的语义特征；

基于各组所述样本对中的所述负样本文档，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述负样本文档的语义特征；

基于所述训练搜索词的语义特征与所述正样本文档的语义特征的第一语义相似度、和所述训练搜索词的语义特征与所述负样本文档的语义特征的第二语义相似度，构建第三损失函数；

检测所述第三损失函数是否收敛；

若所述第三损失函数不收敛，调整所述双向语义编码模型中的所述左编码模块和所述右编码模块的参数，使得所述第三损失函数趋于收敛。

13.根据权利要求12所述的方法，其中，基于各组所述样本对中的所述训练搜索词，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述训练搜索词的语义特征，包括：

获取所述左编码模块对所述训练搜索词进行编码得到的所述训练搜索词的左编码特征；

获取所述右编码模块对所述训练搜索词进行编码得到的所述训练搜索词的右编码特征；

将所述训练搜索词的左编码特征和所述训练搜索词的右编码特征拼接，得到所述训练搜索词的语义特征。

14.根据权利要求12所述的方法，其中，基于各组所述样本对中的所述正样本文档，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述正样本文档的语义特征，包括：

基于各组所述样本对中的所述正样本文档，对所述正样本文档进行片段切分，得到正样本文档片段序列；

将所述正样本文档片段序列中的各正样本文档片段，按照从左到右的顺序依次输入至所述左编码模块中，获取所述左编码模块基于输入的各所述正样本文档片段，得到各所述正样本文档片段的左编码特征；

将所述正样本文档片段序列中的各正样本文档片段，按照从右到左的顺序依次输入至所述右编码模块中，获取所述右编码模块基于输入的各所述正样本文档片段，得到各所述正样本文档片段的右编码特征；

对于所述正样本文档中的各所述正样本文档片段，将所述正样本文档片段的左编码特征和所述正样本文档片段的右编码特征拼接，得到所述正样本文档片段的语义特征；

基于所述正样本文档中的各所述正样本文档片段的语义特征和所述训练搜索词的语义特征，获取与所述训练搜索词的语义特征的相似度最大的所述正样本文档片段的语义特征，作为所述正样本文档的语义特征。

15.根据权利要求12所述的方法，其中，基于各组所述样本对中的所述负样本文档，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述负样本文档的语义特征，包括：

基于各组所述样本对中的所述负样本文档，对所述负样本文档进行片段切分，得到负样本文档片段序列；

将所述负样本文档片段序列中的各负样本文档片段，按照从左到右的顺序依次输入至所述左编码模块中，获取所述左编码模块基于输入的各所述负样本文档片段，得到各所述负样本文档片段的左编码特征；

将所述负样本文档片段序列中的各负样本文档片段，按照从右到左的顺序依次输入至所述右编码模块中，获取所述右编码模块基于输入的各所述负样本文档片段，得到各所述负样本文档片段的右编码特征；

对于所述负样本文档中的各所述负样本文档片段，将所述负样本文档片段的左编码特征和所述正样本文档片段的右编码特征拼接，得到所述负样本文档片段的语义特征；

基于所述负样本文档中的各所述负样本文档片段的语义特征和所述训练搜索词的语义特征，获取与所述训练搜索词的语义特征的相似度最大的所述负样本文档片段的语义特征，作为所述负样本文档的语义特征。

16.一种语义特征的生成装置，其中，所述装置包括：

切分模块，用于对目标文档进行片段切分，得到目标文档的片段序列；

生成模块，用于采用预先训练的双向语义编码模型，生成所述目标文档的片段序列中各文档片段的语义特征；所述双向语义编码模型包括左编码模块和右编码模块，其中所述左编码模块对各所述文档片段编码时参考所述片段序列中的所述文档片段的上文片段的语义信息，所述右编码模块对各所述文档片段编码时参考所述片段序列中的所述文档片段的下文片段的语义信息；所述左编码模块和所述右编码模块的注意力机制在各所述文档片段内是双向的，在不同所述文档片段之间是单向的，使得生成的各文档片段的语义特征参考了所述片段序列中的所有文档片段；

获取模块，用于基于所述目标文档的片段序列中各所述文档片段的语义特征，获取所述目标文档的语义特征。

17.根据权利要求16所述的装置，其中，所述生成模块，包括：

第一编码单元，用于采用所述双向语义编码模型中的左编码模块，获取所述目标文档的片段序列中各文档片段的左编码特征；

第二编码单元，用于采用所述双向语义编码模型中的右编码模块，获取所述目标文档的片段序列中各文档片段的右编码特征；

拼接单元，用于对于所述目标文档的片段序列中各所述文档片段，将对应的所述文档片段的左编码特征和对应的所述文档片段的右编码特征拼接，得到对应的所述文档片段的语义特征。

18.根据权利要求16或者17所述的装置，其中，所述获取模块，用于：

基于所述目标文档的片段序列中各文档片段的语义特征，并参考待匹配的搜索词的语义特征，获取所述目标文档的语义特征。

19.根据权利要求18所述的装置，其中，所述获取模块，包括：

计算单元，用于计算所述目标文档的片段序列中各所述文档片段的语义特征和所述待匹配的搜索词的语义特征的相似度；

获取单元，用于基于各所述文档片段的语义特征和所述待匹配的搜索词的语义特征的相似度，获取与所述待匹配的搜索词的语义特征的相似度最大的所述文档片段的语义特征，作为所述目标文档的语义特征。

20.一种双向语义编码模型的训练装置，其中，所述装置包括：

采集模块，用于采集训练数据集；

训练模块，用于基于采集的所述训练数据集，对包括左编码模块和右编码模块的双向语义编码模型进行训练；其中所述左编码模块对文档片段编码时参考所述文档片段所在的片段序列中、所述文档片段的上文片段的语义信息，所述右编码模块对所述文档片段编码时参考所述片段序列中的所述文档片段的下文片段的语义信息；所述左编码模块和所述右编码模块的注意力机制在各所述文档片段内是双向的，在不同所述文档片段之间是单向的，使得生成的各文档片段的语义特征参考了所述片段序列中的所有文档片段；

所述训练模块，用于基于采集的所述训练数据集，对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行语义匹配任务的训练，使得所述双向语义编码模型学习语义匹配的能力。

21.根据权利要求20所述的装置，其中，所述采集模块，用于：

采集包括数条训练语料的第一训练数据集。

22.根据权利要求21所述的装置，其中，所述训练模块，还用于：

基于采集的所述第一训练数据集中的数条训练语料，对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行掩码训练，使得所述左编码模块和所述右编码模块学习预测掩码字符的能力。

23.根据权利要求22所述的装置，其中，所述训练模块，用于：

基于采集的所述第一训练数据集中的数条训练语料，分别对所述双向语义编码模型中的所述左编码模块和所述右编码模块进行掩码训练；或者

基于采集的所述第一训练数据集中的数条训练语料，对所述双向语义编码模型中的所述左编码模块或者所述右编码模块进行掩码训练；并将掩码训练后的所述左编码模块或者所述右编码模块的参数，共享给未进行掩码训练的所述右编码模块或者所述左编码模块。

24.根据权利要求23所述的装置，其中，所述训练模块，包括：

预处理单元，用于对于各所述训练语料，对所述训练语料进行掩码，并进行片段切分，得到训练语料片段序列；

输入单元，用于将所述训练语料片段序列中的各训练语料片段按照从左到右的顺序依次输入至所述左编码模块中；

预测单元，用于获取所述左编码模块基于输入的各所述训练片段进行编码，并基于编码后的特征进行解码后、预测的各所述训练片段中掩码后的字符；

第一构建单元，用于基于各所述训练片段中的真实掩码的字符和所述左编码模块预测的掩码的字符，构建第一损失函数；

第一检测单元，用于检测所述第一损失函数是否收敛；

第一调整单元，用于若所述第一损失函数未收敛时，调整所述左编码模块的参数，使得所述第一损失函数趋于收敛。

25.根据权利要求24所述的装置，其中：

所述输入单元，还用于将所述训练语料片段序列中的各所述训练语料片段按照从右到左的顺序依次输入至所述右编码模块中；

所述预测单元，还用于获取所述右编码模块基于输入的各所述训练片段进行编码，并基于编码后的特征进行解码后、预测的各所述训练片段中掩码后的字符；

所述第一构建单元，还用于基于各所述训练片段中的真实掩码的字符和所述右编码模块预测的掩码的字符，构建第二损失函数；

所述第一检测单元，还用于检测所述第二损失函数是否收敛；

所述第一调整单元，还用于若所述第二损失函数未收敛时，调整所述右编码模块的参数，使得所述第二损失函数趋于收敛。

26.根据权利要求20任一所述的装置，其中，所述采集模块，用于：

采集包括数组样本对的第二训练数据集；其中各组所述样本对中包括正样本对和负样本对；所述正样本对和所述负样本对中包括共同的训练搜索词；所述正样本对中还包括正样本文档；所述负样本对中还包括负样本文档。

27.根据权利要求26所述的装置，其中，所述训练模块，还包括：

第一特征获取单元，用于基于各组所述样本对中的所述训练搜索词，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述训练搜索词的语义特征；

第二特征获取单元，用于基于各组所述样本对中的所述正样本文档，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述正样本文档的语义特征；

第三特征获取单元，用于基于各组所述样本对中的所述负样本文档，采用包括所述左编码模块和所述右编码模块的所述双向语义编码模型，获取所述负样本文档的语义特征；

第二构建单元，用于基于所述训练搜索词的语义特征与所述正样本文档的语义特征的第一语义相似度、和所述训练搜索词的语义特征与所述负样本文档的语义特征的第二语义相似度，构建第三损失函数；

第二检测单元，用于检测所述第三损失函数是否收敛；

第二调整单元，用于若所述第三损失函数不收敛，调整所述双向语义编码模型中的所述左编码模块和所述右编码模块的参数，使得所述第三损失函数趋于收敛。

28.根据权利要求27所述的装置，其中，所述第一特征获取单元，用于：

获取所述左编码模块对所述训练搜索词进行编码得到的所述训练搜索词的左编码特征；

获取所述右编码模块对所述训练搜索词进行编码得到的所述训练搜索词的右编码特征；

将所述训练搜索词的左编码特征和所述训练搜索词的右编码特征拼接，得到所述训练搜索词的语义特征。

29.根据权利要求27所述的装置，其中，所述第二特征获取单元，用于：

基于各组所述样本对中的所述正样本文档，对所述正样本文档进行片段切分，得到正样本文档片段序列；

将所述正样本文档片段序列中的各正样本文档片段，按照从左到右的顺序依次输入至所述左编码模块中，获取所述左编码模块基于输入的各所述正样本文档片段，得到各所述正样本文档片段的左编码特征；

将所述正样本文档片段序列中的各正样本文档片段，按照从右到左的顺序依次输入至所述右编码模块中，获取所述右编码模块基于输入的各所述正样本文档片段，得到各所述正样本文档片段的右编码特征；

对于所述正样本文档中的各所述正样本文档片段，将所述正样本文档片段的左编码特征和所述正样本文档片段的右编码特征拼接，得到所述正样本文档片段的语义特征；

基于所述正样本文档中的各所述正样本文档片段的语义特征和所述训练搜索词的语义特征，获取与所述训练搜索词的语义特征的相似度最大的所述正样本文档片段的语义特征，作为所述正样本文档的语义特征。

30.根据权利要求27所述的装置，其中，所述第三特征获取单元，用于：

基于各组所述样本对中的所述负样本文档，对所述负样本文档进行片段切分，得到负样本文档片段序列；

将所述负样本文档片段序列中的各负样本文档片段，按照从左到右的顺序依次输入至所述左编码模块中，获取所述左编码模块基于输入的各所述负样本文档片段，得到各所述负样本文档片段的左编码特征；

将所述负样本文档片段序列中的各负样本文档片段，按照从右到左的顺序依次输入至所述右编码模块中，获取所述右编码模块基于输入的各所述负样本文档片段，得到各所述负样本文档片段的右编码特征；

对于所述负样本文档中的各所述负样本文档片段，将所述负样本文档片段的左编码特征和所述正样本文档片段的右编码特征拼接，得到所述负样本文档片段的语义特征；

基于所述负样本文档中的各所述负样本文档片段的语义特征和所述训练搜索词的语义特征，获取与所述训练搜索词的语义特征的相似度最大的所述负样本文档片段的语义特征，作为所述负样本文档的语义特征。

31.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4或者5-15中任一项所述的方法。

32.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4或者5-15中任一项所述的方法。

Images