CN116049370A - 信息查询方法和信息生成模型的训练方法、装置 - Google Patents

Abstract

本公开提供了一种信息查询方法和信息生成模型的训练方法、装置，涉及人工智能领域，具体涉及深度学习和自然语言处理等技术领域，可应用于智能搜索、智能查询和智能对话等场景。信息查询方法的具体实现方案为：采用第一预训练语言模型对查询文本进行处理，生成与查询文本对应的预测答复文本；采用第二预训练语言模型对预测答复文本进行处理，生成与预测答复文本对应的定位标识信息；以及确定预定文本库中与定位标识信息具有映射关系的目标文本，作为根据查询文本查询得到的答复文本。

Description

信息查询方法和信息生成模型的训练方法、装置

技术领域

本公开涉及人工智能领域，具体涉及深度学习和自然语言处理等技术领域，可应用于智能搜索、智能查询和智能对话等场景。

背景技术

随着计算机技术和电子技术的发展，深度学习技术在自然语言处理等领域得到了广泛应用。预训练语言模型(Pre-trained Language Model，简称为PLM)通过从大规模语料学习普适性的语义表征，可以在应用于不同下游应用时仅进行微调，而无需大量训练，提高了深度学习技术的应用便利性。

发明内容

本公开旨在提供一种可解释性高且能充分利用语义信息的信息查询方法和信息生成模型的训练方法、装置、设备、介质。

根据本公开的第一方面，提供了一种信息查询方法，包括：采用第一预训练语言模型对查询文本进行处理，生成与查询文本对应的预测答复文本；采用第二预训练语言模型对预测答复文本进行处理，生成与预测答复文本对应的定位标识信息；以及确定预定文本库中与定位标识信息具有映射关系的目标文本，作为根据查询文本查询得到的答复文本。

根据本公开的第二方面，提供了一种信息生成模型的训练方法，其中，信息生成模型包括第一预训练语言子模型和第二预训练语言子模型，训练方法包括：采用第一训练样本对第一预训练语言子模型进行训练；每个第一训练样本包括预定文本库中的目标文本及与目标文本对应的查询文本；以及采用第二训练样本对第二预训练语言子模型进行训练；每个第二训练样本包括目标文本及与目标文本具有映射关系的定位标识信息。

根据本公开的第三方面，提供了一种信息查询装置，包括：文本生成模块，用于采用第一预训练语言模型对查询文本进行处理，生成与查询文本对应的预测答复文本；标识信息生成模块，用于采用第二预训练语言模型对预测答复文本进行处理，生成与预测答复文本对应的定位标识信息；以及答复文本确定模块，用于确定预定文本库中与定位标识信息具有映射关系的目标文本，作为根据查询文本查询得到的答复文本。

根据本公开的第四方面，提供了一种信息生成模型的训练装置，其中，信息生成模型包括第一预训练语言子模型和第二预训练语言子模型，训练装置包括：第一训练模块，用于采用第一训练样本对第一预训练语言子模型进行训练；每个第一训练样本包括预定文本库中的目标文本及与目标文本对应的查询文本；以及第二训练模块，用于采用第二训练样本对第二预训练语言子模型进行训练；每个第二训练样本包括目标文本及与目标文本具有映射关系的定位标识信息。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的信息查询方法和/或信息生成模型的训练方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的信息查询方法和/或信息生成模型的训练方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现本公开提供的信息查询方法和/或信息生成模型的训练方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的信息查询方法和信息生成模型的训练方法、装置的应用场景示意图；

图2是根据本公开实施例的信息查询方法的流程示意图；

图3是根据本公开实施例的生成预测答复文本的原理示意图；

图4是根据本公开实施例的信息查询方法的实现原理的示意图；

图5是根据本公开实施例的信息生成模型的训练方法的流程示意图；

图6是根据本公开实施例的生成第一训练样本的原理示意图；

图7是根据本公开实施例的信息查询装置的结构框图；

图8是根据本公开实施例的信息生成模型的训练装置的结构框图；以及

图9是用来实施本公开实施例的信息查询方法和/或信息生成模型的训练方法的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在自然语言处理领域，几乎每项任务中都能看见预训练语言模型成功的身影。预训练语言模型例如可以包括基于Transformer网络架构构建的模型。该预训练语言模型可以使用自监督学习的方法来从大规模文本数据中学习普适性的语义表征。然后将学习到的知识迁移到下游任务中，以为下游任务提供优质的背景知识。

在智能搜索或智能查询等场景中，可以基于预训练语言模型进行信息的搜索或查询。信息搜索和信息查询的核心问题是：对于用户提出的问题(例如由用户输入的查询文本query表示)，如何快速、准确地从海量文本中找出与问题相关的文档或文字片段(即答复文本)。例如，可以采用预训练语言模型在低维语义空间中表示查询文本的语义特征和海量文本中每个文本的语义特征，随后根据语义特征之间的相似度，确定海量文本中与查询文本的语义特征相似的文本为答复文本。例如，还可以采用预训练语言模型进行答复文本的端到端生成，即将查询文本作为预训练语言模型的输入，由学习了海量文本中文本知识的预训练语言模型生成答复文本。

端到端生成答复文本的预训练语言模型通常采用基于序列到序列的编码器-解码器网络结构。模型首先通过编码器对输入的查询文本进行建模，提取出查询文本的语义信息。之后通过解码器直接输出与查询文本相关的文档标识符，或者通过解码器直接输出与查询文本相关的答复文本。其中，文档标识符通常为答复文本在预定文本库中的数字索引等。在将该模型应用于生成答复文本的场景时，通常需要使用多任务学习的方式来为模型增加根据文本生成文档标识符的训练流程，或者设计预训练任务来使得模型熟悉文本库中的文本，达到在训练中融入文本语义信息的目的。如此，训练阶段中模型需要同时对文本库中的文本和查询文本进行建模，而推理阶段中模型只需要对查询文本进行建模。此种情形下，容易使得训练任务与推理任务之间存在较大差异，不利于生成高质量的信息。

为了解决该问题，本公开提供了一种信息查询方法和信息生成模型的训练方法、装置、设备、介质。以下先结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的信息查询方法和信息生成模型的训练方法、装置的应用场景示意图。

如图1所示，该实施例的应用场景100可以包括终端设备110，该终端设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和智能可穿戴设备等等。

终端设备110例如可以对获取到的查询文本120进行处理，以生成预测答复文本，并根据预测答复文本生成用于定位得到数据库140维护的预定文本库中的答复文本的定位标识信息130。例如查询文本120可以为终端设备110响应于用户的输入操作所得到的文本，也可以为对接收到的用户语音进行文本转换后所得到的文本。在一实施例中，终端设备110中可以安装有各种客户端应用，例如即时通信类应用、浏览器类应用、智能查询类应用等。在该实施例中，可以采用浏览器类应用或智能查询类应用等对查询文本120进行处理。

在得到定位标识信息130后，终端设备110例如可以直接根据该定位标识信息130查询数据库140维护的预定文本库，确定数据库140维护的预定文本库中与该定位标识信息130具有映射关系的目标文本，作为答复文本150。终端设备110例如还可以对确定的答复文本150进行展示。或者，终端设备110可以响应于接收到用户对定位标识信息130的选择操作，再查询数据库140维护的预定文本库。

在一实施例中，终端设备110可以采用信息生成模型160来对查询文本120进行处理。例如，信息生成模型160由两个预训练语言子模型构成，其中一个预训练语言子模型用于根据查询文本120生成预测答复文本，另一个预训练语言子模型用于根据预测答复文本生成定位标识信息130。其中，两个预训练语言子模型可以采用相同或不同的网络架构，本公开对此不做限定。

如图1所示，在一实施例中，该应用场景100中还可以包括服务器170，该服务器170可以为向终端设备中安装的客户端应用的运行提供支持的后台管理服务器，也可以为云服务器或者区块链服务器等，本公开对此不做限定。终端设备110可以通过网络与服务器170通信连接。网络可以包括有线或无线通信链路。

例如，该服务器170可以根据数据库140维护的预定文本库中的文本生成训练样本，并采用训练样本对信息生成模型进行训练。该服务器170例如可以响应于终端设备110发送的获取请求，将训练得到的信息生成模型160发送给终端设备110，以供终端设备110对查询文本120进行处理。

在一实施例中，终端设备110例如也可以将获取的查询文本120发送给服务器170，由服务器170对查询文本120进行处理。服务器170可以在确定了答复文本150后，将答复文本150反馈给终端设备110，以供终端设备110进行展示。

需要说明的是，本公开提供的信息查询方法可以由终端设备110执行，也可以由服务器170执行。相应地，本公开提供的信息查询装置可以设置在终端设备110中，也可以设置在服务器170中。本公开提供的信息生成模型的训练方法可以由服务器170执行。相应地，本公开提供的信息生成模型的训练装置可以设置在服务器170中。

应该理解，图1中的终端设备110、数据库140和服务器170的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备110、数据库140和服务器170。

以下将结合图2～图4对本公开提供的信息查询方法进行详细描述。

图2是根据本公开实施例的信息查询方法的流程示意图。

如图2所示，该实施例的信息查询方法200可以包括操作S210～操作S230。

在操作S210，采用第一预训练语言模型对查询文本进行处理，生成与查询文本对应的预测答复文本。

根据本公开的实施例，查询文本可以为表示用户通过终端设备输入的查询语句的文本，或者可以为对接收到的用户的语音指令进行语音识别和文本转换得到的文本。例如，查询文本可以为文本“直角坐标系是谁提出的”、“3+2＝？”等，本公开对此不做限定。

根据本公开的实施例，第一预训练语言模型可以是采用文本对训练得到的模型。其中，文本对为包括查询文本和答复文本的文本对。例如，该第一预训练模型可以为基于变压器(Transformer)网络架构或者循环神经网络构建的模型等。例如，第一预训练模型可以为采用文本对训练得到的文本到文本的转换变压器(Text-To-Text TransferTransformer，简称为T5)模型或者双向自回归变压器(Bidirectional and Auto-Regressive Transformers，简称为BART)等。

该实施例中，可以将查询文本输入第一预训练语言模型中，由第一预训练语言模型逐字符地输出预测答复文本。具体地，该实施例可以先对查询文本进行以文本单元为单位的分词处理，得到文本单元序列。文本单元例如可以为一个词、一个字、一个标点符号或一个数字等。随后，将文本单元序列作为第一预训练语言模型的输入。文本单元序列中的一个文本单元可以理解为自然语言处理领域中的一个token。

在一实施例中，可以将文本单元序列和第一预训练语言模型已经输出的预测答复文本中的在前文本单元输入第一预训练语言模型，由第一预训练语言模型输出预测答复文本的当前文本单元。可以理解的是，设定第一预训练语言模型已输出m个文本单元，则可以将该m个文本单元按输出顺序拼接在文本单元序列之后，从而得到第一预训练语言模型的输入，第一预训练语言模型输出的当前文本单元为预测答复文本中的第(m+1)个文本单元。

例如，第一预训练语言模型生成的是与当前文本单元对应的概率向量，该概率向量包括多个预定文本单元分别为当前文本单元的概率值。该实施例可以将概率向量中最大概率值对应的文本单元确定为当前文本单元。多个预定文本单元可以为预定词典或预定字典中维护的所有文本单元。

在操作S220，采用第二预训练语言模型对预测答复文本进行处理，生成与预测答复文本对应的定位标识信息。

根据本公开的实施例，第二预训练语言模型可以采用与第一预训练语言模型相同或相似的网络结构，区别仅在于，两个预训练语言模型的训练样本不同。其中，可以采用文本-定位标识信息对来对第二预训练语言模型进行训练。其中，文本-定位标识信息对中的定位标识信息可以为访问文本的链接地址，在文本为网页文本时，定位标识信息可以为统一资源定位符(Uniform Resource Locator，简称为URL)等。

在一实施例中，文本-定位标识信息对中的文本例如可以为预定文本库中的任意文本，定位标识信息为与该文本具有映射关系的URL。相应地，第二预训练语言模型生成的定位标识信息为URL，本公开对此不做限定。

该实施例中，第二预训练语言模型生成定位标识信息的原理与第一预训练语言模型生成预测答复文本的原理类似。例如，可以先对预测答复文本进行以文本单元为单位的分词处理，得到文本单元序列。随后，将分词处理得到的文本单元序列作为第二预训练语言模型的输入，由第二预训练语言模型逐文本单元的输出定位标识信息。例如，若定位标识信息为http：//www.XXXXX.ZZZZZ，则第二预训练语言模型依次输出的文本单元可以为“http://”、“www.”、“XXXXX.”、“ZZZZZ”。

在操作S230，确定预定文本库中与定位标识信息具有映射关系的目标文本，作为根据查询文本查询得到的答复文本。

根据本公开的实施例，预定文本库可以维护有下游场景中答复文本的文本全集。例如，预定文本库可以为支持浏览器类应用运行的服务器中维护的可供浏览器类应用展示的所有文本的集合。预定文本库中的每个文本都具有唯一的具有映射关系的定位标识信息。该实施例可以将预定文本库中与操作S220中生成的定位标识信息具有映射关系的目标文本，作为答复文本。

由于定位标识信息为文档标识符，则该实施例通过生成作为表示答复文本的标识符的定位标识信息，可以充分利用生成式预训练语言模型的自然语言生成能力。再者，该实施例通过先生成预测答复文本，再生成定位标识信息的两个生成阶段来生成定位标识信息，可以使得文本的语义信息自然地融入到查询流程中。且相较于直接根据生成的预测答复文本映射定位标识信息的技术方案，可以避免生成的预测答复文本因不准确而不属于预定文本库，从而导致的无法确定定位标识信息的情形。并因此，可以提高信息查询的容错性，提高信息查询效果，并提高信息查询过程的可解释性。再者，通过本申请实施例的方法，可以实现生成式的互联网搜索的端到端实现，无需使用额外的模块或处理流程来辅助生成式的互联网搜索的实现。

根据本公开的实施例，在生成预测答复文本时，例如还可以对生成的预测答复文本的长度进行限定。例如，可以在确定第一预训练语言模型已经输出的预测答复文本中的在前文本单元所包括的文本单元的数量小于预定数量的情况下，再将在前文本单元和对查询文本进行分词处理得到的文本单元序列输入第一预训练语言模型，以使得第一预训练语言模型输出预测答复文本的当前文本单元。若在前文本单元所包括的文本单元的数量达到预定数量，则停止当前文本单元的生成。例如，第一预训练语言模型可以生成与当前文本单元对应的概率向量，该实施例可以将该概率向量中最大概率值所对应的文本单元为当前文本单元。

其中，预定数量可以根据实际需求进行设定。通过该限定预测答复文本的长度，可以减小预测答复文本的生成难度，提高信息查询效率。

图3是根据本公开实施例的生成预测答复文本的原理示意图。

在一实施例中，可以根据第一预训练语言模型输出的概率向量确定多个预测答复文本。如此，相应地，可以采用第二预训练语言模型对多个预测答复文本中的每个文本进行处理，以生成多个定位标识信息，并根据多个定位标识信息得到多个答复文本，以供用户选择。

其中，例如可以采用束搜索(beamm search)的方法来生成多个预测答复文本，以提高生成的多个预测答复文本的准确性。具体地，可以在第一预训练语言模型生成与当前文本单元对应的概率向量之后，采用束搜索的方法来根据概率向量更新在前文本单元。

示例性地，如图3所示，在实施例300中，可以设定在前文本单元的的初始值为空值。即，在生成预测答复文本时，可以先将对查询文本进行分词处理得到的文本单元序列310作为第一预训练语言模型320的输入，由第一预训练语言模型320输出与预测答复文本中的第一个文本单元对应的第一概率向量321。然后确定该第一概率向量321中取值较大的M个概率值所对应的M个文本单元，得到M个第一文本单元331。预测答复文本中的第一个文本单元为对预测答复文本分词处理后得到的多个文本单元中排在最前位置的文本单元。该实施例可以将该M个第一文本单元331均作为在前文本序列，得到M个在前文本序列340，并将M个概率值分别作为M个在前文本序列的生成概率。

随后，该实施例可以将文本单元序列310分别与M个在前文本序列340拼接，得到M个输入序列，将该M个输入序列分别输入第一预训练语言模型320中，由第一预训练语言模型320针对每个输入序列，输出与预测答复文本中的第二个文本单元对应的第二概率向量322，总计可以输出M个第二概率向量。然后将针对每个输入序列输出的第二概率向量中的所有概率值分别与每个输入序列的生成概率相乘，得到生成概率向量。对于每个输入序列，生成概率向量的维度与第一预训练语言模型320针对该每个输入序列输出的第二概率向量的维度相同。该实施例可以总计得到M个生成概率向量。该实施例可以将M个第二概率向量322中的目标概率值所对应的文本单元作为第二文本单元，总计得到M个第二文本单元332。其中，目标概率值为得到M个生成概率向量中取值最大的M个概率值所需的概率值。在得到M个第二文本单元332后，即可根据该M个第二文本单元332更新M个在前文本序列340。例如，可以针对M个生成概率向量中取值最大的M个概率值中的每个概率值，将得到该每个概率值所需的第一概率向量中概率值对应的第一文本单元与所需的第二概率向量中概率值对应的第二文本单元按生成顺序拼接，得到一个更新后的在前文本序列，总计得到M个更新后的在前文本序列。若某个在前文本序列中排在最后位置的文本单元为表示结束标识符的单元，则确定该某个在前文本序列构成一个预测答复文本，在后续束搜索的过程中，减少一个文本单元的生成。以此类推，可以总计得到M个预测答复文本。其中，预测答复文本中的第二个文本单元为对预测答复文本分词处理后得到的多个文本单元中排在自前至后的第二个位置的文本单元。

在一实施例中，可以将预测答复文本的长度限定为N个文本单元的长度。则该实施例300中，可以在经由第一预训练语言模型320迭代地生成第N概率向量323，根据第N概率向量确定了M个第N文本单元333，以及根据该M个第N文本单元完成对M个在前文本序列340的更新后，停止迭代，并确定M个在前文本序列340中每个序列包括的文本单元拼接得到的文本为一个预测答复文本。

图4是根据本公开实施例的信息查询方法的实现原理的示意图。

根据本公开的实施例，在对生成的预测答复文本的长度进行限定的情况下，可以引入能够同时生成预测答复文本和表示该预测答复文本的主题信息的文本的第一预训练语言模型，通过生成预测答复文本的主题信息，可以减少缩短预测答复文本的长度所带来的信息损失，强化第一预训练语言模型生成的预测答复文本的核心信息。

相应地，可以将生成的表示主题信息的文本和预测答复文本一并输入第二预训练语言模型，经第二预训练语言模型处理后，生成与预测答复文本对应的定位标识信息。

如图4所示，在该实施例400中，设定查询文本401为“AB市是什么时候升格为县级市的”，将该查询文本401输入第一预训练语言模型410之后，根据第一预训练语言模型410输出的概率向量可以确定的文本402为“主题：AB市文本：YYYY年，AB县撤县设市”。即，采用第一预训练语言模型410对查询文本401进行处理，可以生成表示预测答复文本的主题信息的文本“AB市”以及预测答复文本“YYYY年，AB县撤县设市”，且第一预训练语言模型410还可以生成用于区分主题信息和预测答复文本的文本单元“主题”和“文本”。

在得到文本402之后，该实施例可以将文本402作为第二预训练语言模型420的输入，经由第二预训练语言模型420处理后，生成定位标识信息403“http://www.XXXXX.ZZZZZ/…”。

在该实施例中，第一预训练语言模型410和第二预训练语言模型420例如均可以采用T5模型，也可以均采用BART模型，本公开对此不做限定。在一实施例中，针对不同的场景，可以选择不同模型架构的第一预训练语言模型410和第二预训练语言模型420。例如，若预定文本库中的文本量较大，则可以选择模型架构较为复杂，网络参数量较大的预训练语言模型，以保证选择的模型可以表达更为丰富的语义信息，更好的区分预定文本库中不同文本的定位标识信息。

为了便于信息查询方法的实施，本公开还提供了一种信息生成模型的训练方法，以下将结合图5～6对该训练方法进行详细描述。

图5是根据本公开实施例的信息生成模型的训练方法的流程示意图。

如图5所示，该实施例的信息生成模型的训练方法500可以包括操作S510～操作S520。其中，信息生成模型可以包括第一预训练语言子模型和第二预训练语言子模型。其中，第一预训练语言子模型即为上文描述的第一预训练语言模型，第二预训练语言子模型即为上文描述的第二预训练语言模型。

在操作S510，采用第一训练样本对第一预训练语言子模型进行训练；每个第一训练样本包括预定文本库中的目标文本及与目标文本对应的查询文本。

根据本公开的实施例，预定文本库为上文描述的操作S230中的预定文本库。该实施例可以将预定文本库中的每个文本作为目标文本，将能够查询到目标文本的查询文本作为与该目标文本对应的查询文本。其中，查询文本例如可以是根据查询记录确定的。

例如，该实施例可以将第一训练样本中的查询文本输入第一预训练语言子模型，根据第一预训练语言子模型的输出确定预测答复文本。确定预测答复文本的原理与上文描述的采用第一预训练语言模型生成预测答复文本的原理类似，在此不再赘述。随后，可以以最小化预测答复文本与第一训练样本中的目标文本之间的差异为目标，对第一预训练语言子模型进行训练。

例如，该实施例可以根据第一预训练语言子模型输出的与预测答复文本中的当前文本单元对应的概率向量中，与目标文本中当前文本单元对应位置处的文本单元对应的概率值，确定一个交叉熵损失值。并将迭代确定的多个交叉熵损失值的和作为第一预训练语言子模型的预测损失值。随后，以最小化预测损失值为目标，采用反向传播算法调整第一预训练语言子模型中网络参数的取值，实现对第一预训练语言子模型的训练。

在操作S520，采用第二训练样本对第二预训练语言子模型进行训练；每个第二训练样本包括目标文本及与目标文本具有映射关系的定位标识信息。

根据本公开的实施例，预定文本库中的每个文本都有属性信息，该实施例可以将属性信息中的URL作为与该每个文本具有映射关系的定位标识信息。每个文本和具有映射关系的定位标识信息可以构成一个第二训练样本。

该实施例中，可以将第二训练样本中的目标文本输入第二预训练语言子模型，根据第二预训练语言子模型的输出确定预测的定位标识信息。确定预测的定位标识信息的原理与上文采用第二预训练语言模型生成定位标识信息的原理类似，在此不再赘述。随后，可以以最小化预测的定位标识信息与第二训练样本中的定位标识信息之间的差异为目标，对第二预训练语言子模型进行训练。

可以理解的是，对第二预训练语言子模型进行训练的原理可以与对第一预训练语言子模型进行训练的原理类似，在此不再赘述。另外，本公开对操作S510与操作S520执行的先后顺序不做限定。

该实施例通过根据预定文本库中的目标文本来分别确定第一训练样本和第二训练样本，并分别对信息生成模型中的第一预训练语言子模型和第二预训练语言子模型进行训练，可以使得信息生成模型可以学习到预定文本库中文本的语义信息及与文本具有映射关系的定位标识信息的语义信息，可以使得信息生成模型更适合用于查询预定文本库中的文本。

可以理解的是，信息生成模型中第一预训练语言子模型和第二预训练语言子模型的初始模型可以为采用任意的公开文本集中的训练样本预训练得到的T5模型等预训练语言模型。

在一实施例中，信息生成模型中第一预训练语言子模型和第二预训练语言子模型的初始模型可以根据预定文本库中目标文本的数量来确定。例如，若目标文本的数量多，则可以选择网络结构较为复杂、网络参数量较多的模型。即，可以根据目标文本的数量来确定第一预训练语言子模型和第二预训练语言子模型的网络结构。例如，网络结构包括的网络参数的数量可以与预定文本库中目标文本的数量正相关。如此，可以使得训练得到的信息生成模型可以尽可能多且准确地学习到预定文本库中文本的语义表征和文本的定位标识信息的表征。

图6是根据本公开实施例的生成第一训练样本的原理示意图。

在一实施例中，除了可以根据查询记录确定查询文本外，例如还可以根据目标文本来生成查询文本，并根据生成的查询文本和目标文本来生成第一训练样本。

例如，如图6所示，该实施例600中，可以将预定文本库610中的任意一个文本作为一个目标文本611。随后，采用预定查询文本生成模型620来对该目标文本611进行处理，生成与目标文本611对应的多个查询文本。例如，可以得到第一查询文本631、第二查询文本632、…、第K查询文本总计K个查询文本。其中，K的取值可以根据实际需求来设定，例如K可以为大于等于2的任意自然数。

其中，预定查询文本生成模型620例如可以为序列到序列模型，例如可以采用包括编码器和解码器的网络结构。在一实施例中，预定查询文本生成模型620可以基于Transformer网络架构构建，并根据包括查询文本和答复文本的样本训练得到。在该实施例中，可以将目标文本611输入预定查询文本生成模型620，预定查询文本生成模型620可以采用与上文描述的第一预训练语言模型生成文本的原理类似的原理，来生成K个查询文本。该K个查询文本例如可以是采用上文描述的束搜索的方法生成的。

在得到K个查询文本后，该实施例可以根据其中的每个查询文本和目标文本611，生成一个第一训练样本。例如，该实施例可以将目标文本作为该每个查询文本的标注信息，从而得到与该每个查询文本对应的第一个第一训练样本。

在一实施例中，在要求训练得到的第一预训练语言子模型还具有生成表示主题信息的文本的功能的情况下，该实施例600还可以根据目标文本的文本属性，确定表示该每个目标文本的主题信息的文本(即主题文本640)。即将文本属性中表示主题信息的文本作为主题文本640。随后，可以拼接主题文本640和目标文本611，得到拼接文本650。该实施例可以直接将两个文本进行拼接；也可以在拼接之前，在两个文本的起始位置添加表示文本类别的文本单元，随后再进行文本的拼接，以对两个文本进行区分。添加的文本单元可以为上文描述的“主题”、“文本”。

在得到拼接文本后，该实施例可以将拼接文本650作为K个查询文本中每个查询文本的标注信息，从而得到分别与第一查询文本631、第二查询文本632、…、第K查询文本633分别对应的第一训练样本661～663。

基于本公开提供的信息查询方法，本公开还提供了一种信息查询装置。以下将结合图7对该装置进行详细描述。

图7是根据本公开实施例的信息查询装置的结构框图。

如图7所示，该实施例的信息查询装置700可以包括文本生成模块710、标识信息生成模块720和答复文本确定模块730。

文本生成模块710用于采用第一预训练语言模型对查询文本进行处理，生成与查询文本对应的预测答复文本。在一实施例中，文本生成模块710可以用于执行上文描述的操作S210，在此不再赘述。

标识信息生成模块720用于采用第二预训练语言模型对预测答复文本进行处理，生成与预测答复文本对应的定位标识信息。在一实施例中，标识信息生成模块720可以用于执行上文描述的操作S220，在此不再赘述。

答复文本确定模块730用于确定预定文本库中与定位标识信息具有映射关系的目标文本，作为根据查询文本查询得到的答复文本。在一实施例中，答复文本确定模块730可以用于执行上文描述的操作S230，在此不再赘述。

根据本公开的实施例，上述文本生成模块710可以包括概率向量生成子模块和文本更新子模块。概率向量生成子模块用于将预测答复文本中的在前文本单元和查询文本的文本单元序列输入第一预训练语言模型，生成与预测答复文本中的当前文本单元对应的概率向量。其中，概率向量包括多个预定文本单元分别为当前文本单元的概率值。文本更新子模块用于采用束搜索的方法，根据概率向量更新在前文本单元，以生成与查询文本对应的多个预测答复文本。其中，在前文本单元的初始值为空值。

根据本公开的实施例，概率向量生成子模块具体可以用于响应于在前文本单元包括的文本单元的数量小于预定数量，将在前文本单元和文本单元序列输入第一预训练语言模型，生成与预测答复文本中的当前文本单元对应的概率向量。

根据本公开的实施例，上述标识信息生成模块720具体可以用于采用第二预训练语言模型对多个预测答复文本中的每个文本进行处理，生成与多个预测答复文本分别对应的多个定位标识信息。

根据本公开的实施例，上述文本生成模块710例如还可以用于采用第一预训练语言模型对查询文本进行处理，生成表示预测答复文本的主题信息的文本。相应地，上述标识信息生成模块720具体可以用于将表示主题信息的文本和预测答复文本输入第二预训练语言模型，生成与预测答复文本对应的定位标识信息。

基于本公开提供的信息生成模型的训练方法，本公开还提供了一种信息生成模型的训练装置。以下将结合图8对该装置进行详细描述。

图8是根据本公开实施例的信息生成模型的训练装置的结构框图。

如图8所示，该实施例的信息生成模型的训练装置800可以包括第一训练模块810和第二训练模块820。其中，信息生成模型可以包括第一预训练语言子模型和第二预训练语言子模型。

第一训练模块810用于采用第一训练样本对第一预训练语言子模型进行训练。其中，每个第一训练样本包括预定文本库中的目标文本及与目标文本对应的查询文本。在一实施例中，第一训练模块810可以用于执行上文描述的操作S510，在此不再赘述。

第二训练模块820用于采用第二训练样本对第二预训练语言子模型进行训练。其中，每个第二训练样本包括目标文本及与目标文本具有映射关系的定位标识信息。在一实施例中，第二训练模块820可以用于执行上文描述的操作S520，在此不再赘述。

根据本公开的实施例，上述信息生成模型的训练装置800例如还可以包括网络结构确定模块，用于根据预定文本库中目标文本的数量，确定第一预训练语言子模型和第二预训练语言子模型的网络结构，其中，网络结构包括的网络参数的数量与预定文本库中目标文本的数量正相关。

根据本公开的实施例，上述信息生成模型的训练装置800例如还可以包括查询文本生成模块和训练样本生成模块。查询文本生成模块用于针对预定文本库中的每个目标文本，采用预定查询文本生成模型对每个目标文本进行处理，生成与每个目标文本对应的多个查询文本。训练样本生成模块用于根据多个查询文本中的每个查询文本和每个目标文本，生成与每个查询文本对应的第一训练样本。

根据本公开的实施例，上述训练样本生成模块例如可以包括文本确定子模块、文本拼接子模块和样本获得子模块。文本确定子模块用于根据每个目标文本的文本属性，确定表示每个目标文本的主题信息的文本。文本拼接子模块用于拼接表示主体信息的文本和每个目标文本，得到拼接文本。样本获得子模块用于将拼接文本作为每个查询文本的标注信息，得到与每个查询文本对应的第一训练样本。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开实施例的信息查询方法和/或信息生成模型的训练方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如信息查询方法和/或信息生成模型的训练方法。例如，在一些实施例中，信息查询方法和/或信息生成模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的信息查询方法和/或信息生成模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息查询方法和/或信息生成模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种信息查询方法，包括：

采用第一预训练语言模型对查询文本进行处理，生成与查询文本对应的预测答复文本；

采用第二预训练语言模型对所述预测答复文本进行处理，生成与所述预测答复文本对应的定位标识信息；以及

确定预定文本库中与所述定位标识信息具有映射关系的目标文本，作为根据所述查询文本查询得到的答复文本。

2.根据权利要求1所述的方法，其中，所述采用第一预训练语言模型对查询文本进行处理，生成与查询文本对应的预测答复文本包括：

将所述预测答复文本中的在前文本单元和所述查询文本的文本单元序列输入所述第一预训练语言模型，生成与所述预测答复文本中的当前文本单元对应的概率向量；所述概率向量包括多个预定文本单元分别为所述当前文本单元的概率值；以及

采用束搜索的方法，根据所述概率向量更新所述在前文本单元，以生成与所述查询文本对应的多个预测答复文本，

其中，所述在前文本单元的初始值为空值。

3.根据权利要求2所述的方法，其中，所述将所述预测答复文本中的在前文本单元和所述查询文本的文本单元序列输入所述第一预训练语言模型，生成与所述预测答复文本中的当前文本单元对应的概率向量包括：

响应于所述在前文本单元包括的文本单元的数量小于预定数量，将所述在前文本单元和所述文本单元序列输入所述第一预训练语言模型，生成与所述预测答复文本中的当前文本单元对应的概率向量。

4.根据权利要求2所述的方法，其中，所述采用第二预训练语言模型对所述预测答复文本进行处理，生成与所述预测答复文本对应的定位标识信息包括：

采用所述第二预训练语言模型对多个所述预测答复文本中的每个文本进行处理，生成与多个所述预测答复文本分别对应的多个定位标识信息。

5.根据权利要求3所述的方法，还包括：

采用第一预训练语言模型对查询文本进行处理，生成表示所述预测答复文本的主题信息的文本；

其中，所述采用第二预训练语言模型对所述预测答复文本进行处理，生成与所述预测答复文本对应的定位标识信息包括：

将表示所述主题信息的文本和所述预测答复文本输入所述第二预训练语言模型，生成与所述预测答复文本对应的定位标识信息。

6.一种信息生成模型的训练方法，其中，所述信息生成模型包括第一预训练语言子模型和第二预训练语言子模型；所述方法包括：

采用第一训练样本对所述第一预训练语言子模型进行训练；每个所述第一训练样本包括预定文本库中的目标文本及与所述目标文本对应的查询文本；以及

采用第二训练样本对所述第二预训练语言子模型进行训练；每个所述第二训练样本包括所述目标文本及与所述目标文本具有映射关系的定位标识信息。

7.根据权利要求6所述的方法，还包括：

根据所述预定文本库中所述目标文本的数量，确定所述第一预训练语言子模型和所述第二预训练语言子模型的网络结构，

其中，所述网络结构包括的网络参数的数量与所述预定文本库中所述目标文本的数量正相关。

8.根据权利要求6所述的方法，还包括：

针对所述预定文本库中的每个目标文本，采用预定查询文本生成模型对每个所述目标文本进行处理，生成与每个所述目标文本对应的多个查询文本；以及

根据所述多个查询文本中的每个查询文本和每个所述目标文本，生成与所述每个查询文本对应的第一训练样本。

9.根据权利要求8所述的方法，其中，所述根据所述多个查询文本中的每个查询文本和每个所述目标文本，生成与所述每个查询文本对应的第一训练样本包括：

根据每个所述目标文本的文本属性，确定表示每个所述目标文本的主题信息的文本；

拼接表示所述主体信息的文本和每个所述目标文本，得到拼接文本；以及

将所述拼接文本作为所述每个查询文本的标注信息，得到与所述每个查询文本对应的第一训练样本。

10.一种信息查询装置，包括：

文本生成模块，用于采用第一预训练语言模型对查询文本进行处理，生成与查询文本对应的预测答复文本；

标识信息生成模块，用于采用第二预训练语言模型对所述预测答复文本进行处理，生成与所述预测答复文本对应的定位标识信息；以及

答复文本确定模块，用于确定预定文本库中与所述定位标识信息具有映射关系的目标文本，作为根据所述查询文本查询得到的答复文本。

11.根据权利要求10所述的装置，其中，所述文本生成模块包括：

概率向量生成子模块，用于将所述预测答复文本中的在前文本单元和所述查询文本的文本单元序列输入所述第一预训练语言模型，生成与所述预测答复文本中的当前文本单元对应的概率向量；所述概率向量包括多个预定文本单元分别为所述当前文本单元的概率值；以及

文本更新子模块，用于采用束搜索的方法，根据所述概率向量更新所述在前文本单元，以生成与所述查询文本对应的多个预测答复文本，

其中，所述在前文本单元的初始值为空值。

12.根据权利要求11所述的装置，其中，所述概率向量生成子模块用于：

响应于所述在前文本单元包括的文本单元的数量小于预定数量，将所述在前文本单元和所述文本单元序列输入所述第一预训练语言模型，生成与所述预测答复文本中的当前文本单元对应的概率向量。

13.根据权利要求11所述的装置，其中，所述标识信息生成模块用于：

采用所述第二预训练语言模型对多个所述预测答复文本中的每个文本进行处理，生成与多个所述预测答复文本分别对应的多个定位标识信息。

14.根据权利要求12所述的装置，其中，所述文本生成模块还用于：

采用第一预训练语言模型对查询文本进行处理，生成表示所述预测答复文本的主题信息的文本；

其中，所述标识信息生成模块用于：将表示所述主题信息的文本和所述预测答复文本输入所述第二预训练语言模型，生成与所述预测答复文本对应的定位标识信息。

15.一种信息生成模型的训练装置，其中，所述信息生成模型包括第一预训练语言子模型和第二预训练语言子模型；所述装置包括：

第一训练模块，用于采用第一训练样本对所述第一预训练语言子模型进行训练；每个所述第一训练样本包括预定文本库中的目标文本及与所述目标文本对应的查询文本；以及

第二训练模块，用于采用第二训练样本对所述第二预训练语言子模型进行训练；每个所述第二训练样本包括所述目标文本及与所述目标文本具有映射关系的定位标识信息。

16.根据权利要求15所述的装置，还包括：

网络结构确定模块，用于根据所述预定文本库中所述目标文本的数量，确定所述第一预训练语言子模型和所述第二预训练语言子模型的网络结构，

其中，所述网络结构包括的网络参数的数量与所述预定文本库中所述目标文本的数量正相关。

17.根据权利要求15所述的装置，还包括：

查询文本生成模块，用于针对所述预定文本库中的每个目标文本，采用预定查询文本生成模型对每个所述目标文本进行处理，生成与每个所述目标文本对应的多个查询文本；以及

训练样本生成模块，用于根据所述多个查询文本中的每个查询文本和每个所述目标文本，生成与所述每个查询文本对应的第一训练样本。

18.根据权利要求17所述的装置，其中，所述训练样本生成模块包括：

文本确定子模块，用于根据每个所述目标文本的文本属性，确定表示每个所述目标文本的主题信息的文本；

文本拼接子模块，用于拼接表示所述主体信息的文本和每个所述目标文本，得到拼接文本；以及

样本获得子模块，用于将所述拼接文本作为所述每个查询文本的标注信息，得到与所述每个查询文本对应的第一训练样本。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现根据权利要求1～9中任一项所述方法的步骤。

Images