CN111522944A - 用于输出信息的方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请公开了用于输出信息的方法、装置、设备以及存储介质，涉及知识图谱技术领域。具体实现方案为：获取输入文本集合和任务信息集合，其中，输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系；获取与输入文本集合中输入文本相关的参考文本；将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；输出目标语言模型。本实现方式可以利用与各输入文本相关的参考文本对语言模型进行预训练和微调，提高了语言模型对外部知识的利用率，提高了语言模型对文本的理解能力。

Description

用于输出信息的方法、装置、设备以及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及知识图谱技术领域，尤其涉及用于输出信息的方法和装置。

背景技术

随着科技的发展，自然语言理解逐渐走入人们的生活中。利用自然语言理解技术，机器可以实现阅读理解、对话等任务。对于很多自然语言理解任务来说，仅仅根据给定段落中的信息无法完全理解内容，需要借助外部知识才能更好的理解。举例来说，对于这句话：“当星体质量超过钱德拉塞卡极限时，引力大于电子简并压力，星体在几秒内崩溃塌缩，电子越过泡利不相容原理的屏障，冲入原子核，将其击碎”。需要了解其中一些专有名词的含义，才能更好地理解这句话。也就是说，我们需要首先了解“钱德拉塞卡极限”“电子简并压力”、“泡利不相容原理”的含义，结合在文中的关系，才能明白这句话的含义。

现有的自然语言理解算法在引入外部知识时，存在无法有效利用外部知识的情况。

发明内容

提供了一种用于输出信息的方法、装置、设备以及存储介质。

根据第一方面，提供了一种用于输出信息的方法，包括：获取输入文本集合和任务信息集合，其中，输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系；获取与输入文本集合中输入文本相关的参考文本；将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；输出目标语言模型。

根据第二方面，提供了一种用于输出信息的装置，包括：第一获取单元，被配置成获取输入文本集合和任务信息集合，其中，输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系；第二获取单元，被配置成获取与输入文本集合中输入文本相关的参考文本；样本确定单元，被配置成将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；模型训练单元，被配置成利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；模型输出单元，被配置成输出目标语言模型。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。

根据本申请的技术解决了现有的自然语言理解方法无法有效利用外部知识的问题，提高了外部知识的有效利用率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的用于输出信息的方法的一个实施例的流程图；

图3是根据本申请的用于输出信息的方法的另一个实施例的流程图；

图4是图3所示实施例的应用场景示意图；

图5是根据本申请的用于输出信息的一个实施例的结构示意图；

图6是用来实现本申请实施例的用于输出信息的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如语音识别类应用等。终端设备101、102、103上还可以安装有麦克风阵列等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上提供语言模型的后台服务器。后台服务器可以利用训练样本对初始语言模型进行训练，得到目标语言模型，并将目标语言模型反馈给终端设备101、102、103。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的用于输出信息的方法一般由服务器105执行。相应地，用于输出信息的装置一般设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的用于输出信息的方法的一个实施例的流程200。本实施例的用于输出信息的方法，包括以下步骤：

步骤201，获取输入文本集合和任务信息集合。

本实施例中，用于输出信息的方法的执行主体(例如图1所示的服务器105)可以通过有线连接或无线连接方式获取输入文本集合和任务信息集合。执行主体可以从其它电子设备处获取上述输入文本集合以及任务信息集合，也可以从执行主体本地获取输入文本集合以及任务信息集合。

上述输入文本集合可以包括多个输入文本，每个输入文本可以是一篇文章，也可以是一个段落。任务信息集合可以包括多条任务信息，每条任务信息都指示了一个任务。任务信息可以是阅读理解、对话、完形填空等等。输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系。具体的，输入文本集合中的每个输入文本可以与任务信息集合中的一条任务信息存在对应关系。举例来说，输入文本集合包括输入文本1、输入文本2……输入文本100，任务信息集合包括任务信息1、任务信息2……任务信息7。其中，输入文本1～20与任务信息1对应，输入文本21～35与任务信息2对应……。

步骤202，获取与输入文本集合中输入文本相关的参考文本。

执行主体在获取输入文本集合后，可以获取各输入文本相关的参考文本。具体的，执行主体可以通过多种方式获取参考文本，例如通过搜索引擎获取参考文本，或者通过数据库获取参考文本等等。上述参考文本可以是包括与输入文本具有相同实体词的文本，或者是与输入文本的相似度大于预设阈值的文本。这样，执行主体可以得到一参考文本集合。

步骤203，将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合。

执行主体在得到每个输入文本相关的参考文本后，可以将每个输入文本、与该输入文本相关的参考文本以及与该相关文本对应的任务信息，作为一个训练样本。举例来说，对于输入文本1，其相关的参考文本记为参考文本1，其对应的任务信息为任务信息1。执行主体可以将输入文本1、与输入文本1相关的参考文本1以及与输入文本1对应的任务信息1作为一个训练样本。这样可以得到训练样本集合。这些训练样本集合可以用于后续对语言模型的训练。

步骤204，利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型。

执行主体可以利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型。上述语言模型可以包括特征提取模块和分类模块。上述特征提取模块可以用于提取输入其中的文本的特征，得到特征向量，其可以由特征提取器(transformer)来实现。分类模块用于根据得到的特征向量，得到分类结果，其可以由全连接层实现。预训练(pre-train)可以通过以下过程来理解：设计好网络结构后，可以利用一部分训练样本(例如包括训练样本集合A和训练样本集合B)对这个网络进行训练，网络会根据相应的任务信息(例如训练样本集合A中的任务A和训练样本集合中的任务B)来学习网络参数，把这些参数存储起来。如果此时面临任务C，网络结构相同，对于网络的浅层，可以加载任务A或任务B的网络参数，对于网络的高层的参数，仍然随机初始化。然后，再利用C任务的训练样本来训练网络。上述过程中，利用任务A对应的训练样本以及任务B对应的训练样本训练网络的过程为预训练，利用任务C对应的训练样本训练网络的过程为微调。

经过上述预训练和微调后，可以得到目标语言模型。

步骤205，输出目标语言模型。

执行主体在得到目标语言模型后，可以将目标语言模型输出。例如可以将语言模型发送在对应的终端设备，以供用户通过终端设备使用上述目标语言模型。

本申请的上述实施例提供的用于输出信息的方法，可以利用与各输入文本相关的参考文本对语言模型进行预训练和微调，提高了语言模型对外部知识的利用率，提高了语言模型对文本的理解能力。

继续参见图3，其示出了根据本申请的用于输出信息的方法的另一个实施例的流程300。如图3所示，本实施例的用于输出信息的方法可以包括以下步骤：

步骤301，获取输入文本集合和任务信息集合。

执行主体在获取到输入文本集合后，对于输入文本集合中的每一输入文本，可以执行步骤302～304。

步骤302，提取该输入文本包括的各实体词。

本实施例中，执行主体可以通过各种实体词提取算法对输入文本进行处理，得到输入文本中包括的各实体词。或者，执行主体还可以将输入文本与实体词词典进行对比，以确定其中包括的各实体词。

步骤303，确定包括至少一个实体词的相关语句。

在得到各实体词后，执行主体可以确定包括至少一个实体词的相关语句。具体的，执行主体可以通过搜索引擎来搜索各实体词，得到包括各实体词的相关语句。或者，执行主体可以检索工具书，来确定包括各实体词的相关语句。

在本实施例的一些可选的实现方式中，执行主体可以通过图3中未示出的以下步骤来确定相关语句：确定各实体词的陌生值；根据各实体词的陌生值，对各实体词进行排序；确定包含排序中前第一预设数量个实体词的至少一个语句为相关语句。

本实现方式中，执行主体可以首先确定各实体词的陌生值。此处，陌生值用于表示实体词的陌生程度，陌生值越大，说明该实体词越陌生。实体词的陌生值可以与实体词出现的词频反相关。即实体词出现的词频越大，这个实体词的陌生值越低。实体词出现的词频越低，说明这个实体词的越陌生，相应的，陌生值越高。然后，执行主体可以根据各实体词的陌生值，对各实体词进行排序。该排序中，位置越靠前的实体词陌生值越高。然后，将包含该排序中前第一预设数量个实体词的至少一个语句作为相关语句。

举例来说，执行主体确定出输入文本中包括实体词A、B、C、D和E。通过统计各实体词的词频，确定出个实体词的陌生值。然后对各实体词进行陌生值由大到小的排序，得到排序为D、C、E、B、A。接下来，执行主体可以将包括实体词D、C、E的多个语句作为相关语句。这样，有利于语言模型借助外部知识学习包括陌生实体词的语义，有助于理解输入文本。

步骤304，根据相关语句，确定参考文本。

执行主体在得到相关语句后，可以对相关语句进行拼接或截取，得到参考文本。具体的，如果各相关语句的内容较少，则执行主体可以对各相关语句进行拼接，得到参考文本。如果相关语句的内容较多，则可以对相关语句进行截取，得到参考文本。

在本实施例的一些可选的实现方式中，执行主体还可以通过图3中未示出的以下步骤来确定参考文本：根据各实体词的陌生值，确定相关语句的信息量；根据相关语句的信息量，对相关语句进行排序；根据排序中前第二预设数量个相关语句，确定参考文本。

本实现方式中，执行主体可以根据相关语句中包括的实体词的陌生值，确定相关语句的信息量。此处，信息量可以为实体词的陌生值之和。然后，执行主体可以根据各相关语句的信息量，对相关语句进行排序。具体的，执行主体可以将信息量最高的相关语句设置在排序的最前方，将信息量最低的相关语句设置在排序的最后方。最后，执行主体可以根据该排序中的前第二预设数量个相关语句，确定参考文本。这样，得到的参考文本的信息量最大，可以更好地帮助语言模型理解输入文本。

在本实施例的一些可选的实现方式中，执行主体还可以通过图3中未示出的以下步骤来确定参考文本：组合排序中前第二预设数量个相关语句，得到组合文本集合；将组合文本集合中实体词之间的距离之和最短的组合文本为参考文本。

本实现方式中，执行主体可以组合通过上述排序得到的前第二预设数量个相关语句，得到组合文本集合。然后，执行主体可以计算组合文本集合中每个组合文本中实体词之间的距离，然后，得到每个组合文本的距离之和。执行主体可以将距离之和最短的组合文本作为参考文本。

举例来说，相关语句包括三个句子，分别为语句a(A的老婆是B)、语句b(金像奖于中国香港举办)和语句c(B出生于中国香港)。执行主体通过计算，确定出以下组合文本中实体词距离之和最小：A的老婆是B，B出生于中国香港，金像奖于中国香港举办。则执行主体可以将该组合文本作为参考文本。

在得到每个输入文本相关的参考文本后，可以执行以下步骤：

步骤305，将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合。

本实施例中，执行主体可以将训练样本集合划分为两个子集合，分别为第一训练样本子集合和第二训练样本子集合。可以理解的是，第一训练样本子集合中可以包括多个训练样本，各训练样本对应的任务信息可以相同，也可以不同。第二训练样本子集合中也可以包括多个训练样本，各训练样本对应的任务信息可以相同，也可以不同。

步骤306，利用第一训练样本子集合对语言模型进行预训练。

本实施例中，执行主体可以利用第一训练样本子集合对语言模型进行预训练。具体的，训练样本子集合中的训练样本包括输入文本、参考文本和与任务信息对应的标注结果。执行主体可以将输入文本和参考文本作为输入，将标注结果作为期望输出，完成语言模型的预训练。

在本实施例的一些可选的实现方式中，语言模型包括特征提取模块和分类模块。第一训练样本子集合中的第一训练样本包括第一输入文本、第一参考文本以及第一任务信息，其中，第一任务信息包括第一标注结果。执行主体可以通过图3中未示出的以下步骤来进行预训练：将第一训练样本中包括的第一输入文本以及第一参考文本输入特征提取模块，将第一标注结果作为分类模块的期望输出，得到特征提取模块的参数和分类模块的参数。

本实现方式中，执行主体可以将将第一训练样本中包括的第一输入文本以及第一参考文本输入特征提取模块，将第一标注结果作为分类模块的期望输出。这样，特征提取模块和分类模块可以学习上述输入文本、参考文本和标注结果，得到特征提取模块的参数和分类模块的参数。

在本实施例的一些可选的实现方式中，执行主体在输入第一输入文本和第一参考文本前，可以分别标注第一输入文本和第一参考文本。具体的，执行主体可以为第一输入文本设置标签0，为第一参考文本设置标签1。这样，语言模型可以明确的了解哪些是输入文本，哪些是参考文本。通过设置标签，避免语言模型无法分辨输入文本和参考文本，造成参考文本稀释输入文本的现象，从而避免了由参考文本不当引起的噪声。

步骤307，利用第二训练样本子集合对预训练后的语言模型进行微调，得到目标语言模型。

执行主体在对语言模型预训练后，可以利用第二训练样本子集合对预训练后的语言模型进行微调，得到目标语言模型。

在本实施例的一些可选的实现方式中，语言模型包括特征提取模块和分类模块。第二训练样本子集合中的第二训练样本包括第二输入文本、第二参考文本以及第二任务信息。第二任务信息包括第二标注结果。执行主体可以通过图3中未示出的以下步骤来进行预训练：固定特征提取模块的参数，将第二训练样本中的第二输入文本以及第二参考文本输入特征提取模块，将与第二注分类结果作为期望输出，实现对分类模块的参数的微调。

本实现方式中，执行主体可以固定特征提取模块的参数，即采用预训练过程学习到的特征提取模块的参数。同时，随机初始化分类模型的参数。然后，执行主体将第二训练样本中的第二输入文本以及第二参考文本输入特征提取模块，将第二标注结果作为期望输出，实现对分类模型的参数的微调，完成语言模型的训练，得到目标语言模型。

步骤308，输出目标语言模型。

继续参见图4，图4是根据本实施例的用于输出信息的方法的一个应用场景的示意图。在图4的应用场景中，服务器401获取到任务A对应的训练样本和任务B对应的训练样本。任务A是完形填空(预测一段文字中没掩盖的词)，任务B为情绪分析(分析一段文本的情绪是积极的、中立的还是消极的)。执行主体利用上述两个任务对应的训练样本，对语言模型进行预训练。在获取到任务C(任务C为阅读理解)对应的训练样本后，利用任务C对应的训练样本对语言模型进行微调，得到目标语言模型。最后将目标语言模型输出给终端设备402。

本申请的上述实施例提供的用于输出信息的方法，通过在预训练和微调过程中引入参考文本，可以提高语言模型对外部知识的学习能力，提高对输入文本理解的正确率；通过对输入文本和参考文本进行标记，避免引入噪声或者对输入文本进行稀释。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于输出信息的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的输出信息装置500包括：第一获取单元501、第二获取单元502、样本确定单元503、模型训练单元504和模型输出单元505。

第一获取单元501，被配置成获取输入文本集合和任务信息集合。其中，输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系。

第二获取单元502，被配置成获取与输入文本集合中输入文本相关的参考文本。

样本确定单元503，被配置成将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合。

模型训练单元504，被配置成利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型。

模型输出单元505，被配置成输出目标语言模型。

在本实施例的一些可选的实现方式中，第二获取单元502可以进一步包括图5中未示出的：实体词提取模块、相关语句确定模块和参考文本确定模块。

实体词提取模块，被配置成对于输入文本集合中的任一输入文本，提取该输入文本包括的各实体词。

相关语句确定模块，被配置成确定包括至少一个实体词的相关语句。

参考文本确定模块，被配置成根据相关语句，确定参考文本。

在本实施例的一些可选的实现方式中，相关语句确定模块进一步被配置成：确定各实体词的陌生值；根据各实体词的陌生值，对各实体词进行排序；确定包含排序中前第一预设数量个实体词的至少一个语句为相关语句。

在本实施例的一些可选的实现方式中，参考文本确定模块进一步被配置成：根据各实体词的陌生值，确定相关语句的信息量；根据相关语句的信息量，对相关语句进行排序；根据排序中前第二预设数量个相关语句，确定参考文本。

在本实施例的一些可选的实现方式中，参考文本确定模块进一步被配置成：组合排序中前第二预设数量个相关语句，得到组合文本集合；将组合文本集合中实体词之间的距离之和最短的组合文本为参考文本。

在本实施例的一些可选的实现方式中，训练样本集合包括第一训练样本子集合和第二训练样本子集合。模型训练单元504可以进一步包括图5中未示出的：第一训练模块和第二训练模块。

第一训练模块，被配置成利用第一训练样本子集合对语言模型进行预训练。

第二训练模块，被配置成利用第二训练样本子集合对预训练后的语言模型进行微调，得到目标语言模型。

在本实施例的一些可选的实现方式中，第一训练样本子集合中第一训练样本包括第一输入文本、第一参考文本以及第一任务信息，第一任务信息包括第一标注结果，语言模型包括特征提取模块以及分类模块。第一训练模块进一步被配置成：将第一训练样本中的第一输入文本以及第一参考文本输入特征提取模块，将第一训练样本中的第一标注结果作为分类模块的期望输出，得到特征提取模块的参数和分类模块的参数。

在本实施例的一些可选的实现方式中，第二训练样本子集合中第二训练样本包括的第二输入文本、第二参考文本以及与第二任务信息，所述第二任务信息包括第二标注结果。第二训练模块进一步被配置成：固定特征提取模块的参数，将第二训练样本中的第二输入文本以及第二参考文本输入所述特征提取模块，将第二训练样本中的第二标注结果作为期望输出，实现对分类模块的参数的微调，得到目标语言模型。

在本实施例的一些可选的实现方式中，第一训练模块或第二训练模块进一步被配置成：分别标记输入文本和参考文本；将标记后的输入文本和参考文本输入特征提取模块。

应当理解，用于输出信息的装置500中记载的单元501至单元505分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对用于输出信息的方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的执行用于输出信息的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的执行用于输出信息的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的执行用于输出信息的方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的执行用于输出信息的方法对应的程序指令/模块(例如，附图5所示的第一获取单元501、第二获取单元502、样本确定单元503、模型训练单元504和模型输出单元505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的执行用于输出信息的方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行用于输出信息的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至执行用于输出信息的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

执行用于输出信息的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与执行用于输出信息的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过在预训练和微调过程中引入参考文本，可以提高语言模型对外部知识的学习能力，提高对输入文本理解的正确率；通过对输入文本和参考文本进行标记，避免引入噪声或者对输入文本进行稀释。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种用于输出信息的方法，包括：

获取输入文本集合和任务信息集合，其中，所述输入文本集合中的单个输入文本与所述任务信息集合中的单个任务信息存在对应关系；

获取与所述输入文本集合中输入文本相关的参考文本；

将单个输入文本、与所述单个输入文本相关的参考文本以及与所述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；

利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；

输出所述目标语言模型。

2.根据权利要求1所述的方法，其中，所述获取与所述输入文本集合中的输入文本相关的参考文本，包括：

对于输入文本集合中的任一输入文本，提取该输入文本包括的各实体词；

确定包括至少一个所述实体词的相关语句；

根据所述相关语句，确定所述参考文本。

3.根据权利要求2所述的方法，其中，所述确定包括至少一个所述实体词的相关语句，包括：

确定各实体词的陌生值；

根据各实体词的陌生值，对各实体词进行排序；

确定包含所述排序中前第一预设数量个实体词的至少一个语句为相关语句。

4.根据权利要求3所述的方法，其中，所述根据所述相关语句，确定所述参考文本，包括：

根据各实体词的陌生值，确定所述相关语句的信息量；

根据所述相关语句的信息量，对所述相关语句进行排序；

根据所述排序中前第二预设数量个相关语句，确定所述参考文本。

5.根据权利要求4所述的方法，其中，所述根据所述排序中前第二预设数量个相关语句，确定所述参考文本，包括：

组合所述排序中前第二预设数量个相关语句，得到组合文本集合；

将所述组合文本集合中实体词之间的距离之和最短的组合文本为所述参考文本。

6.根据权利要求1所述的方法，其中，所述训练样本集合包括第一训练样本子集合和第二训练样本子集合；以及

所述利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型，包括：

利用所述第一训练样本子集合对所述语言模型进行预训练；

利用所述第二训练样本子集合对预训练后的语言模型进行微调，得到目标语言模型。

7.根据权利要求6所述的方法，其中，所述第一训练样本子集合中第一训练样本包括第一输入文本、第一参考文本以及第一任务信息，所述第一任务信息包括第一标注结果，所述语言模型包括特征提取模块以及分类模块；以及

所述利用所述第一训练样本子集合对所述语言模型进行预训练，包括：

将第一训练样本中的第一输入文本以及第一参考文本输入所述特征提取模块，将所述第一训练样本中的第一标注结果作为所述分类模块的期望输出，得到所述特征提取模块的参数和所述分类模块的参数。

8.根据权利要求7所述的方法，其中，所述第二训练样本子集合中第二训练样本包括的第二输入文本、第二参考文本以及与第二任务信息，所述第二任务信息包括第二标注结果；以及

所述利用所述第二训练样本子集合对预训练后的语言模型进行微调，得到目标语言模型，包括：

固定所述特征提取模块的参数，将第二训练样本中的第二输入文本以及第二参考文本输入所述特征提取模块，将所述第二训练样本中的第二标注结果作为期望输出，实现对所述分类模块的参数的微调，得到目标语言模型。

9.根据权利要求8所述的方法，其中，在将输入文本和参考文本输入特征提取模块，包括：

分别标记所述输入文本和所述参考文本；

将标记后的输入文本和参考文本输入所述特征提取模块。

10.一种用于输出信息的装置，包括：

第一获取单元，被配置成获取输入文本集合和任务信息集合，其中，所述输入文本集合中的单个输入文本与所述任务信息集合中的单个任务信息存在对应关系；

第二获取单元，被配置成获取与所述输入文本集合中输入文本相关的参考文本；

样本确定单元，被配置成将单个输入文本、与所述单个输入文本相关的参考文本以及与所述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；

模型训练单元，被配置成利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；

模型输出单元，被配置成输出所述目标语言模型。

11.根据权利要求10所述的装置，其中，所述第二获取单元包括：

实体词提取模块，被配置成对于输入文本集合中的任一输入文本，提取该输入文本包括的各实体词；

相关语句确定模块，被配置成确定包括至少一个所述实体词的相关语句；

参考文本确定模块，被配置成根据所述相关语句，确定所述参考文本。

12.根据权利要求11所述的装置，其中，所述相关语句确定模块进一步被配置成：

确定各实体词的陌生值；

根据各实体词的陌生值，对各实体词进行排序；

确定包含所述排序中前第一预设数量个实体词的至少一个语句为相关语句。

13.根据权利要求12所述的装置，其中，所述参考文本确定模块进一步被配置成：

根据各实体词的陌生值，确定所述相关语句的信息量；

根据所述相关语句的信息量，对所述相关语句进行排序；

根据所述排序中前第二预设数量个相关语句，确定所述参考文本。

14.根据权利要求10所述的装置，其中，所述参考文本确定模块进一步被配置成：

组合所述排序中前第二预设数量个相关语句，得到组合文本集合；

将所述组合文本集合中实体词之间的距离之和最短的组合文本为所述参考文本。

15.根据权利要求14所述的装置，其中，所述训练样本集合包括第一训练样本子集合和第二训练样本子集合；以及

所述模型训练单元包括：

第一训练模块，被配置成利用所述第一训练样本子集合对所述语言模型进行预训练；

第二训练模块，被配置成利用所述第二训练样本子集合对预训练后的语言模型进行微调，得到目标语言模型。

16.根据权利要求15所述的装置，其中，所述第一训练样本子集合中第一训练样本包括第一输入文本、第一参考文本以及第一任务信息，所述第一任务信息包括第一标注结果，所述语言模型包括特征提取模块以及分类模块；以及

所述第一训练模块进一步被配置成：

将第一训练样本中的第一输入文本以及第一参考文本输入所述特征提取模块，将所述第一标注结果作为所述分类模块的期望输出，得到所述特征提取模块的参数和所述分类模块的参数。

17.根据权利要求16所述的装置，其中，所述第二训练样本子集合中第二训练样本包括的第二输入文本、第二参考文本以及与第二任务信息，所述第二任务信息包括第二标注结果；以及

所述第二训练模块进一步被配置成：

固定所述特征提取模块的参数，将第二训练样本中的第二输入文本以及第二参考文本输入所述特征提取模块，将所述第二标注结果作为期望输出，实现对所述分类模块的参数的微调，得到目标语言模型。

18.根据权利要求17所述的装置，其中，所述第一训练模块或所述第二训练模块进一步被配置成：

分别标记所述输入文本和所述参考文本；

将标记后的输入文本和参考文本输入所述特征提取模块。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

Images