CN114443828A - 一种通用对话模型的训练方法、装置、电子设备及介质 - Google Patents

Abstract

本申请公开了一种通用对话模型的训练方法、装置、电子设备及介质，涉及人工智能领域，尤其涉及深度学习技术。具体实现方案为：在对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，待训练的通用对话模型包括：对话策略子模型和对话生成子模型；使用当前训练样本对对话策略子模型进行监督学习；对对话策略子模型和对话生成子模型进行端到端训练；对对话策略子模型和对话生成子模型进行强化学习训练。本申请实施例不依赖高成本的多类型对话预料，能够主动地引导用户去聊自己感兴趣的话题或模型擅长的知识更加密集的话题，在多种场景中有较大的应用价值。

Description

一种通用对话模型的训练方法、装置、电子设备及介质

技术领域

本公开涉及人工智能技术领域，进一步涉及深度学习技术，尤其是一种通用对话模型的训练方法、装置、电子设备及介质。

背景技术

在用户使用对话系统和对话机器人交互时，通常会存在不同的聊天需求，包括：闲聊、任务型对话、知识聊天等。但是目前大部分的对话系统缺乏通用性，难以一站式地去满足用户的不同需求。例如，在闲聊过程中出现问答或者任务型对话的情景。目前单一类型的对话语料较为丰富，但是高质量的多类型对话非常稀缺。

现有的对话系统大多依赖高质量多类型对话作为训练语料，通常需要人工标注，成本比较高，耗时长。另一方面，对话系统当前还是直接利用语料去训练。因此，系统更倾向于被动回复，而很少主动去引导用户，导致普通用户不清楚系统能做什么、擅长什么知识区域，而使用户陷入无聊或者不知所措。

发明内容

本公开提供了一种通用对话模型的训练方法、装置、电子设备以及介质。

第一方面，本申请提供了一种通用对话模型的训练方法，所述方法包括：

在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，所述待训练的通用对话模型包括：对话策略子模型和对话生成子模型；

使用所述当前训练样本对所述对话策略子模型进行监督学习；重复执行上述操作，直到所述对话策略子模型满足预先确定的监督学习收敛条件；

使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行端到端训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的端到端收敛条件；

使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行强化学习训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的强化学习收敛条件。

第二方面，本申请提供了一种通用对话模型的训练装置，所述装置包括：提取模块和训练模块；其中，

所述提取模块，用于在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，所述待训练的通用对话模型包括：对话策略子模型和对话生成子模型；

所述训练模块，用于使用所述当前训练样本对所述对话策略子模型进行监督学习；重复执行上述操作，直到所述对话策略子模型满足预先确定的监督学习收敛条件；使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行端到端训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的端到端收敛条件；使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行强化学习训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的强化学习收敛条件。

第三方面，本申请实施例提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的通用对话模型的训练方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的通用对话模型的训练方法。

第五方面，提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时实现本申请任意实施例所述的通用对话模型的训练方法。

根据本申请的技术解决了现有的人机对话系统依赖于高质量多类型对话作为训练语料，需要人工标注，成本比较高，耗时长；以及很少主动去引导用户，导致普通用户不清楚系统能做什么、擅长什么知识区域，而使用户陷入无聊或者不知所措的技术问题，本申请提供一种可用于低资源场景下的具有主动引导能力的通用对话模型，不依赖高成本的多类型对话预料，能够主动地引导用户去聊自己感兴趣的话题或模型擅长的知识更加密集的话题，在多种场景中有较大的应用价值。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本申请实施例提供的通用对话模型的训练方法的第一流程示意图；

图2是本申请实施例提供的通用对话模型的训练方法的第二流程示意图；

图3是本申请实施例提供的Policy模型的监督学习的流程示意图；

图4是本申请实施例提供的通用对话模型的训练方法的第三流程示意图；

图5是本申请实施例提供的Policy模型和NLG模型的端到端训练的流程示意图；

图6是本申请实施例提供的通用对话模型的训练方法的第四流程示意图；

图7是本申请实施例提供的Policy模型和NLG模型的强化学习训练的流程示意图；

图8是本申请实施例提供的通用对话模型的训练装置的结构示意图；

图9是用来实现本申请实施例的通用对话模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

实施例一

图1是本申请实施例提供的通用对话模型的训练方法的第一流程示意图，该方法可以由通用对话模型的训练装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，通用对话模型的训练方法可以包括以下步骤：

S101、在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，待训练的通用对话模型包括：对话策略子模型和对话生成子模型。

在本步骤中，电子设备可以在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，待训练的通用对话模型包括：对话策略子模型(Policy模型)和对话生成子模型(NLG模型)。现有技术通常采用以下三种方式进行模型训练，1)人工标注一些对话的训练语料，对预训练模型进行微调。2)在多任务的预训练模型基础上，在相应技能的数据上单独微调。3)对于不同类型/技能的对话分别训练对话模型，聊天时先判断用户的对话属于什么类型，再利用相应的对话模型来产生回复。现有技术存在以下缺点：1)目前单一类型的对话语料较为丰富，但是高质量的多类型对话非常稀缺。大多数现有的方法依赖高质量多类型对话作为训练语料，通常需要人工标注，成本比较高，耗时长。2)基于多类型微调的方法，模型只能被动地承接用户对话，不能主动控制模型选择哪种技能。3)基于mix of experts的方法可以让用户选择使用指定技能，但系统没有主动引导、主动调度的能力。4)大多需要先理解判断对话类型或者技能，再做后续的对话生成，需要NLU部分判断非常准确，否则容易产生级联错误；而且只能选择一种对话类型/技能，不够灵活，难以满足用户更加丰富的对话需求。

S102、使用当前训练样本对对话策略子模型进行监督学习；重复执行上述操作，直到对话策略子模型满足预先确定的监督学习收敛条件。

在本步骤中，电子设备可以使用当前训练样本对对话策略子模型进行监督学习；重复执行上述操作，直到对话策略子模型满足预先确定的监督学习收敛条件。具体地，电子设备可以先在当前训练样本中提取出对话上下文；然后将对话上下文输入至对话策略子模型中，通过对话策略子模型输出对话上下文的对话目标的向量表示；其中，对话目标包括：对话类型和聊天的话题；对话类型至少包括以下三种：闲聊类对话、任务型对话和知识聊天型对话；再基于对话策略子模型输出的对话上下文的对话目标的向量表示和预先确定的对话上下文的对话目标的向量表示，对对话策略子模型进行监督学习。

S103、使用当前训练样本对对话策略子模型和对话生成子模型进行端到端训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的端到端收敛条件。

在本步骤中，电子设备可以使用当前训练样本对对话策略子模型和对话生成子模型进行端到端训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的端到端收敛条件。具体地，电子设备可以先在当前训练样本中提取出对话上下文；然后将对话上下文输入至对话策略子模型中，通过对话策略子模型输出对话上下文的对话目标的向量表示；再将对话上下文的对话目标的向量表示输入至对话生成子模型中，通过对话生成子模型输出对话机器人对用户的回复；最后基于对话生成子模型输出的对话机器人对用户的回复和预先确定的回复内容，对对话策略子模型和对话生成子模型进行端到端训练。

S104、使用当前训练样本对对话策略子模型和对话生成子模型进行强化学习训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的强化学习收敛条件。

在本步骤中，电子设备可以使用当前训练样本对对话策略子模型和对话生成子模型进行强化学习训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的强加学习收敛条件。具体地，电子设备可以先在当前训练样本中提取出对话上下文；然后将对话上下文输入至对话策略子模型中，通过对话策略子模型输出对话上下文的对话目标的向量表示；再将对话上下文的对话目标的向量表示输入至对话生成子模型中，通过对话生成子模型输出对话上下文的对话引导结果；最后基于对话生成子模型输出的对话上下文的对话引导结果，对对话策略子模型和对话生成子模型进行强化学习训练。

本申请实施例提出的通用对话模型的训练方法，首先使用当前训练样本对对话策略子模型进行监督学习；然后使用当前训练样本对对话策略子模型和对话生成子模型进行端到端训练；再使用当前训练样本对对话策略子模型和对话生成子模型进行强化学习训练。也就是说，本申请可以分别对对话策略子模型进行监督学习，对对话策略子模型和对话生成子模型进行有监督的端到端训练，对对话策略子模型和对话生成子模型进行无监督的强化学习训练，从而可以得到一种可用于低资源场景下的具有主动引导能力的通用对话模型。而在现有的模型训练方法中，大多依赖高质量多类型对话作为训练语料，并且系统更倾向于被动回复，而很少主动去引导用户。因为本申请采用了对对话策略子模型进行监督学习，对对话策略子模型和对话生成子模型进行端到端训练，对对话策略子模型和对话生成子模型进行强化学习训练的技术手段，克服了现有的人机对话系统依赖于高质量多类型对话作为训练语料，需要人工标注，成本比较高，耗时长；以及很少主动去引导用户，导致普通用户不清楚系统能做什么、擅长什么知识区域，而使用户陷入无聊或者不知所措的技术问题，本申请提供的技术方案，不依赖高成本的多类型对话预料，能够主动地引导用户去聊自己感兴趣的话题或模型擅长的知识更加密集的话题，在多种场景中有较大的应用价值；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例二

图2是本申请实施例提供的通用对话模型的训练方法的第二流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图2所示，通用对话模型的训练方法可以包括以下步骤：

S201、在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，待训练的通用对话模型包括：对话策略子模型和对话生成子模型。

S202、在当前训练样本中提取出对话上下文。

在本步骤中，电子设备可以在当前训练样本中提取出对话上下文。假设某个用户和机器的对话是：ababab；本步骤输入到Policy模型的是数据以a为结尾的片段。例如，输入到Policy模型中的数据可以是a，aba或者ababa。本申请实施例中的Policy模型可以是24L的Unified Transformer模型。

S203、将对话上下文输入至对话策略子模型中，通过对话策略子模型输出对话上下文的对话目标的向量表示；其中，对话目标包括：对话类型和聊天的话题；对话类型至少包括以下三种：闲聊类对话、任务型对话和知识聊天型对话。

在本步骤中，电子设备可以将对话上下文输入至对话策略子模型中，通过对话策略子模型输出对话上下文的对话目标的向量表示；其中，对话目标包括：对话类型和聊天的话题；对话类型至少包括以下三种：闲聊类对话、任务型对话和知识聊天型对话。具体地，本申请实施例以对话上下文(Context)作为输入，输出的是对话目标(Goal)的embedding表示，Goal包括对话类型(闲聊、知识对话、任务型对话)和聊天的话题；使用的模型是24L的Unified Transformer模型。

本申请实施例中的NLG模型采用预训练模型PLATO 32L模型为基础，以Prefix-tuning的方式来训练。输入由Prefix和x两部分构成，Prefix表示Policy输出的Goal的embedding向量，x表示知识和上下文的embedding向量。对于x部分，输入的embedding向量经过32层的Unified Transformer计算得到输出。对于Prefix来说,Prefix上每一层网络的输出hi都直接从上一层的输出hi-1复制过来，不像Context那样需要经过Transformer的self-attention操作。Prefix部分的参数，先随机初始化、再经由一个MLP层的网络做一层变换来获得。NLG模型训练时只更新Prefix部分的参数，不更新其他Transformer的参数，大大降低了参数数量。

S204、基于对话策略子模型输出的对话上下文的对话目标的向量表示和预先确定的对话上下文的对话目标的向量表示，对对话策略子模型进行监督学习；重复执行上述操作，直到对话策略子模型满足预先确定的监督学习收敛条件。

S205、使用当前训练样本对对话策略子模型和对话生成子模型进行端到端训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的端到端收敛条件。

S206、使用当前训练样本对对话策略子模型和对话生成子模型进行强化学习训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的强化学习收敛条件。

图3是本申请实施例提供的Policy模型的监督学习的流程示意图。如图3所示，在当前训练样本中提取出对话上下文(Context)，将Context输入至Policy模型中，通过Policy模型输出Goal embedding向量。在这一步骤中，输入对话上下文，输出下一步的对话目标(Next Goal)，我们认为Next Goal等于当前Goal，不做Goal的跳转。

本申请实施例提出的通用对话模型的训练方法，首先使用当前训练样本对对话策略子模型进行监督学习；然后使用当前训练样本对对话策略子模型和对话生成子模型进行端到端训练；再使用当前训练样本对对话策略子模型和对话生成子模型进行强化学习训练。也就是说，本申请可以分别对对话策略子模型进行监督学习，对对话策略子模型和对话生成子模型进行有监督的端到端训练，对对话策略子模型和对话生成子模型进行无监督的强化学习训练，从而可以得到一种可用于低资源场景下的具有主动引导能力的通用对话模型。而在现有的模型训练方法中，大多依赖高质量多类型对话作为训练语料，并且系统更倾向于被动回复，而很少主动去引导用户。因为本申请采用了对对话策略子模型进行监督学习，对对话策略子模型和对话生成子模型进行端到端训练，对对话策略子模型和对话生成子模型进行强化学习训练的技术手段，克服了现有的人机对话系统依赖于高质量多类型对话作为训练语料，需要人工标注，成本比较高，耗时长；以及很少主动去引导用户，导致普通用户不清楚系统能做什么、擅长什么知识区域，而使用户陷入无聊或者不知所措的技术问题，本申请提供的技术方案，不依赖高成本的多类型对话预料，能够主动地引导用户去聊自己感兴趣的话题或模型擅长的知识更加密集的话题，在多种场景中有较大的应用价值；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例三

图4是本申请实施例提供的通用对话模型的训练方法的第三流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图4所示，通用对话模型的训练方法可以包括以下步骤：

S401、在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，待训练的通用对话模型包括：对话策略子模型和对话生成子模型。

S402、使用当前训练样本对对话策略子模型进行监督学习；重复执行上述操作，直到对话策略子模型满足预先确定的监督学习收敛条件。

S403、在当前训练样本中提取出对话上下文。

S404、将对话上下文输入至对话策略子模型中，通过对话策略子模型输出对话上下文的对话目标的向量表示。

S405、将对话上下文的对话目标的向量表示输入至对话生成子模型中，通过对话生成子模型输出对话机器人对用户的回复。

在本步骤中，电子设备可以将对话上下文的对话目标的向量表示输入至对话生成子模型中，通过对话生成子模型输出对话机器人对用户的回复。本申请实施例中的Policy模型决定当前的对话类型和话题，NLG模型生成的是对话回复。例如：上下文是用户说：我喜欢看红楼梦，你喜欢看什么类型的小说呢？这里Policy模型判断出机器要回复的对话类型是知识对话，话题是西游记。那么NLG模型生成的结果可能是“我喜欢看西游记这样的长篇神魔小说。

在本申请的具体实施例中，电子设备可以将Policy模型的输出接入到NLG模型的输入，将两个模型端到端联合训练。训练时只有Policy和Prefix部分的参数需要更新，NLGtransformer部分的参数是固定的。通过端到端训练，Policy输出的中间结果Goal不再是固定的某一种Goal的embedding，而是随着模型学习而更新。这种做法有两个优点，首先对第一步中Policy模型的精度要求降低了，即使判断的Goal并不十分准确，也能通过端到端训练来及时更新调整；其次Goal的判断不需要固定在某一种上面，可能是多种Goal信息的结合，模型更加灵活。

S406、基于对话生成子模型输出的对话机器人对用户的回复和预先确定的回复内容，对对话策略子模型和对话生成子模型进行端到端训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的端到端收敛条件。

S407、使用当前训练样本对对话策略子模型和对话生成子模型进行强化学习训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的强化学习收敛条件。

图5是本申请实施例提供的Policy模型和NLG模型的端到端训练的流程示意图。如图5所示，将Policy模型的输出接入到NLG模型的输入，将两个模型端到端联合训练。训练时只有Policy和Prefix部分的参数需要更新，NLG transformer部分的参数是固定的。通过端到端训练，Policy模型输出的中间结果Goal不再是固定的某一种Goal的embedding，而是随着模型学习而更新。这种做法有两个优点，首先对第一步中Policy模型的精度要求降低了，即使判断的Goal并不十分准确，也能通过端到端训练来及时更新调整；其次Goal的判断不需要固定在某一种上面，可能是多种Goal信息的结合，模型更加灵活。

本申请实施例提出的通用对话模型的训练方法，首先使用当前训练样本对对话策略子模型进行监督学习；然后使用当前训练样本对对话策略子模型和对话生成子模型进行端到端训练；再使用当前训练样本对对话策略子模型和对话生成子模型进行强化学习训练。也就是说，本申请可以分别对对话策略子模型进行监督学习，对对话策略子模型和对话生成子模型进行有监督的端到端训练，对对话策略子模型和对话生成子模型进行无监督的强化学习训练，从而可以得到一种可用于低资源场景下的具有主动引导能力的通用对话模型。而在现有的模型训练方法中，大多依赖高质量多类型对话作为训练语料，并且系统更倾向于被动回复，而很少主动去引导用户。因为本申请采用了对对话策略子模型进行监督学习，对对话策略子模型和对话生成子模型进行端到端训练，对对话策略子模型和对话生成子模型进行强化学习训练的技术手段，克服了现有的人机对话系统依赖于高质量多类型对话作为训练语料，需要人工标注，成本比较高，耗时长；以及很少主动去引导用户，导致普通用户不清楚系统能做什么、擅长什么知识区域，而使用户陷入无聊或者不知所措的技术问题，本申请提供的技术方案，不依赖高成本的多类型对话预料，能够主动地引导用户去聊自己感兴趣的话题或模型擅长的知识更加密集的话题，在多种场景中有较大的应用价值；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例四

图6是本申请实施例提供的通用对话模型的训练方法的第四流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图6所示，通用对话模型的训练方法可以包括以下步骤：

S601、在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，待训练的通用对话模型包括：对话策略子模型和对话生成子模型。

S602、使用当前训练样本对对话策略子模型进行监督学习；重复执行上述操作，直到对话策略子模型满足预先确定的监督学习收敛条件。

S603、使用当前训练样本对对话策略子模型和对话生成子模型进行端到端训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的端到端收敛条件。

S604、在当前训练样本中提取出对话上下文。

S605、将对话上下文输入至对话策略子模型中，通过对话策略子模型输出对话上下文的对话目标的向量表示。

S606、将对话上下文的对话目标的向量表示输入至对话生成子模型中，通过对话生成子模型输出对话上下文的对话引导结果。

S607、基于对话生成子模型输出的对话上下文的对话引导结果，对对话策略子模型和对话生成子模型进行强化学习训练；重复执行上述操作，直到对话策略子模型和对话生成子模型满足预先确定的强化学习收敛条件。

图7是本申请实施例提供的Policy模型和NLG模型的强化学习训练的流程示意图。如图7所示，电子设备可以将对话上下文的对话引导结果存储至预先构建的存储器中；然后基于存储器中预先保存的对话数据判断对话上下文的对话引导结果是否满足预先设置的奖励条件；若对话上下文的对话引导结果满足奖励条件，则电子设备可以对对话上下文的对话引导结果进行奖励，得到对话上下文的奖励后的对话引导结果；然后基于对话上下文的奖励后的对话引导结果，对对话策略子模型和对话生成子模型进行强化学习训练。若对话上下文的对话引导结果不满足奖励条件，则电子设备可以基于对话上下文的对话引导结果，对对话策略子模型和对话生成子模型进行强化学习训练；或者，还可以先对对话上下文的对话引导结果进行惩罚，得到对话上下文的惩罚后的对话引导结果；然后基于对话上下文的惩罚后的对话引导结果，对话策略子模型和对话生成子模型进行强化学习训练。由于目前缺少高质量的多类型对话数据集，只有各个单独的不同类型的对话数据。因此要实现主动的多类型对话，需要借助强化学习这样的非监督学习的方式来指导模型训练。这一步只更新Policy模型的参数，使得Policy模型输出的Goal具有主动性并贴合用户兴趣。每一次Policy模型输出的Goal都存储在Memory中。本申请实施例设计了多种奖励信号：1)跨类型的主动引导能力：选择Memory中没有聊过的对话类型奖励为1，否则为0。2)是否与用户兴趣保持一致。例如，用户回复中明确表示正反馈或者表示出感兴趣(回复中实体数量增多)时，奖励为1；用户回复明确负反馈或表示不感兴趣(回复中实体数量很低)时，奖励为0。3)多样性：模型应该适当跳转话题或者类型，但又不至于太频繁。因此，当围绕给定Goal所聊的对话轮数在区间[2，4]内时，多样性奖励定义为0，否则为-1。4)对话Goal序列的连贯性：计算Goal之间的相似度作为连贯性的奖励信号。

本申请实施例提出的通用对话模型的训练方法，首先使用当前训练样本对对话策略子模型进行监督学习；然后使用当前训练样本对对话策略子模型和对话生成子模型进行端到端训练；再使用当前训练样本对对话策略子模型和对话生成子模型进行强化学习训练。也就是说，本申请可以分别对对话策略子模型进行监督学习，对对话策略子模型和对话生成子模型进行有监督的端到端训练，对对话策略子模型和对话生成子模型进行无监督的强化学习训练，从而可以得到一种可用于低资源场景下的具有主动引导能力的通用对话模型。而在现有的模型训练方法中，大多依赖高质量多类型对话作为训练语料，并且系统更倾向于被动回复，而很少主动去引导用户。因为本申请采用了对对话策略子模型进行监督学习，对对话策略子模型和对话生成子模型进行端到端训练，对对话策略子模型和对话生成子模型进行强化学习训练的技术手段，克服了现有的人机对话系统依赖于高质量多类型对话作为训练语料，需要人工标注，成本比较高，耗时长；以及很少主动去引导用户，导致普通用户不清楚系统能做什么、擅长什么知识区域，而使用户陷入无聊或者不知所措的技术问题，本申请提供的技术方案，不依赖高成本的多类型对话预料，能够主动地引导用户去聊自己感兴趣的话题或模型擅长的知识更加密集的话题，在多种场景中有较大的应用价值；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例五

图8是本申请实施例提供的通用对话模型的训练装置的结构示意图。如图8所示，所述装置800包括：提取模块801和训练模块802；其中，

所述提取模块801，用于在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，所述待训练的通用对话模型包括：对话策略子模型和对话生成子模型；

所述训练模块802，用于使用所述当前训练样本对所述对话策略子模型进行监督学习；重复执行上述操作，直到所述对话策略子模型满足预先确定的监督学习收敛条件；使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行端到端训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的端到端收敛条件；使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行强化学习训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的强化学习收敛条件。

进一步的，所述训练模块802，具体用于在所述当前训练样本中提取出对话上下文；将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；其中，所述对话目标包括：对话类型和聊天的话题；所述对话类型至少包括以下三种：闲聊类对话、任务型对话和知识聊天型对话；基于所述对话策略子模型输出的所述对话上下文的对话目标的向量表示和预先确定的所述对话上下文的对话目标的向量表示，对所述对话策略子模型进行监督学习。

进一步的，所述训练模块802，具体用于在所述当前训练样本中提取出对话上下文；将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；将所述对话上下文的对话目标的向量表示输入至所述对话生成子模型中，通过所述对话生成子模型输出对话机器人对用户的回复；基于所述对话生成子模型输出的对话机器人对用户的回复和预先确定的回复内容，对所述对话策略子模型和所述对话生成子模型进行端到端训练。

进一步的，所述训练模块802，具体用于在所述当前训练样本中提取出对话上下文；将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；将所述对话上下文的对话目标的向量表示输入至所述对话生成子模型中，通过所述对话生成子模型输出所述对话上下文的对话引导结果；基于所述对话生成子模型输出的所述对话上下文的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练。

进一步的，所述训练模块802，具体用于将所述对话上下文的对话引导结果存储至预先构建的存储器中；基于所述存储器中预先保存的对话数据判断所述对话上下文的对话引导结果是否满足预先设置的奖励条件；若所述对话上下文的对话引导结果满足所述奖励条件，则对所述对话上下文的对话引导结果进行奖励，得到所述对话上下文的奖励后的对话引导结果；基于所述对话上下文的奖励后的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练。

进一步的，所述训练模块802，还用于若所述对话上下文的对话引导结果不满足所述奖励条件，则基于所述对话上下文的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练；或者，对所述对话上下文的对话引导结果进行惩罚，得到所述对话上下文的惩罚后的对话引导结果；基于所述对话上下文的惩罚后的对话引导结果，所述对话策略子模型和所述对话生成子模型进行强化学习训练。

上述通用对话模型的训练装置可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的通用对话模型的训练方法。

实施例六

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如通用对话模型的训练方法。例如，在一些实施例中，通用对话模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的通用对话模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行通用对话模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种通用对话模型的训练方法，所述方法包括：

在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，所述待训练的通用对话模型包括：对话策略子模型和对话生成子模型；

使用所述当前训练样本对所述对话策略子模型进行监督学习；重复执行上述操作，直到所述对话策略子模型满足预先确定的监督学习收敛条件；

使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行端到端训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的端到端收敛条件；

使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行强化学习训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的强化学习收敛条件。

2.根据权利要求1所述的方法，其中，使用所述当前训练样本对所述对话策略子模型进行监督学习，包括：

在所述当前训练样本中提取出对话上下文；

将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；其中，所述对话目标包括：对话类型和聊天的话题；所述对话类型至少包括以下三种：闲聊类对话、任务型对话和知识聊天型对话；

基于所述对话策略子模型输出的所述对话上下文的对话目标的向量表示和预先确定的所述对话上下文的对话目标的向量表示，对所述对话策略子模型进行监督学习。

3.根据权利要求2所述的方法，其中，使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行端到端训练，包括：

在所述当前训练样本中提取出对话上下文；

将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；

将所述对话上下文的对话目标的向量表示输入至所述对话生成子模型中，通过所述对话生成子模型输出对话机器人对用户的回复；

基于所述对话生成子模型输出的所述对话机器人对用户的回复和预先确定的回复内容，对所述对话策略子模型和所述对话生成子模型进行端到端训练。

4.根据权利要求3所述的方法，其中，使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行强化学习训练，包括：

在所述当前训练样本中提取出对话上下文；

将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；

将所述对话上下文的对话目标的向量表示输入至所述对话生成子模型中，通过所述对话生成子模型输出所述对话上下文的对话引导结果；

基于所述对话生成子模型输出的所述对话上下文的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练。

5.根据权利要求4所述的方法，其中，基于所述对话生成子模型输出的所述对话上下文的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练，包括：

将所述对话上下文的对话引导结果存储至预先构建的存储器中；

基于所述存储器中预先保存的对话数据判断所述对话上下文的对话引导结果是否满足预先设置的奖励条件；

若所述对话上下文的对话引导结果满足所述奖励条件，则对所述对话上下文的对话引导结果进行奖励，得到所述对话上下文的奖励后的对话引导结果；

基于所述对话上下文的奖励后的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练。

6.根据权利要求5所述的方法，所述方法还包括：

若所述对话上下文的对话引导结果不满足所述奖励条件，则基于所述对话上下文的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练；或者，对所述对话上下文的对话引导结果进行惩罚，得到所述对话上下文的惩罚后的对话引导结果；基于所述对话上下文的惩罚后的对话引导结果，所述对话策略子模型和所述对话生成子模型进行强化学习训练。

7.一种通用对话模型的训练装置，所述装置包括：提取模块和训练模块；其中，

所述提取模块，用于在预先构建的对话数据集合中提取出一个对话数据作为待训练的通用对话模型的当前训练样本；其中，所述待训练的通用对话模型包括：对话策略子模型和对话生成子模型；

所述训练模块，用于使用所述当前训练样本对所述对话策略子模型进行监督学习；重复执行上述操作，直到所述对话策略子模型满足预先确定的监督学习收敛条件；使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行端到端训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的端到端收敛条件；使用所述当前训练样本对所述对话策略子模型和所述对话生成子模型进行强化学习训练；重复执行上述操作，直到所述对话策略子模型和所述对话生成子模型满足预先确定的强化学习收敛条件。

8.根据权利要求7所述的装置，所述训练模块，具体用于在所述当前训练样本中提取出对话上下文；将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；其中，所述对话目标包括：对话类型和聊天的话题；所述对话类型至少包括以下三种：闲聊类对话、任务型对话和知识聊天型对话；

基于所述对话策略子模型输出的所述对话上下文的对话目标的向量表示和预先确定的所述对话上下文的对话目标的向量表示，对所述对话策略子模型进行监督学习。

9.根据权利要求8所述的装置，所述训练模块，具体用于在所述当前训练样本中提取出对话上下文；将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；将所述对话上下文的对话目标的向量表示输入至所述对话生成子模型中，通过所述对话生成子模型输出对话机器人对用户的回复；基于所述对话生成子模型输出的所述对话机器人对用户的回复和预先确定的回复内容，对所述对话策略子模型和所述对话生成子模型进行端到端训练。

10.根据权利要求9所述的装置，所述训练模块，具体用于在所述当前训练样本中提取出对话上下文；将所述对话上下文输入至所述对话策略子模型中，通过所述对话策略子模型输出所述对话上下文的对话目标的向量表示；将所述对话上下文的对话目标的向量表示输入至所述对话生成子模型中，通过所述对话生成子模型输出所述对话上下文的对话引导结果；基于所述对话生成子模型输出的所述对话上下文的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练。

11.根据权利要求10所述的装置，所述训练模块，具体用于将所述对话上下文的对话引导结果存储至预先构建的存储器中；基于所述存储器中预先保存的对话数据判断所述对话上下文的对话引导结果是否满足预先设置的奖励条件；若所述对话上下文的对话引导结果满足所述奖励条件，则对所述对话上下文的对话引导结果进行奖励，得到所述对话上下文的奖励后的对话引导结果；基于所述对话上下文的奖励后的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练。

12.根据权利要求11所述的装置，所述训练模块，还用于若所述对话上下文的对话引导结果不满足所述奖励条件，则基于所述对话上下文的对话引导结果，对所述对话策略子模型和所述对话生成子模型进行强化学习训练；或者，对所述对话上下文的对话引导结果进行惩罚，得到所述对话上下文的惩罚后的对话引导结果；基于所述对话上下文的惩罚后的对话引导结果，所述对话策略子模型和所述对话生成子模型进行强化学习训练。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images