CN110069612B

CN110069612B - 一种回复生成方法及装置

Info

Publication number: CN110069612B
Application number: CN201910350366.4A
Authority: CN
Inventors: 马文涛; 崔一鸣; 宋皓宇; 王士进; 胡国平; 张伟男; 刘挺
Original assignee: Hebei Xunfei Institute Of Artificial Intelligence; iFlytek Co Ltd
Current assignee: Hebei Xunfei Institute Of Artificial Intelligence; iFlytek Co Ltd
Priority date: 2019-04-28
Filing date: 2019-04-28
Publication date: 2022-02-01
Anticipated expiration: 2039-04-28
Also published as: CN110069612A

Abstract

本申请公开了一种回复生成方法及装置，该方法包括：在获取到提问者提出的目标问题后，可以先根据目标问题，生成提问者的人物画像信息，然后，利用该人物画像信息和目标问题，再生成目标问题的至少一个待选回复。可见，本申请在生成目标问题的待选回复时，考虑了提出目标问题的提问者的人物画像信息，使得生成的待选回复的内容与提问者本身的个性特点更加相关，从而可以满足提问者的对话需求，提高了回复生成结果的合理性。

Description

一种回复生成方法及装置

技术领域

本申请涉及人工智能技术领域，尤其涉及一种回复生成方法及装置。

背景技术

随着人工智能和自然语言处理技术的发展，机器开始初步具备了一定的理解人类语言的能力,这种能力为人与机器通过人类语言来交流带来了可能，因此,近年来出现了各种各样的人机对话系统。这种对话系统按照是否面向任务可以分为两种：一种是任务型的，它带有明确的目标或者任务，旨在用最短的交互时间或者轮数完成任务，如智能客服、手机智能助理等；另一种是自然交互型的，通常被人们称为“聊天机器人”，它没有明确的目标，旨在与人类进行沟通、交流甚至是情感倾诉。

其中，关于自然交互型的人机对话系统，是基于对话的上下文去检索或生成与对话内容相关的回复，但得到的回复可能与提问者无关，从而无法满足提问者的对话需求。

发明内容

本申请实施例的主要目的在于提供一种回复生成方法及装置，能够生成与提问者相关的回复，以满足提问者的对话需求。

本申请实施例提供了一种回复生成方法，包括：

获取提问者提出的目标问题；

根据所述目标问题，生成所述提问者的人物画像信息；

根据所述目标问题和所述人物画像信息，生成所述目标问题的至少一个待选回复。

可选的，所述根据所述目标问题，生成所述提问者的人物画像信息，包括：

从预先构建的画像信息库中，选择与所述目标问题语义相近的至少一条候选画像信息，作为所述提问者的人物画像信息。

可选的，所述从预先构建的画像信息库中，选择与所述目标问题语义相近的至少一条候选画像信息，包括：

生成所述目标问题的语义表示结果；

生成所述画像信息库中的每条候选画像信息的语义表示结果；

根据生成的语义表示结果，选择与所述目标问题在语义距离上相近的至少一条候选画像信息。

可选的，所述根据所述目标问题和所述人物画像信息，生成所述目标问题的至少一个待选回复，包括：

根据目标上下文和所述人物画像信息，生成所述目标问题的至少一个待选回复，其中，所述目标上下文包括所述目标问题以及所述目标问题之前的历史对话上文。

可选的，所述根据目标上下文和所述人物画像信息，生成所述目标问题的至少一个待选回复，包括：

从所述目标上下文和所述人物画像信息中，提取出与所述目标问题相关的信息；

根据提取的相关信息，生成所述目标问题的至少一个待选回复。

可选的，所述从所述目标上下文和所述人物画像信息中，提取出与所述目标问题相关的信息，包括：

生成所述目标上下文中的各条句子的第一句子表示结果，并通过关注各个第一句子表示结果中与所述目标问题相关的信息，得到所述目标上下文的上下文表示结果；

生成所述人物画像信息中的各条句子的第二句子表示结果，并通过关注各个第二句子表示结果中与所述目标问题相关的信息，得到所述人物画像信息的画像表示结果。

可选的，所述生成所述目标问题的至少一个待选回复，包括：

利用N个回复生成模型分别确定第t个生成时刻对应的概率分布，所述概率分布包括第t个生成时刻所生成的词为候选词典中每一候选词时的概率，N≥1；

根据N个回复生成模型各自确定的概率分布，从所述候选词典中选择M个候选词，作为第t个生成时刻所生成的词，M≥1；

将各个生成时刻所生成的词进行组合，得到至少一个待选回复。

本申请实施例还提供了一种回复生成装置，包括：

目标问题获取单元，用于获取提问者提出的目标问题；

画像信息生成单元，用于根据所述目标问题，生成所述提问者的人物画像信息；

待选回复生成单元，用于根据所述目标问题和所述人物画像信息，生成所述目标问题的至少一个待选回复。

可选的，所述画像信息生成单元具体用于：

可选的，所述画像信息生成单元包括：

第一结果生成子单元，用于生成所述目标问题的语义表示结果；

第二结果生成子单元，用于生成所述画像信息库中的每条候选画像信息的语义表示结果；

画像信息选择子单元，用于根据生成的语义表示结果，选择与所述目标问题在语义距离上相近的至少一条候选画像信息。

可选的，所述待选回复生成单元具体用于：

可选的，所述待选回复生成单元包括：

相关信息提取子单元，用于从所述目标上下文和所述人物画像信息中，提取出与所述目标问题相关的信息；

待选回复生成子单元，用于根据提取的相关信息，生成所述目标问题的至少一个待选回复。

可选的，所述相关信息提取子单元包括：

第三结果获得子单元，用于生成所述目标上下文中的各条句子的第一句子表示结果，并通过关注各个第一句子表示结果中与所述目标问题相关的信息，得到所述目标上下文的上下文表示结果；

第四结果获得子单元，用于生成所述人物画像信息中的各条句子的第二句子表示结果，并通过关注各个第二句子表示结果中与所述目标问题相关的信息，得到所述人物画像信息的画像表示结果。

可选的，所述待选回复生成子单元包括：

概率分布确定子单元，用于利用N个回复生成模型分别确定第t个生成时刻对应的概率分布，所述概率分布包括第t个生成时刻所生成的词为候选词典中每一候选词时的概率，N≥1；

候选词选择子单元，用于根据N个回复生成模型各自确定的概率分布，从所述候选词典中选择M个候选词，作为第t个生成时刻所生成的词，M≥1；

待选回复获得子单元，用于将各个生成时刻所生成的词进行组合，得到至少一个待选回复。

本申请实施例还提供了一种回复生成设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述回复生成方法中的任意一种实现方式。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述回复生成方法中的任意一种实现方式。

本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述回复生成方法中的任意一种实现方式。

本申请实施例提供的一种回复生成方法及装置，在获取到提问者提出的目标问题后，可以先根据目标问题，生成提问者的人物画像信息，然后，利用该人物画像信息和目标问题，再生成目标问题的至少一个待选回复。可见，本申请实施例在生成目标问题的待选回复时，考虑了提出目标问题的提问者的人物画像信息，使得生成的待选回复的内容与提问者本身的个性特点更加相关，进而可以从这些待选回复中筛选出目标问题的最终回复，以满足提问者的对话需求，提高了回复生成结果的合理性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种回复生成方法的流程示意图；

图2为本申请实施例提供的回复生成模型的结构示意图；

图3为本申请实施例提供的根据目标上下文和人物画像信息生成目标问题的至少一个待选回复的流程示意图；

图4为本申请实施例提供的生成目标问题的至少一个待选回复的流程示意图；

图5为本申请实施例提供的一种回复生成方法的结构示意图；

图6为本申请实施例提供的一种回复生成装置的组成示意图。

具体实施方式

对于现有的回复生成方法，通常可以分为两类，一类是基于检索技术的回复生成方法，一类是基于生成模型的回复生成方法。

其中，基于检索技术的回复生成方法的实现过程为：首先，生成当前提问者和机器对话的上下文的语义表达结果，然后，再以包含大量人类对话的语料库为基础，利用语义匹配技术，将该语义表达结果与语料库中包含的所有人类对话对应的语义表达结果进行匹配，从中检索出至少一个匹配度较高的语义表达结果对应的人类对话，作为在语义上与当前提问者和机器的对话上下文内容比较相似的人类对话，进而，可以将这些检索出的人类对话中的回复作为当前提问者在对话中提出的问题的待选回复，最后，再通过计算这些待选回复与该问题的相关性，选择出其中相关性最高的待选回复作为该问题的最终回复。

而基于生成模型的回复生成方法的实现过程为：首先，预先收集大量人类对话语料作为训练数据，然后，利用这些训练数据，对预先构建的一个初始神经网络模型(如基于端到端的序列生成模型)进行训练，以使得训练后的模型能够学习到人类对话中的转承关系，进而，可以利用该生成模型，生成当前提问者在对话中提出的问题的回复。

但是，申请人发现，上述两种回复生成方法，均是基于提问者和机器对话的上下文内容去检索或生成与该对话内容相关的回复，这样得到的回复可能仅与对话内容相关，而与提问者本身无关，可是，人类之间的对话内容往往与对话者的个人信息是有很大关系的，所以，通过上述两种方法生成的回复，均与提问者的个人信息无关，因此，可能无法满足提问者的对话要求。

举例说明：假设提问者提出的问题为“你周末一般喜欢做什么”，通过上述两种回复生成方法，生成的回复可能为“喜欢户外运动”、“喜欢宅在家里”等，这些回复和问题“你周末一般喜欢做什么”之间的关系均符合人类对话中的转承关系，也同样均可以与问题“你周末一般喜欢做什么”构成人类对话的语料存在语料库中，但是虽然这两条回复都和问题“你周末一般喜欢做什么”内容相关，可是这两条回复的语义是完全相反的，这是由于现有的上述两种回复生成方法，均未能根据提问者自身的个性信息，来为提问者提供符合其自身特点的回复，造成针对同一问题，可能每次生成的回复是不同的，反复无常，导致无法满足提问者的对话要求。

为解决上述缺陷，本申请提供了一种回复生成方法，在获取到提问者提出的问题后，先根据该问题，生成表征该提问者个人特点的人物画像信息，然后，再利用该人物画像信息和提问者提出的问题，生成该问题的至少一个回复。所以，相比于上述两种回复生成方法，本申请在生成提问者提出的问题的回复时，充分考虑到了提问者自身的个性特点，从而使得生成的回复的内容不仅与提问者和机器的人机对话内容相关，也与提问者本身的个性特点相关，故而，能够满足提问者的对话需求，提高了回复生成结果的合理性。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

第一实施例

参见图1，为本实施例提供的一种回复生成方法的流程示意图，该方法包括以下步骤：

S101：获取提问者提出的目标问题。

在本实施例中，将提问者向机器提出的需要机器生成回复的问题定义为目标问题，需要说明的是，本实施例不限制提问者提出目标问题的方式，比如，提问者可以通过语音输入的方式向机器提出目标问题，也可以通过文本输入的方式向机器提出目标问题，即，目标问题可以是语音形式，也可以是文本形式，并且，本实施例也不限制目标问题的语种，比如中文、英文等。此外，当提问者通过文本输入的方式向机器提出目标问题时，本实施例也不限制提问者所使用的输入法类型，比如搜狗输入法、百度输入法等。

S102：根据目标问题，生成提问者的人物画像信息。

在本实施例中，通过步骤S101获取到提问者提出的目标问题后，为了提高回复生成结果的合理性，使得生成的回复内容能够满足提问者的对话需求，首先需要基于目标问题的语义信息，获取体现提问者个性特点的人物画像信息，该人物画像信息可以包括提问者的姓名(昵称)、年龄、兴趣爱好、生活习惯等不同类型信息中的一种信息或多种组合信息。

其中，提问者的人物画像信息指的是描述人物个性特点的信息，可以从预先构建的画像信息库中获取。画像信息库中可以预存有大量的候选画像信息，这些画像信息可以是从现有的描述人物个性信息中收集到的信息数据，也可以是根据现有的人物画像信息模拟出来的信息数据，同时，在存储这些画像信息时，可以将各个类型的画像信息存储为不同的描述性的字、词或完整的描述性语句等，而且，这些画像信息可以包括人物的姓名(昵称)、年龄、兴趣爱好、生活习惯等不同类型的信息。

需要说明的是，在画像信息库中存储画像信息时，可以按照人物的姓名、年龄、兴趣爱好等不同信息类型进行存储，比如，信息类型“姓名”下的画像信息可以包含：人物A、人物B、人物C等，信息类型“年龄”下的画像信息可以包含各种年龄段等，其他信息类型(比如兴趣爱好、生活习惯)同样可以包含对应类型的画像信息。

进而，可以将收集到的现有画像信息和/或根据这些现有画像信息模拟出来的画像信息，以描述性的字或词的形式存储到画像信息库中，用以构建画像信息库。或者，也可以利用多条完整的描述性语句，对画像信息进行描述，并作为多条文本行记录，存储在画像信息库中，例如，假设信息类型“兴趣爱好”下的画像信息包括：篮球、羽毛球和户外徒步，则可以使用一个完整的描述性语句“我喜欢篮球、羽毛球和户外徒步”对前述画像信息进行描述，并可以将这条自然文本，存储在画像信息库中，同理，可以将收集到的现有画像信息以及根据这些现有画像信息模拟出来的画像信息，以这种完整的描述性语句的形式存储到画像信息库中，用以构建画像信息库。

基于此，当预先构建了画像信息库之后，在本实施例中，一种可选的实现方式是，本步骤S102具体可以包括：从预先构建的画像信息库中，选择与目标问题语义相近的至少一条候选画像信息，作为提问者的人物画像信息。

在本实现方式中，通过上述方式，将大量的候选画像信息预先存储到画像信息库后，可以将其中的每条候选画像信息与目标问题进行语义比较，从而可以查询出与目标问题在语义上比较相近的至少一条候选画像信息，并可以将这至少一条候选画像信息作为体现提问者个性特点的人物画像信息，进而可以通过后续步骤S103，根据此人物画像信息以及目标问题，合理的生成目标问题的至少一个待选回复，以便能够从中选出符合提问者需求的最终回复。

这样，在获取到体现提问者个性特点的人物画像信息后，可将其作为生成目标问题的待选回复的依据，从而使得生成的回复能够与提问者自身的特点更相关，进而更符合提问者的对话需求。

接下来，本实施例将通过下述步骤A1-A3，对上述实现方式中“从预先构建的画像信息库中，选择与目标问题语义相近的至少一条候选画像信息”的具体过程进行介绍。

步骤A1：生成目标问题的语义表示结果。

在本实施例中，可以首先利用分词方法，对目标问题对应的识别文本进行分词，得到识别文本中包含的各个词，然后，可以计算出各个词在识别文本中所占的权重，接着，利用向量生成方法，可以生成识别文本中各个词对应的词向量，比如，可以通过查询语义词典的方式，查询出识别文本中各个词对应的词向量，进而，可以根据每个词对应的词向量及每个词在识别文本中所占的权重，生成目标问题的语义表示结果，具体计算公式如下：

其中，V表示目标问题的语义表示结果；n表示目标问题对应的识别文本中包含的词的总个数；E_i表示识别文本中第i个词对应的词向量；w_i表示识别文本中第i个词在识别文本中所占的权重，该权重值越大，表示第i个词在识别文本中的重要度越高。

举例说明：假设目标问题对应的识别文本为“你周末喜欢做什么”，则对该识别文本进行分词后，得到的各个词为：“你”、“周末”、“喜欢”、“做”、“什么”，然后，可以计算出各个词在识别文本中所占的权重分别为“0.2”、“0.3”、“0.16”、“0.18”、“0.14”，接着，生成各个词对应的词向量分别为E₁、E₂、E₃、E₄、E₅，进而，可以利用上述公式(1)计算出目标问题“你周末喜欢做什么”的语义表示结果为：V＝0.2E₁+0.3E₂+0.16E₃+0.18E₄+0.14E₅。

步骤A2：生成画像信息库中的每条候选画像信息的语义表示结果。

在本实施例中，将以画像信息库中的某一候选画像信息为准来介绍如何生成该候选画像信息的语义表示结果，而其它候选画像信息的处理方式与之类似，不再一一赘述。

具体来讲，可以如步骤A1那样，首先利用分词方法，对该条候选画像信息进行分词，得到其包含的各个词，然后，可以计算出每个词在该条候选画像信息中所占的权重，接着，可以生成各个词对应的词向量，进而，可以根据每个词对应的词向量及每个词在该条候选画像信息中所占的权重，生成该条画像信息的语义表示结果，具体计算公式如下：

其中，V’_h表示画像信息库中的第h条候选画像信息的语义表示结果；n’表示画像信息库中的第h条候选画像信息包含的词的总个数；E’_j表示第h条候选画像信息中第j个词对应的词向量；γ_j表示第h条候选画像信息中第j个词在第h条候选画像信息中所占的权重，该权重值越大，表示第j个词在第h条候选画像信息中的重要度越高。

举例说明：假设画像信息库中第h条候选画像信息为“我喜欢篮球、羽毛球和户外徒步”，则对该条候选画像信息进行分词后，得到的各个词为：“我”、“喜欢”、“篮球”、“、”、“羽毛球”、“和”、“户外”、“徒步”，然后，可以计算出各个词在该条候选画像信息中所占的权重分别为“0.1”、“0.15”、“0.2”、“0.01”、“0.2”、“0.05”、“0.1”、“0.14”，接着，生成各个词对应的词向量分别为E’₁、E’₂、E’₃、E’₄、E’₅、E’₆、E’₇、E’₈，进而，可以利用上述公式(2)计算出第h条候选画像信息“我喜欢篮球、羽毛球和户外徒步”的语义表示结果为：V’_h＝0.1E’₁+0.15E’₂+0.2E’₃+0.01E’₄+0.2E’₅+0.05E’₆+0.1E’₇+0.14E’₈。

需要说明的是，本申请实施例不限制步骤A1和A2的执行顺序。

步骤A3：根据生成的语义表示结果，选择与目标问题在语义距离上相近的至少一条候选画像信息。

在本实施例中，通过步骤A1生成目标问题的语义表示结果V，以及通过步骤A2生成画像信息库中的每条候选画像信息的语义表示结果(如画像信息库中的第h条候选画像信息的语义表示结果V’_h)后，可以通过计算目标问题的语义表示结果与画像信息库中的每条候选画像信息的语义表示结果之间的余弦距离，得到目标问题与画像信息库中的每条候选画像信息之间的语义距离，具体计算公式如下：

sim＝cos ine(V,V’_h) (3)

其中，sim是语义距离值，用于衡量目标问题与画像信息库中第h条候选画像信息之间的语义距离；cos ine表示余弦距离计算公式；V表示目标问题的语义表示结果；V’_h表示画像信息库中第h条候选画像信息的语义表示结果。

可以理解的是，上述公式(3)中的sim取值越大，表明目标问题与画像信息库中的第h条候选画像信息之间的语义距离越小，即，二者在语义上是越相近的。

基于此，可以利用上述公式(3)计算出目标问题与画像信息库中的每条候选画像信息之间的语义距离值，进而，可以将这些语义距离值从大到小排序，并选择排序在前的预设数目的语义距离值对应的候选画像信息，作为与目标问题在语义距离上相近的候选画像信息；或者，将这些语义距离值从小到大排序，并选择排序在后的预设数目的语义距离值对应的候选画像信息，作为与目标问题在语义距离上相近的候选画像信息；或者，选择高于预设阈值的所有语义距离值对应的候选画像信息，作为与目标问题在语义距离上相近的候选画像信息。

S103：根据目标问题和人物画像信息，生成目标问题的至少一个待选回复。

在本实施例中，可以理解的是，关于目标问题的回复，与提问者在提出目标问题之前和机器的历史对话内容也是有一定的关系的，由此，为了提高生成的待选回复的准确性和合理性，可以在通过步骤S102生成提问者的人物画像信息后，将该画像信息以及目标问题所属上下文一同进行相应的编解码处理，进而可以根据解码结果，生成目标问题的至少一个待选回复。

需要说明的是，本步骤S103的具体实现方式将在第二实施例中介绍。

综上，本实施例提供的一种回复生成方法，在获取到提问者提出的目标问题后，可以先根据目标问题，生成提问者的人物画像信息，然后，利用该人物画像信息和目标问题，再生成目标问题的至少一个待选回复。可见，本申请实施例在生成目标问题的待选回复时，考虑了提出目标问题的提问者的人物画像信息，使得生成的待选回复的内容与提问者本身的个性特点更加相关，进而可以从这些待选回复中筛选出目标问题的最终回复，以满足提问者的对话需求，提高了回复生成结果的合理性。

第二实施例

本实施例将对第一实施例中步骤S103“根据目标问题和人物画像信息，生成目标问题的至少一个待选回复”的具体实现过程进行介绍。

可以理解的是，目标问题的答复与提问者提出目标问题之前和机器的对话内容是有很大关系的，所以，为了使得生成的回复更加符合提问者的对话要求，一种可选的实现方式是，步骤S103具体可以包括：根据目标上下文和提问者的人物画像信息，生成目标问题的至少一个待选回复。

其中，目标上下文包括目标问题以及目标问题之前的历史对话上文，并可以将目标上下文定义为C。需要说明的是，目标上下文C可以包括目标问题以及目标问题之前的全部历史对话上文，或者，目标上下文C也可以包括从目标问题开始向前的包含目标问题在内的部分历史对话上文。假设目标上下文C包括m条句子，这里，将这m条句子按时间顺序从前往后依次定义为u₁、u₂、…、u_m，其中，u_m指的是目标问题对应的文本内容。

进而，可以通过对目标上下文和提问者的人物画像信息进行数据处理，获取到其中与目标问题有关的信息数据，用以生成更合理的待选回复，比如，可以利用预先构建的回复生成模型，对目标上下文和提问者的人物画像信息进行编解码处理，用以生成目标问题的各个待选回复。

其中，本实施例预先构建的回复生成模型可以由多层网络构成，如图2所示，该模型结构包括了输入层、词级别编码层、句子级别编码层、回复生成层及输出层。其中，词级别编码层和句子级别编码层共同构成了模型的编码(Encoder)部分，用于将输入的目标上下文和人物画像信息编码成目标上下文编码向量

和人物画像信息编码向量

回复生成层作为模型的解码(Decoder)部分，用于对目标上下文编码向量

和人物画像信息编码向量

进行解码，再通过输出层，基于该解码结果生成目标问题的待选回复的具体内容。

具体来讲，在本实施例中，一种可选的实现方式是，参见图3，上述S103的实现方式“根据目标上下文和提问者的人物画像信息，生成目标问题的至少一个待选回复”具体可以包括以下步骤S301-S302：

S301：从目标上下文和提问者的人物画像信息中，提取出与目标问题相关的信息。

在本实现方式中，可以利用预先构建的回复生成模型，对目标上下文和提问者的人物画像信息进行编码处理，以去掉目标上下文和提问者的人物画像信息中的一些冗余信息，同时提取出与目标问题更加相关的信息，接着，再利用这些与目标问题更加相关的信息进行解码，得到相应的解码结果，用以生成合理性更高的待选回复。

具体来讲，参见图2，假设目标上下文(包含目标问题在内)中所包括的m条句子按照出现的先后顺序依次为u₁、u₂、...、u_m，其中，u_m指的是目标问题对应的文本内容，且提问者的人物画像信息中所包括的k条描述性的句子分别为p₁、p₂、...、p_k，现可以将此目标上下文和提问者的人物画像信息作为输入数据，输入至预先构建的回复生成模型后，进而可以利用该模型从目标上下文和提问者的人物画像信息中，提取出与目标问题相关的信息，具体实现过程包括下述步骤B1-B2：

步骤B1：生成目标上下文中的各条句子的第一句子表示结果，并通过关注各个第一句子表示结果中与目标问题相关的信息，得到目标上下文的上下文表示结果。

如图2所示，首先，可以将目标上下文中的m条句子u₁、u₂、...、u_m中包含的各个词的词向量，作为输入数据，输入至回复生成模型的输入层。例如，假设u₁为“你在……干嘛”，且u₁中包含有m₁个分词，则可以将每个分词依次对应的词向量

作为输入数据，输入至回复生成模型的输入层，依次类推，可以将u_i(我在……看剧)、……、u_m(看什么……电视剧)中包含的各个分词依次对应的词向量

作为输入数据，输入至回复生成模型的输入层。

然后，利用回复生成模型的词级别编码层中包含的一个共享的双向长短期记忆网络(Bi-directional Long Short-Term，简称BiLSTM)，对输入层输入的目标上下文中的每条句子包含的词向量进行编码处理，通过对每条句子分别进行编码处理，得到对应于每条句子的句子编码结果，该句子编码结果包括BiLSTM网络对对应句子中的各个分词的词向量进行编码后得到的首个节点和最后一个节点的网络输出向量的拼接结果，这里，将每条句子对应的句子编码结果，定义为对应句子的第一句子表示结果。

举例说明：如图2所示，对于目标上下文中的第一条句子u₁，利用回复生成模型的词级别编码层中的共享BiLSTM，对其包含的词向量

进行编码处理后，可以得到网络的首个节点和最后一个节点对应的网络输出向量v_1,1和

再将二者进行拼接后，可以得到句子u₁的句子编码结果h₁，即可以得到目标上下文中的第一条句子u₁的第一句子表示结果为h₁。

接着，可以利用回复生成模型的句子级别编码层，对目标上下文中的各条句子的第一句子表示结果进行进一步的编码处理，以关注到各个第一句子表示结果中与目标问题相关的信息，进而可以得到目标上下文编码向量

用以作为目标上下文的上下文表示结果。

具体来讲，如图2所示，可以利用回复生成模型的句子级别编码层，将目标上下文中各条句子的第一句子表示结果(h₁、h₂、…、h_m)分别与目标问题的第一句子表示结果(即目标上下文中最后一条句子u_m的第一句子表示结果h_m)进行注意力计算，以关注到各个第一句子表示结果中与目标问题相关的信息，进而可以去除与目标问题无关的信息，仅对关注到的这些信息进行编码即可，并且，在编码过程中，可以先计算出目标上下文中各条句子的权重，具体计算公式如下：

e_i＝V^T tanh(Wh_i+Uh_m) (4)

其中，V、W、U均表示通过对回复生成模型进行训练得到的模型参数；e_i表示目标上下文中第i条句子与目标问题(即目标上下文中第m条句子)之间的相关性；h_i表示目标上下文中第i条句子的第一句子表示结果；h_m表示目标问题(即目标上下文中第m条句子)的第一句子表示结果；α_i表示将e_i经过softmax函数归一化后得到目标上下文中第i条句子的权重，该权重的值表征了目标上下文中第i条句子与目标问题之间的相关性的高低，即，该权重的值越大，表明目标上下文中第i条句子与目标问题之间的相关性越高，反之，该权重的值越小，表明目标上下文中第i条句子与目标问题之间的相关性越低。

通过上述公式(4)和(5)计算出目标上下文中各条句子的权重后，进一步可以根据各条句子对应的权重值，计算出目标上下文的上下文表示结果，具体计算公式如下：

其中，

表示目标上下文的上下文表示结果；α_i表示目标上下文中第i条句子的权重；h_i表示目标上下文中第i条句子的第一句子表示结果。

步骤B2：生成人物画像信息中的各条句子的第二句子表示结果，并通过关注各个第二句子表示结果中与目标问题相关的信息，得到人物画像信息的画像表示结果。

如图2所示，首先，可以将人物画像信息中的k条句子p₁、p₂、...、p_k包含的各个词的词向量，作为输入数据，输入至回复生成模型的输入层。例如，假设p₁为“我喜欢……运动”，且p₁中包含有k₁个分词，则可以将每个分词依次对应的词向量

作为输入数据，输入至回复生成模型的输入层，依次类推，可以将p_i(我看过……电影)、……、p_k(喜欢武侠剧……天龙八部)中包含的各个分词依次对应的词向量

作为输入数据，输入至回复生成模型的输入层。

然后，利用回复生成模型的词级别编码层中包含的一个共享的双向长短期记忆网络BiLSTM，对输入层输入的人物画像信息中的每条句子包含的词向量进行编码处理，通过对每条句子分别进行编码处理，得到对应于每条句子的句子编码结果，该句子编码结果包括BiLSTM网络对对应句子中的各个分词的词向量进行编码后得到的首个节点和最后一个节点的网络输出向量的拼接结果，这里，将每条句子对应的句子编码结果，定义为对应句子的第二句子表示结果。

举例说明：如图2所示，对于人物画像信息中的第一条句子p1，利用回复生成模型的词级别编码层中的共享BiLSTM，对其包含的词向量

进行处理后，可以得到网络的首个节点和最后一个节点对应的网络输出向量v’_1，1和

再将二者进行拼接后，可以得到句子p₁的句子编码结果l₁，即可以得到人物画像信息中的第一条句子p₁的第二句子表示结果为l₁。

接着，可以利用回复生成模型的句子级别编码层，对人物画像信息中的各条句子的第二句子表示结果进行进一步的编码处理，以关注到各个第二句子表示结果中与目标问题相关的信息，进而可以得到人物画像信息编码向量

用以作为人物画像信息的画像表示结果。

具体来讲，如图2所示，可以利用回复生成模型的句子级别编码层，将人物画像信息中各条句子的第二句子表示结果(l₁、l₂、…、l_k)分别与目标问题的第一句子表示结果(即目标上下文中最后一条句子u_m的第一句子表示结果h_m)进行注意力计算，以关注到各个第二句子表示结果中与目标问题相关的信息，进而可以去除与目标问题无关的信息，仅对关注到的这些信息进行编码即可，并且，在编码过程中，可以先计算出人物画像信息中各条句子的权重，具体计算公式如下：

e’_j＝V₁ ^T tanh(W’l_j+U’h_m) (7)

其中，V₁ ^T、W’、U’均表示通过对回复生成模型进行训练得到的模型参数；e’_j表示人物画像信息中第j条句子与目标问题(即目标上下文中第m条句子)之间的相关性；l_j表示人物画像信息中第j条句子的第二句子表示结果；h_m表示目标问题(即目标上下文中第m条句子)的第一句子表示结果；α’_j表示将e’_j经过softmax函数归一化后得到的表示人物画像信息中第j条句子的权重，该权重的值表征了人物画像信息中第j条句子与目标问题之间的相关性的高低，即，该权重的值越大，表明表示人物画像信息中第j条句子与目标问题之间的相关性越高，反之，该权重的值越小，则表明人物画像信息中第j条句子与目标问题之间的相关性越低。

通过上述公式(7)和(8)计算出人物画像信息中各条句子的权重后，进一步可以根据各条句子对应的权重值，计算出人物画像信息的画像表示结果，具体计算公式如下：

其中，

表示人物画像信息的画像表示结果；α’_j表示人物画像信息中第j条句子的权重；l_j表示人物画像信息中第j条句子的第二句子表示结果。

S302：根据提取的相关信息，生成目标问题的至少一个待选回复。

通过步骤S301从目标上下文和人物画像信息中，提取出与目标问题相关的信息后，比如获取到目标上下文编码向量

和人物画像信息编码向量

后，如图2所示，首先，可以利用回复生成模型的回复生成层中包含的一个单向长短期记忆网络(Long Short-Term，简称LSTM)，对目标上下文编码向量

和人物画像信息编码向量

进行解码，得到该回复生成层在每一生成时刻生成的内部解码状态，具体计算公式如下：

其中，S_t表示回复生成层在第t个生成时刻所生成的内部解码状态；s_t-1表示回复生成层在第t-1个生成时刻所生成的内部解码状态；y_t-1表示输出层在第t-1个生成时刻所生成的词对应(即输出层输出的待选回复中的第t-1个词)的词向量；

表示将目标上下文编码向量

和人物画像信息编码向量

拼接后的向量。

需要说明的是，为了得到回复生成层在第1个生成时刻生成的内部解码状态S₁，可以将词向量y₀设置为一个特殊符号，并且，将回复生成层在第0个生成时刻的内部解码状态s₀设置为目标问题的第一句子表示结果h_m，以便进一步执行后续的解码步骤。

接着，可以利用回复生成模型的输出层，根据回复生成层的每一个生成时刻所生成的内部解码状态，得到对应于每一生成时刻的词概率分布，进而，根据对应于每一生成时刻的词概率分布，得到每一生成时刻的词，这些词按照生成顺序组成待选回复。

具体来讲，可以通过回复生成模型的输出层，根据回复生成层在第t个生成时刻所生成的内部解码状态S_t，利用预先构建的候选词典进行概率计算，其中，在构建候选词典时，可以将日常回复经常使用的词汇按照其出现频率的大小进行排序，并将其中出现频率很低的词汇去除，同时将剩下的出现频率较高的L个词构成候选词典。这样，输出层即可利用该候选词典，根据回复生成层在第t个生成时刻所生成的内部解码状态S_t，得到对应于该生成时刻的长度为L的概率分布，即，该概率分布中包含了第t个生成时刻所生成的词为候选词典中这L个不同词中每一词时的概率，进而，为了提高回复生成结果的准确性，可以选择出其中最大概率值对应的词作为第t个生成时刻所生成的词，其中，第t个生成时刻所生成的词概率分布的具体计算公式如下：

z_t＝soft max(s_t) (11)

其中，z_t表示第t个生成时刻所生成的词概率分布；s_t表示回复生成层在第t个生成时刻所生成的内部解码状态。

需要说明的是，在模型的实际解码过程中，为了提高模型的工作效率，尽量减少模型的冗余计算流程，可以预先设置一个特殊符号，如<end>，作为停止解码的标识，当模型在解码过程中生成该标识时，则停止解码操作，反之，若未设置该特殊符号，会一直解码到预设的最大回复长度才停止解码。

在上述介绍内容中，当利用回复生成模型对目标上下文和提问者的人物画像信息进行编解码处理时，充分考虑到了提问者自身的个性特点，并且在编解码处理过程中，去除了与目标问题无关的信息，仅对关注到的、与目标问题相关的信息进行解码处理，进而可以根据解码结果，生成准确性更高、更符合提问者需求的回复。

需要说明的是，为了进一步提高回复生成结果的准确性，使得回复能够满足提问者的对话需求，一种可选的实现方式是，本实施例还可以通过下述步骤S401-S403，来生成目标问题的至少一个待选答复：

S401：利用N个回复生成模型分别确定第t个生成时刻对应的概率分布，N≥1。

在本实现方式中，为了提高回复结果的准确性，可以预先训练多个回复生成模型，并用这些回复生成模型分别确定出第t个生成时刻对应的概率分布。比如，可以预先训练N个回复生成模型，用以确定出N个第t个生成时刻对应的概率分布。

其中，概率分布包括第t个生成时刻所生成的词为候选词典中每一候选词时的概率，该概率表示第t个生成时刻所生成的词为候选词典中每一候选词时的可能性大小，若第t个生成时刻所生成的词为候选词典中某一候选词时的概率较大，则表明第t个生成时刻所生成的词为该候选词的可能性较大，反之，若第t个生成时刻所生成的词为候选词典中某一候选词时的概率较小，则表明第t个生成时刻所生成的词为该候选词的可能性较小。

举例说明：可以预先训练5个回复生成模型，然后利用这5个回复生成模型的输出层，通过公式(11)，分别确定出5个第t个生成时刻对应的概率分布，分别为

其中，每一概率分布均包括了第t个生成时刻所生成的词为候选词典中每一候选词时的概率。

需要说明的是，本实现方式中，在利用这N个回复生成模型各自确定第t个生成时刻对应的概率分布时，所依据的候选词典为同一个。

S402：根据N个回复生成模型各自确定的概率分布，从候选词典中选择M个候选词，作为第t个生成时刻所生成的词，M≥1。

通过步骤S401利用N个回复生成模型分别确定出第t个生成时刻对应的概率分布后，即，利用N个回复生成模型分别确定出第t个生成时刻所生成的词为候选词典中每一候选词时的概率后，基于所依据的候选字典为同一个，则可以确定出这N个概率分布的维度是相同的，且每一维度对应的概率值对应表示第t个生成时刻所生成的词为候选词典中某一候选词时的概率，从而可以将该生成时刻确定出的N个概率分布求平均，得到该生成时刻对应的平均概率分布，其中，该平均概率分布包括第t个生成时刻所生成的词为候选词典中每一候选词时的平均概率。也就是说，对于候选词典中的每一候选词，将该候选词的N个概率值取平均，得到该候选词的平均概率，故而，当候选词典包括L个词时，上述平均概率分布则包括对应于这L个词的L个平均概率。

进一步的，在确定出第t个生成时刻所生成的词为候选词典中每一候选词时的平均概率后，可以从中选择出M个较高的平均概率分别对应的M个候选词，作为第t个生成时刻所生成的词，其中，M≥1。例如，可以将M值取为2，则可以从平均概率分布中选择出2个较高的平均概率分别对应的2个候选词，作为第t个生成时刻所生成的词。

S403：将各个生成时刻所生成的词进行组合，得到至少一个待选回复。

通过步骤S402从候选词典中选择M个候选词，作为第t个生成时刻所生成的词后，可以将每一生成时刻所生成的词进行组合，以得到至少一个待选回复。具体来讲，将生成待选回复的过程中所经历的生成时刻总个数设为n，且每一个生成时刻选择了M个候选词，则将每一生成时刻所生成的词进行组合后，可以得到的待选回复个数为Mⁿ，即，可以得到Mⁿ个待选回复。

举例说明：假设在生成回复的过程中共经历了3个生成时刻，且每一生成时刻选择了2个候选词，具体为：第1个生成时刻选择的候选词为A、B，第2个生成时刻选择的候选词为C、D，第3个生成时刻选择的候选词为E、F，则将每一生成时刻所生成的词进行组合后，可以得到的待选回复个数为：2³＝8，这8个待选回复具体为：ACE、ACF、ADE、ADF、BCE、BCF、BDE、BDF。

需要说明的是，在上述内容中，各个生成时刻所选择的候选词个数M是相同的，但在本实施例中，各个生成时刻所选择的候选词个数M也可以不同，且各个候选词之间的组合方式与上述内容类似，此处不再赘述。

接下来，本实施例将对回复生成模型的构建过程进行简单介绍。具体可以包括以下步骤C1-C3：

步骤C1：形成模型训练数据。

在本实施例中，为了构建回复生成模型，需要预先收集大量的候选画像信息(用以构成画像信息库，其相关内容请参见第一实施例)、大量的人类对话上下文、以及每一人类对话上下文中的最后一个问题对应的实际回复内容，将这些收集到的数据作为模型训练数据。

步骤C2：构建回复生成模型。

可以构建一个初始的回复生成模型，并初始化模型参数。

需要说明的是，本实施例不限制步骤C1与步骤C2的执行顺序。

步骤C3：利用预先收集的模型训练数据，对回复生成模型进行训练。

在本实施例中，通过步骤C1收集到模型训练数据后，可以利用该模型训练数据对通过步骤C2构建的回复生成模型进行训练，通过多轮模型训练，直到满足训练结束条件为止，此时，即训练得到回复生成模型。

具体地，在进行本轮训练时，需要从上述模型训练数据中选择一组人类对话上下文(将其中的最后一个问题定义为样本问题)，此时，将上述实施例中的目标上下文替换为该人类对话上下文，按照上述实施例介绍的方式，生成该人类对话上下文对应的人物画像信息，并预测生成上述样本问题对应的样本回复。然后，根据预测出的样本回复内容与该人类对话上下文对应的实际回复内容之间的差异，对回复生成模型的参数进行更新，即完成了回复生成模型的本轮训练。

综上，本实施例利用预先构建的回复生成模型对人物画像信息以及目标上下文进行编解码处理，以提取出目标上下文和提问者的人物画像信息中与目标问题相关的信息，并去除了与目标问题无关的信息，从而可以根据对提取出的与目标问题相关信息进行解码处理得到的解码结果，生成准确性更高、更符合提问者需求的各个待选回复。

第三实施例

为便于理解，本实施例将结合图5所示的一种回复生成方法的结构示意图。对本申请实施例提供的回复生成方法的整体实现过程进行介绍。

如图5所示，该结构中包含画像管理模块和回复生成模块，其中，画像管理模块用于生成目标问题的提问者的人物画像信息；回复生成模块用于生成目标问题的至少一个候选回复。

具体来讲，本申请实施例的整体实现过程为：首先，可以获取到提问者通过语音或文本的方式输入的目标问题；然后，可以利用画像管理模块，根据获取到的目标问题，从预先构建的画像信息库中，选择出与目标问题语义相近的至少一条候选画像信息，作为提问者的人物画像信息，并将该人物画像信息输入至回复生成模块；接着，回复生成模块可以利用接收到的人物画像信息、以及包括目标问题和目标问题之前的历史对话上文组成的目标上下文，进行编解码处理，以提取出目标上下文和提问者的人物画像信息中与目标问题相关的信息，去除与目标问题无关的信息，进而可以根据解码结果，生成准确性更高、更符合提问者需求的各个候选回复，并可以将该回复通过语音和/或文本的形式进行输出，以便可以从各个待选回复中选择目标问题的最终回复。需要说明的是，具体回复生成过程参见第一实施例和第二实施例中步骤S101～S103的详细介绍。

第四实施例

本实施例将对一种回复生成装置进行介绍，相关内容请参见上述方法实施例。

参见图6，为本实施例提供的一种回复生成装置的组成示意图，该装置600包括：

目标问题获取单元601，用于获取提问者提出的目标问题；

画像信息生成单元602，用于根据所述目标问题，生成所述提问者的人物画像信息；

待选回复生成单元603，用于根据所述目标问题和所述人物画像信息，生成所述目标问题的至少一个待选回复。

在本实施例的一种实现方式中，所述画像信息生成单元602具体用于：

在本实施例的一种实现方式中，所述画像信息生成单元602包括：

在本实施例的一种实现方式中，所述待选回复生成单元603具体用于：

在本实施例的一种实现方式中，所述待选回复生成单元603包括：

在本实施例的一种实现方式中，所述相关信息提取子单元包括：

在本实施例的一种实现方式中，所述待选回复生成子单元包括：

进一步地，本申请实施例还提供了一种回复生成设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述回复生成方法的任一种实现方法。

进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述回复生成方法的任一种实现方法。

进一步地，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述回复生成方法的任一种实现方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种回复生成方法，其特征在于，包括：

获取提问者提出的目标问题；

根据所述目标问题，生成所述提问者的人物画像信息，所述提问者的人物画像信息指的是描述人物个性特点的信息；

根据所述目标问题和所述人物画像信息，生成所述目标问题的至少一个待选回复，以使得生成的回复的内容不仅与对话内容相关，也与所述提问者本身的个性特点相关；

其中，所述生成所述目标问题的至少一个待选回复，包括：

利用N个回复生成模型分别确定第t个生成时刻对应的概率分布，所述概率分布包括第t个生成时刻所生成的词为候选词典中每一候选词时的概率，所述概率表示第t个生成时刻所生成的词为候选词典中每一候选词时的可能性大小，N≥1；

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标问题，生成所述提问者的人物画像信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述从预先构建的画像信息库中，选择与所述目标问题语义相近的至少一条候选画像信息，包括：

生成所述目标问题的语义表示结果；

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述目标问题和所述人物画像信息，生成所述目标问题的至少一个待选回复，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据目标上下文和所述人物画像信息，生成所述目标问题的至少一个待选回复，包括：

6.根据权利要求5所述的方法，其特征在于，所述从所述目标上下文和所述人物画像信息中，提取出与所述目标问题相关的信息，包括：

7.一种回复生成装置，其特征在于，包括：

目标问题获取单元，用于获取提问者提出的目标问题；

画像信息生成单元，用于根据所述目标问题，生成所述提问者的人物画像信息，所述提问者的人物画像信息指的是描述人物个性特点的信息；

待选回复生成单元，用于根据所述目标问题和所述人物画像信息，生成所述目标问题的至少一个待选回复，以使得生成的回复的内容不仅与对话内容相关，也与所述提问者本身的个性特点相关；

其中，所述生成所述目标问题的至少一个待选回复，包括：

8.根据权利要求7所述的装置，其特征在于，所述待选回复生成单元具体用于：

9.根据权利要求8所述的装置，其特征在于，所述待选回复生成单元包括：

10.一种回复生成设备，其特征在于，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-6任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-6任一项所述的方法。