CN115510194A

CN115510194A - 问答语句检索方法、装置、电子设备及存储介质

Info

Publication number: CN115510194A
Application number: CN202211245565.7A
Authority: CN
Inventors: 张�浩; 陈明浩; 张舒沁
Original assignee: Agricultural Bank of China
Current assignee: Agricultural Bank of China
Priority date: 2022-10-12
Filing date: 2022-10-12
Publication date: 2022-12-23

Abstract

本申请提供一种问答语句检索方法、装置、电子设备及存储介质，通过获取第一提问语句，第一提问语句为基于自然语言的字符串；将第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，匹配值表征待选语句作为第一提问语句的回答语句的合理程度，其中，语句处理模型用于根据第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值；基于各待选语句的匹配值，得到目标回答语句。由于语句处理模型能够解析第一提问语句在多个评估维度下的特征信息，并基于各评估维度下的特征信息对语料库中的待选语句作为回答语句的合理程度进行评估，使得到的匹配值能够兼顾多个评估维度下的特征，提高匹配准确性和命中率。

Description

问答语句检索方法、装置、电子设备及存储介质

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种问答语句检索方法、装置、电子设备及存储介质。

背景技术

当前，随着互联网电商、在线教育、金融等各行各业客户服务量的高速增长，传统的客户服务模式已无法全面满足企业发展的业务需求，服务成本大幅增长，在这样的大背景下，以人工智能技术为核心的智能客服问答系统应运而生。通过智能客服问答系统进行问答语句检索，企业可以通过互联网向无数顾客提供多渠道的在线客户服务，从而可以在保证服务质量和服务效率的同时，大幅降低企业客服成本的开支。

现有技术中，智能客服问答系统通常是基于预训练的语言模型来针对用户输入的提问语句，从语料库中进行语句检索，得到最匹配的回答语句，并反馈给用户，完成智能问答的过程。

然而，现有技术中的问答语句的检索方法，存在匹配准确性差、命中率低等问题。

发明内容

本申请提供一种问答语句检索方法、装置、电子设备及存储介质，用以解决上述问答语句的检索过程中存在的匹配准确性差、命中率低等问题。

第一方面，本申请提供了一种问答语句检索方法，包括：

获取第一提问语句，所述第一提问语句为基于自然语言的字符串；将所述第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，所述匹配值表征所述待选语句作为所述第一提问语句的回答语句的合理程度，其中，所述语句处理模型用于根据所述第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值；基于各所述待选语句的匹配值，得到目标回答语句。

在一种可能的实现方式中，所述语句处理模型包括多任务层和输出层，所述将所述第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，包括：通过所述多任务层，获取所述第一提问语句在目标评估维度上的第一特征信息；通过所述输出层，处理所述第一特征信息和各所述待选语句在所述目标评估维度下的第二特征信息，得到各所述第二特征信息对应的匹配值。

在一种可能的实现方式中，所述目标评估维度包括语句相似性维度和语义相关性维度；通过所述输出层，处理所述第一特征信息和各所述待选语句在所述目标评估维度下的第二特征信息，得到各所述第二特征信息对应的匹配值，包括：通过所述输出层，计算所述第一特征信息与所述第二特征信息的语句相似度，和/或语义相关度，得到各所述第二特征信息对应的匹配值。

在一种可能的实现方式中，所述语句处理模型还包括共享层，所述方法还包括：通过所述共享层，对所述第一提问语句进行编码，得到第一提问语句中的各字词单元对应的嵌入向量，所述嵌入向量表征所述字词单元在所述第一提问语句中的上下文信息。

在一种可能的实现方式中，所述共享层包括第一共享层和第二共享层，所述第一共享层用于提取所述第一提问语句中的各字词单元对应的词向量；所述第二共享层用于基于Transformer编码器，将所述词向量转换为所述嵌入向量。

在一种可能的实现方式中，所述方法还包括：获取至少两个目标任务对应的样本数据，所述目标任务用于确定对应评估维度下的回答语句；基于所述样本数据对预设的多任务模型进行训练，得到所述语句处理模型。

在一种可能的实现方式中，基于所述样本数据对预设的多任务模型进行训练，得到所述语句处理模型，包括：基于所述样本数据，分别对预设的至少两个多任务模型进行训练，生成对应的第一多任务模型；基于各所述第一多任务模型集合，进行知识蒸馏，得到所述语句处理模型。

第二方面，本申请提供了一种问答语句检索装置，包括：

接收模块，用于获取第一提问语句，所述第一提问语句为基于自然语言的字符串；

处理模块，用于将所述第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，所述匹配值表征所述待选语句作为所述第一提问语句的回答语句的合理程度，其中，所述语句处理模型用于根据所述第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值；

输出模块，用于基于各所述待选语句的匹配值，得到目标回答语句。

在一种可能的实现方式中，所述语句处理模型包括多任务层和输出层，所述处理模块在将所述第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值时，具体用于：通过所述多任务层，获取所述第一提问语句在目标评估维度上的第一特征信息；通过所述输出层，处理所述第一特征信息和各所述待选语句在所述目标评估维度下的第二特征信息，得到各所述第二特征信息对应的匹配值。

在一种可能的实现方式中，所述目标评估维度包括语句相似性维度和语义相关性维度；所述处理模块在通过所述输出层，处理所述第一特征信息和各所述待选语句在所述目标评估维度下的第二特征信息，得到各所述第二特征信息对应的匹配值时，具体用于：通过所述输出层，计算所述第一特征信息与所述第二特征信息的语句相似度，和/或语义相关度，得到各所述第二特征信息对应的匹配值。

在一种可能的实现方式中，所述语句处理模型还包括共享层，所述处理模块，还用于：

通过所述共享层，对所述第一提问语句进行编码，得到第一提问语句中的各字词单元对应的嵌入向量，所述嵌入向量表征所述字词单元在所述第一提问语句中的上下文信息。

在一种可能的实现方式中，所述问答语句检索装置，还包括：训练模块，所述训练模块用于：获取至少两个目标任务对应的样本数据，所述目标任务用于确定对应评估维度下的回答语句；基于所述样本数据对预设的多任务模型进行训练，得到所述语句处理模型。

在一种可能的实现方式中，所述训练模块在基于所述样本数据对预设的多任务模型进行训练，得到所述语句处理模型时，具体用于：基于所述样本数据，分别对预设的至少两个多任务模型进行训练，生成对应的第一多任务模型；基于各所述第一多任务模型集合，进行知识蒸馏，得到所述语句处理模型。

第三方面，本申请提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如本申请实施例第一方面任一项所述的问答语句检索方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本申请实施例第一方面任一项所述的问答语句检索方法。

根据本申请实施例的第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面任一项所述的问答语句检索方法。

本申请提供的问答语句检索方法、装置、电子设备及存储介质，通过获取第一提问语句，所述第一提问语句为基于自然语言的字符串；将所述第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，所述匹配值表征所述待选语句作为所述第一提问语句的回答语句的合理程度，其中，所述语句处理模型用于根据所述第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值；基于各所述待选语句的匹配值，得到目标回答语句。由于语句处理模型能够解析第一提问语句在多个评估维度下的特征信息，并基于各评估维度下的特征信息对语料库中的待选语句作为回答语句的合理程度进行评估，使得到的匹配值能够兼顾多个评估维度下的特征，从而使各待选语句的匹配度能够更加准确的表现各待选语句作为回答语句的合理性，提高匹配准确性和命中率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的问答语句检索方法的一种应用场景图；

图2为本申请一个实施例提供的问答语句检索方法的流程图；

图3为本申请实施例提供的一种语料库中的待选语句示意图；

图4为图2所示实施例中步骤S102的一种具体实现步骤流程图；

图5为本申请另一个实施例提供的问答语句检索方法的流程图；

图6为图6所示实施例中步骤S202的一种具体实现步骤流程图；

图7为本申请一个实施例提供的问答语句检索装置的结构示意图；

图8为本申请一个实施例提供的电子设备的示意图；

图9是本申请一个示例性实施例示出的一种终端设备的框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请的技术方案中，所涉及的用户个人信息以及金融数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

首先对本申请所涉及的名词进行解释：

自然语言处理(NLP)：是计算机科学领域与人工智能领域中的一个重要方向，利用人类交流所使用的自然语言与机器进行交互通讯的技术，通过人为的对自然语言的处理，使得计算机对其能够可读并理解，包括自然语言理解(NLU)和自然语言生成(NLG)两部分。

智能问答系统：以一问一答形式，精确的定位用户所需要的提问知识，通过互联网与用户进行交互，为用户提供个性化的信息服务。智能问答系统是将积累的无序语料信息，进行有序和科学的整理，并建立基于知识的模型，节约资源，提高信息处理的自动性，降低运营成本，提高效率。

知识蒸馏(KD)：是一种用于实现模型压缩的方法，用于模型压缩指的是在教师-学生(teacher-student)框架中，将复杂、学习能力强的网络(teacher模型)学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的网络(student模型)，一般可以提高student网络的精确度。

下面对本申请实施例的应用场景进行解释：

图1为本申请实施例提供的问答语句检索方法的一种应用场景图，本申请实施例提供的问答语句检索方法可以应用于智能问答客服系统的场景下，示例性地，如图1所示，本申请实施例提供的方法的执行主体可以为服务器或者终端设备，以服务器为例，其中，服务器内运行有智能问答客服系统，服务器与用户操作的用户终端设备通信，用户终端设备例如为智能手机，用户通过操作用户终端设备，向服务器发送提问请求，提问请求中包括提问语句，服务器在接收到该提问请求后，对该提问请求进行解码处理，获得其中的提问语句后，基于提问语句的内容进行自动分析，之后从语料库中检索出与之匹配的回答语句，并将该回答语句作为回答响应发送至用户终端设备，完成智能问答的过程。另一种可能的实现方式中，本申请实施例提供的方法的执行主体可以还可以为终端设备，例如自动问答机器人，通过检测声音信号，获得用户发出的提问语句，之后基于提问语句进行处理，得到对应的回答语句并进行播放，具体执行过程与服务器一侧的执行过程类似，不再赘述。

当前，以人工智能技术为核心的自然语言交互系统，可以基于预训练的语言模型，来生成与提问语句匹配的回答语句。但针对金融行业的智能客服问答系统，由于其行业性质的特殊性，不允许客服系统基于语言模型，随意生成回答内容，而通常是基于预设的语料库，进行问答语句检索，最终从语料库中选择出最为匹配的回答语句。

然而，由于语料库中的待选语句数量有限，在实际应用过程中，为了保证命中率，通常是基于一个维度对各待选语句进行评估，例如，各待选语句与提问语句的语句相似度，或者，各待选语句与提问语句的字、词的匹配度，在基于一个维度对各待选语句进行评估时，需要满足匹配度非常高(即判断阈值较高)的情况下，才能保证得到的回答语句的合理性，例如，用户输入的提问语句与语料库中的待选语句完全一致，此时，系统可以得到一个完全精准、正确的回答语句，然而，当匹配度较低的情况下，则系统无法提供准确的回答语句，从而导致匹配准确性差、命中率低的问题。本申请提供了一种问答语句检索方法、装置、电子设备及存储介质以解决上述问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请一个实施例提供的问答语句检索方法的流程图，如图2所示，本实施例提供的问答语句检索方法包括以下几个步骤：

步骤S101，获取第一提问语句，第一提问语句为基于自然语言的字符串。

示例性地，第一提问语句表征用户的提问内容的信息，基于不同的执行主体，当执行主体为服务器时，第一提问语句可以通过接收用户终端设备发送的语音数据而获得的，更具体地，例如用户通过手机拨打客服系统电话，通过手机向服务器发送的语音数据，或者，用户通过智能手机上运行的应用程序(Application，App)，向服务器发送的语音数据。而当执行主体为终端设备时，第一提问语句还可以是通过检测声音信号而获得的。其中，第一提问语句为基于自然语言的字符串，字符串中的内容，即用户提问的内容。

由于第一提问语句是基于自然语言，因此，受用户语言习惯的影响，对应相同的实际语义，第一提问语句的实现形式可能有多种，例如，第一提问语句Q1为“我想问一下当前存款利率”，第一提问语句Q2为“现在存款利率是多少了”。其中，第一提问语句Q1和第一提问语句Q2所对应的实际语义均为询问当前存款利率，但二者的表达形式不同，即第一提问语句Q1和第一提问语句Q2的实现形式不同。因此，需要对第一提问语句进行处理后，从预设的语料库中匹配对应的回答语句。具体处理过程在后续步骤中介绍。

步骤S102，将第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，匹配值表征待选语句作为第一提问语句的回答语句的合理程度，其中，语句处理模型用于根据第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值。

示例性地，在获得第一提问语句后，以第一提问语句为输入参数，输入预设的语句处理模型，利用该语句处理模型的能力对第一提问语句进行处理，之后，获得该语句处理模型的输出结果，其中，该语句处理模型关联预设的语料库，语料库中包括多个待选语句。更具体地，在一种可能的实现方式中，待选语句可以是由待选提问语句和一一对应的待选回答语句构成的语句对。例如，图3为本申请实施例提供的一种语料库中的待选语句示意图，如图3所示，语料库中至少包括待选语句#1、待选语句#2和待选语句#3。其中，待选语句#1为{Q1-A1}、待选语句#2为{Q2-A2}、待选语句#3为{Q3-A3}。更具体地，以待选语句#1为例，待选语句#1中的Q1为字符串“5年期存款利率查询”，待选语句#1中的A1为字符串“年利率3.25”。即待选语句#1中包括待选提问语句Q1，以及对应的待选回答语句A1。待选语句#2、待选语句#3等类似，不再赘述。进一步地，语句处理模型的输出结果即预设语料库内的各待选语句中的待选回答语句作为该第一提问语句的回答语句的合理程度，也即，各待选语句的匹配值。匹配值越大，说明预设语料库内的各待选语句中的待选回答语句作为该第一提问语句的回答语句的合理程度越高，反之，则合理程度越低。通过该语句处理模型，即可实现对语料库内的各待选语句的匹配值评估，进而在后续步骤中，基于匹配值确定出需要的回答语句，即目标回答语句。

进一步地，示例性地，语句处理模型可以提取第一提问语句在至少两个评估维度下的特征信息，并基于各评估维度下的特征信息，依次对应的评估各待选语句作为第一提问语句的回答语句的合理程度，即评估值；之后，在综合加权每一待选语句在各评估维度下的评估值后，得到各待选语句的匹配值。其中，评估维度是指评估待选语句作为为第一提问语句的回答语句的合理程度的方法和规则。特征信息是指在对应的评估维度下，第一提问语句所具有的特征，更具体地，特征信息可以是对应维度下的特征向量，通过对第一特征语句进行特征提取和/或特征变换后得到。

在指评估待选语句作为第一提问语句的回答语句的合理程度时，是通过对比第一提问语句与待选语句中的待选提问语句在语句和语义层面的相似度，进而确定对应的合理程度的。对于第一提问语句与待选语句中的待选提问语句在语句和语义层面的相似度的评估方法，通常具有多种实现方法，即具有多个不同的评估维度。例如，第一提问语句与待选提问语句的语句重复率维度，即第一提问语句与待选提问语句中的各字、词的内容一致性和顺序一致性。再例如，第一提问语句与待选提问语句的语义相似性维度，即第一提问语句与待选提问语句在语义层面的一致性，再例如，第一提问语句与待选提问语句的上下文语境维度，即第一提问语句与待选提问语句在上下文语境中的一致性等。利用语句处理模型可以实现从多个评估维度的评估，从而使生成的匹配值能够兼顾各个评估维度的特征，从而提高回答语句的合理程度。

在一种可能的实现方式中，如图4所示，语句处理模型包括多任务层和输出层，步骤S102的具体实现步骤包括：

步骤S1021：通过多任务层，获取第一提问语句在目标评估维度上的第一特征信息；

步骤S1022：通过输出层，处理第一特征信息和各待选语句在目标评估维度下的第二特征信息，得到各第二特征信息对应的匹配值。

示例性地，语句处理模型中的多任务层和输出层依次连接，第一提问语句依次经过多任务层和输出层进行处理。其中，具体地，多任务层对应多个评估单元，每一评估单元对应一个评估维度，在第一提问语句经过多任务层进行处理后，每一评估单元分别对第一提问语句对应的字符串进行特征提取，生成第一提问语句对应的字符串在该评估维度下的特征，具体地，例如，目标评估维度包括语句重复率维度和上下文语境维度，多任务层包括的多个评估单元中，包括目标评估单元D1、目标评估单元D2，其中，目标评估单元D1对应语句重复率维度，用于提取对应的第一特征信息F1，语句重复率维度对应第一特征信息F1表征构成第一提问语句的字、词以及字词之间的顺序特征。目标评估单元D2对应上下文语境维度，用于提取对应的第一特征信息F2，上下文语境维度对应的第一特征信息F2表征第一提问语句的上下文语义特征。

之后，通过输出层，分别获取各待选语句在目标评估维度下的第二特征信息，并对第一特征信息和各第二特征信息进行比较，基于比较结果，即第一特征信息和各第二特征信息的相似度，得到各第二特征信息对应的匹配值，即各待选语句的匹配值。例如，参考步骤S1022中的实施例，在语句重复率维度下，获得各待选语句(的待选提问语句)的字、词以及字词之间的顺序特征，即第二特征信息F1_1至F1_N，其中N为待选语句的数量，再在上下文语境维度下，获得各待选语句(的待选提问语句)的上下文语义特征，即第二特征信息F2_1至F2_N。进而，基于第二特征信息F1_1至F1_N与第一特征信息F1的比较结果，得到各第二特征信息F1_1至F1_N对应的第一评估值；基于第二特征信息F2_1至F2_N与第一特征信息F2的比较结果，得到各第二特征信息F2_1至F2_N对应的第二评估值，对第一评估值和第二评估值进行加权计算，得到各第二特征信息(1至N)对应的匹配值，也即各待选语句的匹配值。

步骤S103，基于各待选语句的匹配值，得到目标回答语句。

示例性地，在得到各待选语句的匹配值后，匹配值越大，说明预设语料库内的各待选语句中的待选回答语句作为该第一提问语句的回答语句的合理程度越高，反之，则合理程度越低。因此，基于各待选语句的匹配值进行排序，将其中匹配值最大的一个或多个待选语句的待选回答语句，作为第一提问语句对应的目标回答语句。示例性地，之后，将该目标回答语句发送给用户终端设备，或者，基于交互单元进行声音播放或文字显示，实现针对第一提问语句的自动问答响应。

本实施例中，通过获取第一提问语句，第一提问语句为基于自然语言的字符串；将第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，匹配值表征待选语句作为第一提问语句的回答语句的合理程度，其中，语句处理模型用于根据第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值；基于各待选语句的匹配值，得到目标回答语句。由于语句处理模型能够解析第一提问语句在多个评估维度下的特征信息，并基于各评估维度下的特征信息对语料库中的待选语句作为回答语句的合理程度进行评估，使得到的匹配值能够兼顾多个评估维度下的特征，从而使各待选语句的匹配度能够更加准确的表现各待选语句作为回答语句的合理性，提高匹配准确性和命中率。

图5为本申请另一个实施例提供的问答语句检索方法的流程图，如图5所示，本实施例提供的问答语句检索方法在图2所示实施例提供的问答语句检索方法的基础上，对步骤S102进一步细化，并增加了对语句处理模型进行训练的步骤，其中，本实施例提供的方法中，语句处理模型包括多共享层、多任务层和输出层，则本实施例提供的语句处理模型包括以下几个步骤：

步骤S201，获取至少两个目标任务对应的样本数据，目标任务用于确定对应评估维度下的回答语句。

步骤S202，基于样本数据对预设的多任务模型进行训练，得到语句处理模型。

示例性地，步骤S201-S02是对语句处理模型进行训练的过程。其中，首先基于两个目标任务对应的样本数据，对多任务模型进行训练至收敛，得到训练后的第一多任务模型，其中，目标任务即基于提问语句，在对应的目标评估维度下，获得匹配的回答语句的任务。例如，在语句重复率维度维度，获得提问语句对应的回答语句，再例如，在上下文语境维度，获得提问语句对应的回答语句等。当目标任务不同时，由于评估维度不同，因此所获得的样本数据(包括提问语句和通过目标任务得到的对应的回答语句)也不同。之后，基于各样本数据对多任务模型进行训练，即可生成能够根据第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值的语句处理模型。

在一个更加具体的实施例中，对预设的多任务模型进行训练，得到语句处理模型的过程包括：

多任务学习模型包括依次连接的共享层(Shared Layers)和特定任务层，其中共享层依次包括词库编码器、L1层、Transformer编码器、L2层，其中，共享层的输入为句子或者一对句子，或者成为单词序列，在编码之前需要对句子进行简单的自然语言处理，分割为字或者词，然后经过词库编码器生成相应词的位置向量和段落向量等；之后在L1中表示为一系列embedding向量，每个单词对应一个embedding向量，然后使用Transformer做特征提取器，在L2中生成一系列的上下文embedding向量表示。

特定任务层经过特定的任务损失函数来进行训练，例如：分类，排序和回归，主要对应的功能可以分为单句分类、释义文本分类、文本相似度评分、相关性排序，本文中应用于智能客服系统的任务主要有相关性排序，即给定一个问题和一系列候选答案，模型为所有候选答案进行排序，从而得到最相关的问题答案。

其中，L1(Lexicon Encoder)可以理解为一个词向量层，第一个字符永远是CLS，如果有两个句子，可以在中间再加一个SEP字符，这里包含了位置编码(position encoding)和段落编码(segment encoding)。L2可以理解为运用Transformer编码器把词向量变成上下文表示。其在不同任务间共享参数。对于特定任务层，本文中提到的智能客服系统主要运用的是相关性排序(Relevance Ranking)。假设X是[CLS]的上下文嵌入向量，它是一对问题及其候选问题答案的语义表示。根据该X可以得到对应的计算相关分数。之后基于该计算相关分数计算梯度，并进行模型参数调整，直至收敛后，得到语句处理模型。

具体地，对多任务模型进行训练主要分为两步，预训练和多任务学习的微调。其中，预训练方法运用ALBERT-large，利用ALBERT中句子顺序预测方法(SOP：Sentence OrderPrediction)，利用ALBERT取代BERT进行预训练，可有效提高训练效率。SOP的设计明显优于BERT中的下一句预测(NSP：Next Sentence Predition)。

进一步地，多任务学习的微调的具体步骤，包括：使用到mini-batch的随机梯度下降(SGD)学习所有的参数。每一epoch，一个mini-batch会被选择，然后所有模型都会为任务更新参数。更具体地，实现步骤包括：

Step1：随机初始化模型参数θ；

Step2：预先训练共享层，包括词库编码器、Transformer编码器；

Step3：设置epoch的最大数值epoch_max，为T个任务做准备；

Step4：遍历这T个任务，将每个子任务t打包进min-batch，称之为D_t；

Step5：从1到epoch_max，遍历取值，合并Step4所获得到的D_t元素，得到D集合，并且打乱D集合内元素的顺序，然后遍历D中的元素，计算损失函数L(θ)，得到损失函数后，再计算梯度，最后更新模型，循环本步骤，直至模型收敛。

进一步地，在一种可能的实现方式中，如图6所示，步骤S202的具体实现步骤包括：

步骤S2021，基于样本数据，分别对预设的至少两个多任务模型进行训练，生成对应的第一多任务模型。

步骤S2022，基于各第一多任务模型集合，进行知识蒸馏，得到语句处理模型。

示例性地，通过多组样本数据，分别对不同的多任务模型进行训练，之后，生成对应的第一多任务模型，具体实现步骤可参考步骤S202对应的训练过程说明，不再赘述。之后，再对各第一多任务模型进行知识蒸馏，得到一个更轻量化、便于部署的模型。

在一个更加具体的实施例中，对第一多任务模型进行知识蒸馏的过程包括：

挑选一些有特定标注的训练数据的任务。然后对于每一个任务，训练一个由不同的神经网络组成的集成体作为教师。神经网络即上述多任务模型的实例，并使用特定的任务训练数据进行微调，同时其共享层的参数通过多任务学习在语料数据集上预训练模型进行初始化，其特定任务输出层的参数被随机初始化。对于每个任务，教师为每个特定任务的训练样本生成一组软目标，软目标在训练过程中可以提供更大的信息熵，这里提到的软目标实际上是已经训练好的复杂模型的softmax层的输出概率。使用教师产生的软目标是成功将教师的概括能力迁移给学生的关键。教师标签的相对概率包含了关于教师如何概括信息。在训练语料数据集时，将整体的任务进行拆分，对每一个任务，通过训练得到的多个模型集成作为教师模型(teacher)，它的效果优于单个模型。然后再通过多任务学习，将这些教师模型的知识蒸馏到单个任务上，从而使得最后训练得到的模型效果大幅提升。

示例性地，知识蒸馏中的teacher模型运用ALBERT预训练模型，相较于BERT模型，具备轻型化，参数少等优点。此外，多任务学习相较于单任务学习具备以下优势：多任务学习共享一个模型，占用内存少；多个任务一次前向计算得出结果，推理速度增加；关联任务通过共享信息，相互补充，可以提升彼此的表现。而知识蒸馏可以通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，从而获得更好的性能和精度。通过结合金融领域的语料库知识库，运用训练获得的模型，智能客服问答系统能够更好地更精确地服务客户，满足客户的需求。

步骤S203，获取第一提问语句，第一提问语句为基于自然语言的字符串。

步骤S204，通过共享层，对第一提问语句进行编码，得到第一提问语句中的各字词单元对应的嵌入向量，嵌入向量表征字词单元在第一提问语句中的上下文信息。

示例性地，嵌入向量(embedding向量)表征各字词单元在第一提问语句中的上下文信息，基于共享层对第一提问语句进行编码，得到嵌入向量的过程，可参见步骤S202中对多任务模型的介绍，此处不再赘述。共享层包括第一共享层和第二共享层，第一共享层用于提取第一提问语句中的各字词单元对应的词向量；第二共享层用于基于Transformer编码器，将词向量转换为嵌入向量。

步骤S205，通过多任务层，获取嵌入向量在目标评估维度上的第一特征信息，目标评估维度包括语句相似性维度和语义相关性维度。

步骤S206，通过输出层，计算第一特征信息与第二特征信息的语句相似度和语义相关度，得到各第二特征信息对应的匹配值。

步骤S207，基于各待选语句的匹配值，得到目标回答语句。

示例性地，在经过共享层对第一提问语句的处理步骤后，再经过多任务层对嵌入向量进行处理，获得在目标评估维度上的第一特征信息，其中，目标评估维度包括语句相似性维度和语义相关性维度，即模型基于语句相似性和语义相关性两个维度，对各待选语句进行评估，得到对应的第一特征信息，具体实现步骤在图2所示实施例中步骤S102中已详细介绍，此处不再赘述。之后，通过计算第一特征信息与第二特征信息的语句相似度和语义相关度，得到各第二特征信息对应的匹配值。之后基于各第二特征信息对应的匹配值进行排序，准确筛选出合理程度最好的一个或多个待选语句，作为目标回答语句。

本实施例中，通过将语句相似性维度和语义相关性维度设置为目标评估维度，实现从语句和语义两方面对待选语句的评估，使各待选语句的匹配值，能够兼顾语句相似和语义相似，从而更好理解用户的真实需要，提高到的目标回答语句的准确性和命中率。

本实施例中，步骤S203、步骤S207的实现方式与本申请图2所示实施例中的步骤S101、步骤S103的实现方式相同，在此不再一一赘述。

图7为本申请一个实施例提供的问答语句检索装置的结构示意图，如图7所示，本实施例提供的问答语句检索装置3包括：

接收模块31，用于获取第一提问语句，第一提问语句为基于自然语言的字符串；

处理模块32，用于将第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，匹配值表征待选语句作为第一提问语句的回答语句的合理程度，其中，语句处理模型用于根据第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值；

输出模块33，用于基于各待选语句的匹配值，得到目标回答语句。

在一种可能的实现方式中，语句处理模型包括多任务层和输出层，处理模块32在将第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值时，具体用于：通过多任务层，获取第一提问语句在目标评估维度上的第一特征信息；通过输出层，处理第一特征信息和各待选语句在目标评估维度下的第二特征信息，得到各第二特征信息对应的匹配值。

在一种可能的实现方式中，目标评估维度包括语句相似性维度和语义相关性维度；处理模块32在通过输出层，处理第一特征信息和各待选语句在目标评估维度下的第二特征信息，得到各第二特征信息对应的匹配值时，具体用于：通过输出层，计算第一特征信息与第二特征信息的语句相似度，和/或语义相关度，得到各第二特征信息对应的匹配值。

在一种可能的实现方式中，语句处理模型还包括共享层，处理模块32，还用于：通过共享层，对第一提问语句进行编码，得到第一提问语句中的各字词单元对应的嵌入向量，嵌入向量表征字词单元在第一提问语句中的上下文信息。

在一种可能的实现方式中，共享层包括第一共享层和第二共享层，第一共享层用于提取第一提问语句中的各字词单元对应的词向量；第二共享层用于基于Transformer编码器，将词向量转换为嵌入向量。

在一种可能的实现方式中，问答语句检索装置，还包括：训练模块，训练模块用于：获取至少两个目标任务对应的样本数据，目标任务用于确定对应评估维度下的回答语句；基于样本数据对预设的多任务模型进行训练，得到语句处理模型。

在一种可能的实现方式中，训练模块在基于样本数据对预设的多任务模型进行训练，得到语句处理模型时，具体用于：基于样本数据，分别对预设的至少两个多任务模型进行训练，生成对应的第一多任务模型；基于各第一多任务模型集合，进行知识蒸馏，得到语句处理模型。

其中，接收模块31、处理模块32和输出模块33依次连接。本实施例提供的问答语句检索装置3可以执行如图2-图6任一所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本申请一个实施例提供的电子设备的示意图，如图8所示，本实施例提供的电子设备4包括：处理器41，以及与处理器41通信连接的存储器42。

其中，存储器42存储计算机执行指令；

处理器41执行存储器42存储的计算机执行指令，以实现本申请图2-图6所对应的实施例中任一实施例提供的问答语句检索方法。

其中，存储器42和处理器41通过总线43连接。

相关说明可以对应参见图2-图6所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

本申请一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本申请图2-图6所对应的实施例中任一实施例提供的问答语句检索方法。

其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请一个实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请图2-图6所对应的实施例中任一实施例提供的问答语句检索方法。

图9是本申请一个示例性实施例示出的一种终端设备的框图，该终端设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

终端设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。

处理组件802通常控制终端设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在终端设备800的操作。这些数据的示例包括用于在终端设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为终端设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为终端设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在终端设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当终端设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当终端设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为终端设备800提供各个方面的状态评估。例如，传感器组件814可以检测到终端设备800的打开/关闭状态，组件的相对定位，例如组件为终端设备800的显示器和小键盘，传感器组件814还可以检测终端设备800或终端设备800一个组件的位置改变，用户与终端设备800接触的存在或不存在，终端设备800方位或加速/减速和终端设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于终端设备800和其他设备之间有线或无线方式的通信。终端设备800可以接入基于通信标准的无线网络，如WiFi，3G、4G、5G或其他标准通信网络，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，终端设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述本申请图2-图6所对应的实施例中任一实施例提供的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由终端设备800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请实施例还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由终端设备的处理器执行时，使得终端设备800能够执行上述本申请图2-图6所对应的实施例中任一实施例提供的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims

1.一种问答语句检索方法，其特征在于，所述方法包括：

获取第一提问语句，所述第一提问语句为基于自然语言的字符串；

将所述第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，所述匹配值表征所述待选语句作为所述第一提问语句的回答语句的合理程度，其中，所述语句处理模型用于根据所述第一提问语句在至少两个评估维度下的特征信息，生成各待选语句对应的匹配值；

基于各所述待选语句的匹配值，得到目标回答语句。

2.根据权利要求1所述的方法，其特征在于，所述语句处理模型包括多任务层和输出层，所述将所述第一提问语句输入语句处理模型，得到预设语料库内的各待选语句的匹配值，包括：

通过所述多任务层，获取所述第一提问语句在目标评估维度上的第一特征信息；

通过所述输出层，处理所述第一特征信息和各所述待选语句在所述目标评估维度下的第二特征信息，得到各所述第二特征信息对应的匹配值。

3.根据权利要求2所述的方法，其特征在于，所述目标评估维度包括语句相似性维度和语义相关性维度；通过所述输出层，处理所述第一特征信息和各所述待选语句在所述目标评估维度下的第二特征信息，得到各所述第二特征信息对应的匹配值，包括：

通过所述输出层，计算所述第一特征信息与所述第二特征信息的语句相似度，和/或语义相关度，得到各所述第二特征信息对应的匹配值。

4.根据权利要求2所述的方法，其特征在于，所述语句处理模型还包括共享层，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述共享层包括第一共享层和第二共享层，所述第一共享层用于提取所述第一提问语句中的各字词单元对应的词向量；

所述第二共享层用于基于Transformer编码器，将所述词向量转换为所述嵌入向量。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取至少两个目标任务对应的样本数据，所述目标任务用于确定对应评估维度下的回答语句；

基于所述样本数据对预设的多任务模型进行训练，得到所述语句处理模型。

7.根据权利要求6所述的方法，其特征在于，基于所述样本数据对预设的多任务模型进行训练，得到所述语句处理模型，包括：

基于所述样本数据，分别对预设的至少两个多任务模型进行训练，生成对应的第一多任务模型；

基于各所述第一多任务模型集合，进行知识蒸馏，得到所述语句处理模型。

8.一种问答语句检索装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7中任一项所述的问答语句检索方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的问答语句检索方法。