CN115018516A - 语义切分模型的训练方法、意图理解方法及装置 - Google Patents

Abstract

本申请实施例提供了一种语义切分模型的训练方法、意图理解方法及装置，其中，通过对多个客服语音的目标客服文本进行拼接处理以及对拼接处理所得到的目标长文本进行基于语义切分点的文本切分处理，以将处理后得到的语义文本段替代现有技术中的各客服文本后进行语义识别和应答处理，得到客服答复。通过这样的方式获得的客服答复与用户的意图更加匹配，其客服答复的答复效果较好，用户体验较佳。

Description

语义切分模型的训练方法、意图理解方法及装置

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种语义切分模型的训练方法、意图理解方法及装置。

背景技术

随着计算机技术的发展，将客服对话机器人运用在客服行业成为可能。

现有技术中，客服对话机器人需要获取用户发起的对话内容，并对对话内容进行意图理解等处理以确定用户所表达的对话含义，再基于对话含义进行响应和反馈。

但是，在客服场景下，用户往往习惯利用多段对话内容来描述同一个业务问题，这将使得客服对话机器人在理解用户发起的对话内容时容易出现语义理解错误的问题，从而造成客服对话机器人出现“答非所问”的现象，影响用户体验。

发明内容

本申请实施例提供一种语义切分模型的训练方法、意图理解方法及装置，能够为用户提供更好的客服答复，提升用户体验。

第一方面，本申请实施例提供一种意图理解方法，包括：

获取用户发起的至少一个客服语音，并确定各客服语音对应的目标客服文本；将各目标客服文本进行拼接处理得到所述目标长文本，并利用训练后的语义切分模型对所述目标长文本进行识别，得到所述目标长文本的语义切分点；其中，所述训练后的语义切分模型是利用长文本样本数据集对待训练的语义切分模型进行深度学习训练得到的，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；根据所述语义切分点对所述目标长文本进行文本切分处理，得到语义文本段；对所述语义文本段进行语义识别，得到用户的语义识别结果。

可知的是，与现有技术不同的是，本申请增加了对多个客服语音的目标客服文本进行拼接处理以及对拼接处理所得到的目标长文本进行基于语义切分点的文本切分处理的步骤，以将处理后得到的语义文本段替代现有技术中的各客服文本，以按进行后续的语义识别和应答处理，得到客服答复。通过这样的方式获得的客服答复与用户的意图更加匹配，其客服答复的答复效果较好，用户体验较佳。

可选的，所述利用训练后的语义切分模型对所述目标长文本进行识别，得到所述目标长文本的语义切分点，包括：将所述目标长文本输入至所述训练后的语义切分模型，得到所述训练后的语义切分模型输出的所述目标长文本的预测序列，所述预测序列中包括有所述目标长文本中每个文本字段对应的预测值；根据各文本字段对应的预测值确定所述目标长文本中的语义切分点。

可选的，所述根据各文本字段对应的预测值确定所述目标长文本中的语义切分点，包括：针对所述预测序列中任一预测值，若该预测值大于预设的预测值阈值，则该预测值对应的文本字段与该文本字段相邻的下一文本字段之间存在语义切分点。

可知的是，通过利用预先训练得到语义切分模型，能够对目标长文本中的语义切分点进行有效识别，从而提升客服答复的准确性。

可选的，该方法还包括：持续采集用户发起的客服语音，并在确定出所述持续采集的客服语音对应的目标客服文本的文本长度之和大于预设的文本长度阈值时，执行对各目标客服文本的拼接处理。

可知的是，当该方案运用在线上客服场景时，受限于客服服务器的处理资源局限性和处理效率，客服服务器将仅在满足预设条件的情况下，触发一次对客服语音的意图理解处理，通过这样的方式，能够有效利用客服服务器的处理资源，提升在线处理整体处理效率。

第二方面，本申请实施例提供一种语义切分模型的训练方法，包括：根据获取的历史客服对话日志，生成长文本样本数据集；其中，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；利用所述长文本样本数据集对待训练的语义切分模型进行深度学习训练，得到训练后的语义切分模型；其中，所述训练后的语义切分模型用于识别目标长文本中的语义切分点。

可知的是，本实施方式提供的语义切分模型的训练方法，能够根据历史客服对话日志生成多个长文本样本以及用于表征每个长文本样本语义切分点的标签序列，该长文本样本符合用户在进行人人对话时的语言习惯；此外，本申请实施例还将基于该长文本样本以及标签序列构成长文本样本数据集，对待训练的语义切分模型进行深度学习训练，以得到的训练后的语义切分模型。

可选的，所述历史客服对话日志中包括至少一次客服答复过程产生的客服对话文本段，每一所述客服对话文本段中包括至少一轮对话的客服文本；

所述根据获取的历史客服对话日志，生成长文本样本数据集，包括：确定每个客服对话文本段的文本长度和对话轮数，计算每个客服对话文本段的文本长度和对话轮数之间的比值；根据各客服对话文本段的比值从各客服对话文本段中选出多个客服对话文本段样本；根据所述各客服对话文本段样本，生成所述长文本样本数据集中的长文本样本。

可选的，所述根据所述各客服对话文本段样本，生成所述长文本样本数据集中的长文本样本，包括：

将各客服对话文本段样本中的各客服文本进行拼接处理，得到所述长文本样本数据集中的多个长文本样本；确定每个长文本样本中的每个文本字段的语义切分点的标签值，得到所述长文本样本数据集中的每个长文本样本对应的语义切分点的标签序列。

可知的是，通过充分考虑客服对话文本段的客服对话轮数与文本长度这两个因素，来从历史客服对话日志中的各客服对话文本段中选出能够体现前述情况的客服对话文本段样本，以对模型进行有针对性的模型训练，从而能够提升长文本样本数据集的数据质量，保证模型的训练效果。

可选的，所述利用所述长文本样本数据集对待训练的语义切分模型进行深度学习训练，得到训练后的语义切分模型，包括：将所述长文本样本数据集中的各长文本样本依次输入至当前的待训练的语义切分模型中，得到所述待训练的语义切分模型输入的各长文本样本对应的语义切分点的预测序列；根据各长文本样本的预测序列和各长文本样本的标签序列，确定所述当前的待训练的语义切分模型的模型损失；根据所述模型损失更新当前的待训练的语义切分模型，并利用所述长文本样本数据集对更新后的待训练的语义切分模型进行训练，直至得到的模型损失收敛；将模型损失收敛时的当前的待训练的语义切分模型作为所述训练后的语义切分模型。

可选的，所述长文本样本的预测序列中包括长文本样本中每个文本字段对应的语义切分点的预测值；所述长文本样本的标签序列中包括长文本样本中每个文本字段对应的语义切分点的标签值；

所述根据各长文本样本的预测序列和各长文本样本的标签序列，确定所述当前的待训练的语义切分模型的模型损失，包括：确定各长文本样本中的每个文本字段的预测值和相应的标签值之间的交叉熵，并根据各长文本样本对应的各交叉熵确定所述当前的待训练的语义切分模型的模型损失。

可知的是，在训练过程中，为了保证语义切分模型的训练效果，需要对模型进行多次训练，并基于每次训练后所得到的模型的损失收敛情况，确定模型是否完成训练，当模型损失收敛时，得到训练后的模型。

第三方面，本申请实施例提供了一种意图理解装置，包括：

获取模块，用于获取用户发起的至少一个客服语音；

处理模块，用于确定各客服语音对应的目标客服文本；将各目标客服文本进行拼接处理得到所述目标长文本，并利用训练后的语义切分模型对所述目标长文本进行识别，得到所述目标长文本的语义切分点；其中，所述训练后的语义切分模型是利用长文本样本数据集对待训练的语义切分模型进行深度学习训练得到的，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；根据所述语义切分点对所述目标长文本进行文本切分处理，得到语义文本段；

识别模块，用于对所述语义文本段进行语义识别，得到用户的语义识别结果。

第四方面，本申请实施例提供了一种语义切分模型的训练装置，包括：

数据集生成模块，用于根据获取的历史客服对话日志，生成长文本样本数据集；其中，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；

训练模块，用于利用所述长文本样本数据集对待训练的语义切分模型进行深度学习训练，得到训练后的语义切分模型；其中，所述训练后的语义切分模型用于识别目标长文本中的语义切分点。

第五方面，本申请实施例提供了一种电子设备，包括：存储器，处理器；

至少一个处理器；以及

存储器；

存储器存储计算机执行指令；

至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面或第二方面的方法。

本申请实施例提供一种语义切分模型的训练方法、意图理解方法及装置，其中，与现有技术不同的是，本申请增加了对多个客服语音的目标客服文本进行拼接处理以及对拼接处理所得到的目标长文本进行基于语义切分点的文本切分处理的步骤，以将处理后得到的语义文本段替代现有技术中的各客服文本，以按进行后续的语义识别和应答处理，得到客服答复。通过这样的方式获得的客服答复与用户的意图更加匹配，其客服答复的答复效果较好，用户体验较佳。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为现有技术中的一种意图理解方法的示意图；

图2为本申请所基于的一种网络架构的示意图；

图3为本申请所基于的另一种网络架构的示意图；

图4为本申请实施例提供的一种意图理解方法的流程示意图；

图5为本申请实施例提供的一种语义切分模型的训练方法的流程示意图；

图6为本申请实施例提供的一种语义切分模型的训练流程示意图；

图7为本申请实施例提供的意图理解装置的结构框图；

图8为本申请实施例提供的语义切分模型的训练装置的结构框图；

图9为本申请提供的一种电子设备的硬件结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本申请的技术方案中，所涉及的用户信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

随着计算机技术的发展，将客服对话机器人运用在客服行业成为可能。

现有技术中，客服对话机器人需要获取用户发起的对话内容，并对对话内容进行意图理解等处理以确定用户所表达的对话含义，再基于对话含义进行响应和反馈。

以客服对话机器人承载于电商平台为例，对本申请基于的现有技术进行说明。图1为现有技术中的一种意图理解方法的示意图，用户可通过电商平台提供的客服接口与电商平台建立客服通信通道，并在电商平台进行客服语音留言，电商平台的客服对话机器人将获取该客服语音留言并依次进行语音识别、语义识别以及应答处理等处理，以将生成的客服答复语音通过客服接口反馈给用户。

但是，在该场景中，用户往往习惯利用多个的客服语音留言来对同一个业务问题进行描述，当对多个的客服语音留言进行处理时，客服对话机器人一般需要将各段的客服语音留言进行语音识别，并针对识别后的各段客服语音留言对应的客服文本分别进行语义识别以及应答处理。示例性的，现有场景中可能存下如下对话：

“客服对话机器人：您好，客服003为您服务，请问您遇到什么问题了呢？

用户：我想问一下商品A是否还有货？

用户：听说商品A是商品B的平替款，特别想买。

用户：我问了好几家店都断货了。

客服对话机器人：该商品已经没有货了呢，建议您过段时间再来看看。

客服对话机器人：您是要查询商品B的链接嘛？这边会将将商品B的链接推送给您。

客服对话机器人：我还有什么能够为您服务的嘛？

用户：我不想要商品B。

用户：商品C有货么？

客服对话机器人：您还需要其他商品嘛？

客服对话机器人：商品C有货，您可以下单购买。

用户：好的，谢谢。”

显然的，在上述客服对话场景中，用户针对“商品A”发起了多段客服语音，其多段客服语音均围绕“询问商品A是否有货”的语义，但是，现有的客服对话机器人会将该多段客服语音中的每一段客服语音分别进行处理，即生成多段客服答复。其中的部分客服答复明显与用户所需要的答复不匹配，用户体验不佳。

也就是说，现有技术中的客服对话机器人会针对用户发起的每一条客服语音分别进行语义识别和应答处理，其处理效果较差，容易造成客服对话机器人出现“答非所问”的现象，影响用户体验。

面对上述问题，相对于图1所示方案，本申请中的客服对话机器人是根据用户发起的多个客服语音来进行语义识别和应答处理的。与现有技术不同的是，本申请增加了对多个客服语音的目标客服文本进行拼接处理以及对拼接处理所得到的目标长文本进行基于语义切分点的文本切分处理的步骤，以将处理后得到的语义文本段替代现有技术中的各客服文本，以按进行后续的语义识别和应答处理，得到客服答复。通过这样的方式获得的客服答复与用户的意图更加匹配，其客服答复的答复效果较好，用户体验较佳。

参考图2，图2为本申请所基于的一种网络架构的示意图，图2所示网络架构具体可包括模型训练服务器21、客服服务器22以及终端23。

在图2所示架构中，模型训练服务器21和客服服务器22具体可为设置在云端的服务器集群，其中的模型训练服务器21可用于按照语义切分模型的训练方法对语义切分模型进行训练。而训练后的语义切分模型将被部署在客服服务器22中，客服服务器22将按照意图理解方法调用部署的语义切分模型对终端23的用户发送的客服语音留言进行处理。

终端23具体可为具有网络通信功能以及用户交互功能的硬件设备，其包括但不限于智能手机、平板电脑、台式电脑、物联网设备等。用户可通过终端23与客服服务器22建立通信通道，并通过该通信通道将客服语音留言实时的发送至客服服务器22中，以供客服服务器22可对客服语音留言进行在线处理。

参考图3，图3为本申请所基于的另一种网络架构的示意图，图3所示网络架构具体可包括模型训练服务器31以及终端32。

在图3所示架构中，模型训练服务器31具体可为设置在云端的服务器集群，该模型训练服务器31可用于按照语义切分模型的训练方法对语义切分模型进行训练。而训练后的语义切分模型将被部署在终端32的本地。

终端32具体可为具有网络通信功能以及用户交互功能的硬件设备，其包括但不限于智能手机、平板电脑、台式电脑、物联网设备等。终端32可采集用户输入的客服语音留言，并按照本申请提及的意图理解方法调用部署在本地的模型对客服语音留言进行识别处理。

下面通过具体的实施例对本申请提供的语义切分模型的训练方法、意图理解方法及装置进行详细说明。下面的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

需要说明的是，本实施例中提供的意图理解方法的执行主体为前述图2提及的客服服务器，或者，为图3提及的终端，图4为本申请实施例提供的一种意图理解方法的流程示意图。如图4所示的，该意图理解方法可以包括如下几个步骤：

步骤401、获取用户发起的至少一个客服语音，并确定各客服语音对应的目标客服文本。

与现有技术不同的是，为了能够让客服对话机器人可以对用户输入的多段客服语音进行准确的语义分段和语义识别处理。在本申请实施方式中，可首先对用户发起的至少一个客服语音进行语音识别处理，以将每一个客服语音转换为对应的目标客服文本。

需要说明的是，当该意图理解方案承载于如图3所示的离线客服场景时，由于离线场景下的意图理解算力较为充足，使得图3中的终端可获取用户在一段时间内所发起的至少一个客服语音，并对该时间段内的各客服语音进行意图理解；或者，终端还可获取用户发起的至不超过预设个数的一个或多个客服语音，并对该不超过预设个数的客服语音进行意图理解。

而当该意图理解方案应用在如图2所示的在线上客服场景时，受限于客服服务器的处理资源局限性和处理效率，客服服务器将仅在满足预设条件的情况下，触发一次对客服语音的意图理解处理。

具体的，客服服务器可持续采集用户发起的客服语音，并在确定出所述持续采集的客服语音对应的目标客服文本的文本长度之和大于预设的文本长度阈值时，执行后续的步骤402。通过这样的方式，能够有效利用客服服务器的处理资源，提升在线处理整体处理效率。

步骤402、将各目标客服文本进行拼接处理得到目标长文本，并利用训练后的语义切分模型对目标长文本进行识别，得到目标长文本的语义切分点；其中，训练后的语义切分模型是利用长文本样本数据集对待训练的语义切分模型进行深度学习训练得到的，长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列。

步骤403、根据语义切分点对目标长文本进行文本切分处理，得到语义文本段。

步骤404、对语义文本段进行语义识别，得到用户的语义识别结果。

在步骤402-步骤404中，当得到前述提及的目标客服文本之后，可对该各目标客服文本进行拼接处理，以将各目标客服文本的首尾衔接起来，得到目标长文本。

例如，通过步骤401得到的多个客服文本分别为：

“您好”“我想问一下”“我之前购买的货品发货了么”“如果未发货的话请不要发货了，我不想要了”“还有就是我想要购买商品A”“麻烦发我，谢谢”。

通过对上述客服文本进行拼接，可得到如下目标长文本：“您好/我想问一下/我之前购买的货品发货了么/如果未发货的话请不要发货了/我不想要了/还有就是我想要购买商品A/麻烦发我/谢谢”。

然后，将该目标长文本输入至预先完成训练的训练后的语义切分模型，以使模型对该目标长文本中的语义切分点进行识别分析。其中，该训练后的语义切分模型是利用长文本样本数据集对待训练的语义切分模型进行深度学习训练得到的，而长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列，其模型训练过程可参见后续实施方式，本实施方式对模型的具体训练过程不做过多赘述。

也就是说，在可选实施方式中，客服服务器或者终端将目标长文本输入至训练后的语义切分模型，得到训练后的语义切分模型输出的目标长文本的预测序列，预测序列中包括有目标长文本中每个文本字段对应的预测值；根据各文本字段对应的预测值确定目标长文本中的语义切分点。

可选实施方式中，客服服务器或终端在根据各文本字段对应的预测值确定目标长文本中的语义切分点时，可针对所述预测序列中任一预测值，若该预测值大于预设的预测值阈值，则该预测值对应的文本字段与该文本字段相邻的下一文本字段之间存在语义切分点。

示例性的，若某一目标长文本表示为“您好在么/这件衣服有XL尺码么”,模型输出的预测序列可表示为:“0.01 0.21 0.01 0.87 0.01 0.22 0.15 0.33 0.01 0.20 0.110.20 0.11 0.11”。其中，该预测序列的由目标长文本中的每一文本字段对应的预测值构成。而每一文本字段的预测值则用于表征该文本字段与其下一文本字段之间存在语义切分点的概率。假设，预测值阈值为0.5，那么第四个文本字段“么”和第五个文本字段“这”之间存在语义切分点。

随后，如步骤403所述的，基于语义切分点，客服服务器或终端还将对该目标长文本进行文本切分处理：

示例性的，以目标长文本“您好/我想问一下/我之前购买的货品发货了么/如果未发货的话请不要发货了/我不想要了/还有就是我想要购买商品A/麻烦发我/谢谢”为例，“好/我”之间存在语义切分点；“了/还”之间存语义切分点。

即得到该目标长文本对应的语义文本段为:“您好”“我想问一下/我之前购买的货品发货了么/如果未发货的话请不要发货了/我不想要了”以及“还有就是我想要购买商品A/麻烦发我/谢谢”

而如步骤404所述的，当获取到语义文本段之后，与现有技术类似的，客服服务器或终端将对语义文本段进行后续的语义识别处理。其中可知的是，在同一个语义文本段将表达相同或相似的语义，即可分别作为目标文本输入至后续的语义识别模型或语义识别模组中，以进行语义识别处理，得到语义识别结果。

在可选实施方式中，客服服务器或终端还可利用调用应答处理模型或应答处理模组，以根据语义识别结果生成相应的客服答复。

示例性的，本申请能够得到如下所示的客服问答：

“客服对话机器人：您好，客服003为您服务，请问您遇到什么问题了呢？

用户：您好？

用户：我想问一下，我之前购买的货品发货了么？

用户：如果未发货的话请不要发货了。

用户：我不想要了。

用户：还有就是我想要购买商品A。

用户：麻烦发我，谢谢。

客服对话机器人：用户您好，很高兴为您服务。

客服对话机器人：这边已经帮您取消该订单。

客服对话机器人：以下为商品A的商品链接，麻烦您查看。

客服对话机器人：我还有什么能够为您服务的嘛？”

可知的是，通过利用本方案，客服对话机器人在面对用户输入的6次客服语音时，能够基于这些客服语音的语义来进行有针对性的准确的客服答复。与现有技术相比，通过这样的方式获得的客服答复与用户的意图更加匹配，其客服答复的答复效果较好，用户体验较佳。

本申请实施例提供一种意图理解方法，与现有技术不同的是，本申请增加了对多个客服语音的目标客服文本进行拼接处理以及对拼接处理所得到的目标长文本进行基于语义切分点的文本切分处理的步骤，以将处理后得到的语义文本段替代现有技术中的各客服文本，以按进行后续的语义识别和应答处理，得到客服答复。通过这样的方式获得的客服答复与用户的意图更加匹配，其客服答复的答复效果较好，用户体验较佳。

在上述实施方式的基础上，本申请还提供了一种语义切分模型的训练方法，本实施例中提供的语义切分模型的训练方法的执行主体为前述提及的模型训练服务器，图5为本申请实施例提供的一种语义切分模型的训练方法的流程示意图。如图5所示的，该语义切分模型的训练方法可以包括如下几个步骤：

步骤501、根据获取的历史客服对话日志，生成长文本样本数据集；其中，长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列。

为了能够让客服对话机器人可以对用户输入的多段客服语音所对应的目标长文本进行准确的语义分段和语义识别处理。在本申请实施方式中，还将利用长文本样本对模型进行训练。

具体来说，首先，模型训练服务器可获取历史客服对话日志。其中，历史客服对话日志是指客服对话机器人历次为用户提供客服问答时所形成的日志数据。

在该历史客服对话日志中包括有客服对话机器人与不同用户进行客服答复过程的数据，每一次的客服答复过程中的数据均采用客服对话文本的数据形式进行表示，其中，历史客服对话日志中包括至少一次客服答复过程产生的客服对话文本段，每一所述客服对话文本段中包括至少一轮对话的客服文本。

示例性的，客服对话场景可描述为：

“客服对话机器人：您好，客服003为您服务，请问您遇到什么问题了呢？

用户：我想问一下商品A是否还有货？

用户：因为之前有人推荐商品A非常好用。

用户：商品A现在还有折扣，我想多买几件。

客服对话机器人：该商品已经没有货了呢，建议您过段时间再来看看。

用户：那商品B是否有货？

客服对话机器人：该商品有货，您可以下单购买。

用户：好的，谢谢。”

在上述发生客服对话场景中，历史客服对话日志中将写入如下数据，以作为该客服答复过程产生的客服对话文本段：“您好，客服003为您服务，请问您遇到什么问题了呢”“我想问一下商品A是否还有货”“因为之前有人推荐商品A非常好用”“商品A现在还有折扣”“该商品已经没有货了呢，建议您过段时间再来看看”“我想多买几件”“那商品B是否有货”“该商品有货，您可以下单购买”“好的”谢谢”。

在获取到如上的历史客服对话日志之后，模型训练服务器将生成长文本样本数据集。

具体的，通过研究发现，在客服对话机器人对于用户的客服语音进行语义分析的过程中，当用户在面对同一业务问题时，当遇见用户采用多次输入语音以及采用短句进行问题描述的情况时，现有的客服对话机器人容易对这类情况的客服语音进行语义错误切分，导致语义识别准确率较低。

其中，为了提升长文本样本数据集的数据质量，保证模型的训练效果，在可选实施方式中，可充分考虑客服对话文本段的客服对话轮数与文本长度这两个因素，来从历史客服对话日志中的各客服对话文本段中选出能够体现前述情况的客服对话文本段样本，以对模型进行有针对性的模型训练。

具体的，在根据获取的历史客服对话日志，生成长文本样本数据集时，可先确定每个客服对话文本段的文本长度和对话轮数，计算每个客服对话文本段的文本长度和对话轮数之间的比值；然后，根据各客服对话文本段的比值从各客服对话文本段中选出多个客服对话文本段样本；最后，根据各客服对话文本段样本，生成长文本样本数据集中的长文本样本。

依旧以上述示例为例，上述客服对话文本段中的文本长度为112字符，对话轮数为3轮(客服对话机器人每答复一次作为1轮对话)，其比值为37.333。

类似的，对历史客服对话日志中各客服对话文本段进行比值计算，以得到各客服对话文本段对应的比值。其中，比值越小则说明在相同对话轮数下的客服对话文本中的文本长度相对较少，其该客服对话文本段中的用户可能采用较多的短句对问题进行描述；比值越小还说明在文本长度下的对话轮数较多，其该客服对话文本段中的用户可能采用多次语音输入的方式以对同一问题进行描述。因此，为了有针对性的对模型进行训练，可将比值较小的客服对话文本段用于训练。

也就是说，本实施方式中可按照计算得到的各比值，对各客服对话文本段进行从小到大的排序，并将其中的排序较靠前的(即比值较小的)50％的客服对话文本段筛选出来，以作为客服对话文本段样本。然后，利用这些比值较小的客服对话文本段样本，生成长文本样本数据集。

在上述实施方式的基础上，本实施方式可利用采用如下方式生成长文本样本数据集，以使得长文本样本数据集中的样本数据与真实情况下所输入的目标长文本保持一致。

具体的，在利用这些比值较小的客服对话文本段样本，生成长文本样本数据集时，可先将各客服对话文本段样本中的各客服文本进行拼接处理，得到所述长文本样本数据集中的多个长文本样本然后，确定每个长文本样本中的每个文本字段的语义切分点的标签值，得到长文本样本数据集中的每个长文本样本对应的语义切分点的标签序列。

当然，在拼接处理时可从各客服文本中选出用户发起的语句的文本进行拼接。

依旧以前述示例为例，通过对用户发起的客服文本进行拼接处理可获得如下的长文本样本：“我想问一下商品A是否还有货/因为之前有人推荐商品A非常好用/商品A现在还有折扣/我想多买几件/那商品B是否有货/好的/谢谢”。然后对该客服对话长文进行标签值的标注，得到“我想问一下商品A是否还有货//(语义切分点)//因为之前有人推荐商品A非常好用/商品A现在还有折扣/我想多买几件//(语义切分点)//那商品B是否有货//(语义切分点)//好的/谢谢”的标注结果，生成相应的标签序列，如“00 00 00 00 00 00 00 00 0000 00 00 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 01 00 00 00 00 00 00 00 01 00 00 00 00”。其中的“00”和“01”均为文本字段的语义切分点的标签值，其中的“00”用于表示该文本字段与下一文本字段之间不存在语义切分点，而“01”则用于表示该文本字段与下一文本字段之间存在语义切分点。

通过上述方式能够生成各长文本样本对应的标签序列，而各长文本样本以及相应的各标签序列构成长文本样本数据集。

步骤502、利用长文本样本数据集对待训练的语义切分模型进行深度学习训练，得到训练后的语义切分模型；其中，训练后的语义切分模型用于识别目标长文本中的语义切分点。

具体来说，当获取到长文本样本数据集后，模型训练服务器会利用该长文本样本数据集对预先构建的待训练的语义切分模型进行训练。

在训练过程中，为了保证语义切分模型的训练效果，需要对模型进行多次训练，并基于每次训练后所得到的模型的损失收敛情况，确定模型是否完成训练。也就是说，在可选实施方式中，将长文本样本数据集中的各长文本样本依次输入至当前的待训练的语义切分模型中，得到待训练的语义切分模型输入的各长文本样本对应的语义切分点的预测序列；根据各长文本样本的预测序列和各长文本样本的标签序列，确定当前的待训练的语义切分模型的模型损失；根据模型损失更新当前的待训练的语义切分模型，并利用长文本样本数据集对更新后的待训练的语义切分模型进行训练，直至得到的模型损失收敛；将模型损失收敛时的当前的待训练的语义切分模型作为训练后的语义切分模型。

为了更清楚的说明训练流程，图6为本申请实施例提供的一种语义切分模型的训练流程示意图，如图6所示的，首先，将从长文本样本数据集中选出任意一长文本样本以作为待处理长文本。

然后，将该待处理长文本输入至当前的语义切分模型中，模型将输出该待处理长文本对应的预测序列，如“0.01 0.21 0.01……0.87 0.01 0.22……”，与前述提及的标签序列类似的是，该预测序列中包括有待处理长文本中每一文本字段的语义切分点的预测值，但是，与前述提及的标签序列不同的是，预测序列中的每一预测值用于表征该预测值对应的文本字段与下一文本字段之间是语义切分点的概率，即该预测值为概率值。

当得到待处理长文本的预测序列之后，可基于该待处理文本的标签序列计算当前的语义切分模型的模型损失。随后，利用模型损失可对模型进行包括反演在内的模型参数更新处理，并判断该模型是否满足训练完成条，即判断模型损失是否收敛。

若模型损失未收敛，则可在长文本样本数据集中选出下一长文本样本以作为待处理长文本，并重复上述步骤，以利用该新的待处理长文本对当前的语义切分模型进行训练，直至得到模型损失收敛的训练后的语义切分模型。

当然，在该实施方式中，模型损失可通过交叉熵来计算，即确定各长文本样本中的每个文本字段的预测值和相应的标签值之间的交叉熵，并根据各长文本样本对应的各交叉熵确定当前的待训练的语义切分模型的模型损失。

至此，模型训练服务器将完成对模型的训练，并获得训练后的语义切分模型。

本实施方式提供的语义切分模型的训练方法，根据历史客服对话日志生成多个长文本样本以及用于表征每个长文本样本语义切分点的标签序列，该长文本样本符合用户在进行人人对话时的语言习惯；此外，本申请实施例还将基于该长文本样本以及标签序列构成长文本样本数据集，对待训练的语义切分模型进行深度学习训练，以得到的训练后的语义切分模型。

对应于上文实施例提供的意图理解方法，图7为本申请实施例提供的意图理解装置的结构框图。为了便于说明，仅示出了与本申请实施例相关的部分。参照图7，该意图理解装置包括：

获取模块710，用于获取用户发起的至少一个客服语音；

处理模块720，用于确定各客服语音对应的目标客服文本；将各目标客服文本进行拼接处理得到所述目标长文本，并利用训练后的语义切分模型对所述目标长文本进行识别，得到所述目标长文本的语义切分点；其中，所述训练后的语义切分模型是利用长文本样本数据集对待训练的语义切分模型进行深度学习训练得到的，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；根据所述语义切分点对所述目标长文本进行文本切分处理，得到语义文本段；

识别模块730，用于对所述语义文本段进行语义识别，得到用户的语义识别结果。

可选的，所述处理模块720，具体用于：将所述目标长文本输入至所述训练后的语义切分模型，得到所述训练后的语义切分模型输出的所述目标长文本的预测序列，所述预测序列中包括有所述目标长文本中每个文本字段对应的预测值；根据各文本字段对应的预测值确定所述目标长文本中的语义切分点。

可选的，所述处理模块720，具体用于：针对所述预测序列中任一预测值，若该预测值大于预设的预测值阈值，则该预测值对应的文本字段与该文本字段相邻的下一文本字段之间存在语义切分点。

可选的，获取模块710，还用于：持续采集用户发起的客服语音，并在确定出所述持续采集的客服语音对应的目标客服文本的文本长度之和大于预设的文本长度阈值时，所述处理模块720执行对各目标客服文本的拼接处理。

本申请实施例提供一种意图理解装置，与现有技术不同的是，本申请增加了对多个客服语音的目标客服文本进行拼接处理以及对拼接处理所得到的目标长文本进行基于语义切分点的文本切分处理的步骤，以将处理后得到的语义文本段替代现有技术中的各客服文本，以按进行后续的语义识别和应答处理，得到客服答复。通过这样的方式获得的客服答复与用户的意图更加匹配，其客服答复的答复效果较好，用户体验较佳。

对应于上文实施例提供的语义切分模型的训练方法，图8为本申请实施例提供的语义切分模型的训练装置的结构框图。为了便于说明，仅示出了与本申请实施例相关的部分。参照图8，该语义切分模型的训练装置包括：

数据集生成模块810，用于根据获取的历史客服对话日志，生成长文本样本数据集；其中，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；

训练模块820，用于利用所述长文本样本数据集对待训练的语义切分模型进行深度学习训练，得到训练后的语义切分模型；其中，所述训练后的语义切分模型用于识别目标长文本中的语义切分点。

可选的，所述历史客服对话日志中包括至少一次客服答复过程产生的客服对话文本段，每一所述客服对话文本段中包括至少一轮对话的客服文本；

数据集生成模块810，具体用于：确定每个客服对话文本段的文本长度和对话轮数，计算每个客服对话文本段的文本长度和对话轮数之间的比值；根据各客服对话文本段的比值从各客服对话文本段中选出多个客服对话文本段样本；根据所述各客服对话文本段样本，生成所述长文本样本数据集中的长文本样本。

可选的，数据集生成模块810，具体用于：将各客服对话文本段样本中的各客服文本进行拼接处理，得到所述长文本样本数据集中的多个长文本样本；确定每个长文本样本中的每个文本字段的语义切分点的标签值，得到所述长文本样本数据集中的每个长文本样本对应的语义切分点的标签序列。

可选的，训练模块820，具体用于：将所述长文本样本数据集中的各长文本样本依次输入至当前的待训练的语义切分模型中，得到所述待训练的语义切分模型输入的各长文本样本对应的语义切分点的预测序列；根据各长文本样本的预测序列和各长文本样本的标签序列，确定所述当前的待训练的语义切分模型的模型损失；根据所述模型损失更新当前的待训练的语义切分模型，并利用所述长文本样本数据集对更新后的待训练的语义切分模型进行训练，直至得到的模型损失收敛；将模型损失收敛时的当前的待训练的语义切分模型作为所述训练后的语义切分模型。

可选的，所述长文本样本的预测序列中包括长文本样本中每个文本字段对应的语义切分点的预测值；所述长文本样本的标签序列中包括长文本样本中每个文本字段对应的语义切分点的标签值；

训练模块820，具体用于：确定各长文本样本中的每个文本字段的预测值和相应的标签值之间的交叉熵，并根据各长文本样本对应的各交叉熵确定所述当前的待训练的语义切分模型的模型损失。

本实施方式提供的语义切分模型的训练装置，根据历史客服对话日志生成多个长文本样本以及用于表征每个长文本样本语义切分点的标签序列，该长文本样本符合用户在进行人人对话时的语言习惯；此外，本申请实施例还将基于该长文本样本以及标签序列构成长文本样本数据集，对待训练的语义切分模型进行深度学习训练，以得到的训练后的语义切分模型。

图9为本申请提供的一种电子设备的硬件结构示意图，如图9所示的，本申请实施例提供一种电子设备，电子设备的存储器可用于存储至少一个程序指令，处理器用于执行至少一个程序指令，以实现上述方法实施例的技术方案。其实现原理和技术效果与上述方法相关实施例类似，此处不再赘述。

本申请实施例提供一种芯片。芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例提供一种计算机程序产品，当计算机程序产品在电子设备运行时，使得电子设备执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例提供一种计算机可读存储介质，其上存储有程序指令，程序指令被电子设备执行时，使得电子设备执行上述实施例的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

以上的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (14)

1.一种意图理解方法，其特征在于，包括：

获取用户发起的至少一个客服语音，并确定各客服语音对应的目标客服文本；

将各目标客服文本进行拼接处理得到所述目标长文本，并利用训练后的语义切分模型对所述目标长文本进行识别，得到所述目标长文本的语义切分点；其中，所述训练后的语义切分模型是利用长文本样本数据集对待训练的语义切分模型进行深度学习训练得到的，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；

根据所述语义切分点对所述目标长文本进行文本切分处理，得到语义文本段；

对所述语义文本段进行语义识别，得到用户的语义识别结果。

2.根据权利要求1所述的意图理解方法，其特征在于，所述利用训练后的语义切分模型对所述目标长文本进行识别，得到所述目标长文本的语义切分点，包括：

将所述目标长文本输入至所述训练后的语义切分模型，得到所述训练后的语义切分模型输出的所述目标长文本的预测序列，所述预测序列中包括有所述目标长文本中每个文本字段对应的预测值；

根据各文本字段对应的预测值确定所述目标长文本中的语义切分点。

3.根据权利要求2所述的意图理解方法，其特征在于，所述根据各文本字段对应的预测值确定所述目标长文本中的语义切分点，包括：

针对所述预测序列中任一预测值，若该预测值大于预设的预测值阈值，则该预测值对应的文本字段与该文本字段相邻的下一文本字段之间存在语义切分点。

4.根据权利要求1-3任一项所述的意图理解方法，其特征在于，还包括：

持续采集用户发起的客服语音，并在确定出所述持续采集的客服语音对应的目标客服文本的文本长度之和大于预设的文本长度阈值时，执行对各目标客服文本的拼接处理。

5.一种语义切分模型的训练方法，其特征在于，包括：

根据获取的历史客服对话日志，生成长文本样本数据集；其中，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；

利用所述长文本样本数据集对待训练的语义切分模型进行深度学习训练，得到训练后的语义切分模型；其中，所述训练后的语义切分模型用于识别目标长文本中的语义切分点。

6.根据权利要求5所述的训练方法，其特征在于，所述历史客服对话日志中包括至少一次客服答复过程产生的客服对话文本段，每一所述客服对话文本段中包括至少一轮对话的客服文本；

所述根据获取的历史客服对话日志，生成长文本样本数据集，包括：

确定每个客服对话文本段的文本长度和对话轮数，计算每个客服对话文本段的文本长度和对话轮数之间的比值；

根据各客服对话文本段的比值从各客服对话文本段中选出多个客服对话文本段样本；

根据所述各客服对话文本段样本，生成所述长文本样本数据集中的长文本样本。

7.根据权利要求6所述的训练方法，其特征在于，所述根据所述各客服对话文本段样本，生成所述长文本样本数据集中的长文本样本，包括：

将各客服对话文本段样本中的各客服文本进行拼接处理，得到所述长文本样本数据集中的多个长文本样本；

确定每个长文本样本中的每个文本字段的语义切分点的标签值，得到所述长文本样本数据集中的每个长文本样本对应的语义切分点的标签序列。

8.根据权利要求5-7任一项所述的训练方法，其特征在于，所述利用所述长文本样本数据集对待训练的语义切分模型进行深度学习训练，得到训练后的语义切分模型，包括：

将所述长文本样本数据集中的各长文本样本依次输入至当前的待训练的语义切分模型中，得到所述待训练的语义切分模型输入的各长文本样本对应的语义切分点的预测序列；

根据各长文本样本的预测序列和各长文本样本的标签序列，确定所述当前的待训练的语义切分模型的模型损失；

根据所述模型损失更新当前的待训练的语义切分模型，并利用所述长文本样本数据集对更新后的待训练的语义切分模型进行训练，直至得到的模型损失收敛；

将模型损失收敛时的当前的待训练的语义切分模型作为所述训练后的语义切分模型。

9.根据权利要求8所述的训练方法，其特征在于，所述长文本样本的预测序列中包括长文本样本中每个文本字段对应的语义切分点的预测值；所述长文本样本的标签序列中包括长文本样本中每个文本字段对应的语义切分点的标签值；

所述根据各长文本样本的预测序列和各长文本样本的标签序列，确定所述当前的待训练的语义切分模型的模型损失，包括：

确定各长文本样本中的每个文本字段的预测值和相应的标签值之间的交叉熵，并根据各长文本样本对应的各交叉熵确定所述当前的待训练的语义切分模型的模型损失。

10.一种意图理解装置，其特征在于，包括：

获取模块，用于获取用户发起的至少一个客服语音；

处理模块，用于确定各客服语音对应的目标客服文本；将各目标客服文本进行拼接处理得到所述目标长文本，并利用训练后的语义切分模型对所述目标长文本进行识别，得到所述目标长文本的语义切分点；其中，所述训练后的语义切分模型是利用长文本样本数据集对待训练的语义切分模型进行深度学习训练得到的，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；根据所述语义切分点对所述目标长文本进行文本切分处理，得到语义文本段；

识别模块，用于对所述语义文本段进行语义识别，得到用户的语义识别结果。

11.一种语义切分模型的训练装置，其特征在于，包括：

数据集生成模块，用于根据获取的历史客服对话日志，生成长文本样本数据集；其中，所述长文本样本数据集中包括多个长文本样本以及每个长文本样本对应的语义切分点的标签序列；

训练模块，用于利用所述长文本样本数据集对待训练的语义切分模型进行深度学习训练，得到训练后的语义切分模型；其中，所述训练后的语义切分模型用于识别目标长文本中的语义切分点。

12.一种电子设备，其中，包括：

至少一个处理器；以及

存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-9所述方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-9所述方法。

14.一种计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现如权利要求1-9所述方法。

Images