CN115935182A - 模型训练方法、多轮对话中的话题分割方法、介质及装置 - Google Patents

Abstract

本公开的实施方式提供了一种模型训练方法、多轮对话中的话题分割方法、介质及装置，其中，模型训练方法包括：从历史会话集中筛选出候选会话集，其中，候选会话集中每两个候选会话之间的语义相似度小于预设阈值，进而，生成针对上述候选会话的话题标签，并基于该话题标签拼接上述候选会话集以构成训练数据，基于该训练数据对目标模型进行训练，该目标模型用于对多轮会话的会话内容进行话题分割，从而，得到对话中更加细粒度的信息，如得到会话中涉及的一个或多个话题，从而，根据得到的一个或多个话题更精确地了解用户的需求，基于这些需求为用户提供更准确的数据推荐，提高用户体验。此外，本公开的实施方式提供了一种计算设备。

Description

模型训练方法、多轮对话中的话题分割方法、介质及装置

技术领域

本公开的实施方式涉及数据处理技术领域，更具体地，本公开的实施方式涉及模型训练方法、多轮对话中的话题分割方法、介质及装置。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

相关技术中，为了得到对语言更深层次的理解，语言处理领域的研究重点逐渐从字、词、句子级别转移到了段落、篇章等颗粒度更大的语义单元，话题分割在语言处理领域得到了前所未有的发展，成为最为活跃的研究方向之一。

现实生活中，以客服场景中，坐席和访客之间关于某个物品产生的多轮对话语言为例，如坐席和访客之间的多轮对话涉及欢迎语、咨询库存，确认尺码，下单，确认邮费，结束语等话题。假设在没有话题分割的情况下，对上述对话进行访客情绪识别，可能只能得到一部分信息，如得到在上述确认邮费时访客对邮费有意见。但实际上访客在上述确认尺码时对物品款式和尺码都很满意。因此，如何对会话进行话题分割，以得到对话中更加细粒度的信息，成为一个急需解决的问题。

发明内容

本公开提供一种模型训练方法、多轮对话中的话题分割方法、介质及装置，对会话进行话题分割，以得到对话中更加细粒度的信息。

在本公开实施方式的第一方面中，提供了一种模型训练方法，包括：从历史会话集中筛选出候选会话集，其中，候选会话集中每两个候选会话之间的语义相似度小于预设阈值；生成针对候选会话的话题标签，并基于话题标签拼接候选会话集以构成训练数据；基于训练数据对目标模型进行训练，目标模型用于对多轮会话的会话内容进行话题分割。

在本公开实施方式的第二方面中，提供了一种多轮对话中的话题分割方法，包括：将多轮对话中的会话内容输入至目标模型，由目标模型进行处理以获得会话内容对应的话题分割结果，其中，目标模型是根据如第一方面提供的模型训练方法训练得到的。

在本公开实施方式的第三方面，提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如第一方面提供的模型训练方法，和/或，实现如第二方面提供的多轮对话中的话题分割方法。

在本公开实施方式的第四方面中，提供了一种模型训练装置，包括：筛选模块，用于从历史会话集中筛选出候选会话集，其中，候选会话集中每两个候选会话之间的语义相似度小于预设阈值；生成模块，用于生成针对候选会话的话题标签，并基于话题标签拼接候选会话集以构成训练数据；训练模块，用于基于训练数据对目标模型进行训练，目标模型用于对多轮会话的会话内容进行话题分割。

在本公开实施方式的第五方面中，提供了一种多轮对话中的话题分割装置，包括：分割模块，用于将多轮对话中的会话内容输入至目标模型，由目标模型进行处理以获得会话内容对应的话题分割结果，其中，目标模型是根据如第一方面提供的模型训练方法训练得到的。

在本公开实施方式的第六方面中，提供了一种计算设备，包括：至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面提供的模型训练方法，和/或，使得至少一个处理器执行如第二方面提供的多轮对话中的话题分割方法。

在本公开实施方式中，从历史会话集中筛选出候选会话集，其中，候选会话集中每两个候选会话之间的语义相似度小于预设阈值，进而，生成针对上述候选会话的话题标签，并基于该话题标签拼接上述候选会话集以构成训练数据，基于该训练数据对目标模型进行训练，该目标模型用于对多轮会话的会话内容进行话题分割。这里，本公开实施例利用模型训练的思想，提供了一种对多轮会话的会话内容进行话题分割的方式，不仅能够对会话进行话题分割，得到对话中更加细粒度的信息，如得到会话中涉及的一个或多个话题，从而，根据得到的一个或多个话题更精确地了解用户的需求，基于这些需求为用户提供更准确的数据推荐，提高用户体验。而且本实施例采用语义相似度来区分不同对话以构造候选会话，节省了人工构造数据的成本。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示意性地示出了根据本公开实施方式提供的应用场景示意图；

图2示意性地示出了根据本公开一实施例提供的模型训练方法的流程示意图；

图3示意性地示出了根据本公开一实施例提供的历史会话集的示意图；

图4示意性地示出了根据本公开另一实施例提供的模型训练方法的流程示意图；

图5示意性地示出了根据本公开一实施例提供的会话相似度的示意图；

图6示意性地示出了根据本公开再一实施例提供的模型训练方法的流程示意图；

图7示意性地示出了根据本公开一实施例提供的会话的话题标签示意图；

图8示意性地示出了根据本公开又一实施例提供的模型训练方法的流程示意图；

图9示意性地示出了根据本公开一实施例提供的目标模型的示意图；

图10示意性地示出了根据本公开另一实施例提供的目标模型的示意图；

图11示意性地示出了根据本公开一实施例提供的多轮对话中的话题分割方法的流程示意图；

图12示意性地示出了根据本公开一实施例提供的存储介质的结构示意图；

图13示意性地示出了根据本公开一实施例提供的模型训练装置的结构示意图；

图14示意性地示出了根据本公开一实施例提供的多轮对话中的话题分割装置的结构示意图；

图15示意性地示出了根据本公开一实施例提供的计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本公开的实施方式，提出了一种模型训练方法、多轮对话中的话题分割方法、介质及装置。

在本文中，需要理解的是，所涉及的术语以及术语的含义如下：

话题分割：多轮会话往往涉及多个不同的话题，话题分割指对会话内部不同话题进行识别，从而，得到对话中更加细粒度的信息，用于改善下游文本处理(如对话分类、用户情绪识别等)。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。

发明概述

本发明人发现，在客服场景中，坐席和访客之间关于某个物品产生的多轮对话语言，如坐席和访客之间的多轮对话涉及欢迎语、咨询库存，确认尺码，下单，确认邮费，结束语等话题，例如下述：

(1)坐席：您好，请问有什么可以帮您？

(2)访客：这个衣服好可爱，还有没有货？

(3)坐席：有的呢

(4)坐席：您需要多大码？

(5)访客：170，65KG穿多大码？

(6)坐席：这个款式版型偏小，这边推荐您买L码

(7)访客：太好了，这就下单

(8)坐席：嗯嗯，谢谢支持

(9)访客：这怎么还要邮费

(10)坐席：亲，我们满99包邮哦

(11)访客：算了，那我再看看吧

(12)坐席：好的，欢迎再次光临

其中，上述坐席和访客之间产生的多轮对话中(1)涉及欢迎语，(2)-(3)涉及咨询库存，(4)-(6)涉及确认尺码，(7)-(8)涉及下单，(9)-(10)涉及确认邮费，(11)-(12)涉及结束语。假设在没有话题分割的情况下，对上述对话进行访客情绪识别，可能只能得到一部分信息，如得到在上述确认邮费时访客对邮费有意见。但实际上述访客在上述确认尺码时对物品款式和尺码都很满意。所以，有必要考虑如何对会话进行话题分割，以得到对话中更加细粒度的信息，如得到会话中涉及的一个或多个话题。例如对上述会话(1)-(12)进行话题分割，获得该会话涉及的欢迎语、咨询库存，确认尺码，下单，确认邮费，结束语等话题，从而可以通过这些话题更精确地了解用户的需求，如了解上述访客在确认尺码时对物品款式和尺码都很满意，进而，后续可以基于这些信息为用户提供更准确的数据推荐，如对上述物品的邮费进行优化，为上述访客推荐邮费优化后的物品等。

出于对会话进行话题分割的想法，本公开的实施方式中，利用模型训练的思想，训练能够对会话进行话题分割的目标模型，这样，可以基于该目标模型，实现对会话的话题分割，得到对话中更加细粒度的信息。如通过话题分割，得到会话中涉及的一个或多个话题，从而根据得到的一个或多个话题更精确地了解用户的需求，基于这些需求为用户提供更准确的数据推荐。如对上述物品的邮费进行优化，为上述访客推荐邮费优化后的物品等，提升用户体验。而且本实施例中，采用语义相似度来区分不同对话以构造候选会话，并基于该候选会话形成训练数据，以训练上述目标模型，节省了人工构造数据的成本。

在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。

应用场景总览

本公开实施方式适用于的场景包括模型训练场景和/或多轮对话中的话题分割场景。

首先参考图1，图1示意性地示出了根据本公开实施方式提供的应用场景示意图，该应用场景涉及的设备包括服务器101。

应用场景为模型训练场景时：服务器101可以采集训练数据，并部署待训练的模型，从而，基于训练数据训练模型。

应用场景为多轮对话中的话题分割场景时：服务器101上存储有待进行话题分割的多轮对话且部署有训练后的模型，可在服务器101上基于多轮对话的相关内容和训练后的模型，对多轮对话进行话题分割。

可选的，应用场景涉及的设备还包括终端102，服务器101与终端102可通过网络进行通信。

其中，用户可在终端102上打开某一应用程序，如购物应用程序，购买某一物品，与该物品下的坐席人员进行对话，以了解该物品的相关信息。经用户授权的情况下，终端102可记录用户与坐席人员的对话，并将记录的对话发送至服务器101，以用于模型训练和/或用于对话的话题分割。

示例性方法

下面结合图1的应用场景，参考图2-图11来描述根据本公开示例性实施方式提供的模型训练方法和多轮对话中的话题分割方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。

需要说明的是，本公开的实施方式可应用于电子设备，电子设备可以为终端或者服务器，即可在终端或者服务器上执行本公开示例性实施方式提供的模型训练方法和/或多轮对话中的话题分割方法。

其中，终端可以是个人数字处理(personal digital assistant，简称PDA)设备、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personal computer，简称PC))、车载设备、可穿戴设备(例如智能手表、智能手环)、智能家居设备(例如智能显示设备)等。

服务器可以是整体式服务器或是跨多计算机或计算机数据中心的分散式服务器。服务器还可以是各种类别的，例如但不限于，网络服务器，应用服务器，或数据库服务器，或代理服务器。

可选的，服务器可以包括硬件，软件，或用于执行服务器所支持或实现的合适功能的内嵌逻辑组件或两个或多个此类组件的组合。例如，服务器例如刀片服务器、云端服务器等，或者可以是由多台服务器组成的服务器群组，可以包括上述类别的服务器中的一种或多种等等。

需要说明的是，根据本公开示例性实施方式提供的模型训练方法和多轮对话中的话题分割方法，可以在相同设备上执行，也可以在不同设备上执行。

参考图2，图2示意性地示出了根据本公开一实施例提供的模型训练方法的流程示意图。如图2所示，模型训练方法包括：

S201、从历史会话集中筛选出候选会话集，其中，该候选会话集中每两个候选会话之间的语义相似度小于预设阈值。

这里，上述历史会话集包括多个历史会话，每一历史会话是基于单个物品的问题，以及与该问题对应的答复形成的会话。例如上述坐席和访客之间的多轮对话(1)-(12)是基于单个物品的问题，以及与该问题对应的答复形成的会话，在本实施例中，可以作为上述历史会话集中的一个历史会话。

在本实施例中，上述候选会话集中每两个候选会话之间的语义相似度小于预设阈值，说明两个候选会话之间的语义相似度较低，为不同话题的会话的概率较高。本实施例获取涉及单一话题的多个会话用于构建训练数据，从而，基于该训练数据，训练获得用于对多轮会话的会话内容进行话题分割的目标模型。其中，上述预设阈值可以根据实际情况设置，如本实施例将0.3设置为上述阈值。

可选地，在从历史会话集中筛选出候选会话集之前，本实施例还可以对上述历史会话集进行预处理，该预处理包括过滤预设语句和/或过滤会话长度大于预设长度的会话。其中，上述预设语句可以根据实际情况设置，例如本实施例将欢迎语(如您好，请问有什么可以帮您)和结束语(如好的，欢迎再次光临)等设置与上述预设语句，进而，过滤掉上述历史会话集中各个历史会话的欢迎语和结束语等预设语句，以便后续可以更加准确地确定过滤后的各个历史会话之间的语义相似度，从而基于该语义相似度，从历史会话集中筛选出符合要求的候选会话集。

另外，上述会话长度可以理解为会话中包含的文字数目，上述预设长度为包含的文字数目，可以根据实际情况设置，如本实施例可以将上述预设长度设置为包含60个字。本实施例过滤掉上述历史会话集中各个历史会话中会话长度大于预设长度的会话，如过滤掉各个历史会话中包含的文字数目大于60个字的会话，例如图3中所示，上述历史会话集包括会话1、会话2、会话3、会话4和会话5，会话1、会话2、会话3、会话4的会话长度小于或等于预设长度的会话，即包含的文字数目小于或等于预设包含的文字数目，如60个字，会话1、会话2、会话3、会话4涉及单一话题的可能性较大，可以保留，而会话5的会话长度大于预设长度的会话，即包含的文字数目大于预设包含的文字数目，如60个字，会话5涉及多个话题的可能性较大，因此要过滤掉，以便获取涉及单一话题的多个会话用于构建训练数据。

在本实施例中，上述预处理除上述过滤预设语句和/或过滤会话长度大于预设长度的会话外，还可以包括其它处理，如过滤非正常会话，该非正常会话可以为会话中包括视频和/或音频的会话，从而后续可以更加准确地从处理后的历史会话集中筛选出符合要求候选会话集。

S202、生成针对上述候选会话的话题标签，并基于该话题标签拼接上述候选会话集以构成训练数据。

其中，上述话题标签包括每一话题下的会话的起始语句标签。另外，上述话题标签还包括每一话题下的会话中各个语句的发言方的标签、每一话题下的会话的中间语句标签等。

本实施例在生成针对上述候选会话的话题标签后，可以按照该话题标签，对上述候选会话进行一一拼接，以构成上述训练数据。例如以上述候选会话集中包括上述会话1和会话2为例，本实施例可以首先生成针对上述会话1和会话2的话题标签，然后按照该话题标签，对上述会话1和会话2进行拼接，如将会话2起始语句标签对应的语句拼接在会话1最后一句后面，以构成上述训练数据。

S203、基于上述训练数据对目标模型进行训练，该目标模型用于对多轮会话的会话内容进行话题分割。

这里，在训练数据中，将候选会话作为目标模型的输入数据，并将候选会话的话题标签作为目标模型的标签数据，对目标模型进行有监督训练，使得目标模型预测的候选会话的话题接近候选会话的话题标签，从而提高训练得到的目标模型的准确度，进而提高利用训练得到的目标模型对多轮会话的会话内容进行话题分割预测的准确性。

本公开实施例中，通过从历史会话集中筛选出候选会话集，进而，生成针对上述候选会话的话题标签，并基于该话题标签拼接上述候选会话集以构成训练数据，基于该训练数据对目标模型进行训练，从而，基于训练后的目标模型实现对多轮会话的会话内容的话题分割，得到对话中更加细粒度的信息，如得到会话中涉及的一个或多个话题，从而，根据得到的一个或多个话题更精确地了解用户的需求，基于这些需求为用户提供更准确的数据推荐，提高用户体验。并且，本实施例通过语义相似度来区分不同对话以构造候选会话，节省了人工构造数据的成本。

另外，本公开实施例在从历史会话集中筛选出候选会话集时，还考虑计算上述历史会话集中历史会话之间的余弦相似度，进而，基于该余弦相似度，确定上述历史会话集中历史会话之间的语义相似度，根据该语义相似度，从上述历史会话集中筛选出候选会话集，实现了基于语义相似度来区分不同对话来构造候选会话的目的，无需人工参与，节省了人工构造数据的成本。图4为本公开另一实施例提供的模型训练方法的流程示意图，如图4所示，该方法包括：

S401、计算历史会话集中历史会话之间的余弦相似度。

可选地，本实施例在计算历史会话集中历史会话之间的余弦相似度时，可以先对上述历史会话集中历史会话进行向量化处理，获得历史会话对应的会话向量，然后基于历史会话对应的会话向量，计算历史会话之间的余弦相似度。这里，余弦相似度是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。

其中，在本实施例中，可以利用预设模型(例如基于BERT的双塔网络训练的句子语义相似度判断模型(Sentence Embeddings using Siamese Bert-Networks，Sentence-BERT))对上述历史会话集中历史会话进行向量化处理，从而，获得历史会话对应的会话向量。

S402、基于上述余弦相似度，确定上述历史会话集中历史会话之间的语义相似度。

这里，本实施例可以将上述历史会话之间的余弦相似度，作为历史会话之间的语义相似度。而且，本实施也可以计算其他参量，如历史会话之间的欧氏距离或曼哈顿距离等，然后，基于历史会话之间的欧氏距离或曼哈顿距离等，确定上述历史会话集中历史会话之间的语义相似度，如将上述历史会话之间的欧氏距离，作为历史会话之间的语义相似度，或者，将上述历史会话之间的曼哈顿距离，作为历史会话之间的语义相似度等，从而满足不同场景中计算会话之间语义相似度的不同需求。

S403、根据上述历史会话集中历史会话之间的语义相似度，从上述历史会话集中筛选出候选会话集，其中，该候选会话集中每两个候选会话之间的语义相似度小于预设阈值。

示例性的，本实施例可以从上述历史会话集中挑选两个历史会话，并确定这两个历史会话之间的语义相似度是否小于上述预设阈值。如果上述两个历史会话之间的语义相似度小于上述预设阈值，则从上述历史会话集除上述两个历史会话外的剩余会话中，继续挑选与上述两个历史会话的语义相似度小于上述预设阈值的历史会话，直至从上述历史会话集中挑选的历史会话的数目达到第一预设数目，停止挑选。

这里，本实施例可以从上述历史会话集中随机挑选两个历史会话，如果随机挑选的这两个历史会话之间的语义相似度小于上述预设阈值，说明这两个历史会话之间的语义相似度较低，为不同话题的会话的概率较高。例如图5所示，本实施例将会话1、会话2、会话3和会话4向量化处理，获得各个会话对应的会话向量，并计算各个会话向量之间的余弦相似度，将该余弦相似度作为上述会话之间的语义相似度，如果从上述会话集中随机挑选两个历史会话，如挑选了上述会话1和会话3，这两个会话之间的语义相似度为0.23，语义相似度较低，说明会话1和会话3为不同话题的会话的概率较高。进一步地，本实施例继续在剩余的历史会话中挑选与上述两个历史会话的语义相似度小于上述预设阈值的历史会话，直至从上述历史会话集中挑选的历史会话的数目达到第一预设数目，停止挑选，从而，从上述历史会话集中筛选获得第一预设数目不同话题的会话作为候选会话集以构成训练数据，并利用该训练数据训练用于对多轮会话的会话内容进行话题分割的目标模型，得到多轮会话中更加细粒度的信息，为用户提供更准确的数据推荐，而且其中无需人工参与，节省了人工构造数据的成本。其中，上述第一预设数目可以根据实际情况设置，如100。

这里，在确定上述两个历史会话之间的语义相似度是否小于预设阈值之后，如果两个历史会话之间的语义相似度大于或等于上述预设阈值，说明这两个历史会话之间的语义相似度较高，为同一话题的会话的概率较高。例如图5所示，会话1和会话4之间的语义相似度为0.92，语义相似度较高，说明会话1和会话4为同一话题的会话的概率较高。此时需要从上述历史会话剩余会话中，继续挑选历史会话，即挑选不同话题的会话。在本实施例中，在继续挑选历史会话时，可以采用多种方式，例如保留上述两个历史会话中的一个历史会话，如保留上述会话1和会话4中的一个会话，即保留会话1或会话4，从剩余会话中继续挑选与上述两个历史会话中一个历史会话(如上述会话1或会话4)的语义相似度小于上述预设阈值的历史会话，直至挑选的历史会话的数目达到上述第一预设数目，停止挑选；或者，删除上述两个历史会话，如删除上述会话1和会话4，从剩余会话中继续挑选历史会话，并将继续挑选的历史会话作为上述两个历史会话，重新执行上述确定上述两个历史会话之间的语义相似度是否小于预设阈值的步骤，直至从上述历史会话集中筛选获得第一预设数目不同话题的会话作为候选会话集，停止挑选。

另外，为了减少数据资源浪费，在上述两个历史会话之间的语义相似度大于或等于上述预设阈值时，本实施例还可以将上述两个历史会话分别存放在两个数据集中，如上述图5中的会话1和会话4，会话1和会话4之间的语义相似度大于或等于上述预设阈值，此时可以将会话1放在数据集1中，将会话4放在数据集2中，然后，从剩余会话中继续挑选历史会话，并分别计算挑选的历史会话与上述各个数据集中的历史会话之间的语义相似度，如果挑选的历史会话与上述各个数据集的一个数据集中的历史会话之间的语义相似度小于上述预设阈值，则将挑选的历史会话存放在该数据集中，如继续挑选的历史会话与上述数据集1中的历史会话之间的语义相似度小于上述预设阈值，则将挑选的历史会话存放在该数据集1中，或者，继续挑选的历史会话与上述数据集2中的历史会话之间的语义相似度小于上述预设阈值，则将挑选的历史会话存放在该数据集2中，然后继续挑选历史会话，直至每一数据集中的历史会话的数目达到第二预设数目，停止挑选。这样，本实施例从上述历史会话集中筛选获得多个数据集，每一数据集中的历史会话均可以作为候选会话集用于构建训练数据，减少数据资源浪费。其中，上述第二预设数目可以根据实际情况设置，例如50。

这里，在上述分别计算挑选的历史会话与上述各个数据集中的历史会话之间的语义相似度之后，如果挑选的历史会话与上述各个数据集中的历史会话之间的语义相似度大于或等于上述预设阈值，本实施例可以将挑选的历史会话存放在一个新的数据集中，如图5中挑选会话2与上述数据集1和数据集2中的中的历史会话之间的语义相似度大于或等于上述预设阈值，可以将会话2存放在一个新的数据集，例如数据集3中，并继续挑选历史会话，重新执行所述分别计算挑选的历史会话与各个数据集中的历史会话之间的语义相似度的步骤，直至每一数据集中的历史会话的数目达到第二预设数目，停止挑选。其中，在挑选的会话与已有的数据集中的会话的语义相似度大于或等于上述预设阈值时，将挑选的会话放在一个新的数据集中，从而，获得多个数据集用于构建训练数据，减少数据资源浪费。

S404、生成针对上述候选会话的话题标签，并基于该话题标签拼接上述候选会话集以构成训练数据。

S405、基于上述训练数据对目标模型进行训练，该目标模型用于对多轮会话的会话内容进行话题分割。

其中，步骤S404-S405的实现方式参见图2实施例中的相关描述，此处不再赘述。

本公开实施例中，在从历史会话集中筛选出候选会话集时，考虑计算上述历史会话集中历史会话之间的余弦相似度，进而，基于该余弦相似度，确定上述历史会话集中历史会话之间的语义相似度，从而，根据上述历史会话集中历史会话之间的语义相似度，从上述历史会话集中筛选出候选会话集，实现了基于语义相似度来区分不同对话来构造候选会话的目的，节省了人工构造数据的成本。而且本实施例在从上述历史会话集中筛选出候选会话集时可以采用多种方式，满足不同应用需要。

另外，上述话题标签包括每一话题下的会话的起始语句标签，也可以包括每一话题下的会话中各个语句的发言方的标签，每一话题下的会话的中间语句标签。其中，不同的话题标签可以作为会话主题切割结果的不同任务标签，例如如图6所示，本实施例设置每一话题下的会话的起始语句标签和每一话题下的会话的中间语句标签为会话主题切割结果的主任务标签，每一话题下的会话中各个语句的发言方的标签为会话主题切割结果的辅助任务标签，从而，在进行模型训练时可以采用辅助任务进行多任务学习，提高了主任务的准确率，如辅助任务在模型训练过程中帮助主任务找到更合适的参数，最终获得更好的模型。图6为本公开再一实施例提供的模型训练方法的流程示意图，如图6所示，该方法包括：

S601、从历史会话集中筛选出候选会话集，其中，该候选会话集中每两个候选会话之间的语义相似度小于预设阈值。

其中，步骤S601的实现方式参见图2实施例中的相关描述，此处不再赘述。

S602、确定上述候选会话中的起始语句，并确定上述候选会话中除起始语句外剩余的语句，将该剩余的语句作为上述候选会话的中间语句，获取上述候选会话中的各个语句的对应的发言方的身份标识。

S603、对上述候选会话中的起始语句添加起始语句标签，并对上述候选会话中的中间语句添加中间语句标签，基于上述候选会话中的各个语句的对应的发言方的身份标识，对上述候选会话中的各个语句添加发言方的标签，以生成针对上述候选会话的话题标签，基于该话题标签拼接上述候选会话集以构成训练数据。

这里，假如从上述历史会话集中筛选出的候选会话集中包括图2中的会话1、会话3和会话2，本实施例可以确定各个会话中的起始语句，如确定会话1的起始语句“衣服怎么还没发货？”，会话3的起始语句“你们这个衣服怎么这么小？”，会话2的起始语句“你好，这个衣服线头怎么这么多？”，并确定上述候选会话中除起始语句外剩余的语句，将该剩余的语句作为上述候选会话的中间语句，如确定会话1的中间语句“您好，最近受疫情，发货延迟2天。”、“快点！！”等等，会话3的中间语句“非常抱歉，是尺码不合适吗？”、“穿太紧了”等等，会话2的中间语句“非常抱歉，提供10元补偿行吗”、“好吧”等等，而且还可以获取上述候选会话中的各个语句的对应的发言方的身份标识，如获取会话1的起始语句“衣服怎么还没发货？”对应的发言方的身份标识是访客，中间语句“您好，最近受疫情，发货延迟2天。”对应的发言方的身份标识是坐席等等，会话3的起始语句“你们这个衣服怎么这么小？”对应的发言方的身份标识是访客，中间语句“非常抱歉，是尺码不合适吗？”对应的发言方的身份标识是坐席等等，会话2的起始语句“你好，这个衣服线头怎么这么多？”对应的发言方的身份标识是访客，中间语句“非常抱歉，提供10元补偿行吗”对应的发言方的身份标识是坐席等等。

进一步地，本实施例在确定上述候选会话中的起始语句，上述候选会话中的中间语句，并获取上述候选会话中的各个语句的对应的发言方的身份标识后，可以对上述候选会话中的起始语句添加起始语句标签，如按照B-TOPIC(按照BIO模式打标)，对上述候选会话中的中间语句添加中间语句标签，如I-TOPIC，并基于上述候选会话中的各个语句的对应的发言方的身份标识，对上述候选会话中的各个语句添加发言方的标签，如对发言人为坐席的添加坐席，对发言人为访客的添加访客，从而，生成针对上述候选会话的话题标签，并基于该话题标签拼接上述候选会话集以构成训练数据，示例性的，如图7所示。

S604、基于上述训练数据对目标模型进行训练，该目标模型用于对多轮会话的会话内容进行话题分割。

这里，本实施例可以设置每一话题下的会话的起始语句标签(如B-TOPIC，)和每一话题下的会话的中间语句标签(如I-TOPIC)为会话主题切割结果的主任务标签，每一话题下的会话中各个语句的发言方的标签(如坐席和访客)为会话主题切割结果的辅助任务标签，这样，在后续进行模型训练时可以采用辅助任务进行多任务学习，提高了主任务的准确率。

本公开实施例中，以上述话题标签包括每一话题下的会话的起始语句标签、每一话题下的会话中各个语句的发言方的标签和每一话题下的会话的中间语句标签为例，在从历史会话集中筛选出候选会话集，确定候选会话中的起始语句，候选会话的中间语句，并获取候选会话中的各个语句的对应的发言方的身份标识，从而，对候选会话中的起始语句添加起始语句标签，对候选会话中的中间语句添加中间语句标签，并对上述候选会话中的各个语句添加发言方的标签，生成针对上述候选会话的话题标签，并基于该话题标签拼接上述候选会话集以构成训练数据，这样，在进行后续模型训练时，可以设置每一话题下的会话的起始语句标签和每一话题下的会话的中间语句标签为会话主题切割结果的主任务标签，每一话题下的会话中各个语句的发言方的标签为会话主题切割结果的辅助任务标签，从而，采用辅助任务进行多任务学习，提高了主任务的准确率。

另外，本公开实施例在基于上述训练数据对目标模型进行训练时，还考虑将上述训练数据输入上述目标模型，得到上述训练数据的话题分割结果，进而，根据上述候选会话的话题标签，以及上述训练数据的话题分割结果，调整上述目标模型的模型参数，以使基于调整后的目标模型得到上述训练数据的话题分割结果与基于上述候选会话的话题标签确定的每一话题下的会话的相似度达到预设相似度，从而获得训练好的目标模型，以对多轮会话的会话内容进行话题分割。图8为本公开又一实施例提供的模型训练方法的流程示意图，如图8所示，该方法包括：

S801、从历史会话集中筛选出候选会话集，其中，该候选会话集中每两个候选会话之间的语义相似度小于预设阈值。

S802、生成针对上述候选会话的话题标签，并基于该话题标签拼接上述候选会话集以构成训练数据。

其中，步骤S801-S802的实现方式参见图2实施例中的相关描述，此处不再赘述。

S803、将上述训练数据输入目标模型，得到上述训练数据的话题分割结果，该目标模型用于对多轮会话的会话内容进行话题分割。

这里，上述目标模型可以包含输入层、特征提取层和输出层，上述输入层用于对输入的会话进行向量化处理，获得会话对应的会话向量，上述特征提取层用于对会话向量进行特征提取，获得会话向量的隐藏层特征表示，上述输出层基于会话向量的隐藏层特征表示，确定会话对应的话题分割结果。本实施例可以将上述训练数据输入上述输入层，以对上述训练数据进行向量化处理，获得上述训练数据对应的会话向量，然后通过上述特征提取层，对上述训练数据对应的会话向量进行特征提取，获得上述训练数据对应的会话向量的隐藏层特征表示，最后再将上述训练数据对应的会话向量的隐藏层特征表示输入上述输出层，获得上述训练数据的话题分割结果。

示例性的，如图9所示，上述输入层中，可以通过循环神经网络(Recurrent NeuralNetwork，RNN)或者基于自注意力机制的双向编码器模型Transformer将输入的会话转换为实数空间里的向量表征。如“衣服怎么还没有发货”可以转换成固定维度的向量e₁，具体表示为[0.67,0.26,0.28,…,0.68,0.09,0.13]。那么如图7所示的14句话，如用S₁,S₂,....,S_j-1,S_j,S_j+1,,....S₁₄表示14句话，通过上述输入层后可以得到14个相同维度的向量，如分别表示为e₁,e₂,....,e_j-1,e_j,e_j+1,....,e₁₄。上述特征提取层中，也可以通过RNN或者Transformer模型，将输入层的所有向量进行特征提取，得到对应向量的隐藏层特征表示，如分别表示为h₁,h₂,....,h_j-1,h_j,h_j+1,....,h₁₄。上述输出层中，可以基于上述得到的所有隐藏层特征表示，确定会话对应的话题分割结果，如计算每一话题下的会话的起始语句标签。

其中，上述输出层可以包括第一全连接层，第一全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话的起始语句标签。本实施例可以将上述训练数据对应的会话向量的隐藏层特征表示输入上述第一全连接层，得到上述训练数据中每一话题下的会话的起始语句标签。

可选地，上述话题分割结果还可以包括每一话题下的会话中各个语句的发言方的标签。上述输出层还可以包括第二全连接层，第二全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话中各个语句的发言方的标签。本实施例可以分别将上述训练数据对应的会话向量的隐藏层特征表示输入第一全连接层和第二全连接层，得到上述训练数据中每一话题下的会话的起始语句标签，以及上述训练数据中每一话题下的会话中各个语句的发言方的标签。

另外，上述话题分割结果还可以包括每一话题下的会话的中间语句标签。上述输出层还可以包括第三全连接层，第三全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话的中间语句标签，其中，每一话题下的会话的中间语句为相应话题下的会话中出起始语句外剩余的语句。本实施例可以分别将上述训练数据对应的会话向量的隐藏层特征表示输入第一全连接层、第二全连接层和第三全连接层，得到上述训练数据中每一话题下的会话的起始语句标签，上述训练数据中每一话题下的会话的中间语句标签，以及上述训练数据中每一话题下的会话中各个语句的发言方的标签。

在本实施例中，可以设置每一话题下的会话的起始语句标签和每一话题下的会话的中间语句标签为会话主题切割结果的主任务标签，每一话题下的会话中各个语句的发言方的标签为会话主题切割结果的辅助任务标签，这样，在后续基于上述训练数据对目标模型进行训练时，可以采用辅助任务进行多任务学习，以提高主任务的准确率，例如如图10所示，S₁,S₂,....,S_j-1,S_j,S_j+1,,....S_1n表示n句话，通过上述输入层后可以得到n个相同维度的向量，如分别表示为e₁,e₂,....,e_j-1,e_j,e_j+1,....,e_n，再通过上述特征提取层，将输入层的所有向量进行特征提取，得到对应向量的隐藏层特征表示，如分别表示为h₁,h₂,....,h_j-1,h_j,h_j+1,....,h_n，最后通过上述输出层中，基于上述得到的所有隐藏层特征表示，确定会话对应的话题分割结果，如将隐藏层特征表示传递给主任务和辅助任务的全连接层(如上述第一全连接层、第二全连接层和第三全连接层)，最后经过计算出两个任务的标签(如上述每一话题下的会话的起始语句标签，上述训练数据中每一话题下的会话的中间语句标签，以及上述训练数据中每一话题下的会话中各个语句的发言方的标签)。

S804、根据上述候选会话的话题标签，以及上述训练数据的话题分割结果，调整上述目标模型的模型参数，以使基于调整后的目标模型得到上述训练数据的话题分割结果与基于上述候选会话的话题标签确定的每一话题下的会话的相似度达到预设相似度。

其中，上述预设相似度可以根据实际情况设置，例如90％。本实施例将训练数据中的候选会话输入目标模型，得到多个候选会话对应的话题分割结果，然后，基于该话题分割结果，以及上述候选会话的话题标签，调整目标模型的模型参数，以获得训练好的目标模型，如本实施例可以根据上述话题分割结果与上述候选会话的话题标签之间的差异，对目标模型的模型参数进行调整，以使基于调整后的目标模型得到上述训练数据的话题分割结果与基于上述候选会话的话题标签确定的每一话题下的会话的相似度达到预设相似度，最后获得训练好的目标模型。

本公开实施例中，将上述训练数据输入上述目标模型，得到上述训练数据的话题分割结果，进而，根据上述候选会话的话题标签，以及上述训练数据的话题分割结果，调整上述目标模型的模型参数，以使基于调整后的目标模型得到上述训练数据的话题分割结果与基于上述候选会话的话题标签确定的每一话题下的会话的相似度达到预设相似度，从而获得训练好的目标模型，更好地对多轮会话的会话内容进行话题分割。

后续，提供目标模型应用于多轮对话中的话题分割的多个实施例。

参考图11，图11示意性地示出了根据本公开一实施例提供的多轮对话中的话题分割方法的流程示意图，如图11所示，多轮对话中的话题分割方法包括：

S1101、将多轮对话中的会话内容输入至目标模型，由该目标模型进行处理以获得上述会话内容对应的话题分割结果。

其中，上述目标模型是根据前述任一实施例提供的模型训练方法训练得到的，具体可参照前述实施例，在此不再赘述。

本实施例中，可将上述多轮对话中的会话内容输入至目标模型中，由目标模型基于上述多轮对话中的会话内容进行话题分割，得到经目标模型预测得到的话题分割结果。

其中，上述目标模型包含输入层、特征提取层和输出层，上述输入层用于对输入的会话进行向量化处理，获得会话对应的会话向量，上述特征提取层用于对会话向量进行特征提取，获得会话向量的隐藏层特征表示，上述输出层基于会话向量的隐藏层特征表示，确定会话对应的话题分割结果。本实施例可以将上述会话内容输入上述输入层，以对上述会话内容进行向量化处理，获得上述会话内容对应的会话向量，然后通过上述特征提取层，对上述会话内容对应的会话向量进行特征提取，获得上述会话内容对应的会话向量的隐藏层特征表示，最后再将上述会话内容对应的会话向量的隐藏层特征表示输入上述输出层，获得上述会话内容的话题分割结果。

其中，上述话题分割结果可以包括每一话题下的会话的起始语句标签。上述输出层可以包括第一全连接层，第一全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话的起始语句标签。本实施例可以将上述会话内容对应的会话向量的隐藏层特征表示输入上述第一全连接层，得到上述会话内容中每一话题下的会话的起始语句标签。

可选地，上述话题分割结果还可以包括每一话题下的会话中各个语句的发言方的标签。上述输出层还可以包括第二全连接层，第二全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话中各个语句的发言方的标签。本实施例可以分别将上述会话内容对应的会话向量的隐藏层特征表示输入第一全连接层和第二全连接层，得到上述会话内容中每一话题下的会话的起始语句标签，以及上述会话内容中每一话题下的会话中各个语句的发言方的标签。

另外，上述话题分割结果还可以包括每一话题下的会话的中间语句标签。上述输出层还可以包括第三全连接层，第三全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话的中间语句标签，其中，每一话题下的会话的中间语句为相应话题下的会话中出起始语句外剩余的语句。本实施例可以分别将上述会话内容对应的会话向量的隐藏层特征表示输入第一全连接层、第二全连接层和第三全连接层，得到上述会话内容中每一话题下的会话的起始语句标签，上述会话内容中每一话题下的会话的中间语句标签，以及上述会话内容中每一话题下的会话中各个语句的发言方的标签。

本公开实施例中，基于多轮对话中的会话内容和预先训练好的目标模型，对多轮对话进行话题分割，从而，得到对话中更加细粒度的信息，如得到会话中涉及的一个或多个话题，从而，根据得到的一个或多个话题更精确地了解用户的需求，基于这些需求为用户提供更准确的数据推荐，提高用户体验。

示例性介质

在介绍了本公开示例性实施方式的方法之后，接下来，参考图12对本公开示例性实施方式的存储介质进行说明。

参考图12所示，存储介质120中存储着根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备。

示例性装置

在介绍了本公开示例性实施方式的介质之后，接下来，参考图13-图14对本公开示例性实施方式的模型训练装置、多轮对话中的话题分割装置进行说明，其中，模型训练装置用于实现上述任一方法实施例提供的模型训练方法，多轮对话中的话题分割装置用于实现上述任一方法实施例提供的多轮对话中的话题分割方法，其实现原理和技术效果类似，在此不再赘述。

参考图13，图13为本公开一实施例提供的模型训练装置的结构示意图。如图13所示，模型训练装置包括：

筛选模块1301，用于从历史会话集中筛选出候选会话集，其中，所述候选会话集中每两个候选会话之间的语义相似度小于预设阈值。

生成模块1302，用于生成针对所述候选会话的话题标签，并基于所述话题标签拼接所述候选会话集以构成训练数据。

训练模块1303，用于基于所述训练数据对目标模型进行训练，所述目标模型用于对多轮会话的会话内容进行话题分割。

在本公开的一个实施例中，所述历史会话集包括多个历史会话，每一历史会话是基于单个物品的问题，以及与所述问题对应的答复形成的会话。

在本公开的又一个实施例中，所述筛选模块1301，具体用于：

对所述历史会话集进行预处理，所述预处理包括过滤预设语句和/或过滤会话长度大于预设长度的会话；从预处理后的历史会话集中筛选出所述候选会话集。

在本公开的又一个实施例中，所述筛选模块1301，具体用于：

计算所述历史会话集中历史会话之间的余弦相似度；基于所述余弦相似度，确定所述历史会话集中历史会话之间的语义相似度；根据所述历史会话集中历史会话之间的语义相似度，从所述历史会话集中筛选出候选会话集。

在本公开的又一个实施例中，所述筛选模块1301，具体用于：

从所述历史会话集中挑选两个历史会话，并确定所述两个历史会话之间的语义相似度是否小于所述预设阈值；若所述两个历史会话之间的语义相似度小于所述预设阈值，则从所述历史会话集除所述两个历史会话外的剩余会话中，继续挑选与所述两个历史会话的语义相似度小于所述预设阈值的历史会话，直至从所述历史会话集中挑选的历史会话的数目达到第一预设数目，停止挑选。

在本公开的又一个实施例中，所述筛选模块1301，还用于：

若所述两个历史会话之间的语义相似度大于或等于所述预设阈值，则从所述历史会话集除所述两个历史会话外的剩余会话中，继续挑选与所述两个历史会话中一个历史会话的语义相似度小于所述预设阈值的历史会话，直至从所述历史会话集中挑选的历史会话的数目达到所述第一预设数目，停止挑选。

在本公开的又一个实施例中，所述筛选模块1301，还用于：

若所述两个历史会话之间的语义相似度大于或等于所述预设阈值，则从所述历史会话集除所述两个历史会话外的剩余会话中，继续挑选历史会话，并将继续挑选的历史会话作为所述两个历史会话，重新执行所述确定所述两个历史会话之间的语义相似度是否小于预设阈值的步骤。

在本公开的又一个实施例中，所述筛选模块1301，还用于：

若所述两个历史会话之间的语义相似度大于或等于所述预设阈值，则将所述两个历史会话分别存放在两个数据集中，从所述历史会话集除所述两个历史会话外的剩余会话中，继续挑选历史会话，并分别计算挑选的历史会话与各个数据集中的历史会话之间的语义相似度；若挑选的历史会话与各个数据集的一个数据集中的历史会话之间的语义相似度小于所述预设阈值，则将挑选的历史会话存放在该数据集中，并继续挑选历史会话，直至每一数据集中的历史会话的数目达到第二预设数目，停止挑选。

在本公开的又一个实施例中，所述筛选模块1301，还用于：

若挑选的历史会话与各个数据集中的历史会话之间的语义相似度大于或等于所述预设阈值，则将挑选的历史会话存放在一个新的数据集中，并继续挑选历史会话，重新执行所述分别计算挑选的历史会话与各个数据集中的历史会话之间的语义相似度的步骤。

在本公开的又一个实施例中，所述话题标签包括每一话题下的会话的起始语句标签。

所述生成模块1302，具体用于：

确定所述候选会话中的起始语句；对所述候选会话中的起始语句添加起始语句标签，以生成针对所述候选会话的话题标签。

在本公开的又一个实施例中，所述话题标签还包括每一话题下的会话中各个语句的发言方的标签。

所述生成模块1302，具体用于：

获取所述候选会话中的各个语句的对应的发言方的身份标识；对所述候选会话中的起始语句添加起始语句标签，并基于所述候选会话中的各个语句的对应的发言方的身份标识，对所述候选会话中的各个语句添加发言方的标签，以生成针对所述候选会话的话题标签。

在本公开的又一个实施例中，所述话题标签包括每一话题下的会话的中间语句标签。

所述生成模块1302，具体用于：

确定所述候选会话中除起始语句外剩余的语句，将所述剩余的语句作为所述候选会话的中间语句；对所述候选会话中的起始语句添加起始语句标签，对所述候选会话中的中间语句添加中间语句标签，并基于所述候选会话中的各个语句的对应的发言方的身份标识，对所述候选会话中的各个语句添加发言方的标签，以生成针对所述候选会话的话题标签。

在本公开的又一个实施例中，所述训练模块1303，具体用于：

将所述训练数据输入所述目标模型，得到所述训练数据的话题分割结果；根据所述候选会话的话题标签，以及所述训练数据的话题分割结果，调整所述目标模型的模型参数，以使基于调整后的目标模型得到所述训练数据的话题分割结果与基于所述候选会话的话题标签确定的每一话题下的会话的相似度达到预设相似度。

在本公开的又一个实施例中，所述目标模型包含输入层、特征提取层和输出层，所述输入层用于对输入的会话进行向量化处理，获得会话对应的会话向量，所述特征提取层用于对会话向量进行特征提取，获得会话向量的隐藏层特征表示，所述输出层基于会话向量的隐藏层特征表示，确定会话对应的话题分割结果。

在本公开的又一个实施例中，所述训练模块1303，具体用于：

将所述训练数据输入所述输入层，以对所述训练数据进行向量化处理，获得所述训练数据对应的会话向量；通过所述特征提取层，对所述训练数据对应的会话向量进行特征提取，获得所述训练数据对应的会话向量的隐藏层特征表示；将所述训练数据对应的会话向量的隐藏层特征表示输入所述输出层，获得所述训练数据的话题分割结果。

在本公开的又一个实施例中，所述话题分割结果包括每一话题下的会话的起始语句标签，所述输出层包括第一全连接层，所述第一全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话的起始语句标签。

在本公开的又一个实施例中，所述训练模块1303，具体用于：

将所述训练数据对应的会话向量的隐藏层特征表示输入所述第一全连接层，得到所述训练数据中每一话题下的会话的起始语句标签。

在本公开的又一个实施例中，所述话题分割结果还包括每一话题下的会话中各个语句的发言方的标签，所述输出层还包括第二全连接层，所述第二全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话中各个语句的发言方的标签。

在本公开的又一个实施例中，所述训练模块1303，具体用于：

分别将所述训练数据对应的会话向量的隐藏层特征表示输入所述第一全连接层和所述第二全连接层，得到所述训练数据中每一话题下的会话的起始语句标签，以及所述训练数据中每一话题下的会话中各个语句的发言方的标签。

在本公开的又一个实施例中，所述话题分割结果包括每一话题下的会话的中间语句标签，所述输出层还包括第三全连接层，所述第三全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话的中间语句标签，其中，每一话题下的会话的中间语句为相应话题下的会话中出起始语句外剩余的语句。

在本公开的又一个实施例中，所述训练模块1303，具体用于：

分别将所述训练数据对应的会话向量的隐藏层特征表示输入所述第一全连接层、所述第二全连接层和所述第三全连接层，得到所述训练数据中每一话题下的会话的起始语句标签，所述训练数据中每一话题下的会话的中间语句标签，以及所述训练数据中每一话题下的会话中各个语句的发言方的标签。

参考图14，图14为本公开一实施例提供的多轮对话中的话题分割装置的结构示意图。如图14所示，多轮对话中的话题分割装置包括：

分割模块1401，用于将多轮对话中的会话内容输入至目标模型，由所述目标模型进行处理以获得所述会话内容对应的话题分割结果。

其中，目标模型是根据前述任一实施例提供的模型训练方法训练得到的。

在本公开的一个实施例中，所述目标模型包含输入层、特征提取层和输出层，所述输入层用于对输入的会话进行向量化处理，获得会话对应的会话向量，所述特征提取层用于对会话向量进行特征提取，获得会话向量的隐藏层特征表示，所述输出层基于会话向量的隐藏层特征表示，确定会话对应的话题分割结果。

在本公开的又一个实施例中，所述分割模块1401，具体用于：

将所述会话内容输入所述输入层，以对所述会话内容进行向量化处理，获得所述会话内容对应的会话向量；通过所述特征提取层，对所述会话内容对应的会话向量进行特征提取，获得所述会话内容对应的会话向量的隐藏层特征表示；将所述会话内容对应的会话向量的隐藏层特征表示输入所述输出层，获得所述会话内容对应的话题分割结果。

在本公开的又一个实施例中，所述话题分割结果包括每一话题下的会话的起始语句标签，所述输出层包括第一全连接层，所述第一全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话的起始语句标签。

在本公开的又一个实施例中，所述分割模块1401，具体用于：

将所述会话内容对应的会话向量的隐藏层特征表示输入所述第一全连接层，得到所述会话内容中每一话题下的会话的起始语句标签。

在本公开的又一个实施例中，所述话题分割结果还包括每一话题下的会话中各个语句的发言方的标签，所述输出层还包括第二全连接层，所述第二全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话中各个语句的发言方的标签。

在本公开的又一个实施例中，所述分割模块1401，具体用于：

分别将所述会话内容对应的会话向量的隐藏层特征表示输入所述第一全连接层和所述第二全连接层，得到所述会话内容中每一话题下的会话的起始语句标签，以及所述会话内容中每一话题下的会话中各个语句的发言方的标签。

在本公开的又一个实施例中，所述话题分割结果包括每一话题下的会话的中间语句标签，所述输出层还包括第三全连接层，所述第三全连接层基于会话向量的隐藏层特征表示，确定每一话题下的会话的中间语句标签，其中，每一话题下的会话的中间语句为相应话题下的会话中出起始语句外剩余的语句。

在本公开的又一个实施例中，所述分割模块1401，具体用于：

分别将所述会话内容对应的会话向量的隐藏层特征表示输入所述第一全连接层、所述第二全连接层和所述第三全连接层，得到所述会话内容中每一话题下的会话的起始语句标签，所述会话内容中每一话题下的会话的中间语句标签，以及所述会话内容中每一话题下的会话中各个语句的发言方的标签。

示例性计算设备

在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，参考图15对本公开示例性实施方式的计算设备进行说明。

图15显示的计算设备150仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图15所示，计算设备150以通用计算设备的形式表现。计算设备150的组件可以包括但不限于：上述至少一个处理单元1501、上述至少一个存储单元1502，连接不同系统组件(包括处理单元1501和存储单元1502)的总线1503。

总线1503包括数据总线、控制总线和地址总线。

存储单元1502可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)15021和/或高速缓存存储器15022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(ROM)15023。

存储单元1502还可以包括具有一组(至少一个)程序模块15024的程序/实用工具15025，这样的程序模块15024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备150也可以与一个或多个外部设备1504(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口1505进行。并且，计算设备150还可以通过网络适配器1506与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图15所示，网络适配器1506通过总线1503与计算设备150的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备150使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了模型训练装置、多轮对话中的话题分割装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种模型训练方法，其特征在于，包括：

从历史会话集中筛选出候选会话集，其中，所述候选会话集中每两个候选会话之间的语义相似度小于预设阈值；

生成针对所述候选会话的话题标签，并基于所述话题标签拼接所述候选会话集以构成训练数据；

基于所述训练数据对目标模型进行训练，所述目标模型用于对多轮会话的会话内容进行话题分割。

2.根据权利要求1所述的模型训练方法，其特征在于，所述历史会话集包括多个历史会话，每一历史会话是基于单个物品的问题，以及与所述问题对应的答复形成的会话。

3.根据权利要求2所述的模型训练方法，其特征在于，在所述从历史会话集中筛选出候选会话集之前，还包括：

对所述历史会话集进行预处理，所述预处理包括过滤预设语句和/或过滤会话长度大于预设长度的会话；

所述从历史会话集中筛选出候选会话集，包括：

从预处理后的历史会话集中筛选出所述候选会话集。

4.根据权利要求1至3中任一项所述的模型训练方法，其特征在于，所述从历史会话集中筛选出候选会话集，包括：

计算所述历史会话集中历史会话之间的余弦相似度；

基于所述余弦相似度，确定所述历史会话集中历史会话之间的语义相似度；

根据所述历史会话集中历史会话之间的语义相似度，从所述历史会话集中筛选出候选会话集。

5.根据权利要求4所述的模型训练方法，其特征在于，所述根据所述历史会话集中历史会话之间的语义相似度，从所述历史会话集中筛选出候选会话集，包括：

从所述历史会话集中挑选两个历史会话，并确定所述两个历史会话之间的语义相似度是否小于所述预设阈值；

若所述两个历史会话之间的语义相似度小于所述预设阈值，则从所述历史会话集除所述两个历史会话外的剩余会话中，继续挑选与所述两个历史会话的语义相似度小于所述预设阈值的历史会话，直至从所述历史会话集中挑选的历史会话的数目达到第一预设数目，停止挑选。

6.一种多轮对话中的话题分割方法，其特征在于，包括：

将多轮对话中的会话内容输入至目标模型，由所述目标模型进行处理以获得所述会话内容对应的话题分割结果，其中，所述目标模型是根据权利要求1至5任一项所述的模型训练方法训练获得的。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至5任一项所述的模型训练方法，和/或，实现如权利要求6所述的多轮对话中的话题分割方法。

8.一种模型训练装置，其特征在于，包括：

筛选模块，用于从历史会话集中筛选出候选会话集，其中，所述候选会话集中每两个候选会话之间的语义相似度小于预设阈值；

生成模块，用于生成针对所述候选会话的话题标签，并基于所述话题标签拼接所述候选会话集以构成训练数据；

训练模块，用于基于所述训练数据对目标模型进行训练，所述目标模型用于对多轮会话的会话内容进行话题分割。

9.一种多轮对话中的话题分割装置，其特征在于，包括：

分割模块，用于将多轮对话中的会话内容输入至目标模型，由所述目标模型进行处理以获得所述会话内容对应的话题分割结果，其中，所述目标模型是根据权利要求1至5任一项所述的模型训练方法训练获得的。

10.一种计算设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至5任一项所述的模型训练方法，和/或，使得所述至少一个处理器执行如权利要求6所述的多轮对话中的话题分割方法。

Images