CN115130364A - 槽填充模型的训练方法及装置、计算设备和训练系统 - Google Patents

Abstract

一种槽填充模型的训练方法及装置、计算设备和训练系统，所述方法包括：获取未标注样本和已标注样本，并将所述已标注样本作为训练数据训练预设模型，以得到槽填充模型；将所述未标注样本输入至所述槽填充模型，以得到所述未标注样本的预测结果；根据所述未标注样本的预测结果筛选出待标注样本，并将所述待标注样本发送至外部终端进行标注；从所述外部终端获取标注后的待标注样本，根据所述标注后的待标注样本更新所述已标注样本，并采用更新后的已标注样本重新训练所述槽填充模型；判断是否满足预设停止条件，如果是，则得到训练后的槽填充模型。通过本发明的方案，可以减少需要标注的样本数量，并提高槽填充模型的训练效率。

Description

槽填充模型的训练方法及装置、计算设备和训练系统

技术领域

本发明涉及人工智能技术领域，尤其涉及一种槽填充模型的训练方法及装置、存储介质、计算设备和槽填充模型的训练系统。

背景技术

聊天机器人(Chatbot)是近几年人工智能领域热门研究方向之一，得到了学术界和工业界的持续关注。槽位填充(Slot Filling)是聊天机器人中非常重要的一环，它是任务型对话系统中自然语言处理(Natural Language Processing，NLP)的重要任务之一。槽填充模型是指用于对用户输入的自然语言文本进行槽位填充的模型，以从用户输入的自然语言文本中识别出有用信息，从而使聊天机器人理解用户输入的自然语言文本，并根据提取到的有用信息进行反馈等。

智能客服是聊天机器人的重要应用场景之一。目前，基于聊天机器人的智能客服已经应用在电商、政务、金融和医疗等领域。应用于不同领域的聊天机器人需要识别的有用信息是不同的，因此，需要分别训练各个领域适用的槽填充模型。现有技术中，需要由人工对大量的训练样本进行标注，然后采用大量已标注的训练样本对预设模型进行训练，才能得到训练后的槽填充模型。由于需要对大量的训练样本进行标注才能使训练后的槽填充模型取得比较好的效果，因此这种方法效率低，耗时长。

因此，亟需一种槽填充模型的训练方法，能够减少需要标注的训练样本的数量，从而提高槽填充模型的训练效率。

发明内容

本发明解决的技术问题是提供一种槽填充模型的训练方法，能够减少需要标注的训练样本的数量，从而提高槽填充模型的训练效率。

为解决上述技术问题，本发明实施例提供一种槽填充模型的训练方法，所述方法包括：步骤一：获取未标注样本和已标注样本，并将所述已标注样本作为训练数据训练预设模型，以得到槽填充模型；步骤二：将所述未标注样本输入至所述槽填充模型，以得到所述未标注样本的预测结果；步骤三：根据所述未标注样本的预测结果筛选出所述未标注样本的至少一部分，记为待标注样本，并将所述待标注样本发送至外部终端进行标注；步骤四：从所述外部终端获取标注后的待标注样本，根据所述标注后的待标注样本更新所述已标注样本，并采用更新后的已标注样本重新训练所述槽填充模型；步骤五：判断是否满足预设停止条件，如果是，则得到训练后的槽填充模型。

可选的，所述方法还包括：如果不满足所述预设停止条件，则返回至步骤二，直至满足所述预设停止条件。

可选的，所述方法还包括：如果不满足所述预设停止条件，则返回至步骤三，直至满足所述预设停止条件。

可选的，所述未标注样本被划分为多个槽位，所述未标注样本的预测结果包括各个槽位的预测结果，根据所述未标注样本的预测结果筛选出待标注样本包括：根据所述未标注样本的各个槽位的预测结果，计算所述未标注样本的信息熵；根据所述未标注样本的信息熵筛选出所述待标注样本。

可选的，所述槽填充模型具有多个预设槽位类型，根据所述未标注样本的各个槽位的预测结果，计算所述未标注样本的信息熵包括：对于所述未标注样本的每个槽位，预测该槽位属于各个预设槽位类型的概率，并根据该槽位属于各个预设槽位类型的概率计算该槽位的信息熵；将所述未标注样本的各个槽位的信息熵的平均值作为该未标注样本的信息熵。

可选的，根据该槽位属于各个预设槽位类型的概率计算该槽位的信息熵包括：采用下列公式计算所述槽位的信息熵：

其中，H为所述槽位的信息熵，N为所述预设槽位类型的数量，p_i为所述槽位属于第i个预设槽位类型的概率，i为正整数，且1≤i≤N。

可选的，根据所述未标注样本的各个槽位的预测结果，计算所述未标注样本的信息熵之前，所述方法还包括：对所述未标注样本进行分词，以得到多个分词结果；判断两两相邻的分词结果之间是否具备连接关系，如果是，则所述两两相邻的分词结果属于同一个槽位，否则，所述两两相邻的分词结果不属于同一个槽位。

可选的，根据所述未标注样本的信息熵筛选出所述待标注样本包括：按照所述信息熵从大到小的顺序，选取预设数量个未标注样本作为所述待标注样本；或者，选取所述信息熵大于第一预设阈值的未标注样本作为所述待标注样本。

可选的，根据所述标注后的待标注样本更新所述已标注样本包括：将所述标注后的待标注样本添加至所述已标注样本中，以得到更新后的已标注样本；或者，采用所述标注后的待标注样本替换所述已标注样本，以得到更新后的已标注样本。

可选的，根据所述未标注样本的预测结果筛选出待标注样本包括：根据所述未标注样本的预测结果，选择所述未标注样本的至少一部分作为所述待标注样本；将所述待标注样本从所述未标注样本中剔除，以更新所述未标注样本。

可选的，所述预设停止条件包括以下一项或多项：所述已标注样本的数量达到第二预设阈值；采用测试样本测试所述槽填充模型时，预设指标的取值达到第三预设阈值，其中，所述预设指标包括以下一项或多项：准确率、召回率、精确率和Fsocre指标。

为了解决上述技术问题，本发明实施例还提出一种槽填充模型的训练装置，所述装置包括：训练模块，用于获取未标注样本和已标注样本，并将所述已标注样本作为训练数据训练预设模型，以得到槽填充模型；预测模块，用于将所述未标注样本输入至所述槽填充模型，以得到所述未标注样本的预测结果；筛选模块，用于根据所述未标注样本的预测结果筛选出未标注样本的至少一部分，记为待标注样本，并将所述待标注样本发送至外部终端进行标注；重新训练模块，用于从所述外部终端获取标注后的待标注样本，根据所述标注后的待标注样本更新所述已标注样本，并采用更新后的已标注样本重新训练所述槽填充模型；判断模块，用于判断是否满足预设停止条件，如果是，则得到训练后的槽填充模型。

本发明实施例还提出一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述槽填充模型的训练方法的步骤。

本发明实施例还提出一种计算设备，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述槽填充模型的训练方法的步骤。

本发明实施例还提出一种槽填充模型的训练系统，所述系统包括：上述的计算设备；所述外部终端，所述外部终端与所述计算设备耦接。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在本发明实施例的方案中，采用已标注样本初步训练得到槽填充模型后，从外部终端获取标注后的待标注样本更新已标注样本，并采用更新后的已标注样本重新训练槽填充模型，如果重新训练后满足预设停止条件，则得到训练后的槽填充模型。采用上述方案时，待标注样本是根据槽填充模型对未标注样本的预测结果筛选得到的，因此待标注样本可以很好地体现槽填充模型的预测效果，具有较高的标注价值。进一步地，采用更新后的已标注样本重新训练槽填充模型时，已标注样本是根据标注后的待标注样本更新的，由于标注后的待标注样本是由外部终端进行标注的，可以校正槽填充模型对待标注样本的预测结果，因此采用更新后的已标注样本训练槽填充模型，可以快速地提高槽填充模型的预测效果，以满足预设停止条件。因此，本发明实施例的方案中，根据槽填充模型对未标注样本的预测结果筛选出待标注样本进行标注，并根据标注后的待标注样本训练槽填充模型，可以减少需要标注的样本数量，从而提高槽填充模型的训练效率。

附图说明

图1是本发明实施例中第一种槽填充模型的训练方法的流程示意图。

图2是本发明实施例中第二种槽填充模型的训练方法的流程示意图。

图3是本发明实施例中一种槽填充模型的训练装置的结构示意图。

图4是本发明实施例中一种槽填充模型的训练系统的结构示意图。

具体实施方式

如背景技术所述，智能客服是聊天机器人的重要应用场景之一。目前，基于聊天机器人的智能客服系统已经应用在电商、政务、金融和医疗等领域。应用于不同领域的聊天机器人需要识别的有用信息是不同的，需要训练各个领域适用的槽填充模型。现有技术中，需要由人工对大量的训练样本进行标注，然后采用大量已标注的训练样本对预设模型进行训练，才能得到训练后的槽填充模型。由于需要对大量的训练样本进行标注才能使训练后的槽填充模型取得比较好的效果，这种方法效率低，耗时长。因此，亟需一种槽填充模型的训练方法，能够减少需要标注的训练样本的数量，从而提高槽填充模型的训练效率。

为了解决上述技术问题，本发明实施例提供一种槽填充模型的训练方法。在本发明实施例的方案中，采用已标注样本初步训练得到槽填充模型后，从外部终端获取标注后的待标注样本更新已标注样本，并采用更新后的已标注样本重新训练槽填充模型，如果重新训练后满足预设停止条件，则得到训练后的槽填充模型。采用上述方案时，待标注样本是根据槽填充模型对未标注样本的预测结果筛选得到的，因此待标注样本可以很好地体现槽填充模型的预测效果，具有较高的标注价值。进一步地，采用更新后的已标注样本重新训练槽填充模型时，已标注样本是根据标注后的待标注样本更新的，由于标注后的待标注样本是由外部终端进行标注的，可以校正槽填充模型对待标注样本的预测结果，因此采用标注后的待标注样本更新后的已标注样本训练槽填充模型，可以快速地提高槽填充模型的预测效果，以满足预设停止条件。因此，本发明实施例的方案中，根据槽填充模型对未标注样本的预测结果筛选出待标注样本进行标注，并根据标注后的待标注样本训练槽填充模型，可以减少需要标注的样本数量，从而提高槽填充模型的训练效率。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参考图1，图1是本发明实施例中第一种槽填充模型的训练方法的流程示意图。所述方法可以由计算设备执行，所述计算设备可以是任何具有数据接收和数据处理能力的终端，例如可以是计算机、平板电脑等，但并不限于此。所述计算设备可以与数据库服务器耦接，所述数据库服务器可以用于存储数据，例如可以用于存储槽填充模型的训练数据等。所述数据库服务器可以是基于关系型数据库管理系统的数据库服务器，但并不限于此。

图1示出的槽填充模型的训练方法可以包括以下步骤：

步骤S101：获取未标注样本和已标注样本，并将所述已标注样本作为训练数据训练预设模型，以得到槽填充模型；

步骤S102：将所述未标注样本输入至所述槽填充模型，以得到所述未标注样本的预测结果；

步骤S103：根据所述未标注样本的预测结果筛选出所述未标注样本的至少一部分，记为待标注样本，并将所述待标注样本发送至外部终端进行标注；

步骤S104：从所述外部终端获取标注后的待标注样本，根据所述标注后的待标注样本更新所述已标注样本，并采用更新后的已标注样本重新训练所述槽填充模型；

步骤S105：判断是否满足预设停止条件；如果是，则跳转至步骤S106，得到训练后的槽填充模型，否则，返回至步骤S102。

在步骤S101的具体实施中，可以从数据库服务器获取未标注样本，也可以从本地存储器获取未标注样本。所述未标注样本是指未标注有预设槽位类型的样本。也即，未标注样本可以仅包括自然语言文本，且该自然语言文本未标注有预设槽位类型。例如，未标注样本为自然语言文本“帮我订张从杭州出发的机票”。进一步地，所述预设槽位类型可以是预先设置的，所述预设槽位类型与槽填充模型的应用场景相关，也即，用户可以根据槽填充模型的应用场景预先设置该槽填充模型具有的多个预设槽位类型。例如，应用场景为服装类电商的客服场景，预设槽位类型可以包括身高类型、体重类型和尺码类型等；又例如，应用场景为电子产品类电商的客服场景，预设槽位类型可以包括颜色类型、内存类型和型号类型等；再例如，应用场景为打车平台的客服场景，预设槽位类型可以包括出发地类型、目的地类型和出发时间类型等。

进一步地，可以从数据库服务器获取已标注样本，所述已标注样本是指标注有预设槽位类型的样本。也即，已标注样本是指标注有预设槽位类型的自然语言文本。例如，用户输入的自然语言文本“帮我订张从杭州出发的机票”中的“从杭州出发”标注有“出发地”的预设槽位类型，“机票”标注有“交通工具”的预设槽位类型，该自然语言文本为已标注样本。

其中，所述已标注样本可以是由外部终端自动对未标注样本进行标注得到的，例如，可以是利用其他机器学习模型进行标注得到的；也可以是由人工操作外部终端对未标注样本进行标注得到的。所述外部终端可以是任何恰当的终端，例如可以是手机、计算机、平板电脑等。外部终端标注得到已标注样本后，可以将已标注样本上传至数据库服务器，以便计算设备从数据库服务器获取已标注样本，也可以将已标注样本保存至本地存储器，以便直接向计算设备提供已标注样本。

进一步地，可以将已标注样本作为训练数据训练预设模型。在本发明的一个非限制性实施例中，用于训练预设模型的已标注样本的数量不超过预设样本数量阈值，预设样本数量阈值可以是预先设置的，例如，可以是1000条。由此，可以采用较少的已标注样本对预设模型进行初步训练，以得到槽填充模型。

其中，所述预设模型可以是基于双向长短时记忆网络加条件随机场(Bi-directional Long Short Term Memory-Conditional Random Fields，BiLSTM-CRF)的模型，也可以是基于提及检测和消除歧义(Mention detection and disambiguation)的模型，但并不限于此。

在步骤S102的具体实施中，将获取到的未标注样本输入至槽填充模型，以得到未标注样本的预测结果。

具体而言，未标注样本输入至槽填充模型后，未标注样本被划分为多个槽位。在本发明的一个非限制性实施例中，槽填充模型是基于提及检测和消除歧义的模型。未标注样本输入至槽填充模型后，首先对未标注样本进行分词，以得到未标注样本的多个分词结果；然后判断两两相邻的分词结果之间是否具备连接关系，如果是，则两两相邻的分词结果属于同一个槽位，否则，两两相邻的分词结果不属于同一个槽位。由此可以得到未标注样本的多个槽位。

具体而言，将未标注样本进行分词，采用预设符号(例如，空格)连接两两相邻的分词结果，然后可以判断各个预设符号的属性。对于每个预设符号，如果该预设符号的属性为“连接(tie)”，则该预设符号连接的两个分词结果属于同一个槽位，如果该预设符号的属性为“断开(break)”，则该预设符号连接的两个分词结果属于不同的槽位，

例如，未标注样本为“你好，我身高1.75，体重140斤，应该穿什么尺码的衣服呢？”，首先对该未标注样本进行分词，并得到以下分词结果：“你好”、“，”、“我”、“身高”、“1.75”、“，”、“体重”、“140”、“斤”、“应该”、“穿”“什么”、“尺码”、“的”、“衣服”、“呢”、“？”。进一步地，分别判断两两分词结果之间是否具备连接关系，以分词结果“我”和“身高”为例，该两个分词结果之间的预设符号的属性为“断开(break)”，则可以判断分词结果“我”和“身高”之间不具备连接关系，分别属于两个槽位。又以分词结果“身高”和“1.75”为例，该两个分词结果的预设符号的属性为“连接(tie)”，则可以判断分词结果“身高”和“1.75”之间具备连接关系，属于同一个槽位。由此，槽填充模型将未标注样本“你好，我身高1.75，体重140斤，应该穿什么尺码的衣服呢？”划分为以下槽位：“你好”、“，”、“我”、“身高1.75”、“，”、“体重140斤”、“，”、“应该”、“穿什么尺码”、“的”、“衣服”、“呢”、“？”。

进一步地，槽填充模型可以预测每个槽位属于各个预设槽位类型的概率。也即，未标注样本的预测结果包括各个槽位的预测结果，每个槽位的预测结果即为该槽位属于各个预设槽位类型的概率。换言之，未标注样本的预测结果包括未标注样本中各个槽位属于预设槽位类型的概率分布。

例如，槽填充模型的预设槽位类型包括身高类型，体重类型，空白类型，其中，空白类型用于描述不具有任何意义的槽位。以未标注样本“你好，我身高1.75，体重140斤，应该穿什么尺码的衣服呢？”中的槽位“身高1.75”为例，该槽位属于身高类型的概率为0.6，属于体重类型的概率为0.2，属于空白类型的概率为0.2。

在步骤S103的具体实施中，可以根据未标注样本的预测结果筛选出待标注样本。

具体而言，可以根据未标注样本的预测结果计算未标注样本的信息熵，并根据信息熵的大小从未标注样本中筛选出待标注样本。其中，所述信息熵可以用于描述槽填充模型对未标注样本的预测结果的不确定性，信息熵越大，槽填充模型对于该未标注样本的预测结果越不确定，则说明该未标注样本的标注价值越高，由此，待标注样本可以很好地体现槽填充模型的预测效果。

进一步地，由于未标注样本的预测结果包括未标注样本的各个槽位的预测结果，每个槽位的预测结果为该槽位属于各个槽位类型的概率，因此可以根据未标注样本的每个槽位属于各个槽位类型的概率计算未标注样本的信息熵。

具体而言，对于未标注样本的每个槽位，预测该槽位属于各个预设槽位类型的概率后，可以采用下列公式计算该槽位的信息熵：

其中，H为所述槽位的信息熵，N为槽填充模型的预设槽位类型的数量，p_i为所述槽位属于第i个预设槽位类型的概率，i为正整数，且1≤i≤N。

进一步地，可以将所述未标注样本的各个槽位的信息熵的平均值作为该未标注样本的信息熵。由此，未标注样本的信息熵是根据各个槽位的信息熵计算得到的，可以准确地描述槽填充模型对未标注样本进行预测时的不确定性。

进一步地，根据未标注样本的信息熵筛选待标注样本时，可以按照所述信息熵从大到小的顺序，选取预设数量个未标注样本作为所述待标注样本，例如，选取信息熵最大的1000条未标注样本作为待标注样本。还可以选取信息熵大于第一预设阈值的未标注样本作为所述待标注样本。其中，预设数量和第一预设阈值可以是预先设置的。

进一步地，可以将待标注样本发送至外部终端进行标注。待标注样本可以是由外部终端自动进行标注，例如，可以是利用其他机器学习模型进行标注；也可以是由人工操作外部终端对待标注样本进行标注。所述外部终端可以是任何恰当的终端，例如可以是手机、计算机、平板电脑等。

进一步地，外部终端对待标注样本进行标注后，可以将标注后的待标注样本上传至数据库服务器，以便计算设备从数据库服务器获取标注后的待标注样本，也可以直接向计算设备提供标注后的待标注样本。

在本发明的一个非限制性实施例中，可以将筛选出的待标注样本保存于本地存储器，还可以将槽填充模型对待标注样本的预测结果保存在本地存储器，也可以将待标注样本及其预测结果上传并存储至数据库服务器。

在步骤S104的具体实施中，获取标注后的待标注样本后，可以根据标注后的待标注样本更新已标注样本。

具体而言，可以将标注后的待标注样本添加至已标注样本，以得到更新后的待标注样本。

在本发明的一个非限制性实施例中，可以将标注后的待标注样本替换先前的已标注样本，以得到更新后的待标注样本。采用这种方案，可以减少每次重新训练槽填充模型时采用的训练数据，从而提高槽填充模型的训练效率。

在本发明的另一个非限制性实施例中，在根据标注后的待标注样本更新已标注样本之前，可以对标注后的待标注样本进行筛选。

具体而言，标注后的待标注样本的每个槽位具有标注出的预设槽位类型，该标注出的预设槽位类型是由外部终端标注的。针对标注后的待标注样本的每个槽位，可以将外部终端标注出的预设槽位类型记为标准类型。对于标注后的待标注样本对应的待标注样本，每个槽位的预测结果为该槽位属于各个预设槽位类型的概率，针对待标注样本中的每个槽位，可以确定概率最高的预设槽位类型，并将概率最高的预设槽位类型记为预测类型。

其中，待标注样本及槽填充模型对待标注样本的预测结果可以是保存于本地存储器的，由此获取标注后的待标注样本后，可以读取待标注样本及其预测结果，并根据待标注样本的预测结果和标注后的待标注样本进行筛选。

进一步地，对于待标注样本中的每个槽位，如果该槽位的标准类型与预测类型一致且预测类型对应的概率大于预设概率阈值，则将该槽位确定为确定槽位。其中，预设概率阈值可以是预先设定的。更进一步地，如果待标注样本中各个槽位均为确定槽位，则可以将该待标注样本对应的标注后的待标注样本剔除。

换言之，获取到标注后的待标注样本后，可以根据待标注样本的预测结果对标注后的待标注样本进行筛选。如果待标注样本中各个槽位均为确定槽位，说明虽然该待标注样本的信息熵较大，但是槽填充模型的预测结果与外部终端的标注结果是一致的。也即，槽填充模型对该待标注样本的预测效果较好，无需再采用标注后的待标注样本对槽填充模型进行训练，可以其从待标注样本中剔除，从而无需作为已标注样本再次训练槽填充模型。

由此，采用这样的方案，可以进一步减少重新训练槽填充模型的训练数据，从而提高槽填充模型的训练效率。

进一步地，可以采用更新后的已标注样本重新训练槽填充模型，以更新槽填充模型。需要说明的是，本发明实施例中采用更新后的已标注样本训练槽填充模型，以更新槽填充模型，并非采用更新后的已标注样本重新训练预设模型，而是对前一次训练后的模型再次进行训练。换言之，本发明实施例的方案中，每当已标注样本发生更新，均采用更新后的已标注样本对已有的槽填充模型再次进行训练，以更新槽填充模型。

在步骤S105的具体实施中，判断是否满足预设停止条件。所述预设停止条件可以是已标注样本的数量达到第二预设阈值。第二预设阈值可以是预先设置的。

进一步地，预设停止条件也可以是采用测试样本测试所述槽填充模型时，预设指标的取值达到第三预设阈值。

具体而言，采用更新后的已标注样本重新训练所述槽填充模型后，可以采用测试样本对槽填充模型进行测试。其中，采用测试样本对槽填充模型进行测试可以是各种恰当的测试方法。

进一步地，可以根据测试结果计算预设指标的取值，所述预设指标可以是准确率(Accuracy))、召回率(Recall)、精确率(Precision)和Fsocre指标中的一项或多项。需要说明的是，计算准确率、召回率、精确率和Fsocre指标的方法也可以是根据现有技术中各种恰当的方法计算的，本发明实施例对此不作任何限制。例如，可以采用下列公式计算Fsocre指标：

其中，F为Fscore指标，P为精确率，R为召回率。

进一步地，可以将预设指标的取值与第三预设阈值进行比较，如果所述预设指标的取值达到第三预设阈值，则可以判断满足预设停止条件。需要说明的是，第三预设阈值与预设指标是一一对应的。例如，如果预设指标为准确率，则第三预设阈值包括准确率对应的阈值，如果预设指标为准确率和Fsocre指标，则第三预设阈值包括准确率对应的阈值和Fsocre指标对应的阈值。

进一步地，如果满足预设停止条件，则可以跳转至步骤S106，得到训练后的槽填充模型。也即，可以结束槽填充模型的训练。更进一步地，可以获取待测文本，将所述待测文本输入所述训练后的槽填充模型，可以得到所述待测文本的预测结果。其中，待测文本可以是用户输入的自然语言文本。

在本发明的一个非限制性实施例中，还可以根据待测文本的预测结果，对用户输入的自然语言文本进行自动回复，回复的内容可以是预先设置的。例如，输入的待测文本为“你好，我身高1.60，体重100斤，应该穿什么尺码呢？”，可以将预先设置的回复文本“您好，您可以穿S码”发送至发送该待测文本的终端，但并不限于此。需要说明的是，本发明实施例对训练后的槽填充模型的使用并不进行任何限制。

进一步地，如果不满足预设停止条件，则可以跳转至步骤S102，继续执行后续步骤，并且在每次不满足预设停止条件时，再次返回步骤S102，直至满足预设停止条件。

具体而言，每次跳转至步骤S102之前，可以将上一次执行步骤S103时筛选出的待标注样本从未标注样本剔除，以更新所述未标注样本。然后再将未标注样本输入至槽填充模型中。需要说明的是，此时的槽填充模型是步骤S105中采用更新后的已标注样本重新训练后的槽填充模型。

换言之，每次重新训练槽填充模型后，将待标注样本从未标注样本中剔除，以更新未标注样本，并将未标注样本输入更新后的槽填充模型，以得到本次的预测结果，并根据本次得到的预测结果筛选出待标注样本。

由此，多次循环执行步骤S102至步骤S105，可以得到训练后的槽填充模型。每次循环中，筛选出待标注样本发送至外部终端进行标注，由于待标注样本是根据槽填充模型对本次未标注样本的预测结果筛选出的，待标注样本可以很好地体现槽填充模型的预测效果，具有较高的标注价值。进一步采用标注后的待标注样本更新已标注样本，并重新训练槽填充模型，可以快速地提高槽填充模型的预测效果，从而无需标注大量的训练数据，可以提高槽填充模型的训练效率。

参考图2，图2是本发明实施例中第二种槽填充模型的训练方法的流程示意图。图2示出的第二种槽填充模型的训练方法可以包括如下步骤：

步骤S201：获取未标注样本和已标注样本，并将所述已标注样本作为训练数据训练预设模型，以得到槽填充模型；

步骤S202：将所述未标注样本输入至所述槽填充模型，以得到所述未标注样本的预测结果；

步骤S203：根据所述未标注样本的预测结果筛选出所述未标注样本的至少一部分，记为待标注样本，并将所述待标注样本发送至外部终端进行标注；

步骤S204：从所述外部终端获取标注后的待标注样本，根据所述标注后的待标注样本更新所述已标注样本，并采用更新后的已标注样本重新训练所述槽填充模型；

步骤S205：判断是否满足预设停止条件；如果是，则跳转至步骤S206，得到训练后的槽填充模型，否则，返回至步骤S203。

在步骤S205的具体实施中，如果不满足预设停止条件，则可以返回至步骤S203，直至满足预设停止条件。

具体而言，如果不满足预设停止条件，则可以根据未标注样本的预测结果再次筛选出待标注样本。需要说明的是，未标注样本的预测结果是指在执行步骤S202时得到的未标注样本的预测结果。换言之，图2示出的训练方法中，无需多次执行步骤S202，预测结果是将未标注样本输入至首次训练得到的槽填充模型得到的，也即将未标注样本输入至槽填充模型中得到的。

进一步地，图2示出的训练方法中，多次循环执行步骤203至步骤S205，直至满足预设停止条件。其中，每次循环中，根据未标注样本的预测结果筛选待标注样本时，可以逐步放宽筛选条件。

具体而言，得到未标注样本的信息熵后，可以将未标注样本按照信息熵从大到小的顺序对未标注样本进行排序。每次筛选待标注样本时，可以选取预设数量个未标注样本作为待标注样本。需要说明的是，每次选取待标注样本时，从上一次选取的最后一个未标注样本的下一个未标注样本开始选取。

在本发明的一个非限制性实施例中，每次选取待标注样本之前，还可以根据预设步进值更新第一预设阈值，再根据更新后的第一预设阈值选取待标注样本。

具体而言，每次选取待标注样本之前，将当前的第一预设阈值减去预设步进值得到的差值作为更新后的第一预设阈值，其中，预设步进值可以是预先设置的。进一步地，可以选取信息熵大于更新后的第一预设阈值且不超过更新前的第一预设阈值的未标注样本，以作为待标注样本。

关于步骤S201至步骤S205的更多内容可以参照上文关于图1中步骤S101至步骤S105的相关描述，在此不再赘述。

由此，多次循环执行步骤S203至步骤S205，可以得到训练后的槽填充模型。每次循环中，根据首次得到的槽填充模型对未标注样本的预测结果选取待标注样本，无需对未标注样本进行多次预测，简化了训练过程，从而可以提高槽填充模型的训练效率。

参考图3，图3是本发明实施例中一种槽填充模型的训练装置的结构示意图。该槽填充模型的训练装置可以包括：训练模块31、预测模块32、筛选模块33、重新训练模块34和判断模块35。

其中，训练模块31，用于获取未标注样本和已标注样本，并将所述已标注样本作为训练数据训练预设模型，以得到槽填充模型；预测模块32，用于将所述未标注样本输入至所述槽填充模型，以得到所述未标注样本的预测结果；筛选模块33，用于根据所述未标注样本的预测结果筛选出未标注样本的至少一部分，记为待标注样本，并将所述待标注样本发送至外部终端进行标注；重新训练模块34，用于从所述外部终端获取标注后的待标注样本，根据所述标注后的待标注样本更新所述已标注样本，采用更新后的已标注样本重新训练所述槽填充模型；判断模块35，用于判断是否满足预设停止条件，如果是，则得到训练后的槽填充模型。

进一步地，本发明实施例中的槽填充模型的训练装置还可以包括循环控制模块(图未示)，当判断模块35判断不满足预设停止条件时，循环控制模块可以用于控制预测模块32再次将未标注样本输入至槽填充模型中，以重新得到未标注样本的预测结果，此处的槽填充模型是由重新训练模块34采用更新后的已标注样本重新训练后的槽填充模型。

在本发明的一个非限制性实施例中，当判断模块35判断不满足预设停止条件时，循环控制模块可以用于控制筛选模块33根据未标注样本的预测结果再次筛选出待标注样本。其中，筛选模块33每次均根据预测模块32将未标注样本输入槽填充模型得到的预测结果筛选出待标注样本。

关于所述槽填充模型的训练装置的工作原理、工作方式的更多内容，可以参照上述关于图1和图2的相关描述，在此不做赘述。

本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述槽填充模型的训练方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等。

优选地，存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。存储介质可以包括但不限于ROM、RAM、磁盘或光盘等。其中，所述处理器可以为中央处理单元(central processing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例还提供一种计算设备，所述计算设备包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述槽填充模型的训练方法的步骤。所述计算设备可以包括但不限于手机、计算机、平板电脑等终端设备。所述存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random access memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(Randomaccess memory，简称RAM)可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct rambus RAM，简称DR RAM)。

参考图4，图4是本发明实施例中一种槽填充模型的训练系统的结构示意图。图4示出的槽填充模型的训练系统可以包括：计算设备41和外部终端42，其中，计算设备41可以是上文所述的计算设备，可以用于执行上述的槽填充模型的训练方法，外部终端42可以与计算设备41耦接。关于槽填充模型的训练系统的工作原理、工作方式的更多内容，可以参照上述关于图1和图2的相关描述，在此不做赘述。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种槽填充模型的训练方法，其特征在于，所述方法包括：

步骤一：获取未标注样本和已标注样本，并将所述已标注样本作为训练数据训练预设模型，以得到槽填充模型；

步骤二：将所述未标注样本输入至所述槽填充模型，以得到所述未标注样本的预测结果；

步骤三：根据所述未标注样本的预测结果筛选出所述未标注样本的至少一部分，记为待标注样本，并将所述待标注样本发送至外部终端进行标注；

步骤四：获取标注后的待标注样本，根据所述标注后的待标注样本更新所述已标注样本，并采用更新后的已标注样本重新训练所述槽填充模型；

步骤五：判断是否满足预设停止条件，如果是，则得到训练后的槽填充模型。

2.根据权利要求1所述的槽填充模型的训练方法，其特征在于，所述方法还包括：

如果不满足所述预设停止条件，则返回至步骤二，直至满足所述预设停止条件。

3.根据权利要求1所述的槽填充模型的训练方法，其特征在于，所述方法还包括：

如果不满足所述预设停止条件，则返回至步骤三，直至满足所述预设停止条件。

4.根据权利要求1所述的槽填充模型的训练方法，其特征在于，所述未标注样本被划分为多个槽位，所述未标注样本的预测结果包括各个槽位的预测结果，根据所述未标注样本的预测结果筛选出待标注样本包括：

根据所述未标注样本的各个槽位的预测结果，计算所述未标注样本的信息熵；

根据所述未标注样本的信息熵筛选出所述待标注样本。

5.根据权利要求4所述的槽填充模型的训练方法，其特征在于，所述槽填充模型具有多个预设槽位类型，根据所述未标注样本的各个槽位的预测结果，计算所述未标注样本的信息熵包括：

对于所述未标注样本的每个槽位，预测该槽位属于各个预设槽位类型的概率，并根据该槽位属于各个预设槽位类型的概率计算该槽位的信息熵；

将所述未标注样本的各个槽位的信息熵的平均值作为该未标注样本的信息熵。

6.根据权利要求5所述的槽填充模型的训练方法，其特征在于，根据该槽位属于各个预设槽位类型的概率计算该槽位的信息熵包括：

采用下列公式计算所述槽位的信息熵：

其中，H为所述槽位的信息熵，N为所述预设槽位类型的数量，p_i为所述槽位属于第i个预设槽位类型的概率，i为正整数，且1≤i≤N。

7.根据权利要求4所述的槽填充模型的训练方法，其特征在于，根据所述未标注样本的各个槽位的预测结果，计算所述未标注样本的信息熵之前，所述方法还包括：

对所述未标注样本进行分词，以得到多个分词结果；

判断两两相邻的分词结果之间是否具备连接关系，如果是，则所述两两相邻的分词结果属于同一个槽位，否则，所述两两相邻的分词结果不属于同一个槽位。

8.根据权利要求4所述的槽填充模型的训练方法，其特征在于，根据所述未标注样本的信息熵筛选出所述待标注样本包括：

按照所述信息熵从大到小的顺序，选取预设数量个未标注样本作为所述待标注样本；

或者，选取所述信息熵大于第一预设阈值的未标注样本作为所述待标注样本。

9.根据权利要求1所述的槽填充模型的训练方法，其特征在于，根据所述标注后的待标注样本更新所述已标注样本包括：

将所述标注后的待标注样本添加至所述已标注样本中，以得到更新后的已标注样本；

或者，采用所述标注后的待标注样本替换所述已标注样本，以得到更新后的已标注样本。

10.根据权利要求2所述的槽填充模型的训练方法，其特征在于，根据所述未标注样本的预测结果筛选出待标注样本包括：

根据所述未标注样本的预测结果，选择所述未标注样本的至少一部分作为所述待标注样本；

将所述待标注样本从所述未标注样本中剔除，以更新所述未标注样本。

11.根据权利要求1所述的槽填充模型的训练方法，其特征在于，所述预设停止条件包括以下一项或多项：

所述已标注样本的数量达到第二预设阈值；

采用测试样本测试所述槽填充模型时，预设指标的取值达到第三预设阈值，其中，所述预设指标包括以下一项或多项：准确率、召回率、精确率和Fsocre指标。

12.一种槽填充模型的训练装置，其特征在于，所述装置包括：

训练模块，用于获取未标注样本和已标注样本，并将所述已标注样本作为训练数据训练预设模型，以得到槽填充模型；

预测模块，用于将所述未标注样本输入至所述槽填充模型，以得到所述未标注样本的预测结果；

筛选模块，用于根据所述未标注样本的预测结果筛选出未标注样本的至少一部分，记为待标注样本，并将所述待标注样本发送至外部终端进行标注；重新训练模块，用于从所述外部终端获取标注后的待标注样本，根据所述标注后的待标注样本更新所述已标注样本，并采用更新后的已标注样本重新训练所述槽填充模型；

判断模块，用于判断是否满足预设停止条件，如果是，则得到训练后的槽填充模型。

13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至11的任一项所述槽填充模型的训练方法的步骤。

14.一种计算设备，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至11任一项所述槽填充模型的训练方法的步骤。

15.一种槽填充模型的训练系统，其特征在于，所述系统包括：

如权利要求14所述的计算设备；

所述外部终端，所述外部终端与所述计算设备耦接。

Images