CN110032714A - 一种语料标注反馈方法及装置 - Google Patents

Abstract

本说明书实施例提供一种语料标注反馈方法及装置。所述方法包括：首先获取多个语料，其中，每个语料具有预先标注的标注类别；然后基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；再基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；之后基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

Description

一种语料标注反馈方法及装置

技术领域

本说明书一个或多个实施例涉及计算机信息处理领域，尤其涉及一种语料标注反馈方法及装置。

背景技术

在外呼项目以及机器人项目中，业务人员根据场景，将用户说的各种文本的归类作为语料，并通过算法学习语料得到类别识别模型。

类别识别模型完全通过学习业务人员人工标注的语料来得到，如果语料的标注有误，则对类别识别模型的效果造成非常大的影响。

在实践中，经常发现业务人员把语料分错类的情况。因此，需要一种能够发现标注错误的语料，并向业务人员反馈的方法。

发明内容

本说明书一个或多个实施例描述了一种语料标注反馈方法及装置，可以发现并输出可能标注错误的语料，以向相关人员反馈可能标注错误的语料。

根据第一方面，提供一种语料标注反馈方法，包括：

获取多个语料，其中，每个语料具有预先标注的标注类别；

基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；

基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；

基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

在一个实施例中，所述基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息包括：

将预测失败的次数大于第一阈值的语料，作为所述候选语料，或者；

将预测失败的次数相对于N的占比大于第二阈值的语料，作为所述候选语料；或者，

将预测正确的次数小于第三阈值的语料，作为所述候选语料；或者，

将预测正确的次数相对于N占比小于第四阈值的语料，作为所述候选语料。

在一个实施例中，所述基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息包括：

按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序；

根据排序的结果确定所述候选语料。

在一个示例中，所述方法还包括：

对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度，其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序包括：

基于各个语料对应的预测失败的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测失败的次数相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

在一种可能的实现方式中，所述方法还包括，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度；其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序，进一步包括：

当两个或两个以上语料对应的预测失败的次数相等，且预测失败时的平均置信度相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

在一个示例中，所述方法还包括：

对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度，其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序包括：

基于各个语料对应的预测正确的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测正确的次数相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

在一种可能的实现方式中，所述方法还包括，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度；其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序，进一步包括：

当两个或两个以上语料对应的预测正确的次数相等，且预测正确时的平均置信度相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

在一个实施例中，所述基于所述多个语料依次进行N轮类别识别模型的训练包括：

对于每轮训练，基于各个语料的预测类别和各个语料的标注类别，确定该轮训练对应的整体预测正确率；所述整体预测正确率为所述多个语料中的第二语料的个数与所述多个语料的个数的比；所述第二语料为所述多个语料中预测类别和标注类别一致的语料；

当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练。

在一个示例中，所述当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练包括：

当连续M轮训练对应的M个整体预测正确率相同时，将所述连续M轮训练中的最后一轮训练作为第N轮训练，以结束类别识别模型的训练；其中M为预设的正整数。

在一个示例中，所述当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练包括：

在当前训练对应的整体预测正确率大于第五阈值时，将所述当前训练作为第N轮训练，以结束类别识别模型的训练。

在一个示例中，所述当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练包括：

当连续两轮训练对应的两个整体预测正确率的差值小于第六阈值时，将所述连续两轮训练中的后一轮训练作为第N轮训练，以结束类别识别模型的训练。

在一个实施例中，所述方法还包括：对于所述候选语料中的第一候选语料，基于该语料的N个预测类别，确定该语料的候选类别；其中，该语料的候选类别为该语料的N个预测类别中重复个数最多的类别；

所述语料标注反馈信息还包括所述候选语料的候选类别；所述候选语料的候选类别，用于再次标注所述候选语料的标注类别。

根据第二方面，提供了一种语料标注反馈装置，包括：

获取单元，配置为获取多个语料，其中，每个语料具有预先标注的标注类别；

训练和预测单元，配置为基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；

第一确定单元，配置为基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；

第二确定单元，配置为基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

根据第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

根据本说明书实施例提供的方法和装置，用于训练模型的多个语料在一轮测试中均被测试，所需的处理时间较少；并且，所述多个语料可以为用于训练实际应用的模型的语料，即本说明书实施例中的类别识别模型的训练既为用于进行语料标注的训练，也为用于实际应用的训练；而且，被测试的语料参与了模型的训练，从而可以减少误报的可能性；另外，根据多轮测试结果中的各个语料的预测失败的次数或预测正确的次数，确定语料反馈信息，从而可以反馈标注错误可能性较大的语料，以便于相关人员处理。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出本说明书披露的一个实施例的应用场景示意图；

图2示出根据一个实施例的语料标注反馈方法的流程图；

图3示出根据一个实施例的语料标注反馈装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

在多个场景下，需要对语料进行类别识别。以图1所示的电商客服的场景为例，用户可以利用终端向电子客服系统输入文本，以进行提问；而对于电子客服系统，首先需要根据用户输入的文本识别用户想要表达的意图类别，然后根据用户想要表达的意图类别，匹配到基于知识图谱或业务导图整理的知识点，根据知识点做出回答。在该场景中，需要根据输入文本进行意图类别的识别。在其他场景中，还有可能需要针对输入文本进行实体类别的识别，以用于后续的文本分析。

类别识别可以基于类别识别模型来实现，即利用算法学习已标注的语料，来训练得到类别识别模型，然后根据类别识别模型对输入的文本进行类别识别。类别识别模型的训练依赖已标注的语料，因此，语料标注的正确与否非常关键。

为了对语料标注情况进行反馈，根据一种方案，可以把已标注的多个语料分成训练集和测试集两部分，使用训练集训练得到类别识别模型，再使用测试集测试该类别识别模型，并记录测试错误的语料，之后将测试错误的语料反馈给相关人员。在进行完一次类别识别模型训练和测试后，再调整训练集和测试集，然后利用调整后的训练集和测试集进行下一次类别识别模型训练，如此多次，直到每个语料都参与了训练并且也参与了测试。

举例而言，可以把多个语料分成10份，然后依次使用第1份-第10份中的每一份语料作为测试集，相应的其它9份语料依次作为训练集，总共训练10个模型，并使用对应的测试集进行测试。把测试错误的语料记录下来反馈给相关人员。

为了进一步缩短处理时间，提高资源重复利用率，以及提高反馈准确率，根据本说明书的实施例，在一轮训练中，可以使用多个语料进行模型训练；并在一次测试中，对所述多个语料均进行测试。即在一轮训练中，就可测试所述多个语料，所需的处理时间较少。并且，所述多个语料可以为用于训练实际应用的模型的语料，因此，在语料标注错误在允许范围内的情况下，用于语料标注反馈而训练得到模型可以用于实际应用。而且，对于任意一条语料，测试该语料的模型使用该语料训练过，已学习了该语料的特征，从而可以减少误报的可能性。另外，根据多轮测试结果中的各个语料的预测失败的次数或预测正确的次数，可以反馈标注错误可能性较大的语料，以便于相关人员处理。

接下来，参考图2，对本说明书实施例提供的语料标注反馈方法进行具体介绍。所述方法可以由任何具有计算、处理能力的装置、设备、平台、设备集群执行。如图2所示，所述方法包括如下步骤：步骤200、获取多个语料，其中，每个语料具有预先标注的标注类别；步骤202、基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；步骤204、基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；步骤206、基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

下面结合具体例子，对以上各个步骤的执行方式进行描述。

首先，在步骤200，获取多个语料，其中，每个语料具有预先标注的标注类别。

相关人员可以根据应用的场景预先定义类别，并预先标注各个语料的类别。例如，对于电商客服的场景，对于用户意图，可以具有商品推荐、商品查询、邮费查询、保修查询等类别。

接着，在步骤202，基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数。

对于一轮类别识别模型的训练，通过学习多个具有标注类别的语料，可得到类别识别模型；然后，使用这些语料对该模型进行测试，即使用该模型预测这些语料中各个语料的类别，可得到各个语料的预测类别。对于N轮类别识别模型的训练，共可得到各个语料的N个预测类别。换言之，对于N轮类别识别模型的训练，所述多个语料中的任一个语料都具有N个预测类别。

在一个实施例中，所述基于所述多个语料依次进行N轮类别识别模型的训练包括：对于每轮训练，基于各个语料的预测类别和各个语料的标注类别，确定该轮训练对应的整体预测正确率；所述整体预测正确率为所述多个语料中的第二语料的个数与所述多个语料的个数的比；所述第二语料为所述多个语料中预测类别和标注类别一致的语料；当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练。

在该实施例中，对于任意一轮训练，当一个语料的预测类别和该语料的标注类别一致时，则规定为该语料对应的预测结果是正确的。对于任意一轮训练，可以统计预测结果正确的语料的个数，将统计结果与参与训练的语料的个数相比，作为该轮训练对应的整体预测正确率。按照该方式，每进行一轮训练，可得到该训练对应的整体预测正确率。可以针对整体预测正确率预先设置条件，当一轮或连续多轮训练对应的整体预测正确率满足该条件时，可以结束模型训练。

在上述实施例的一个示例中，所述预设条件可以为连续M轮训练对应的整体预测正确率相同，即当连续M轮训练对应的M个整体预测正确率相同时，将所述连续M轮训练中的最后一轮训练作为第N轮训练，以结束类别识别模型的训练；其中M为预设的正整数。

在一个例子中，M可以为2。在该例子中，当进行了第A轮训练，第A轮训练相较第A-1轮训练，整体预测正确率没有提升，则将第A轮训练作为最后一轮训练，以结束类别识别模型的训练。

在一个例子中，M可以为3，当进行了第A轮训练，第A轮训练相较第A-1轮训练，整体预测正确率没有提升；并且，进行了第A+1轮训练，第A+1轮训练相较第A轮训练，整体预测正确率也没有提升，则将第A+1轮训练作为最后一轮训练，以结束类别识别模型的训练。

当M大于3时，按照上述方式，依次类推，以结束类别识别模型的训练。

在上述实施例的另一个示例中，所述预设条件可以为最后一轮训练对应的整体预测正确率大于一个预设的阈值，即在当前训练对应的整体预测正确率大于第五阈值时，将所述当前训练作为第N轮训练，以结束类别识别模型的训练。

第五阈值为预设的阈值，当一轮训练对应的整体预测正确率大于该阈值时，将该轮训练作为最后一轮训练，结束类别识别模型的训练。

在上述实施例的又一个示例中，所述预设条件为最后一轮训练相较其上轮训练，整体预测正确率提升较小，即当连续两轮训练所对应的两个整体预测正确率的差值小于第六阈值时，将所述连续两轮训练中的后一轮训练作为第N轮训练，以结束类别识别模型的训练。

当一轮训练相较其上轮训练，整体预测正确率的提升较小，再继续训练无意义或意义不大时，可以将其作为最后一轮训练，以结束类别识别模型的训练。可以根据经验设置第六阈值，以用于判断整体预测正确率的提升对继续训练的意义。

然后，在步骤204，基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数。

如上所述，对于任意一轮训练，使用其训练得到的模型测试各个语料，可分别得到各个语料的预测类别。对于所述多个语料中的任意一个语料，当其预测类别和其标注类别一致时，规定为该语料预测正确，否则为该语料预测失败。对于N轮训练，可分别统计各语料预测失败的次数，也可分别统计各语料预测正确的次数。

之后，在步骤206，基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

在一个实施例中，可以根据语料对应的预测失败的次数或比例与设定值比较，确定语料标注反馈信息。容易理解，对一个语料而言，其预测失败的次数越多或者比例越高，该语料的标注类别越有可能是错误的。因此，按照语料对应的预测失败的次数，可以确定所述多个语料中的标注错误的候选语料。候选语料即标注类别错误可能性较高的语料。语料标注反馈信息中包括候选语料，以使相关人员核实乃至重新标注其标注类别。

在一个示例中，可以将预测失败的次数大于第一阈值的语料，作为所述候选语料。第一阈值为设定值，相关人员可以根据经验对第一阈值进行设定。

在一个示例中，可以将预测失败的次数相对于N的占比大于第二阈值的语料，作为所述候选语料。第二阈值为设定值，相关人员可以根据经验对第二阈值进行设定。

在一个实施例中，可以根据语料对应的预测正确的次数或比例与设定值比较，确定语料标注反馈信息。容易理解，对任意一个语料而言，其预测正确的次数越少或者占比越低，该语料的标注类别越有可能是错误的。因此，按照语料对应的预测正确的次数，可以确定所述多个语料中的标注错误的候选语料。

在一个示例中，将预测正确的次数小于第三阈值的语料，作为所述候选语料。第三阈值为设定值，相关人员可以根据经验对第三阈值进行设定。

在一个示例中，将预测正确的次数相对于N占比小于第四阈值的语料，作为所述候选语料。第四阈值为设定值，相关人员可以根据经验对第四阈值进行设定。

在一个实施例中，可以在各个语料间比较预测失败的次数或预测正确的次数，并将预测失败的次数较多的语料或预测正确的次数较少的语料作为候选语料。简而言之，可以按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序；然后根据排序的结果确定所述候选语料。

在该实施例的一个示例中，语料标注反馈信息中包括预测失败的次数较多的语料。容易理解，对于预测失败的次数较多的语料，其标注语料很可能是错误的。这些语料用作标注错误的候选语料，以使相关人员核实乃至重新标注其标注类别。

在该示例的一个具体实现方式中，可以按照各个语料对应的预测失败的次数，对所述多个语料进行排序，具体可以为按照预测失败的次数由大到小，对各个语料进行排序；然后取排名靠前的语料，据此生成语料标注反馈信息。对于取排名靠前的语料，可以按照个数取，即取排名为第1至第L个的语料；也可以按照比例取，例如取排名为前百分之K的语料。L或K可以预先设定。

当所述多个语料中两个或两个以上语料对应的预测失败的次数相同时，则需要引入新的指标对预测失败次数相同的两个或两个以上语料进行排序。容易理解，语料对应的预测失败时的置信度越大，则反映该语料的标注类别错误的可能性越高。在一个例子中，可以根据所述两个及两个以上语料对应的预测失败时的平均置信度，对预测失败次数相同的两个或更多个语料进行排序。具体地，对于所述两个或两个以上语料对应的预测失败时的平均置信度，按照从大到小对所述两个或两个以上语料进行排序。简而言之，基于各个语料对应的预测失败的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测失败的次数相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

使用类别识别模型对各个语料的类别进行预测时，各个语料的预测结果都对应一个置信度。对于N轮训练，各个语料的N个预测结果均对应一个置信度。对于任意一个语料，可以称为第一语料，将该语料对应的预测失败时的置信度加和，然后除以该语料对应的预测失败时的次数，得到该语料对应的预测失败时的平均置信度。简而言之，本说明书实施例提供的语料标注反馈方法还可以包括，对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度，其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别。

进一步地，当两个或两个以上语料对应的预测失败的次数相等，且预测失败时的平均置信度也相等时，则需要再次引入新的指标对所述两个及两个以上语料进行排序。容易理解，语料对应的预测正确时的置信度越小，则反映该语料的标注类别错误的可能性越高。在一个例子中，可以根据所述两个及两个以上语料对应的预测正确时的平均置信度，对所述两个及两个以上语料进行排序。具体地，对于所述两个或两个以上语料对应的预测正确时的平均置信度，按照从小到大对所述两个或两个以上语料进行排序。简而言之，当两个或两个以上语料对应的预测失败的次数相等，且预测失败时的平均置信度相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

如上所述，对于N轮训练，各个语料的N个预测结果均对应一个置信度。对于任意一个语料，可以称为第一语料，将该语料对应的预测正确时的置信度加和，然后除以该语料对应的正确时的次数，得到该语料对应的预测正确时的平均置信度。简而言之，本说明书实施例提供的语料标注反馈方法还可以包括，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度；其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别。

在该示例的另一个具体实现方式中，按照各个语料对应的预测失败的次数，对所述多个语料进行排序，具体也可以为按照预测失败的次数由小到大，对各个语料进行排序；然后取排名靠后的语料，据此生成语料标注反馈信息。当存在两个或两个以上语料对应的预测失败的次数相同时，对于所述两个或两个以上语料对应的预测失败时的平均置信度，按照从小到大的顺序对所述两个或两个以上语料进行排序。当两个或两个以上语料对应的预测失败的次数相等，且预测失败时的平均置信度相等时，对于所述两个或两个以上语料对应的预测正确时的平均置信度，按照从大到小的顺序对所述两个或两个以上语料进行排序。

在该实施例的另一个示例中，语料标注反馈信息中包括预测正确的次数较少的语料。容易理解，对于预测正确的次数较少的语料，其标注类别很可能是错误的。这些语料用作标注错误的候选语料，以使相关人员核实乃至重新标注其标注类别。

在该示例的一个具体实现方式中，按照各个语料对应的预测正确的次数，对所述多个语料进行排序时，可以为按照预测正确的次数由小到大，对各个语料进行排序；然后取排名靠前的语料，据此生成语料标注反馈信息。对于取排名靠前的语料，可以按照个数取，即取排名为第1至第L’个的语料；也可以按照比例取，例如取排名为前百分之K’的语料。L’或K’可以预先设定。

当所述多个语料中两个或两个以上语料对应的预测正确的次数相同时，则需要引入新的指标对预测正确次数相同的两个或两个以上语料进行排序。在一个例子中，可以根据所述两个及两个以上语料对应的预测正确时的平均置信度，对预测正确次数相同的两个或更多个语料进行排序。具体地，对于所述两个或两个以上语料对应的预测正确时的平均置信度，按照从小到大对所述两个或两个以上语料进行排序。简而言之，基于各个语料对应的预测正确的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测正确的次数相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

使用类别识别模型对各个语料的类别进行预测时，各个语料的预测结果都对应一个置信度。对于N轮训练，各个语料的N个预测结果均对应一个置信度。对于任意一个语料，可以称为第一语料，将该语料对应的预测正确时的置信度加和，然后除以该语料对应的预测正确时的次数，得到该语料对应的预测正确时的平均置信度。简而言之，本说明书实施例提供的语料标注反馈方法还可以包括，对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度，其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别。

进一步地，当两个或两个以上语料对应的预测正确的次数相等，且预测正确时的平均置信度也相等时，则需要再次引入新的指标对所述两个及两个以上语料进行排序。在一个例子中，可以根据所述两个及两个以上语料对应的预测失败时的平均置信度，对所述两个及两个以上语料进行排序。具体地，对于所述两个或两个以上语料对应的预测失败时的平均置信度，按照从大到小对所述两个或两个以上语料进行排序。简而言之，当两个或两个以上语料对应的预测正确的次数相等，且预测正确时的平均置信度相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

对于任意的第一语料，计算其预测失败时的平均置信度的方式如前所述，不再赘述。

在该示例的另一个具体实现方式中，按照各个语料对应的预测正确的次数，对所述多个语料进行排序，具体也可以为按照预测正确的次数由大到小，对各个语料进行排序；然后取排名靠后的语料，据此生成语料标注反馈信息。当存在两个或两个以上语料对应的预测正确的次数相同时，对于所述两个或两个以上语料对应的预测正确时的平均置信度，按照从大到小的顺序对所述两个或两个以上语料进行排序。当两个或两个以上语料对应的预测正确的次数相等，且预测正确时的平均置信度相等时，对于所述两个或两个以上语料对应的预测失败时的平均置信度，按照从小到大的顺序对所述两个或两个以上语料进行排序。

在该实施例的又一个示例中，语料标注反馈信息还包括所述候选语料的候选类别；所述候选语料的候选类别，用于再次标注所述候选语料的标注类别。

如上所述，对于各个语料，均有N个预测类别。对于任意一个语料而言，其N各预测类别中，可能有多个预测类别是相一致的。对于相一致的预测类别可以归为一种预测类别。对于任意一个语料而言，可能有多种预测类别，每种预测类别的个数为一个或多个。容易理解，对于一个语料而言，当其一种预测类别对应的个数相较其他预测种类对应的个数较多时，该种预测类别相较其他预测种类，最有可能为该语料应归属的类别。在本示例中，可以将该种预测类别称为该语料的候选类别。

因此，本说明书实施例所提供的语料标注反馈方法还可以确定候选语料的候选类别，以供相关人员对候选语料再次标注时参考。具体地，对于所述候选语料中的第一候选语料，基于该语料的N个预测类别，确定该语料的候选类别；其中，该语料的候选类别为该语料的N个预测类别中重复个数最多的类别，即该语料的候选类别为该语料的各种预测类别中对应了最多个数的那种预测类别。

综合以上，通过本说明书的实施例提供的方案，用于训练模型的多个语料在一轮测试中均被测试，所需的处理时间较少；并且，所述多个语料可以为用于训练实际应用的模型的语料，即本说明书实施例中的类别识别模型的训练既为用于进行语料标注的训练，也为用于实际应用的训练；而且，被测试的语料参与了模型的训练，从而可以减少误报的可能性；另外，根据多轮测试结果中的各个语料的预测失败的次数或预测正确的次数，确定语料反馈信息，从而可以反馈标注错误可能性较大的语料，以便于相关人员处理。

另一方面，本说明书实施例提供了一种语料标注反馈装置300。参考图3，所述装置300，包括：

获取单元310，配置为获取多个语料，其中，每个语料具有预先标注的标注类别；

训练和预测单元320，配置为基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；

第一确定单元330，配置为基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；

第二确定单元340，配置为基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

在一个实施例中，所述第二确定单元340，

配置为将预测失败的次数大于第一阈值的语料，作为所述候选语料，或者；

配置为将预测失败的次数相对于N的占比大于第二阈值的语料，作为所述候选语料；或者，

配置为将预测正确的次数小于第三阈值的语料，作为所述候选语料；或者，

配置为将预测正确的次数相对于N占比小于第四阈值的语料，作为所述候选语料。

在一个实施例中，所述第二确定单元340包括排序子单元3401和确定子单元3402：

所述排序单元3401配置为按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序；

所述确定子单元3402配置为根据排序的结果确定所述候选语料。

在该实施例的一个示例中，所述装置还包括计算单元350；

所述计算单元350配置为对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度，其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述排序子单元3401配置为基于各个语料对应的预测失败的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测失败的次数相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

在该示例的一个例子中，所述计算单元350还配置为基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度；其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述确定子单元3402还配置为当两个或两个以上语料对应的预测失败的次数相等，且预测失败时的平均置信度相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

在该实施例的另一个示例中，所述装置还包括计算单元350；

所述计算单元350配置为对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度，其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述排序子单元3402配置为基于各个语料对应的预测正确的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测正确的次数相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

在该示例的一个例子中，所述计算单元350配置为基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度；其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述排序子单元3402配置为当两个或两个以上语料对应的预测正确的次数相等，且预测正确时的平均置信度相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

在一个实施例中，所述训练和预测单元350还配置为对于每轮训练，基于各个语料的预测类别和各个语料的标注类别，确定该轮训练对应的整体预测正确率；所述整体预测正确率为所述多个语料中的第二语料的个数与所述多个语料的个数的比；所述第二语料为所述多个语料中预测类别和标注类别一致的语料；

所述训练和预测单元350还配置为当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练。

在该实施例的一个示例中，所述训练和预测单元350还配置为当连续M轮训练对应的M个整体预测正确率相同时，将所述连续M轮训练中的最后一轮训练作为第N轮训练，以结束类别识别模型的训练；其中M为预设的正整数。

在该实施例的另一个示例中，所述训练和预测单元350还配置为在当前训练对应的整体预测正确率大于第五阈值时，将所述当前训练作为第N轮训练，以结束类别识别模型的训练。

在该实施例的又一个示例中，所述训练和预测单元350还配置为当连续两轮训练对应的两个整体预测正确率的差值小于第六阈值时，将所述连续两轮训练中的后一轮训练作为第N轮训练，以结束类别识别模型的训练。

在一个实施例中，所述第一确定单元330还配置为对于所述候选语料中的第一候选语料，基于该语料的N个预测类别，确定该语料的候选类别；其中，该语料的候选类别为该语料的N个预测类别中重复个数最多的类别；

所述语料标注反馈信息还包括所述候选语料的候选类别；所述候选语料的候选类别，用于再次标注所述候选语料的标注类别。

装置300的各功能单元可以参考图2所示的方法实施例实现，在此不再赘述。

另一方面，本说明书的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图2所示的方法。

另一方面，本说明书的实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图2所示的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (26)

1.一种语料标注反馈方法，包括：

获取多个语料，其中，每个语料具有预先标注的标注类别；

基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；

基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；

基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

2.根据权利要求1所述的方法，所述基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息包括：

将预测失败的次数大于第一阈值的语料，作为所述候选语料，或者；

将预测失败的次数相对于N的占比大于第二阈值的语料，作为所述候选语料；或者，

将预测正确的次数小于第三阈值的语料，作为所述候选语料；或者，

将预测正确的次数相对于N占比小于第四阈值的语料，作为所述候选语料。

3.根据权利要求1所述的方法，所述基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息包括：

按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序；

根据排序的结果确定所述候选语料。

4.根据权利要求3所述的方法，所述方法还包括：

对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度，其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序包括：

基于各个语料对应的预测失败的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测失败的次数相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

5.根据权利要求4所述的方法，所述方法还包括，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度；其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序，进一步包括：

当两个或两个以上语料对应的预测失败的次数相等，且预测失败时的平均置信度相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

6.根据权利要求3所述的方法，所述方法还包括：

对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度，其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序包括：

基于各个语料对应的预测正确的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测正确的次数相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

7.根据权利要求6所述的方法，所述方法还包括，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度；其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序，进一步包括：

当两个或两个以上语料对应的预测正确的次数相等，且预测正确时的平均置信度相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

8.根据权利要求1所述的方法，所述基于所述多个语料依次进行N轮类别识别模型的训练包括：

对于每轮训练，基于各个语料的预测类别和各个语料的标注类别，确定该轮训练对应的整体预测正确率；所述整体预测正确率为所述多个语料中的第二语料的个数与所述多个语料的个数的比；所述第二语料为所述多个语料中预测类别和标注类别一致的语料；

当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练。

9.根据权利要求8所述的方法，所述当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练包括：

当连续M轮训练对应的M个整体预测正确率相同时，将所述连续M轮训练中的最后一轮训练作为第N轮训练，以结束类别识别模型的训练；其中M为预设的正整数。

10.根据权利要求8所述的方法，所述当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练包括：

在当前训练对应的整体预测正确率大于第五阈值时，将所述当前训练作为第N轮训练，以结束类别识别模型的训练。

11.根据权利要求8所述的方法，所述当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练包括：

当连续两轮训练对应的两个整体预测正确率的差值小于第六阈值时，将所述连续两轮训练中的后一轮训练作为第N轮训练，以结束类别识别模型的训练。

12.根据权利要求1所述的方法，所述方法还包括：对于所述候选语料中的第一候选语料，基于该语料的N个预测类别，确定该语料的候选类别；其中，该语料的候选类别为该语料的N个预测类别中重复个数最多的类别；

所述语料标注反馈信息还包括所述候选语料的候选类别；所述候选语料的候选类别，用于再次标注所述候选语料的标注类别。

13.一种语料标注反馈装置，包括：

获取单元，配置为获取多个语料，其中，每个语料具有预先标注的标注类别；

训练和预测单元，配置为基于所述多个语料依次进行N轮类别识别模型的训练，并根据每轮训练得到的类别识别模型，预测所述多个语料中的各个语料的类别，以得到各个语料的N个预测类别；N为正整数；

第一确定单元，配置为基于各个语料的标注类别和N个预测类别，确定各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数；

第二确定单元，配置为基于各个语料对应的预测失败的次数，或各个语料对应的预测正确的次数，确定语料标注反馈信息；所述语料标注反馈信息包括所述多个语料中的标注错误的候选语料。

14.根据权利要求13所述的装置，所述第二确定单元，

配置为将预测失败的次数大于第一阈值的语料，作为所述候选语料，或者；

配置为将预测失败的次数相对于N的占比大于第二阈值的语料，作为所述候选语料；或者，

配置为将预测正确的次数小于第三阈值的语料，作为所述候选语料；或者，

配置为将预测正确的次数相对于N占比小于第四阈值的语料，作为所述候选语料。

15.根据权利要求13所述的装置，所述第二确定单元包括排序子单元和确定子单元：

所述排序单元配置为按照各个语料对应的预测失败的次数或各个语料对应的预测正确的次数，对所述多个语料进行排序；

所述确定子单元配置为根据排序的结果确定所述候选语料。

16.根据权利要求15所述的装置，所述装置还包括计算单元；

所述计算单元配置为对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度，其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述排序子单元配置为基于各个语料对应的预测失败的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测失败的次数相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

17.根据权利要求16所述的装置，所述计算单元还配置为基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度；其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述确定子单元还配置为当两个或两个以上语料对应的预测失败的次数相等，且预测失败时的平均置信度相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

18.根据权利要求15所述的装置，所述装置还包括计算单元；

所述计算单元配置为对于所述多个语料中的第一语料，基于所述第一语料的N个预测类别中的第二类别的置信度，计算所述第一语料对应的预测正确时的平均置信度，其中，所述第二类别为所述第一语料的N个预测类别中与所述第一语料的标注类别一致的类别；

所述排序子单元配置为基于各个语料对应的预测正确的次数，对所述多个语料进行排序；当两个或两个以上语料对应的预测正确的次数相等时，基于所述两个或两个以上语料对应的预测正确时的平均置信度，对所述两个或两个以上语料进行排序。

19.根据权利要求18所述的装置，所述计算单元配置为基于所述第一语料的N个预测类别中的第一类别的置信度，计算所述第一语料对应的预测失败时的平均置信度；其中，所述第一类别为所述第一语料的N个预测类别中与所述第一语料的标注类别不一致的类别；

所述排序子单元配置为当两个或两个以上语料对应的预测正确的次数相等，且预测正确时的平均置信度相等时，基于所述两个或两个以上语料对应的预测失败时的平均置信度，对所述两个或两个以上语料进行排序。

20.根据权利要求13所述的装置，所述训练和预测单元还配置为对于每次训练，基于各个语料的预测类别和各个语料的标注类别，确定该次训练对应的整体预测正确率；所述整体预测正确率为所述多个语料中的第二语料的个数与所述多个语料的个数的比；所述第二语料为所述多个语料中预测类别和标注类别一致的语料；

所述训练和预测单元还配置为当一轮或连续多轮训练对应的整体预测正确率满足预设条件时，结束类别识别模型的训练。

21.根据权利要求20所述的装置，所述训练和预测单元还配置为当连续M轮训练对应的M个整体预测正确率相同时，将所述连续M轮训练中的最后一轮训练作为第N轮训练，以结束类别识别模型的训练；其中M为预设的正整数。

22.根据权利要求20所述的装置，所述训练和预测单元还配置为在当前训练对应的整体预测正确率大于第五阈值时，将所述当前训练作为第N轮训练，以结束类别识别模型的训练。

23.根据权利要求20所述的装置，所述训练和预测单元还配置为当连续两轮训练对应的两个整体预测正确率的差值小于第六阈值时，将所述连续两轮训练中的后一轮训练作为第N轮训练，以结束类别识别模型的训练。

24.根据权利要求13所述的装置，所述第一确定单元还配置为对于所述候选语料中的第一候选语料，基于该语料的N个预测类别，确定该语料的候选类别；其中，该语料的候选类别为该语料的N个预测类别中重复个数最多的类别；

所述语料标注反馈信息还包括所述候选语料的候选类别；所述候选语料的候选类别，用于再次标注所述候选语料的标注类别。

25.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项的所述的方法。

26.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项所述的方法。