CN109635110A - 数据处理方法、装置、设备以及计算机可读存储介质 - Google Patents

Abstract

根据本公开的示例实施例，提供了一种数据处理方法、装置、设备以及计算机可读存储介质。方法包括将标注数据集划分为训练集和验证集，其中标注数据集中的内容已经被标注有分类。方法还包括使用训练集来训练用于对内容进行分类的分类模型。此外，方法还包括基于验证集对分类模型的验证来识别验证集中的错误标注的标注数据。本公开的实施例在使用验证集验证分类模型的过程中，能够筛选出错误标注的标注数据，由此提升标注数据的准确性，并且提高分类模型的性能。

Description

数据处理方法、装置、设备以及计算机可读存储介质

技术领域

本公开的实施例总体上涉及计算机技术领域，并且更具体地涉及数据处理方法、装置、设备以及计算机可读存储介质。

背景技术

随着信息技术的发展，网络上的各种资源呈现指数级增长，在各种平台上每天发布大量的内容资源(例如文章、图片、视频等)，这些内容可能是由用户人工产生，也可能由机器自动生成。针对这些待发布的内容，需要对其进行审核，以保证发布内容的质量。传统地，需要人工来逐一审核，例如，人工审核员审核每篇内容，并将符合规定的内容发布到平台，而对于不符合规定的内容，将被过滤掉，而不会被发布到平台上。

在存在大量新增内容的情况下，逐一人工审核将需要投入大量的人力资源，导致效率较低。近年来，陆续出现一些自动审核系统。自动审核系统是一种基于规则或者机器学习模型的自动化系统，其依赖于规则或标注数据。标注数据是已经经过人工和/或自动标注的数据，通常针对每项内容具有相应的标签。自动审核系统基于对已标注数据的训练，生成能够用于自动审核的审核模型。

发明内容

根据本公开的示例实施例，提供了一种数据处理方法、装置、设备以及计算机可读存储介质。

在本公开的第一方面中，提供了一种数据处理方法。该方法包括：将标注数据集划分为训练集和验证集，其中标注数据集中的内容已经被标注有分类；使用训练集来训练用于对内容进行分类的分类模型；以及基于验证集对分类模型的验证，识别验证集中的错误标注的标注数据。

在本公开的第二方面中，提供了一种数据处理装置。该装置包括：划分模块，被配置为将标注数据集划分为训练集和验证集，标注数据集中的内容已经被标注有分类；训练模块，被配置为使用训练集来训练用于对内容进行分类的分类模型；以及识别模块，被配置为基于验证集对分类模型的验证，识别验证集中的错误标注的标注数据。

在本公开的第三方面中，提供了一种电子设备，其包括一个或多个处理器以及存储装置，其中存储装置用于存储一个或多个程序。一个或多个程序当被一个或多个处理器执行，使得电子设备实现根据本公开的实施例的方法或过程。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的实施例的方法或过程。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本公开的实施例的用于发布新内容的示例过程的示意图；

图2示出了根据本公开的实施例的用于识别错误标注的数据的示意图；

图3示出了根据本公开的实施例的数据处理方法的流程图；

图4示出了根据本公开的实施例的用于对疑似错误标注的标注数据进行二次审核的方法的流程图；

图5示出了根据本公开的实施例的用于发布新的分类模型的方法的流程图；

图6示出了根据本公开的实施例的数据处理装置的框图；以及

图7示出了能够实施本公开的多个实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。

标注数据是经过人工和/或机器标注的数据，其通常具有很高的准确性并且可用于机器学习模型的训练。然而，标注数据由于人工审核的主观性或失误、或者由于机器标注的不准确，也可能存在一些误标注的情况。如果使用误标注的标注数据来训练机器学习模型，则将会影响机器学习模型的准确性。

本公开的实施例提出了一种识别错误标注的数据的方案。本公开的实施例在使用验证集验证分类模型的过程中，能够筛选出错误标注的标注数据，由此提升标注数据的准确性，并且提高分类模型的性能。以下将参考附图1-7详细描述本公开的一些示例实现。

图1示出了根据本公开的实施例的用于发布新内容的示例过程100的示意图。如图1所示，在框110，在平台上产生新的内容，在本公开的实施例中，内容可以指代文章、图像、视频、或者以上的任意组合，等等。为了便于对本公开的实施例的描述，以下使用文章作为内容的一个示例进行描述，然而，内容也可以为除了文章之外的其他形式的内容。此外，本公开的实施例的内容不仅适用于中文内容，而且适用于其他语言的文本，例如英文内容等。

接下来，在框120，平台的审核系统对新产生的文章进行自动审核，以判断是否符合发布标准。审核系统基于经人工标注的标注数据集125而被训练。如果文章没有通过机器的自动审核，则直接被过滤掉；而如果文章通过机器的自动审核，则再交给标注员进行人工审核，以保证发布内容的可靠性，如框130所示。

如果文章没通过人工审核，则也会被过滤掉，而不会被发布；而如果文章通过人工审核，则在框140将文章发布到平台上。人工审核的数据例如可以包括文章及其对应的分类，其可以作为标注数据被存储在标注数据集125中。通常，在系统冷启动阶段，不存在标注数据的样本，因此所有的文章内容可以全部由人工审核，在积累了一定标注数据之后，可以开始模型训练以用于自动审核。在一些实施例中，人工标注的文章分类可以包括以下几种分类：语句不通顺、辱骂、暴力、色情、封建迷信、广告、政治、其他不合适类型、以及正常类型。然而，这只是内容分类的一种示例性划分，其他的分类划分方式也适用于本公开的实施例。

在一些实施例中，可以设定多个人员对同一篇文章进行人工审核，从而使得标注结果更准确。例如，可以取多个审核结果中出现次数最多的分类作为这篇文章的最终分类。此外，为了解决样本不均衡的问题，可以人工地扩充样本。例如，如果辱骂分类的文章数量较少，可以人为地收集一些辱骂文章，以用于训练分类模型，由此提高分类模型的准确率。

图2示出了根据本公开的实施例的用于识别错误标注的数据的示意图200。如图2所示，将标注数据集210划分为用于训练分类模型的训练集220和用于验证分类模型的验证集230，如箭头211和212所示。标注数据集210可以为参考图1所描述的经人工标注的标注数据集125，其针对每篇文章，标注有对应的分类。

接下来，使用训练集220来训练分类模型240，如箭头213所示。例如，可以采用词嵌入(word2vec)和卷积神经网络(CNN)的深度学习方式来训练分类模型。除了CNN之外，还可以使用例如循环神经网络(RNN)、长短期记忆网络(LSTM)、快速文本(FastText)、文本CNN(TextCNN)、文本RNN(TextRNN)等中的一种或多种方式来训练本公开的实施例的分类模型，本公开的实施例的范围不受所使用的具体分类模型的限制。例如，词嵌入将每个词表示成定长的向量，使得这些向量能够较好地表达不同词之间的相似和类比关系，其中词向量是用来表示词的向量。词嵌入根据上下文之间的出现关系去训练词向量，包括两种训练模式：跳字模型(Skip Gram)和连续词袋模型(continuous bags of words，简称为CBOW)，其中跳字模型根据目标单词预测上下文，连续词袋模型根据上下文预测目标单词，最后使用模型的部分参数作为词向量。应当理解，目前已知的或者将来开发的任何词嵌入方法或算法可以与本公开的实施例一起使用来训练词向量。

在一些实施例中，可以使用文章的全部内容进行训练。在另一些实施例中，为了提高训练的效率，也可以挑选文章中的一部分内容进行训练。例如，考虑到文章标题的重要意义，可以将标题和内容接到一起，可以使用空格隔开，然后截取每篇文章的预定数目个字(例如前300个字、前500个字，等等)。在一些实施例中，也可以对文章进行概括，生成文章摘要，然后再对文章的摘要进行分析。然后，把文章处理成向量的嵌入层，这样每篇文章可以被处理成一个300×200的二维向量，其中300表示每个训练数据的固定长度，200的行向量表示这个字或单词在空间中的词向量。接下来，通过一层卷积层与池化层来缩小向量长度，再加一层压平(Flatten)层将二维向量压缩到一维，最后通过两层全连接层将向量长度收缩到例如若干层，其对应文章的若干个分类。也就是说，分类模型的输入是每篇文章或者其一部分，输出是这篇文章的对应分类。

在训练分类模型240的过程中，交叉地使用验证集230来验证分类模型的准确性，如图2的箭头214和215所示。本公开的实施例在使用验证集230验证分类模型240的过程中，能够识别出疑似错误标注的标注数据，如框250所示。因此，本公开的实施例能够提升标注数据的准确性，并且提高分类模型的性能。

传统地，针对验证集中的未通过验证的标注数据，通常是调整分类模型的参数来进行克服，而不考虑标识数据本身是否存在问题。然而，针对总是出错的样本，有可能是标注数据本身存在错误。因此，本公开的实施例针对验证集中总是出错或者错误率较高的样本，核实该样本是否被错误标记。

图3示出了根据本公开的实施例的数据处理方法300的流程图。在框302，将标注数据集划分为训练集和验证集，其中标注数据集中的内容已经被标注有分类。例如，参考图2，将标注数据集210划分为训练集220和验证集230。在一些实施例中，可以按照预定的比例(例如8:2)来划分训练集和验证集(其可以包括验证集、或者验证集和测试集的组合)。在一些实施例中，可以随机地划分训练集和测试集，使得每轮训练过程中测试集的数据不完全相同，从而能够更多地检测出标注数据集中错误标注的标注数据。

在框304，使用训练集来训练用于对内容进行分类的分类模型。例如，可以使用深度学习网络来训练分类模型，应当理解，目前已知的或者将来开发的任何机器学习模型可以与本公开的实施例一起使用来训练分类模型。例如，分类模型的输入可以是文章或者文章的一部分(例如重要部分或者前一部分)，输出可以是多个分类。

在框306，基于验证集对分类模型的验证，识别验证集中的错误标注的标注数据。由于标注人员众多，标注数据中可能存在一些错误标注，模型训练对于一些标注数据样本，可能总是无法准确分类，因此这部分样本需要提取出来以进行二次核实。例如，模型在训练迭代一定次数后，会测试验证集，分类错误的样本会被筛选出来。以下参考图4描述了识别验证集中的错误标注的标注数据的示例实现。因此，本公开的实施例的方法300能够筛选出错误标注的标注数据，由此提升标注数据的准确性，并且提高分类模型的性能。

图4示出了根据本公开的实施例的用于对疑似错误标注的标注数据进行二次审核的方法400的流程图。应当理解，图4所描述的方法400可以为以上参考图3所描述的步骤306的示例实现。

在框402，使用验证集来验证分类模型的准确性。在框404，识别验证失败率或失败次数达到预定阈值的标注数据。例如，如果某项标注数据在准确性方面满足预定条件，则可以确定标注数据被疑似错误标注。在一些实施例中，获取在迭代的验证过程中标注数据未通过验证的次数或概率，如果失败率或失败次数达到预定阈值，则确定标注数据在准确性方面满足预定条件。例如，假设每迭代训练10次之后会执行1次验证，如果总共迭代训练2000次，就会验证200次。可以设置一个阈值失败率(例如60％等)，如果验证集中的某项标注数据在整个训练过程中被验证失败120次以上，则说明这项标注数据被疑似错误标注。

在框406，人工审核疑似错误标注的标注数据是否有误。如果人工审核确定疑似错误标注的标注数据的确有误，则在框408修改标注数据的分类。而如果人工审核确定疑似错误标注的标注数据没有错误，则在框410保持标注数据不变。也就是说，疑似错误标注的标注数据会再经过二次人工审核，人工审核原始分类无误的则不做修改，人工审核原始分类有误的则进行更正。此外，在一些实施例中，可以将经过二次人工审核的标注数据标记为正确标注数据，正确标注数据在后续的验证过程中不会再被识别为疑似错误标注的标注数据。也即，可以将经过二次人工审核的样本都标记为二次审核状态，二次审核的样本在后续模型验证过程中即使错误也不会被筛选出来检查。通过这种方式，可以减少重复的二次人工审核。

图5示出了根据本公开的实施例的用于发布新的分类模型的方法500的流程图。在框502，获得预定数量的新标注数据。对于新出现的新内容，旧的分类模型可能无法准确识别。本公开的实施例针对持续产生一定数量的人工审核样本的情况，可以进行持续训练以提高分类模型的适应性，也即，可以在上一分类模型的基础上进行再训练，以调整分类模型的参数。例如，每当新产生诸如2000篇新文章时，可以触发一次模型重新训练。在框504，再次训练分类模型，使用新标注数据、或者新标注数据和旧标注数据的组合再次训练分类模型，以便通过加入新的样本训练逐步提高分类模型的性能。

在框506，判断分类模型性能提升是否达到预定程度。在一些实施例中，预定程度可以通过分类模型的准确率来表征。例如，如果分类模型在验证集上的准确率提高一定阈值(例如百分之一、百分之三，等等)，则说明性能提升达到预定程度。如果分类模型性能提升达到预定程度，则在框508发布新的分类模型；反之，如果性能提升未达到预定程度，则在框510仍然使用旧的分类模型。通过这种方式，可以避免发布过多的新模型。此外，随着标注数据样本的不断增加，需要增加验证集的样本数，可以定期从新增标注数据集上抽样新的样本，再进行检查验证之后加入到验证集上。因此，根据本公开的实施例的方法500能够实现分类模型的持续更新，使得针对遇到的新问题，仍然能够达到较高的准确率。此外，随着训练数据的不断增多，分类模型的准确率也会不断提高。

此外，根据本公开的实施例的方法不仅可以有效地过滤掉低质量的文章，还可以用于改进文章自动生成的质量。例如，对于文章自动生成系统来说，产生的每篇内容会被根据本公开的技术的分类模型来验证，然后，文章自动生成系统根据验证结果来调整生成算法，从而使得所生成的文章质量更高。

图6示出了根据本公开的实施例的数据处理装置600的框图。如图6所示，装置600包括划分模块610、训练模块620以及识别模块630。划分模块610被配置为将标注数据集划分为训练集和验证集，其中标注数据集中的内容已经被标注有分类。训练模块620被配置为使用训练集来训练用于对内容进行分类的分类模型。识别模块630被配置为基于验证集对分类模型的验证，识别验证集中的错误标注的标注数据。

在一些实施例中，其中识别模块630包括：验证模块，被配置为使用验证集来验证分类模型的准确性；以及确定模块，被配置为响应于标注数据满足预定条件，确定标注数据被疑似错误标注。

在一些实施例中，其中确定模块包括：获取模块，被配置为获取在迭代的验证过程中标注数据未通过验证的次数或概率；以及第二确定模块，被配置为响应于次数或概率大于预定阈值，确定标注数据满足预定条件。

在一些实施例中，其中识别模块630还包括：接收模块，被配置为接收对标注数据的人工审核；修改模块，被配置为响应于人工审核指示标注数据被错误标注，修改标注数据的分类；以及保持模块，被配置为响应于人工审核指示标注数据被正确标注，保持标注数据不变。

在一些实施例中，装置600还包括：标记模块，被配置为将经过人工审核的标注数据标记为正确标注数据，其中正确标注数据在后续的验证过程中不会再被识别为疑似错误标注的标注数据。

在一些实施例中，其中分类模型为第一分类模型，并且装置600还包括：更新模块，被配置为响应于获得预定数量的新标注数据，更新标注数据集；以及生成模块，被配置为使用更新后的标注数据集再次训练分类模型以生成第二分类模型。

在一些实施例中，装置600还包括：第三确定模块，被配置为确定第二分类模型的性能是否比第一分类模型的性能提升预定程度；以及发布模块，被配置为响应于确定第二分类模型的性能比第一分类模型的性能提升预定程度，发布第二分类模型以用于对内容进行分类。

应当理解，图6中所示出的划分模块610、训练模块620以及识别模块630可以被包括单个或多个电子设备中。而且，应当理解，图6中所示出的模块可以执行参考本公开的实施例的方法或过程中的步骤或动作。

图7示出了可以用来实施本公开的实施例的示例设备700的示意性框图。应当理解，设备700可以为用于实现本公开所描述的数据处理装置600。如图所示，设备700包括中央处理单元(CPU)701，其可以根据被存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU 701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元701执行上文所描述的各个方法和过程，例如方法300、400和/或500。例如，在一些实施例中，方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由CPU 701执行时，可以执行上文描述的方法的一个或多个动作或步骤。备选地，在其他实施例中，CPU701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)，等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各动作或步骤，但是这应当理解为要求这样动作或步骤以所示出的特定次序或以顺序次序执行，或者要求所有图示的动作或步骤应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本公开的实施例，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种数据处理方法，包括：

将标注数据集划分为训练集和验证集，所述标注数据集中的内容已经被标注有分类；

使用所述训练集来训练用于对内容进行分类的分类模型；以及

基于所述验证集对所述分类模型的验证，识别所述验证集中的错误标注的标注数据。

2.根据权利要求1所述的方法，其中识别所述验证集中的错误标注的标注数据包括：

使用所述验证集来验证所述分类模型的准确性；以及

响应于所述标注数据满足预定条件，确定所述标注数据被疑似错误标注。

3.根据权利要求2所述的方法，其中确定所述标注数据被疑似错误标注包括：

获取在迭代的验证过程中所述标注数据未通过验证的次数或概率；以及

响应于所述次数或所述概率大于预定阈值，确定所述标注数据满足所述预定条件。

4.根据权利要求2所述的方法，其中识别所述验证集中的错误标注的标注数据还包括：

接收对所述标注数据的人工审核；

响应于所述人工审核指示所述标注数据被错误标注，修改所述标注数据的分类；以及

响应于所述人工审核指示所述标注数据被正确标注，保持所述标注数据不变。

5.根据权利要求4所述的方法，还包括：

将经过人工审核的所述标注数据标记为正确标注数据，所述正确标注数据在后续的验证过程中不会再被识别为疑似错误标注的标注数据。

6.根据权利要求1所述的方法，其中所述分类模型为第一分类模型，并且所述方法还包括：

响应于获得预定数量的新标注数据，更新所述标注数据集；以及使用更新后的所述标注数据集再次训练分类模型以生成第二分类模型。

7.根据权利要求6所述的方法，还包括：

确定所述第二分类模型的性能是否比所述第一分类模型的性能提升预定程度；以及

响应于确定所述第二分类模型的性能比所述第一分类模型的性能提升所述预定程度，发布所述第二分类模型以用于对内容进行分类。

8.一种数据处理装置，包括：

划分模块，被配置为将标注数据集划分为训练集和验证集，所述标注数据集中的内容已经被标注有分类；

训练模块，被配置为使用所述训练集来训练用于对内容进行分类的分类模型；以及

识别模块，被配置为基于所述验证集对所述分类模型的验证，识别所述验证集中的错误标注的标注数据。

9.根据权利要求8所述的装置，其中所述识别模块包括：

验证模块，被配置为使用所述验证集来验证所述分类模型的准确性；以及

确定模块，被配置为响应于所述标注数据满足预定条件，确定所述标注数据被疑似错误标注。

10.根据权利要求9所述的装置，其中所述确定模块包括：

获取模块，被配置为获取在迭代的验证过程中所述标注数据未通过验证的次数或概率；以及

第二确定模块，被配置为响应于所述次数或所述概率大于预定阈值，确定所述标注数据满足所述预定条件。

11.根据权利要求9所述的装置，其中所述识别模块还包括：

接收模块，被配置为接收对所述标注数据的人工审核；

修改模块，被配置为响应于所述人工审核指示所述标注数据被错误标注，修改所述标注数据的分类；以及

保持模块，被配置为响应于所述人工审核指示所述标注数据被正确标注，保持所述标注数据不变。

12.根据权利要求11所述的装置，还包括：

标记模块，被配置为将经过人工审核的所述标注数据标记为正确标注数据，所述正确标注数据在后续的验证过程中不会再被识别为疑似错误标注的标注数据。

13.根据权利要求8所述的装置，其中所述分类模型为第一分类模型，并且所述装置还包括：

更新模块，被配置为响应于获得预定数量的新标注数据，更新所述标注数据集；以及

生成模块，被配置为使用更新后的所述标注数据集再次训练分类模型以生成第二分类模型。

14.根据权利要求13所述的装置，还包括：

第三确定模块，被配置为确定所述第二分类模型的性能是否比所述第一分类模型的性能提升预定程度；以及

发布模块，被配置为响应于确定所述第二分类模型的性能比所述第一分类模型的性能提升所述预定程度，发布所述第二分类模型以用于对内容进行分类。

15.一种电子设备，所述电子设备包括：

一个或多个处理器；以及

存储装置，其用于存储一个或多个程序，所述一个或多个程序当被所述一个或多个处理器执行，使得所述电子设备实现根据权利要求1-7中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-7中任一项所述的方法。