CN114241243A - 图像分类模型的训练方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供了一种图像分类模型的训练方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及深度学习领域和图像处理领域，可应用于异常图像的检测场景等。图像分类模型的训练方法包括：采用已标注数据集对图像分类模型进行训练，得到初始模型；迭代地执行以下更新操作，直至更新后的初始模型达到收敛条件：采用初始模型从未标注数据中获得备选扩充数据；以及根据备选扩充数据更新已标注数据集和初始模型；其中，图像分类模型的训练方法还包括在在迭代地执行更新操作的过程中：确定针对标注类别的预测概率低于第一预定概率的目标数据；以及周期性地采用目标数据更新已标注数据集。

Description

图像分类模型的训练方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术领域，具体涉及深度学习领域和图像处理领域，可应用于异常图像的检测场景等。

背景技术

随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。目前，通常采用深度学习模型来对图像进行分类，以此例如可以实现对异常图像的检测。

发明内容

基于此，本公开提供了一种提高精度的图像分类模型的训练方法、装置、设备和存储介质。

根据本公开的一个方面，提供了一种图像分类模型的训练方法，包括：采用已标注数据集对图像分类模型进行训练，得到初始模型；迭代地执行以下更新操作，直至更新后的初始模型达到收敛条件：采用初始模型从未标注数据中获得备选扩充数据；以及根据备选扩充数据更新已标注数据集和初始模型；其中，该训练方法还包括在迭代地执行更新操作的过程中：确定针对标注类别的预测概率低于第一预定概率的目标数据；以及周期性地采用目标数据更新已标注数据集。

根据本公开的另一个方面，提供了一种图像分类模型的训练装置，包括：训练模块，用于采用已标注数据集对图像分类模型进行训练，得到初始模型；第一更新模块，用于迭代地执行以下更新操作，直至更新后的初始模型达到收敛条件：采用初始模型从未标注数据中获得备选扩充数据；根据备选扩充数据更新已标注数据集和初始模型；其中，该训练装置还包括第二更新模块，用于在第一更新模块迭代地执行更新操作的过程中：确定针对标注类别的预测概率低于第一预定概率的目标数据；以及周期性地采用目标数据更新已标注数据集。

根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的图像分类模型的训练方法。

根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的图像分类模型的训练方法。

根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的图像分类模型的训练方法中的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的图像分类模型的训练方法和装置的应用场景示意图；

图2是根据本公开实施例的图像分类模型的训练方法的流程示意图；

图3是根据本公开实施例的从未标注数据集中获得备选扩充数据的原理示意图；

图4是根据本公开实施例的根据备选扩充数据更新已标注数据集和初始模型的原理示意图；

图5是根据本公开实施例的图像分类模型的训练装置的结构框图；以及

图6是用来实施本公开实施例的图像分类模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种图像分类模型的训练方法，包括训练阶段、第一更新阶段和第二更新阶段。在训练阶段中，采用已标注数据集对图像分类模型进行训练，得到初始模型。在第一更新阶段中，迭代地执行以下更新操作，直至更新后的初始模型达到收敛条件：采用初始模型从未标注数据中获得备选扩充数据；根据备选扩充数据更新已标注数据集和初始模型。第二更新阶段在第一更新阶段迭代地执行更新操作的过程中周期性的执行。该第二更新阶段包括：确定针对标注类别的预测概率低于第一预定概率的目标数据；采用目标数据更新已标注数据。

以下将结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的图像分类模型的训练方法和装置的应用场景示意图。

如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。

该电子设备110例如可以对输入的图像120进行识别，根据识别结果对图像进行分类，从而得到分类结果130。例如可以识别图像120中是否包括异常对象，若包括异常对象，则可以确定图像120的类别为异常类别，否则确定图像120的类别为正常类别。可以理解的是，根据异常对象的不同，还可以将图像120归类为不同的异常类别。

示例性地，分类结果130例如可以包括图像属于多个预定类别中每个类别的概率。或者该分类结果130可以直接为图像120所属的类别，本公开对此不做限定。

示例性地，电子设备110例如可以采用图像分类模型140来对图像120进行分类。或者，电子设备110可以根据图像分类模型140输出的预测概率来对图像120进行分类。

根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器150。电子设备110可以通过网络与服务器150通信连接，该网络可以包括无线或有线通信链路。

示例性地，服务器150可以用于训练图像分类模型140，并响应于电子设备110发送的模型获取请求，将训练好的图像分类模型140发送给电子设备110，便于电子设备110对图像进行分类。在一实施例中，电子设备110还可以通过网络将图像发送给服务器150，由服务器根据训练好的图像分类模型对获得的图像进行分类。

根据本公开的实施例，如图1所示，该应用场景100还可以包括数据库160，该数据库160可以维护有海量的图像，该些图像可以包括已标注图像和未标注图像。已标注图像标注有图像的真实类别。服务器150可以访问该数据库160，并从数据库160中抽取部分图像，以对图像分类模型进行训练。

需要说明的是，本公开所提供的图像分类模型的训练方法可以由服务器150执行。相应地，本公开所提供的图像分类模型的训练装置可以设置于服务器150中。或者，本公开所提供的图像分类模型的训练方法可以由能够与服务器150和/或电子设备110通信的任意服务器执行。相应地，本公开所提供的图像分类模型的训练装置可以设置于能够与服务器150和/或电子设备110通信的任意服务器中。

应该理解，图1中的电子设备、服务器和数据库的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备、服务器和数据库。

以下将结合图1，通过以下图2～图4对本公开提供的图像分类模型的训练方法进行详细描述。

图2是根据本公开实施例的图像分类模型的训练方法的流程示意图。

如图2所示，该实施例的图像分类模型的训练方法200可以包括S210～操作S270。其中，操作S220～操作S240可以被循环地执行，以实现对已标注数据集和初始模型的迭代更新。在循环执行操作S220～操作S240的过程中，还可以实时的执行操作S250～操作S260，并周期性地执行操作S270。

在一实施例中，可以在执行操作S230的同时执行操作S250。可以在操作S240确定更新后的初始模型未达到收敛条件时，执行操作S260。在操作S260确定达到更新周期时，再执行操作S270。其中，操作S270的执行周期可以为操作S260累计执行预定次数所用的时长。

在操作S210，采用已标注数据集对图像分类模型进行训练，得到初始模型。

根据本公开的实施例，已标注数据集中可以包括多个已标注数据，每个已标注数据包括作为样本的图像，且该图像标注有类别。其中，作为样本的图像可以为预先采集的任意类型的图像，标注的类别可以根据实际需求进行设定。例如，该类别可以包括正常类别和异常类别。或者，该类别可以包括图像中对象的类别。

根据本公开的实施例，已标注数据集可以由从图像处理领域的公开数据集中随机采集的预定量的已标注数据组成，而不包括针对某一特定对象的图像数据。例如，还可以将从公开数据集中随机采集的预定量的已标注数据根据预定比例划分至两个数据集，其中一个数据集作为训练集(即已标注数据集)，另一个数据集作为验证集。该实施例可以是采用训练集来对图像分类模型进行训练。

根据本公开的实施例，图像分类模型例如可以包括卷积神经网络模型或Transformer模型等。其中，卷积神经网络模型例如可以包括AlexNet模型、VGG模型、GoogLeNet模型等。其中，Transformer模型例如可以包括视觉Transformer(VisionTransformer，ViT)模型、VOLO(Vision Outlooker)模型等。其中，VOLO模型可以看作是一个具有两个独立阶段的模型架构。第一阶段的架构为由多个用于生成细粒度token表示的Outlookers。第二阶段的架构采用一系列Transformer块来聚合全局信息。在每个阶段的最开始，使用一个补丁嵌入(patch embedding)模块将输入映射到期望形状大小的token表示中。其中，Outlooker包括用于空间信息编码的outlook注意力层和用于通道间信息交互的多层感知器。

该实施例可以将已标注数据集中的数据分为多批，并按批次输入图像分类模型，由图像分类模型输出分类结果序列。该实施例可以在图像分类模型输出对每批的数据处理后得到的分类结果序列后，根据分类结果序列中的一批分类结果与一批已标注数据的标注类别之间的差异，采用反向传播算法等对图像分类模型的网络参数进行调整，完成对图像分类模型的一次训练。通过将多批数据逐次输入图像分类模型，可以完成对图像分类模型的多次训练，将多次训练所得到的模型作为初始模型。

可以理解的是，对于一批数据中的每个数据，图像分类模型可以输出一个分类结果。该分类结果例如可以包括每个数据属于多个预定类别中每个预定类别的概率值。该实施例可以先根据分类结果中指示标注类别的概率值，确定图像分类模型的损失。随后通过最小化图像分类模型的损失，来进行网络参数的调整。其中，例如可以采用交叉熵损失函数等来计算图像分类模型的损失。上述分类结果和计算损失的损失函数等仅作为示例以利于理解本公开，本公开对此不做限定。

在操作S220，采用初始模型从未标注数据中获得备选扩充数据。

根据本公开的实施例，未标注数据可以包括与前文作为样本的图像类似的图像。但未标注数据包括的图像未标注类别。该未标注数据也可以为公开数据集中的数据。该实施例可以将未标注数据作为初始模型的输入，由初始模型输出针对每个未标注数据的分类结果。根据该分类结果可以得到每个未标注数据的预测类别。该实施例可以将该预测类别作为未标注数据的标注类别对未标注数据进行标注，从而得到备选扩充数据。

根据本公开的实施例，可以从未标注数据的公开数据集中随机抽取预定量的未标注数据。随后将抽取的未标注数据输入初始模型，对根据分类结果能够确定预测类别的未标注数据进行预测类别的标注，获得备选扩充数据。

在操作S230，根据备选扩充数据更新已标注数据集和初始模型。

该实施例可以将备选扩充数据添加至已标注数据集。随后采用添加了备选扩充数据的已标注数据集对初始模型进行训练，从而实现对初始模型的更新。其中，采用添加了备选扩充数据的已标注数据集对初始模型进行训练的方式方法与前文描述的操作S210的实现方式类似，在此不再赘述。

在执行了操作S230后，可以执行操作S240，确定更新后的初始模型是否收敛，即确定更新后的初始模型是否达到收敛条件。

根据本公开的实施例，可以采用前文描述的验证集来验证更新后的初始模型是否收敛。例如，可以将验证集中的数据输入更新后的初始模型，得到针对验证集中每个数据的分类结果。并根据该分类结果确定验证集中每个数据的预测类别。根据该证集中每个数据的预测类别和标注类别，来确定更新后的初始模型的精度，并根据该精度确定更新后的初始模型是否收敛。

例如，可以判断更新后的初始模型的精度是否大于预定精度。若大于，则可以确定更新后的初始模型达到了收敛条件。其中，预定精度可以根据实际需求进行设定，本公开对此不做限定。或者，可以判断当前迭代轮次中更新后的初始模型的精度与前一迭代轮次中更新后的初始模型的精度的差值是否小于预定差值。若小于，则可以确定当前迭代轮次中更新后的初始模型达到了收敛条件。

若操作S240确定更新后的初始模型达到了收敛条件，则结束对图像分类模型的训练流程。否则，返回操作S220以开始执行下一迭代轮次的更新操作。

在一实施例中，该图像分类模型的训练方法可以在操作S230根据备选扩充数据更新已标注数据集，并根据添加了备选扩充数据的已标注数据集来对初始模型进行更新的过程中，实时地执行操作S250，确定针对标注类别的预测概率低于第一预定概率的目标数据。

根据本公开的实施例，采用初始模型，可以得到针对添加了备选扩充数据的已标注数据集中每个数据的分类结果。从添加了备选扩充数据的已标注数据集中，挑选分类结果中针对该每个数据的标注类别的预测概率低于第一预定概率的已标注数据，并将挑选出的数据作为目标数据。由于采用初始模型得到的该目标数据的分类结果中，针对标注类别的预测概率较低，则说明该初始模型对该目标数据的学习能力不足。则该实施例可以定期采用目标数据更新已标注数据。

其中，例如可以在每完成前文描述的一个迭代轮次后，采用目标数据更新一次已标注数据集。或者，还可以每完成若干个迭代轮次后，采用目标数据更新一次已标注数据集。如此，可以避免因确定的目标数据个数过少，对提高初始模型的学习能力的效果不明显的情况，并可在一定程度上可以节省计算资源。

例如，在一实施例中，图像分类模型的训练方法可以在每一个迭代轮次中执行操作S240后，执行操作S260，确定是否达到更新周期。若达到更新周期，则执行操作S270，采用目标数据更新已标注数据集。若没有达到更新周期，则直接返回执行操作S220，以开始下一迭代轮次的更新操作。

根据本公开的实施例，更新周期可以为前述的若干个迭代轮次的执行时长。即，每间隔预定迭代次数，执行一次操作S270。其中，预定迭代次数的取值可以根据实际需求进行设定，本公开对此不做限定。

在操作S270中，例如可以从包括未标注数据的公开数据集中获取与该目标数据的相似度大于预定相似度的未标注数据，并采用该目标数据的标注类别对该获取的未标注数据进行类别标注。将进行了类别标注的未标注数据添加至已标注数据集，从而完成对已标注数据集的更新。

在一实施例中，操作S270还可以对目标数据进行复制，将复制后的目标数据添加至已标注数据集。例如，可以将目标数据复制为第三预定数量份的数据，并将该第三预定数量份的数据添加至已标注数据集，完成对已标注数据集的更新。

在一实施例中，还可以在周期性地采用目标数据更新已标注数据集时，仅根据目标数据中的增量数据来更新已标注数据集。如此，可以保证图像分类模型对不同样式的图像的学习能力较为均衡，并因此提高图像分类模型的鲁棒性和分类精度。

本公开实施例的图像分类模型的训练方法，通过先采用已标注数据集来对图像分类模型进行训练，随后迭代地根据初始模型不断从未标注数据中召回扩充数据来补充已标注数据集，并采用补充后的已标注数据集来对初始模型进行补充训练，可以不断提升图像分类模型的学习能力。同时，在数据分布广泛的场景下，可以有效降低数据标注需要消耗的时间成本和人力成本。再者，该实施例的图像分类模型的训练方法通过定期根据确定的目标数据来更新已标注数据集，可以解决因数据分布不均所存在的图像分类模型难以精准地学习到分布较少数据的特征的技术问题。如此，可以进一步提高图像分类模型的学习能力，提高训练得到的图像分类模型的精度和鲁棒性。

图3是根据本公开实施例的从未标注数据集中获得备选扩充数据的原理示意图。

根据本公开的实施例，在从未标注数据集中获得备选扩充数据时，可以均匀地获取多个预定类别的数据，以此便于提高基于更新后的已标注数据集训练得到的图像处理模型对多个预定类别的识别精度，提高图像分类模型的分类精度。

示例性地，如图3所示，设定未标注数据集310中包括n个数据，该实施例300可以采用初始模型301对该n个数据分别进行分类，得到针对n个数据中每个数据的分类结果。例如，将n个数据中的第1数据311、第2数据312、第3数据313、...、第n数据314分别输入初始模型301，初始模型301可以分别输出第1分类结果321、第2分类结果322、第3分类结果323、...、第n分类结果324。该实施例可以根据该n个分类结果来从未标注数据集310中获取数据，并采用与获取的数据对应的分类结果所确定的标注类别来对获取的数据进行标注，从而得到备选扩充数据。

其中，在从未标注数据集310中获取数据时，可以先根据n个分类结果确定n个数据各自的预测类别(作为标注类别)。然后从未标注数据集310中获取每种类别的预定数量个未标注数据，对获取的未标注数据采用对应的标注类别标注后，可以得到备选扩充数据。

在一实施例中，在从未标注数据集310中获取每种类别的预定数量个未标注数据时，例如可以根据分类结果中预测类别的概率值自高至低，对未标注数据集中每种类别的未标注数据进行排序。随后仅获取概率值较大的第二预定数量个数据进行标注类别的标注，得到备选扩充数据。通过该方式，可以提高备选扩充数据的质量，便于提高更新后的初始模型的精度和训练效率。

示例性地，设定n个分类结果中的每个分类结果包括数据属于多个预定类别中每个预定类别的第二概率值。该实施例在根据n个分类结果从未标注数据集中获取数据时，可以先根据n个分类结果，分别确定n个数据的预测类别，得到与n个数据一一对应的n个预测类别330。可以理解的是，该n个预测类别中可以包括相同的类别。

随后，可以统计该n个数据的预测类别，得到分别对应m个预定类别的m个数据组340。该得到的m个数据组中，每个数据组包括的数据的预测类别为该每个数据组对应的预定类别。即，将n个数据中具有相同的预测类别的数据归为一个数据组。最后，从每个数据组中抽取第二预定数量个数据(例如k个数据)，并根据每个数据组对应的预定类别对从该每个数据组中抽取的数据进行标注，从而得到备选扩充数据。例如，对于m个数据组340，可以总共得到m*k个备选扩充数据350。

例如，可以将每个数据组中的数据根据针对预测类别的概率值自大至小排序，随后，从每个数据组中获取排在前k位的数据，从而得到m*k个备选扩充数据350。其中，n、m为大于1的自然数，k为自然数。再者，m可以小于等于n。

在一实施例中，可以将针对每个数据的第二分类结果中最大概率值所对应的预定类别作为该每个数据的预测类别。或者，可以将针对每个数据的第二分类结果中大于概率阈值的概率值所对应的预定类别作为该每个数据的预测类别。

在一实施例中，m个预定类别例如可以包括正常类别和多个异常类别。在根据n个分类结果来确定n个数据的预测类别时，可以先确定该n个数据中的每个数据是否为正常类别。例如，可以先确定每个数据属于m个预定类别中除正常类别外的多个异常类别的多个第二概率值的和，得到概率和。在该概率和小于第二概率阈值的情况下，确定该每个数据的类别为正常类别。其中，第二概率阈值例如可以为0.5等，可以根据实际需求设定该第二概率阈值，本公开对此不做限定。在概率和大于等于第二概率阈值的情况下，例如还可以每个数据属于多个异常类别的多个第二概率值来确定该每个数据异常的类别。例如，可以确定该每个数据属于多个异常类别的多个第二概率值中每个概率值是否大于等于第三概率阈值。若每个数据属于多个异常类别的多个第二概率值中存在大于等于第三概率阈值的概率值，则可以确定该每个数据的类别为与该大于等于第三概率阈值的概率值相对应的异常类别。其中，第三概率阈值例如可以为0.4等值，该第三概率阈值可以与第二概率阈值相等，也可以大于或小于第二概率阈值。例如，可以设定较高的第三概率阈值，以此提高确定的异常类别的准确性。该第三概率阈值可以根据实际需求进行设定，本公开对此不做限定。

通过该第二概率阈值和第三概率阈值的设定，不仅可以确定每个数据是否为正常类别，还可以在每个数据不是正常类别时，确定每个数据的异常的类别。如此，若采用训练得到的图像分类模型应用到图像或视频的审核领域，则可以对上传不同类别的异常图像或异常视频的账户进行针对性的处理，便于提高用户体验和审核精准性。

图4是根据本公开实施例的根据备选扩充数据更新已标注数据集和初始模型的原理示意图。

根据本公开的实施例，在从未标注数据中获得备选扩充数据后，例如还可以在对初始模型进行更新的过程中，对初始模型预测的分类结果与标注类别的差异较大的备选扩充数据剔除掉。如此，可以提高更新的已标注数据集中数据的质量，利于加快图像分类模型的收敛速率。

如图4所示，该实施例400在从未标注数据集410中获得m*k个备选扩充数据420后，可以先将该m*k个备选扩充数据411添加至已标注数据集430，从而获得扩充数据集440。

随后，可以采用该扩充数据集440对初始模型401进行训练，该训练过程与前文描述的采用已标注数据集对图像分类模型进行训练的过程类似，在此不再赘述。该实施例可以将采用该扩充数据集440训练得到的模型作为中间模型402。

在得到中间模型402后，该实施例可以采用中间模型402再对扩充数据集440中的每个数据进行分类，得到针对扩充数据集440中每个数据的第一分类结果。可以理解的是，该第一分类结果可以与前文描述的第二分类结果类似。该实施例具体可以将扩充数据集440中的每个数据输入中间模型402，由中间模型输出针对每个数据的第一分类结果450。例如，若扩充数据集中包括p个数据，则可以得到p个第一分类结果。

在得到p个第一分类结果后，该实施例可以从扩充数据集440中剔除第一分类结果与标注类别的差异较大的第一预定数量个数据，从而得到更新后的已标注数据集。如此，可以实现对扩充数据集440的清洗。

例如，对于扩充数据集440中的每个数据，可以先确定针对该每个数据的第一分类结果中针对标注类别的第一概率值。随后，确定该第一概率值与1之间的差值绝对值。将与1之间的差值绝对值大于差值阈值的第一概率值所属的第一没分类结果所针对的数据剔除，完成对已标注数据集的更新。

例如，对于扩充数据集440中的每个数据，可以先确定针对该每个数据的第一分类结果中针对标注类别的第一概率值。随后，将扩充数据集440中的数据根据针对标注类别的第一概率值自大至小排序。随后确定该自大至小排序的数据中排在最后的第一预定数量个数据为待剔除数据460，并从扩充数据集440中剔除该待剔除数据460，得到更新后的已标注数据集470，完成对已标注数据集的更新。其中，第一预定数量可以根据实际需求进行设定，本公开对此不做限定。

在完成对已标注数据集的更新后，可以采用更新后的已标注数据集对中间模型402再进行训练，得到更新后的初始模型403。以此进一步提高模型精度，从而完成对初始模型的更新。

本公开实施例通过从扩充数据集中剔除针对标注类别的第一概率值较小的数据，可以便于模型更为精准的区分不同类别图像的纹理特征、色彩特征和/或形态特征。并因此可以进一步提升模型的收敛效率，提高模型精度。

在一实施例中，在采用前述已标注数据集或扩充后数据集中的数据对模型进行训练时，例如还可以对数据进行预处理。例如，可以将数据的尺寸缩放至预定尺寸(例如384像素*384像素)，并对缩放至预定尺寸的数据进行归一化处理。如此，可以利于模型提取到数据的有用特征，便于提高模型的学习能力。

在一实施例中，可以将训练得到的图像分类模型应用于对直播场景、短视频场景、小视频场景、文库、贴吧等中图像的审核评估中，用于审核该各场景中是否存在违规等异常图像。

基于本公开提供的图像分类模型的训练方法，本公开还提供了一种图像分类模型的训练装置。以下将结合图5对该装置进行详细描述。

图5是根据本公开实施例的图像分类模型的训练装置的结构框图。

如图5所示，该实施例的图像分类模型的训练装置500包括训练模块510、第一更新模块520和第二更新模块530。

训练模块510用于采用已标注数据集对图像分类模型进行训练，得到初始模型。在一实施例中，训练模块510可以用于执行前文描述的操作S210，在此不再赘述。

第一更新模块520用于迭代地执行以下更新操作，直至更新后的初始模型达到收敛条件：采用初始模型从未标注数据中获得备选扩充数据；根据备选扩充数据更新已标注数据集和初始模型。在一实施例中，第一更新模块520可以用于执行前文描述的操作S220～操作S240，在此不再赘述。

第二更新模块530用于在第一更新模块520迭代地执行更新操作的过程中：确定针对标注类别的预测概率低于第一预定概率的目标数据；周期性地采用目标数据更新已标注数据集。在一实施例中，第二更新模块530可以用于执行前文描述的操作S250～操作S260，在此不再赘述。

根据本公开的实施例，第一更新模块520可以包括第一训练子模块、第一分类子模块、数据剔除子模块和第二训练子模块。第一训练子模块用于采用将备选扩充数据添加至已标注数据集获得的扩充数据集对初始模型进行训练，得到中间模型。第一分类子模块用于采用中间模型对扩充数据集中的每个数据进行分类，得到针对每个数据的第一分类结果。数据剔除子模块用于从扩充数据集中剔除第一分类结果与标注类别的差异较大的第一预定数量个数据，得到更新后的已标注数据集。第二训练子模块用于采用更新后的已标注数据集对中间模型进行训练，以更新初始模型。

根据本公开的实施例，第一分类结果包括每个数据属于多个预定类别中每个预定类别的第一概率值。上述数据剔除子模块可以包括数据确定单元和数据剔除单元。数据确定单元用于确定扩充数据集中针对标注类别的第一概率值较小的第一预定数量个数据，作为待剔除数据。数据剔除单元用于从扩充数据集中剔除待剔除数据。

根据本公开的实施例，上述第一更新模块520可以包括第二分类子模块和数据获取子模块。第二分类子模块用于采用初始模型对未标注数据集中的每个数据进行分类，得到针对每个数据的第二分类结果。数据获取子模块用于根据第二分类结果从未标注数据集中获取数据，得到备选扩充数据，备选扩充数据包括根据第二分类结果确定的标注类别。

根据本公开的实施例，第二分类结果包括每个数据属于多个预定类别中每个预定类别的第二概率值。上述数据获得子模块可以包括类别确定单元、类别统计单元和数据获取单元。类别确定单元用于根据第二分类结果，确定每个数据的预测类别。类别统计单元用于统计未标注数据集中各数据的预测类别，得到分别对应多个预定类别的多个数据组，多个数据组中每个数据组包括的数据的预测类别为对应每个数据组的预定类别。数据获取单元用于针对多个数据组中的每个数据组，从每个数据组中获取针对预测类别的概率值较大的第二预定数量个数据。

根据本公开的实施例，上述第二更新模块530可以数据复制子模块和数据添加子模块。数据复制子模块用于每间隔预定迭代次数，将目标数据复制为第三预定数量份的数据。数据添加子模块用于将第三预定数量份的数据添加至已标注数据集。

根据本公开的实施例，多个预定类别中包括正常类别和多个异常类别。上述类别确定单元可以包括第一确定子单元和第二确定子单元。第一确定子单元用于响应于每个数据属于多个异常类别的多个第二概率值的和小于第二概率阈值，确定每个数据的类别为正常类别。第二确定子单元用于响应于多个第二概率值的和大于等于第二概率阈值，且多个第二概率值中存在大于等于第三概率阈值的概率值，确定每个数据的类别为与大于等于第三概率阈值的概率值相对应的异常类别。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开实施例的图像分类模型的训练方法的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像分类模型的训练方法。例如，在一些实施例中，图像分类模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像分类模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分类模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种图像分类模型的训练方法，包括：

采用已标注数据集对图像分类模型进行训练，得到初始模型；

迭代地执行以下更新操作，直至更新后的初始模型达到收敛条件：

采用所述初始模型从未标注数据中获得备选扩充数据；以及

根据所述备选扩充数据更新所述已标注数据集和所述初始模型；

其中，所述方法还包括在迭代地执行所述更新操作的过程中：

确定针对标注类别的预测概率低于第一预定概率的目标数据；以及

周期性地采用所述目标数据更新所述已标注数据集。

2.根据权利要求1所述的方法，其中，所述根据所述备选扩充数据更新所述已标注数据集和所述初始模型包括：

采用将所述备选扩充数据添加至所述已标注数据集获得的扩充数据集对所述初始模型进行训练，得到中间模型；

采用所述中间模型对所述扩充数据集中的每个数据进行分类，得到针对所述每个数据的第一分类结果；

从所述扩充数据集中剔除第一分类结果与标注类别的差异较大的第一预定数量个数据，得到更新后的已标注数据集；以及

采用更新后的所述已标注数据集对所述中间模型进行训练，以更新所述初始模型。

3.根据权利要求2所述的方法，其中，其中，所述第一分类结果包括所述每个数据属于多个预定类别中每个预定类别的第一概率值；从所述扩充数据集中剔除第一分类结果与标注类别的差异较大的第一预定数量个数据包括：

确定所述扩充数据集中针对标注类别的第一概率值较小的第一预定数量个数据，作为待剔除数据；以及

从所述扩充数据集中剔除所述待剔除数据。

4.根据权利要求1所述的方法，其中，所述采用所述初始模型从未标注数据集中获得备选扩充数据包括：

采用所述初始模型对所述未标注数据集中的每个数据进行分类，得到针对所述每个数据的第二分类结果；以及

根据所述第二分类结果从所述未标注数据集中获取数据，得到所述备选扩充数据，所述备选扩充数据包括根据所述第二分类结果确定的标注类别。

5.根据权利要求4所述的方法，其中，所述第二分类结果包括所述每个数据属于多个预定类别中每个预定类别的第二概率值；所述根据所述第二分类结果从所述未标注数据集中获取数据，得到备选扩充数据包括：

根据所述第二分类结果，确定所述每个数据的预测类别；

统计所述未标注数据集中各数据的预测类别，得到分别对应所述多个预定类别的多个数据组，所述多个数据组中每个数据组包括的数据的预测类别为对应所述每个数据组的预定类别；以及

针对所述多个数据组中的每个数据组，从所述每个数据组中获取针对预测类别的概率值较大的第二预定数量个数据。

6.根据权利要求1所述的方法，其中，所述周期性地采用所述目标数据更新所述已标注数据集包括：

每间隔预定迭代次数，将所述目标数据复制为第三预定数量份的数据；以及

将所述第三预定数量份的数据添加至所述已标注数据集。

7.根据权利要求5所述的方法，其中，所述多个预定类别中包括正常类别和多个异常类别；所述根据所述第二分类结果，确定所述每个数据的预测类别包括：

响应于所述每个数据属于所述多个异常类别的多个第二概率值的和小于第二概率阈值，确定所述每个数据的类别为正常类别；以及

响应于所述多个第二概率值的和大于等于所述第二概率阈值，且所述多个第二概率值中存在大于等于第三概率阈值的概率值，确定所述每个数据的类别为与大于等于所述第三概率阈值的概率值相对应的异常类别。

8.一种图像分类模型的训练装置，包括：

训练模块，用于采用已标注数据集对图像分类模型进行训练，得到初始模型；

第一更新模块，用于迭代地执行以下更新操作，直至更新后的初始模型达到收敛条件：

采用所述初始模型从未标注数据中获得备选扩充数据；以及

根据所述备选扩充数据更新所述已标注数据集和所述初始模型；

其中，所述装置还包括第二更新模块，用于在所述第一更新模块迭代地执行所述更新操作的过程中：

确定针对标注类别的预测概率低于第一预定概率的目标数据；以及

周期性地采用所述目标数据更新所述已标注数据集。

9.根据权利要求8所述的装置，其中，所述第一更新模块包括：

第一训练子模块，用于采用将所述备选扩充数据添加至所述已标注数据集获得的扩充数据集对所述初始模型进行训练，得到中间模型；

第一分类子模块，用于采用所述中间模型对所述扩充数据集中的每个数据进行分类，得到针对所述每个数据的第一分类结果；

数据剔除子模块，用于从所述扩充数据集中剔除第一分类结果与标注类别的差异较大的第一预定数量个数据，得到更新后的已标注数据集；以及

第二训练子模块，用于采用更新后的所述已标注数据集对所述中间模型进行训练，以更新所述初始模型。

10.根据权利要求9所述的装置，其中，所述第一分类结果包括所述每个数据属于多个预定类别中每个预定类别的第一概率值；所述数据剔除子模块包括：

数据确定单元，用于确定所述扩充数据集中针对标注类别的第一概率值较小的第一预定数量个数据，作为待剔除数据；以及

数据剔除单元，用于从所述扩充数据集中剔除所述待剔除数据。

11.根据权利要求8所述的装置，其中，所述第一更新模块包括：

第二分类子模块，用于采用所述初始模型对所述未标注数据集中的每个数据进行分类，得到针对所述每个数据的第二分类结果；以及

数据获取子模块，用于根据所述第二分类结果从所述未标注数据集中获取数据，得到所述备选扩充数据，所述备选扩充数据包括根据所述第二分类结果确定的标注类别。

12.根据权利要求11所述的装置，其中，所述第二分类结果包括所述每个数据属于多个预定类别中每个预定类别的第二概率值；所述数据获得子模块包括：

类别确定单元，用于根据所述第二分类结果，确定所述每个数据的预测类别；

类别统计单元，用于统计所述未标注数据集中各数据的预测类别，得到分别对应所述多个预定类别的多个数据组，所述多个数据组中每个数据组包括的数据的预测类别为对应所述每个数据组的预定类别；以及

数据获取单元，用于针对所述多个数据组中的每个数据组，从所述每个数据组中获取针对预测类别的概率值较大的第二预定数量个数据。

13.根据权利要求8所述的装置，其中，所述第二更新模块包括：

数据复制子模块，用于每间隔预定迭代次数，将所述目标数据复制为第三预定数量份的数据；以及

数据添加子模块，用于将所述第三预定数量份的数据添加至所述已标注数据集。

14.根据权利要求12所述的装置，其中，所述多个预定类别中包括正常类别和多个异常类别；所述类别确定单元包括：

第一确定子单元，用于响应于所述每个数据属于所述多个异常类别的多个第二概率值的和小于第二概率阈值，确定所述每个数据的类别为正常类别；以及

第二确定子单元，用于响应于所述多个第二概率值的和大于等于所述第二概率阈值，且所述多个第二概率值中存在大于等于第三概率阈值的概率值，确定所述每个数据的类别为与大于等于所述第三概率阈值的概率值相对应的异常类别。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据权利要求1～7中任一项所述的方法中的步骤。

Images