CN115641470A - 分类模型及车辆图像分类模型的训练方法、装置及设备 - Google Patents

Abstract

本公开提供了一种分类模型及车辆图像分类模型的训练方法、装置及设备，涉及深度学习、自动驾驶、智能交通等人工智能技术领域。具体实施方案为：获取分类模型和测试集；通过分类模型对测试集进行类别预测，以获取各测试样本对应的第一预测类别；基于第一预测类别和标注类别，分别确定各标注类别对应的第一送标比例，并基于各标注类别的第一送标比例，从待送标的数据集中确定各标注类别对应的第一训练样本；基于各标注类别对应的第一训练样本，对分类模型进行训练。通过分类模型对测试集进行预测，确定各标注类别对应的第一送标比例，并基于第一送标比例对各标注类别对应的训练样本的数量比例进行优化，可以提升分类模型的训练效果。

Description

分类模型及车辆图像分类模型的训练方法、装置及设备

技术领域

本公开涉及深度学习、自动驾驶、智能交通等人工智能技术领域，尤其涉及一种分类模型及车辆图像分类模型的训练方法、装置及设备。

背景技术

在机器学习中，数据的质量决定了技术的上限，而算法只能无限的去逼近这个上限。为了让算法模型的效果越来越好，会通过持续不断的挖掘数据，然后将挖掘出来的数据送标，进行模型训练。

当前技术中，常用手段是选择将所有挖掘到的数据拿去送标，这在模型训练的前期是合理的，但是随着算法模型的优化，这种数据挖掘方式明显存在一个问题，除了标注成本高外，可能会导致训练样本集类别数量失衡，出现长尾分布，最终呈现的模型效果在一些类别效果特别好，一些类别效果特别差。

发明内容

本公开提供了一种用于分类模型及车辆图像分类模型的训练方法、装置及设备。

根据本公开的第一方面，提供了一种分类模型的训练方法，包括：获取分类模型和测试集，测试集包含多个标注类别的测试样本，每个标注类别的测试样本至少为一个；通过分类模型对测试集进行类别预测，以获取测试集中各测试样本对应的第一预测类别；基于各测试样本对应的第一预测类别和标注类别，分别确定各标注类别对应的第一送标比例，并基于各标注类别的第一送标比例，从待送标的数据集中确定各标注类别对应的第一训练样本，其中，每个标注类别对应的第一训练样本的数量是根据对应标注类别的第一送标比例确定的；基于各标注类别对应的第一训练样本，对分类模型进行训练。

根据本公开的第一方面，提供了一种车辆图像分类模型的训练方法，包括：获取车辆图像分类模型和车辆图像测试集，所述车辆图像测试集包含多个图像标注类别的图像测试样本，每个所述图像标注类别的图像测试样本至少为一个；通过所述车辆图像分类模型对所述车辆图像测试集进行类别预测，以获取所述车辆图像测试集中各所述图像测试样本对应的图像预测类别；基于各所述图像测试样本对应的图像预测类别和图像标注类别，分别确定各所述图像标注类别对应的图像训练样本送标比例，并基于各所述图像标注类别的所述图像训练样本送标比例，从待送标的数据集中确定各所述图像标注类别对应的图像训练样本，其中，每个所述图像标注类别对应的图像训练样本的数量是根据对应图像标注类别的图像训练样本送标比例确定的；基于各所述图像标注类别对应的图像训练样本，对所述车辆图像分类模型进行训练。

根据本公开的第三方面，提供了一种分类模型的训练装置，包括：获取模块，用于获取分类模型和测试集，测试集包含多个标注类别的测试样本，每个标注类别的测试样本至少为一个；预测模块，用于通过分类模型对测试集进行类别预测，以获取测试集中各测试样本对应的第一预测类别；确定模块，用于基于各测试样本对应的第一预测类别和标注类别，分别确定各标注类别对应的第一送标比例，并基于各标注类别的第一送标比例，从待送标的数据集中确定各标注类别对应的第一训练样本，其中，每个标注类别对应的第一训练样本的数量是根据对应标注类别的第一送标比例确定的；训练模块，用于基于各标注类别对应的第一训练样本，对分类模型进行训练。

根据本公开第四方面，提供了一种车辆图像分类模型的训练装置，包括：接收模块，用于获取车辆图像分类模型和车辆图像测试集，所述车辆图像测试集包含多个图像标注类别的图像测试样本，每个所述图像标注类别的图像测试样本至少为一个；测试模块，用于通过所述车辆图像分类模型对所述车辆图像测试集进行类别预测，以获取所述车辆图像测试集中各所述图像测试样本对应的图像预测类别；计算模块，用于基于各所述图像测试样本对应的图像预测类别和图像标注类别，分别确定各所述图像标注类别对应的图像训练样本送标比例，并基于各所述图像标注类别的所述图像训练样本送标比例，从待送标的数据集中确定各所述图像标注类别对应的图像训练样本，其中，每个所述图像标注类别对应的图像训练样本的数量是根据对应图像标注类别的图像训练样本送标比例确定的；更新模块，用于基于各所述图像标注类别对应的图像训练样本，对所述车辆图像分类模型进行训练。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的分类模型的训练方法。

根据本公开第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序/指令，所述计算机指令用于使所述计算机执行上述一方面实施例所述的分类模型的训练方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述一方面实施例所述的分类模型的训练方法。

通过分类模型对测试集进行预测，确定各标注类别对应的第一送标比例，并基于第一送标比例对各标注类别对应的训练样本的数量比例进行优化，可以提升分类模型的训练效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例提供的一分类模型的训练方法的流程示意图；

图2为本公开实施例提供的另一分类模型的训练方法的流程示意图；

图3为本公开实施例提供的另一分类模型的训练方法的流程示意图；

图4为本公开实施例提供的另一分类模型的训练方法的流程示意图；

图5为本公开实施例提供的另一分类模型的训练方法的流程示意图；

图6为本公开实施例提供的另一分类模型的训练方法的流程示意图；

图7为本公开实施例提供的一车辆图像分类模型的训练方法的流程示意图；

图8为本公开实施例提供的一分类模型的训练装置的结构示意图；

图9为本公开实施例提供的一车辆图像分类模型的训练装置的结构示意图；

图10为根据本公开实施例的分类模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的分类模型及车辆图像分类模型的训练方法、装置及设备。

深度学习(Deep Learning，简称DL)，是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。

智能驾驶本质上涉及注意力吸引和注意力分散的认知工程学，主要包括网络导航、自主驾驶和人工干预三个环节。智能驾驶的前提条件是，我们选用的车辆满足行车的动力学要求，车上的传感器能获得相关视听觉信号和信息，并通过认知计算控制相应的随动系统。

图1为本公开实施例提供的一种分类模型的训练方法的流程示意图。

如图1所示，该分类模型的训练方法，可包括：

S101，获取分类模型和测试集，测试集包含多个标注类别的测试样本，每个标注类别的测试样本至少为一个。

需要说明的是，本公开实施例的分类模型的训练方法的执行主体可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选地，执行主体可包括工作站、服务器，计算机、用户终端及其他智能设备。其中，用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。

需要说明的是，本公开实施例中的分类模型的处理对象可为多种，举例来说，可为语音分类模型、文本分类模型和图像分类模型等，此处不作任何限定。可以理解的是，根据不同的分类模型，测试集中的测试样本的类型也为不同，举例来说，语音分类模型对应的测试样本为包含声音数据的测试样本，文本分类模型对应的测试样本为自然语言测试样本，图像分类模型对应的测试样本为包含图像数据的测试样本等。可选地，分类模型也可包括其他形式的测试样本，例如文本分类模型可包含非自然语言的测试样本和自然语言测试样本等。

需要说明的是，本公开实施例中的测试集为提前设定好的，该测试集合包含多个标注类别，每个标注类别对应至少一个测试样本，标注类别为提前标定好的，并可进行人工设定，也可以通过对数据挖掘进行获取，此处不作任何限定。举例来说，标注类别可为红色、蓝色和紫色，还可为人、动物和建筑等。

可以理解的是，为了实现对分类模型的性能进行更好测试，标注类别包含分类模型中可输出的所有类别，以此，可基于每一种分类模型的输出类别进行训练，防止由于某些输出类别未在测试集中出现而造成对模型的性能出现误判。

S102，通过分类模型对测试集进行类别预测，以获取测试集中各测试样本对应的第一预测类别。

需要说明的是，第一测试类别为测试集中的测试样本在输入到分类模型中后输出的类别。第一测试类别与标注类别可为相同，也可为不同，当第一测试类别与标注类别相同时，则可认为分类模型预测成功，当第一测试类别与标注类别不相同时，则可认为分类模型预测失败。

在本公开实施例中，测试集用以对分类模型的功能进行测试。通过分类模型对测试集中的测试样本进行预测，通过测试样本的标注类别和第一预测类别来确定当前分类模型的性能是否已经达到测试标准。

S103，基于各测试样本对应的第一预测类别和标注类别，分别确定各标注类别对应的第一送标比例，并基于各标注类别的第一送标比例，从待送标的数据集中确定各标注类别对应的第一训练样本，其中，每个标注类别对应的第一训练样本的数量是根据对应标注类别的第一送标比例确定的。

需要说明的是，第一送标比例为各标注类别在待送标的数据集中所占的数量比例。在获取到第一预测类别后，可通过将第一预测类别与测试样本的标注类别进行比较和处理，对模型进行性能评价的同时，针对各标注类别的测试效果，调整后续输入至分类模型中的各标注类别的第一送标比例。

通过调整第一送标比例，可以优化训练样本集，防止分类模型在训练的过程中训练样本集中各标注类别的失衡，增加分类模型的训练效果。

需要说明的是，本公开实施例中的训练集为提前设定好的，可为人工建立的，也可通过其他的途径进行获取，此处不作任何限定。需要说明的是，不同类型的分类模型，训练集的获取途径可为不同，举例来说，当分类模型为语音分类模型时，可通过采集声音样本，并对声音样本进行声音分析和处理，以获取包含声音数据的训练样本；当分类模型为文本分类模型时，可通过采集文本，并对文本进行处理，以获取文本训练样本；当分类模型为图像分类模型时，通过采集图像样本，并对图像样本进行图像处理，以获取包含图像数据的训练样本。

在本公开实施例中，根据模型训练的设计要求，可提前设定一个待送标的数据集数量，基于第一送标比例确定各标注类别对应的第一训练样本数量，然后基于各标注类别对应的第一训练样本数量从训练集中随机的挑选对应标注类别的训练样本。需要说明的是，待送标的数据集数量可根据具体的设计需求进行变更。

S104，基于各标注类别对应的训练样本，对分类模型进行训练。

在各标注类别对应的训练样本输入至模型中，以获取模型预测的预测类别，然后基于预测类别和训练样本的标注类别对分类模型进行参数调整。在本公开实施例中，可首先确定分类模型的损失函数，然后通过将预测类别和训练样本的标注类别输入至损失函数中，以求取损失值，然后基于损失值对分类模型进行参数的调整。

在本公开实施例中，首先获取分类模型和测试集，测试集包含多个标注类别，每个标注类别对应至少一个测试样本，然后通过分类模型对测试集进行类别预测，以获取测试集中各测试样本对应的第一预测类别，而后基于各测试样本对应的第一预测类别和标注类别，分别确定各标注类别对应的第一送标比例，并基于各标注类别的第一送标比例，从待送标的数据集中确定各标注类别对应的第一训练样本，其中，每个标注类别对应的第一训练样本的数量是根据对应标注类别的第一送标比例确定的，最后基于各标注类别对应的训练样本，对分类模型进行训练。以此，通过分类模型对测试集进行预测，确定各标注类别的第一送标比例，并基于第一送标比例对各标注类别对应的训练样本的数量比例进行优化，可以提升分类模型的训练效果。

在本公开实施例中，不同的分类模型对应的模型种类可为不同，对应的输入和输出也可为不同。

可选地，分类模型为文本分类模型可为多重伯努利模型、多项式模型等，通过输入训练文本，文本分类模型可对训练文本进行预测，判断训练文本的标注类别，需要说明的是，文本的标注类别可为多种，可包括文本的种类，例如，诗歌、散文等，还可对文本所代表的种类进行预测，例如，文本所代表的种类为动物、人类、建筑等。

可选地，分类模型为图像分类模型可为LeNet模型、AlexNet模型和GoogLeNet模型等，通过输入训练图像数据，图像分类模型可对训练图像数据进行预测，判断训练图像数据的标注类别。需要说明的是，训练图像数据的标注类别可为多种，可包括训练图像数据的类别，例如，油画、照片等，还可包括训练图像数据的内容，例如动物、人类、建筑等。

可选地，分类模型为语音分类模型可为隐马尔科夫模型、深度神经网络等，通过输入训练语音数据，语音分类模型可对训练语音数据进行预测，判断训练语音数据的标注类别。需要说明的是，训练语音数据的标注类别可为多种，可包括训练语音数据的类别，例如，歌曲、录音、对话等，还可包括训练语音数据的内容识别，例如会议、交谈、争吵等。

上述实施例中，基于各测试样本对应的第一预测类别和标注类别，分别确定各标注类别对应的第一送标比例，还可通过图2进一步解释，该方法包括：

S201，针对任一标注类别，基于测试样本的第一预测类别和标注类别，确定测试样本对应的正负样本标识。

需要说明的是，由于测试样本多包含多个标注类别，针对于任一标注类别，该标注类别下的测试样本定位为正样本，而其他标注类别的测试样本则定义为负样本。

在本公开实施例中，正负样本标识可为多种，由于模型在预测时存在误差，同时存在将正样本预测为负样本、正样本预测为正样本、负样本预测为正样本和负样本预测为负样本的可能，因此，可将不同的情况定义为不同的正负样本标识。

举例来说，以文本分类模型为例，当待评价的标注类别为建筑时，如果测试样本为房子时，如果预测结果为建筑，则该正负样本标识可为预测为正的正样本，预测结果为动物，则该正负样本标识可为预测为负的正样本；如果测试样本为狗时，如果预测结果为建筑，则该正负样本标识可为预测为负的负样本，预测结果为动物，则该正负样本标识可为预测为正的负样本。

S202，基于正负样本标识确定标注类别对应的样本得分。

需要说明的是，标注类别对应的样本得分为标注类别对应的测试样本的在模型中预测的效果得分，样本得分越高，说明该标注类别对应的测试样本在模型中预测的效果越好。

在本公开实施例中，在获取到正负样本标识后，可基于各正负样本标识的数量比例确定标注类别对应的样本得分。

可选地，可将正负样本标识的数量比例通过样本得分函数进行计算，以确定标注类别对应的样本得分。需要说明的是，该样本得分函数可为提前设定好的，并可根据实际的设计需要进行变更，此处不作任何限定。

需要说明的是，不同类型的分类模型对应的样本得分函数可为不同，举例来说，语音分类模型、文本分类模型和图像分类模型对应的得分函数可为不同。

S203，基于样本得分确定标注类别对应的第一送标比例。

在本公开实施例中，在获取到标注类别对应的样本得分后，可通过样本得分的大小来确定标注类别对应的第一送标比例。对于样本得分较高的标注类别，可认为模型该标注类别的样本的预测效果较好，可适当的降低该标注类别对应的第一送标比例，对于样本得分较低的标注类别，可认为模型该标注类别的样本的预测效果较差，可适当的提升该标注类别对应的第一送标比例。

在本公开实施例中，可通过将样本得分和样本得分阈值进行比较，当样本得分大于样本得分阈值时，则可认为模型该标注类别的样本的预测效果较好，当样本得分小于样本得分阈值时，则可认为模型该标注类别的样本的预测效果较差。

可选地，可将各标注类别对应的样本得分输入至样第一送标比例确定函数中，以获取各标注类别对应的第一送标比例。

在本公开实施例中，首先针对任一标注类别，基于测试样本的第一预测类别和标注类别，确定测试样本对应的正负样本标识，然后基于正负样本标识确定标注类别对应的样本得分，最后基于样本得分确定标注类别对应的第一送标比例。由此，通过调用当前的分类模型对测试样本进行预测，并基于预测结果对标注类别对应的测试样本进行分类，并基于分类结果计算每个标注类别对应的样本得分，以此准确的计算出每个标注类别对应的第一送标比例，为后续对训练样本各标注类别的数量比例优化提供基础，同时可以降低训练样本的采集周期，提升采集效率。

在本公开实施例中，确定测试样本对应的正负样本标识可通过下述方法进行确定：响应于测试样本为正样本，且测试样本的第一预测类别与待评价的标注类别相同，确定测试样本对应的正负样本标识为第一正负样本标识；响应于测试样本为负样本，且测试样本的第一预测类别与待评价的标注类别相同，确定测试样本对应的正负样本标识为第二正负样本标识；响应于测试样本为正样本，且测试样本的第一预测类别与待评价的标注类别不相同，确定测试样本对应的正负样本标识为第三正负样本标识。以此，基于测试结果确定各测试样本的正负样本标识，可以对测试样本进行准确分类，并为后续确定各标注类别对应的样本积分提供数据基础。

上述实施例中，基于正负样本标识确定标注类别对应的样本得分，还可通过图3进一步解释，该方法包括：

S301，确定标注类别的测试样本中正负样本标识为第一正负样本标识的测试样本的第一数量、标注类别的测试样本中正负样本标识为第二正负样本标识的测试样本的第二数量和标注类别的测试样本中正负样本标识为第三正负样本标识的测试样本的第三数量。

需要说明的是，本公开实施例中的第一正负样本标识的测试样本的第一数量、标注类别的测试样本中正负样本标识为第二正负样本标识的测试样本的第二数量和标注类别的测试样本中正负样本标识为第三正负样本标识的测试样本的第三数量，是针对其中一个标注类别的第一正负样本标识的测试样本的第一数量、标注类别的测试样本中正负样本标识为第二正负样本标识的测试样本的第二数量和标注类别的测试样本中正负样本标识为第三正负样本标识的测试样本的第三数量。而不同的标注类别的第一正负样本标识的测试样本的第一数量、标注类别的测试样本中正负样本标识为第二正负样本标识的测试样本的第二数量和标注类别的测试样本中正负样本标识为第三正负样本标识的测试样本的第三数量各不相同。

获取第一正负样本标识的测试样本的第一数量、标注类别的测试样本中正负样本标识为第二正负样本标识的测试样本的第二数量和标注类别的测试样本中正负样本标识为第三正负样本标识的测试样本的第三数量是为了统计在该标注类别下的各正负样本标识的比例和数量，以方便对该标注类别的预测效果进行分析。

S302，基于第一数量和第二数量确定标注类别的精确率，并基于第一数量和第三数量确定标注类别的召回率。

在本公开实施例中，精确率代表在被所有预测为正的样本中实际为正样本的概率，可以用来衡量分类模型对标注类别进行预测的准确率。召回率代表在实际为正的样本中被预测为正样本的概率，可以用来衡量。可通过如下公式进行计算：

TP为第一正负样本标识的测试样本的第一数量，FP为第二正负样本标识的测试样本的第二数量，FN为第三正负样本标识的测试样本的第三数量。

S303，基于精确率和召回率确定标注类别的样本得分。

基于精确率和召回率确定标注类别的样本得分，可通过根据精确率和召回率的乘积，确定第一系数，通过根据精确率和召回率之和，确定第二系数，然后根据第一系数和第二系数之比，确定标注类别的样本得分。

在本公开实施例中，通过计算标注类别的样本得分，可以确定当前标注类别在分类模型中的预测效果，以此可以作为后续调整训练样本比例的重要依据。

在本公开实施例中，确定标注类别的样本得分的公式为：

其中，TP为第一正负样本标识的测试样本的第一数量，FP为第二正负样本标识的测试样本的第二数量，FN为第三正负样本标识的测试样本的第三数量，P为精确率，R为回收率，F1为样本得分。其中，P代表在被所有预测为正的样本中实际为正样本的概率，R代表在实际为正的样本中被预测为正样本的概率，F1同时考虑精确率和召回率，通过对F1进行分析，可以实现让两者同时达到最高，取得平衡。

基于样本得分确定标注类别对应的第一送标比例，还可通过图4进一步解释，该方法包括：

S401，基于样本得分确定标注类别的初始送标比例。

在本公开实施例中，初始送标比例的计算公式为：

其中，

为标注类别为第i个标注类别对应的样本得分，e为自然常数，P_i为第i个标注类别对应的初始送标比例。

S402，根据各标注类别的初始送标比例之和，确定第三系数。

在本公开实施例中，第三系数的计算公式为：

其中，P_j为标注类别第j个标注类别对应的初始送标比例，N为标注类别的总数量，b为第三系数。

S403，根据各标注类别的初始送标比例与第三系数之比，确定各标注类别的第一送标比例。

需要说明的是，各标注类别对应的初始送标比例可能大于1，无法作为最终的分配比例。在本公开实施例中，可通过对初始送标比例进行归一化处理，以生成可以直观的表现出训练样本各标注类别对应的第一送标比例，需要说明的是，第一送标比例为小于1的常数，所有标注类别对应的第一送标比例的和为1。

在本公开实施例中，确定各标注类别的第一送标比例的公式为：

其中，

为第i个标注类别对应的第一送标比例，P_i为第i个标注类别对应的初始送标比例，b为第三系数。通过公式可以看出，第i类的标注类别对应的样本得分越高，初始送标比例越小，对应的第一送标比例越小。

在获取到标注类别对应的样本得分后，可基于样本得分确定标注类别的初始送标比例，然后根据各标注类别的初始送标比例之和，确定第三系数，最后根据各标注类别的初始送标比例与第三系数之比，确定各标注类别的第一送标比例。通过对初始送标比例进行归一化处理，转换成第一送标比例，可以更加直观的表现出各标注类别对应的数量比例，方便后续对训练样本进行比例划分和挖掘。

上述实施例中，基于各标注类别对应的第一训练样本，对分类模型进行训练，还可通过图5进一步解释，该方法包括：

S501，将第一训练样本输入至分类模型中，以获取第一训练样本对应的第二预测类别。

具体步骤可参见上述实施例中的内容，此处不再赘述。

S502，基于第一训练样本对应的标注类别和第二预测类别生成损失值，并基于损失值对分类模型进行调整。

在本公开实施例中，可首先确定分类模型的损失函数，然后基于第一训练样本对应的第二预测类别和标注类别进行损失值的计算。需要说明的是，可通过计算得到的损失值与损失阈值进行比较，当损失值大于损失阈值时，则可认为分类模型对对应的标注类别的样本预测效果较好，如果损失值小于损失阈值，则可认为分类模型对对应的标注类别的样本预测效果较差，需要对分类模型的参数进行调整。

需要说明的是，不同的分类模型的损失函数可为不同，此处不作任何限定，具体需要根据实际的设计需要进行限定。

基于各标注类别对应的第一训练样本，对分类模型进行训练，可将第一训练样本输入至分类模型中，以获取第一训练样本对应的第二预测类别，并基于第一训练样本对应的标注类别和第二预测类别生成损失值，并基于损失值对分类模型进行调整。通过损失值调整模型，并基于测试集对调整后的模型进行性能检测，可以实现对模型的动态调整，增加模型训练的效率和最终效果。

需要说明的是，调整后的模型仍不能确定为最优模型，需要对调整后的分类模型进行性能检测。本公开实施例中，训练得到最优的分类模型，可通过图6进一步解释，该方法包括：

S601，通过调整后的分类模型对测试集进行类别预测，以获取测试集中各测试样本对应的第三预测类别。

在本公开实施例中，可通过测试集对调整后的分类模型进行性能检测，通过将测试集输入至分类模型中，可以获取到每个测试样本对应的第三预测类别。

S602，基于第三预测类别和标注类别确定各标注类别对应的样本得分。

基于第三预测类别和标注类别确定各标注类别对应的样本得分的具体操作步骤可参照上述实施例中的内容，此处不再赘述。

S606，响应于各标注类别存在任一标注类别的样本得分小于对应的预设阈值，基于各第三预测类别和标注类别，分别确定各标注类别对应的第二送标比例，从待送标的数据集中确定各标注类别对应的第二训练样本，其中，每个标注类别对应的第二训练样本的数量是根据对应标注类别的目标送标比例确定的。

需要说明的是，预测阈值为提前设定好的，并可根据实际的设计需要进行变更。在本公开实施例中，如果标注类别的样本得分大于或者等于对应的预设阈值，可认为分类模型对该标注类别的预测效果较好。

同样的，如果标注类别的样本得分小于对应的预设阈值，则可认为分类模型对该标注类别的预测效果较差，需要增加该标注类别的训练样本数量比例。可分别确定各标注类别对应的第二送标比例，并从待送标的数据集中确定各标注类别对应的第二训练样本，其中，每个标注类别对应的第二训练样本的数量是根据对应标注类别的目标送标比例确定的。确定第二训练样本的具体操作步骤可参照上述实施例中的内容，此处不再赘述。

S604，基于各标注类别对应的第二训练样本，对分类模型进行训练，重复上述步骤，直至各标注类别的样本得分均大于或者等于对应的预设阈值。

在本公开实施例中，首先通过调整后的分类模型对测试集进行类别预测，以获取测试集中各测试样本对应的第三预测类别，然后基于第三预测类别和标注类别确定各标注类别对应的样本得分，而后响应于各标注类别存在任一标注类别的样本得分小于对应的预设阈值，基于各第三预测类别和标注类别，分别确定各标注类别对应的第二送标比例，从待送标的数据集中确定各标注类别对应的第二训练样本，其中，每个标注类别对应的第二训练样本的数量是根据对应标注类别的目标送标比例确定的，最后基于各标注类别对应的第二训练样本，对分类模型进行训练，直至各标注类别的样本得分均大于对应的预设阈值。通过测试集对分类模型进行性能测试，然后通过对分类预测结果不停地调整各标注类别对应的训练样本的数量比例，直至训练完成，通过这种动态调整，可以不断的优化各标注类别对应的训练样本的数量比例，达到更好的模型训练效果。

在汽车自动驾驶的场景中，需要对车辆前方的物体进行辨别和分类，以区分前方的物体，此时，要通过图像分类模型对前方采集的图像进行预测分类，以实现多种目的，举例来说，可以实现对前方物体是否为障碍的判别，还可实现对前方的信号灯进行分类，确定信号灯的指示内容等。

在本公开实施例中，需要首先对车辆图像分类模型进行训练，图7为本公开实施例提供的一种车辆图像分类模型的训练方法的流程示意图。

如图7所示，该车辆图像分类模型的训练方法，包括：

S701，获取车辆图像分类模型和车辆图像测试集，车辆图像测试集包含多个图像标注类别的图像测试样本，每个图像标注类别的图像测试样本至少为一个。

在本公开实施例中，车辆图像分类模型为提前设定好的，车辆图像分类模型可为LeNet模型、AlexNet模型和GoogLeNet模型等，此处不作任何限定，具体需要根据实际设计需要进行设定。

需要说明的是，车辆图像测试集包括多个包含图像数据的图像测试样本。

需要说明的是，图像测试样本可为人工进行采集的，还可通过车辆实际的驾驶过程中进行采集的。可选地，还可从图像测试样本库中进行选取的。该图像测试样本库为图像测试样本的数据库，该数据库可存储在电子设备的存储空间中，以方便在需要时调取使用。

图像测试样本的标注类别可为多种，此处不作任何限定，举例来说，标注类别可为障碍物、行人、交通指示灯等。

S702，通过车辆图像分类模型对车辆图像测试集进行类别预测，以获取车辆图像测试集中各图像测试样本对应的图像预测类别。

具体操作可参见上述实施例中的内容，此处不再赘述。

S703，基于各图像测试样本对应的图像预测类别和图像标注类别，分别确定各图像标注类别对应的图像训练样本送标比例，并基于各图像标注类别的图像训练样本送标比例，从待送标的数据集中确定各图像标注类别对应的图像训练样本，其中，每个图像标注类别对应的图像训练样本的数量是根据对应图像标注类别的图像训练样本送标比例确定的。

具体操作可参见上述实施例中的内容，此处不再赘述。

S704，基于各图像标注类别对应的图像训练样本，对车辆图像分类模型进行训练。

具体操作可参见上述实施例中的内容，此处不再赘述。

在本公开实施例中，首先获取车辆图像分类模型和车辆图像测试集，车辆图像测试集包含多个图像标注类别的图像测试样本，每个图像标注类别的图像测试样本至少为一个，然后通过车辆图像分类模型对车辆图像测试集进行类别预测，以获取车辆图像测试集中各图像测试样本对应的图像预测类别，而后基于各图像测试样本对应的图像预测类别和图像标注类别，分别确定各图像标注类别对应的图像训练样本送标比例，并基于各图像标注类别的图像训练样本送标比例，从待送标的数据集中确定各图像标注类别对应的图像训练样本，其中，每个图像标注类别对应的图像训练样本的数量是根据对应图像标注类别的图像训练样本送标比例确定的，最后基于各图像标注类别对应的图像训练样本，对车辆图像分类模型进行训练。以此，通过车辆图像分类模型对车辆图像测试集进行预测，确定各标注类别对应的图像送标比例，并基于图像送标比例对各标注类别对应的图像训练样本的数量比例进行优化，可以提升车辆图像分类模型的训练效果，从而提升车辆图像分类模型在实际的应用中的性能，增加用户的使用体验。

在实际应用中，车辆可通过采集需要分类的图像数据，举例来说，可采集车辆前方的图像数据、车辆后方的图像数据和车辆两侧的图像数据等，并对图像数据进行处理，然后再调用训练好的车辆图像分类模型，将处理后的图像数据输入至车辆图像分类模型中进行类别预测，以此，可以实现多种用途。举例来说，通过对图像数据进行分类，可以判断图像数据中的物体判断是否为障碍物，判断前方的道路标识，判断前方交通灯的指示内容等。

在本公开实施例中，车辆可通过图像采集装置采集图像数据，图像采集装置可包括多种，举例来说，可包括车载摄像头、车载相机等，此处不作任何限定。

在获取到图像数据后，还需要对图像数据进行处理，举例来说，筛除质量较差的图像数据、将图像数据调整为统一格式统一大小的数据等，此处不作任何限定，具体需要根据实际设计需要而定。

与上述几种实施例提供的分类模型的训练方法相对应，本公开的一个实施例还提供了一种分类模型的训练装置，由于本公开实施例提供的分类模型的训练装置与上述几种实施例提供的分类模型的训练方法相对应，因此上述分类模型的训练方法的实施方式也适用于本公开实施例提供的分类模型的训练装置，在下述实施例中不再详细描述。

图8为本公开实施例提供的一种分类模型的训练装置的结构示意图。如图8所示，该分类模型的训练装置800包括：获取模块810、预测模块820、确定模块830和训练模块840。

其中，获取模块810，用于获取分类模型和测试集，所述测试集包含多个标注类别的测试样本，每个所述标注类别的测试样本至少为一个。

预测模块820，用于通过所述分类模型对所述测试集进行类别预测，以获取所述测试集中各所述测试样本对应的第一预测类别。

确定模块830，用于基于各所述测试样本对应的第一预测类别和标注类别，分别确定各所述标注类别对应的第一送标比例，并基于各所述标注类别的所述第一送标比例，从待送标的数据集中确定各所述标注类别对应的第一训练样本，其中，每个所述标注类别对应的第一训练样本的数量是根据对应标注类别的第一送标比例确定的。

训练模块840，用于基于各所述标注类别对应的第一训练样本，对所述分类模型进行训练。

在本公开的一个实施例中，确定模块830，还用于：针对任一标注类别，基于测试样本的第一预测类别和标注类别，确定测试样本对应的正负样本标识；基于正负样本标识确定标注类别对应的样本得分；基于样本得分确定标注类别对应的第一送标比例。

在本公开的一个实施例中，测试样本包括正样本和负样本，正样本为测试样本的样本类别与待评价的标注类别为同一类别的样本，负样本为测试样本的样本类别与待评价的标注类别为不同类别的样本，确定模块830，还用于：响应于测试样本为正样本，且测试样本的第一预测类别与待评价的标注类别相同，确定测试样本对应的正负样本标识为第一正负样本标识；响应于测试样本为负样本，且测试样本的第一预测类别与待评价的标注类别相同，确定测试样本对应的正负样本标识为第二正负样本标识；响应于测试样本为正样本，且测试样本的第一预测类别与待评价的标注类别不相同，确定测试样本对应的正负样本标识为第三正负样本标识。

在本公开的一个实施例中，确定模块830，还用于：确定标注类别的测试样本中正负样本标识为第一正负样本标识的测试样本的第一数量、标注类别的测试样本中正负样本标识为第二正负样本标识的测试样本的第二数量和标注类别的测试样本中正负样本标识为第三正负样本标识的测试样本的第三数量；基于第一数量和第二数量确定标注类别的精确率，并基于第一数量和第三数量确定标注类别的召回率；基于精确率和召回率确定标注类别的样本得分。

在本公开的一个实施例中，确定模块830，还用于：根据精确率和召回率的乘积，确定第一系数；根据精确率和召回率之和，确定第二系数；根据第一系数和第二系数之比，确定标注类别的样本得分。

在本公开的一个实施例中，确定模块830，还用于：基于样本得分确定标注类别的初始送标比例；根据各标注类别的初始送标比例之和，确定第三系数；根据各标注类别的初始送标比例与第三系数之比，确定各标注类别的第一送标比例。

在本公开的一个实施例中，训练模块840，还用于：将第一训练样本输入至分类模型中，以获取第一训练样本对应的第二预测类别；基于第一训练样本对应的标注类别和第二预测类别生成损失值，并基于损失值对分类模型进行调整。

在本公开的一个实施例中，训练模块840，还用于：通过调整后的分类模型对测试集进行类别预测，以获取测试集中各测试样本对应的第三预测类别；基于第三预测类别和标注类别确定各标注类别对应的样本得分；响应于各标注类别存在任一标注类别的样本得分小于对应的预设阈值，基于各第三预测类别和标注类别，分别确定各标注类别对应的第二送标比例，从待送标的数据集中确定各标注类别对应的第二训练样本，其中，每个标注类别对应的第二训练样本的数量是根据对应标注类别的目标送标比例确定的；基于各标注类别对应的第二训练样本，对分类模型进行训练，重复上述步骤，直至各标注类别的样本得分均大于或者等于对应的预设阈值。

图9为本公开实施例提供的一种车辆图像分类模型的训练装置的结构示意图。如图9所示，该车辆图像分类模型的训练装置900包括：接收模块910、测试模块920、计算模块930和更新模块940。

其中，接收模块910，用于获取车辆图像分类模型和车辆图像测试集，车辆图像测试集包含多个图像标注类别的图像测试样本，每个图像标注类别的图像测试样本至少为一个。

测试模块920，用于通过车辆图像分类模型对车辆图像测试集进行类别预测，以获取车辆图像测试集中各图像测试样本对应的图像预测类别。

计算模块930，用于基于各图像测试样本对应的图像预测类别和图像标注类别，分别确定各图像标注类别对应的图像训练样本送标比例，并基于各图像标注类别的图像训练样本送标比例，从待送标的数据集中确定各图像标注类别对应的图像训练样本，其中，每个图像标注类别对应的图像训练样本的数量是根据对应图像标注类别的图像训练样本送标比例确定的。

更新模块940，用于基于各图像标注类别对应的图像训练样本，对车辆图像分类模型进行训练。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序/指令或者从存储单元1006载到随机访问存储器(RAM)1003中的计算机程序/指令，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如分类模型的训练方法。例如，在一些实施例中，分类模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1006些实施例中，计算机程序/指令的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序/指令加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的分类模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行分类模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序/指令中，该一个或者多个计算机程序/指令可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序/指令来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种分类模型的训练方法，包括：

获取分类模型和测试集，所述测试集包含多个标注类别的测试样本，每个所述标注类别的测试样本至少为一个；

通过所述分类模型对所述测试集进行类别预测，以获取所述测试集中各所述测试样本对应的第一预测类别；

基于各所述测试样本对应的第一预测类别和标注类别，分别确定各所述标注类别对应的第一送标比例，并基于各所述标注类别的所述第一送标比例，从待送标的数据集中确定各所述标注类别对应的第一训练样本，其中，每个所述标注类别对应的第一训练样本的数量是根据对应标注类别的第一送标比例确定的；

基于各所述标注类别对应的第一训练样本，对所述分类模型进行训练。

2.根据权利要求1所述的方法，其中，所述基于各所述测试样本对应的第一预测类别和标注类别，分别确定各所述标注类别对应的第一送标比例，包括：

针对任一所述标注类别，基于所述测试样本的第一预测类别和所述标注类别，确定所述测试样本对应的正负样本标识；

基于所述正负样本标识确定所述标注类别对应的样本得分；

基于所述样本得分确定所述标注类别对应的第一送标比例。

3.根据权利要求2所述的方法，其中，所述测试样本包括正样本和负样本，所述正样本为所述测试样本的样本类别与待评价的标注类别为同一类别的样本，所述负样本为所述测试样本的样本类别与待评价的标注类别为不同类别的样本，所述基于所述测试样本的第一预测类别和所述标注类别，确定所述测试样本对应的正负样本标识，包括：

响应于所述测试样本为正样本，且所述测试样本的第一预测类别与待评价的所述标注类别相同，确定所述测试样本对应的正负样本标识为第一正负样本标识；

响应于所述测试样本为负样本，且所述测试样本的第一预测类别与待评价的所述标注类别相同，确定所述测试样本对应的正负样本标识为第二正负样本标识；

响应于所述测试样本为正样本，且所述测试样本的第一预测类别与待评价的所述标注类别不相同，确定所述测试样本对应的正负样本标识为第三正负样本标识。

4.根据权利要求3所述的方法，其中，所述基于所述正负样本标识确定所述标注类别对应的样本得分，包括：

确定所述标注类别的测试样本中正负样本标识为第一正负样本标识的测试样本的第一数量、所述标注类别的测试样本中正负样本标识为第二正负样本标识的测试样本的第二数量和所述标注类别的测试样本中正负样本标识为第三正负样本标识的测试样本的第三数量；

基于所述第一数量和所述第二数量确定所述标注类别的精确率，并基于所述第一数量和所述第三数量确定所述标注类别的召回率；

基于所述精确率和所述召回率确定所述标注类别的样本得分。

5.根据权利要求4所述的方法，其中，所述基于所述精确率和所述召回率确定所述标注类别的样本得分，包括：

根据所述精确率和召回率的乘积，确定第一系数；

根据所述精确率和召回率之和，确定第二系数；

根据所述第一系数和所述第二系数之比，确定所述标注类别的样本得分。

6.根据权利要求5所述的方法，其中，所述基于所述样本得分确定所述标注类别对应的第一送标比例，包括：

基于所述样本得分确定所述标注类别的初始送标比例；

根据各所述标注类别的初始送标比例之和，确定第三系数；

根据各所述标注类别的初始送标比例与所述第三系数之比，确定各所述标注类别的第一送标比例。

7.根据权利要求2-6中任一项所述的方法，其中，所述基于各所述标注类别对应的第一训练样本，对所述分类模型进行训练，包括：

将所述第一训练样本输入至所述分类模型中，以获取所述第一训练样本对应的第二预测类别；

基于所述第一训练样本对应的标注类别和第二预测类别生成损失值，并基于所述损失值对所述分类模型进行调整。

8.根据权利要求7所述的方法，其中，所述方法还包括：

通过调整后的所述分类模型对所述测试集进行类别预测，以获取所述测试集中各所述测试样本对应的第三预测类别；

基于所述第三预测类别和所述标注类别确定各所述标注类别对应的样本得分；

响应于各所述标注类别存在任一标注类别的样本得分小于对应的预设阈值，基于各所述第三预测类别和标注类别，分别确定各所述标注类别对应的第二送标比例，从待送标的数据集中确定各所述标注类别对应的第二训练样本，其中，每个所述标注类别对应的第二训练样本的数量是根据对应标注类别的目标送标比例确定的；

基于各所述标注类别对应的第二训练样本，对所述分类模型进行训练，重复上述步骤，直至各所述标注类别的样本得分均大于或者等于对应的预设阈值。

9.一种车辆图像分类模型的训练方法，包括：

获取车辆图像分类模型和车辆图像测试集，所述车辆图像测试集包含多个图像标注类别的图像测试样本，每个所述图像标注类别的图像测试样本至少为一个；

通过所述车辆图像分类模型对所述车辆图像测试集进行类别预测，以获取所述车辆图像测试集中各所述图像测试样本对应的图像预测类别；

基于各所述图像测试样本对应的图像预测类别和图像标注类别，分别确定各所述图像标注类别对应的图像训练样本送标比例，并基于各所述图像标注类别的所述图像训练样本送标比例，从待送标的数据集中确定各所述图像标注类别对应的图像训练样本，其中，每个所述图像标注类别对应的图像训练样本的数量是根据对应图像标注类别的图像训练样本送标比例确定的；

基于各所述图像标注类别对应的图像训练样本，对所述车辆图像分类模型进行训练。

10.一种分类模型的训练装置，包括：

获取模块，用于获取分类模型和测试集，所述测试集包含多个标注类别的测试样本，每个所述标注类别的测试样本至少为一个；

预测模块，用于通过所述分类模型对所述测试集进行类别预测，以获取所述测试集中各所述测试样本对应的第一预测类别；

确定模块，用于基于各所述测试样本对应的第一预测类别和标注类别，分别确定各所述标注类别对应的第一送标比例，并基于各所述标注类别的所述第一送标比例，从待送标的数据集中确定各所述标注类别对应的第一训练样本，其中，每个所述标注类别对应的第一训练样本的数量是根据对应标注类别的第一送标比例确定的；

训练模块，用于基于各所述标注类别对应的第一训练样本，对所述分类模型进行训练。

11.根据权利要求10所述的装置，其中，所述确定模块，还用于：

针对任一所述标注类别，基于所述测试样本的第一预测类别和所述标注类别，确定所述测试样本对应的正负样本标识；

基于所述正负样本标识确定所述标注类别对应的样本得分；

基于所述样本得分确定所述标注类别对应的第一送标比例。

12.根据权利要求11所述的装置，其中，所述测试样本包括正样本和负样本，所述正样本为所述测试样本的样本类别与待评价的标注类别为同一类别的样本，所述负样本为所述测试样本的样本类别与待评价的标注类别为不同类别的样本，所述确定模块，还用于：

响应于所述测试样本为正样本，且所述测试样本的第一预测类别与待评价的所述标注类别相同，确定所述测试样本对应的正负样本标识为第一正负样本标识；

响应于所述测试样本为负样本，且所述测试样本的第一预测类别与待评价的所述标注类别相同，确定所述测试样本对应的正负样本标识为第二正负样本标识；

响应于所述测试样本为正样本，且所述测试样本的第一预测类别与待评价的所述标注类别不相同，确定所述测试样本对应的正负样本标识为第三正负样本标识。

13.根据权利要求12所述的装置，其中，所述确定模块，还用于：

确定所述标注类别的测试样本中正负样本标识为第一正负样本标识的测试样本的第一数量、所述标注类别的测试样本中正负样本标识为第二正负样本标识的测试样本的第二数量和所述标注类别的测试样本中正负样本标识为第三正负样本标识的测试样本的第三数量；

基于所述第一数量和所述第二数量确定所述标注类别的精确率，并基于所述第一数量和所述第三数量确定所述标注类别的召回率；

基于所述精确率和所述召回率确定所述标注类别的样本得分。

14.根据权利要求13所述的装置，其中，所述确定模块，还用于：

根据所述精确率和召回率的乘积，确定第一系数；

根据所述精确率和召回率之和，确定第二系数；

根据所述第一系数和所述第二系数之比，确定所述标注类别的样本得分。

15.根据权利要求14所述的装置，其中，所述确定模块，还用于：

基于所述样本得分确定所述标注类别的初始送标比例；

根据各所述标注类别的初始送标比例之和，确定第三系数；

根据各所述标注类别的初始送标比例与所述第三系数之比，确定各所述标注类别的第一送标比例。

16.根据权利要求11-15中任一项所述的装置，其中，所述训练模块，还用于：

将所述第一训练样本输入至所述分类模型中，以获取所述第一训练样本对应的第二预测类别；

基于所述第一训练样本对应的标注类别和第二预测类别生成损失值，并基于所述损失值对所述分类模型进行调整。

17.根据权利要求16所述的装置，其中，所述训练模块，还用于：

通过调整后的所述分类模型对所述测试集进行类别预测，以获取所述测试集中各所述测试样本对应的第三预测类别；

基于所述第三预测类别和所述标注类别确定各所述标注类别对应的样本得分；

响应于各所述标注类别存在任一标注类别的样本得分小于对应的预设阈值，基于各所述第三预测类别和标注类别，分别确定各所述标注类别对应的第二送标比例，从待送标的数据集中确定各所述标注类别对应的第二训练样本，其中，每个所述标注类别对应的第二训练样本的数量是根据对应标注类别的目标送标比例确定的；

基于各所述标注类别对应的第二训练样本，对所述分类模型进行训练，重复上述步骤，直至各所述标注类别的样本得分均大于或者等于对应的预设阈值。

18.一种车辆图像分类模型的训练装置，包括：

接收模块，用于获取车辆图像分类模型和车辆图像测试集，所述车辆图像测试集包含多个图像标注类别的图像测试样本，每个所述图像标注类别的图像测试样本至少为一个；

测试模块，用于通过所述车辆图像分类模型对所述车辆图像测试集进行类别预测，以获取所述车辆图像测试集中各所述图像测试样本对应的图像预测类别；

计算模块，用于基于各所述图像测试样本对应的图像预测类别和图像标注类别，分别确定各所述图像标注类别对应的图像训练样本送标比例，并基于各所述图像标注类别的所述图像训练样本送标比例，从待送标的数据集中确定各所述图像标注类别对应的图像训练样本，其中，每个所述图像标注类别对应的图像训练样本的数量是根据对应图像标注类别的图像训练样本送标比例确定的；

更新模块，用于基于各所述图像标注类别对应的图像训练样本，对所述车辆图像分类模型进行训练。

19.一种电子设备，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的分类模型的训练方法或者如权利要求9所述的一种车辆图像分类模型的训练方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的分类模型的训练方法或者如权利要求9所述的一种车辆图像分类模型的训练方法。

21.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-8中任一项所述的分类模型的训练方法或者如权利要求9所述的一种车辆图像分类模型的训练方法。

Images