CN116030315A - 车辆属性识别模型训练方法、车辆属性识别方法及装置 - Google Patents

Abstract

本申请提供一种车辆属性识别模型训练方法、车辆属性识别方法及装置，涉及计算机视觉技术领域，该车辆属性识别模型训练方法，包括：提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；车辆属性底库中各图片包括车牌区域；分别计算每个底库特征向量与样本特征向量之间的向量距离，根据向量距离，确定待测样本的伪标签信息；将目标待测样本和目标待测样本的伪标签信息作为一组无标签样本，利用多组无标签样本和车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。本发明为待测样本生成伪标签，得到无标签样本，根据无标签样本和包括车牌区域的车辆属性底库进行半监督学习，降低标定成本，提升模型的训练效率。

Description

车辆属性识别模型训练方法、车辆属性识别方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种车辆属性识别模型训练方法、车辆属性识别方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

车辆属性是指车辆固有的一些属性，如：品牌、车型、颜色等。车辆属性识别在交通领域应用很广，识别出车辆的不同维度的信息(品牌、车型、颜色等)，可用于交通管理、违章违法处理等业务。现有技术中，车牌识别性能已经非常好了，车辆属性识别性能远不及车牌。车辆属性识别过程中，车辆属性标定困难，噪声大，比如：颜色很受光照成像影响；车辆属性的识别率不如车牌(ID类)识别，且粒度越细，性能越低。比如：车辆子品牌共万类；车辆属性标定成本大，若要提高性能，必须要投入大量标定资源。

发明内容

本申请提供了一种车辆属性识别模型训练方法、车辆属性识别方法及装置，以至少解决降低车辆属性标定成本，提升模型训练效率的问题。

根据本申请的一方面，提供了一种车辆属性识别模型训练方法，包括：提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；所述车辆属性底库中各图片包括车牌区域；分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，根据所述向量距离，确定所述待测样本的伪标签信息；将目标待测样本和所述目标待测样本的伪标签信息作为一组无标签样本，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。

根据本申请的另一方面，提供了一种车辆属性识别方法，包括：获取目标图片；将所述目标图片输入车辆属性识别模型，得到所述目标图片中车辆的属性信息；其中，所述车辆属性识别模型是通过上述的方法训练后得到的。

根据本申请的另一方面，提供了一种车辆属性识别模型训练装置，包括：特征提取模块，用于提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；所述车辆属性底库中各图片包括车牌区域；伪标签模块，用于分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，根据所述向量距离，确定所述待测样本的伪标签信息；训练模块，用于将目标待测样本和所述目标待测样本的伪标签信息作为一组无标签样本，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。

根据本申请的另一方面，提供了一种车辆属性识别装置，包括：获取模块，用于获取目标图片；确定模块，用于将所述目标图片输入车辆属性识别模型，得到所述目标图片中车辆的属性信息；其中，所述车辆属性识别模型是通过上述的方法训练后得到的。

根据本申请的另一方面，还提供了一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述的方法。

根据本申请的另一个方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述的方法步骤。

根据本申请的另一个方面，还提供了一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。

在本申请实施例中，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；所述车辆属性底库中各图片包括车牌区域；分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，根据所述向量距离，确定所述待测样本的伪标签信息；将目标待测样本和所述目标待测样本的伪标签信息作为一组无标签样本，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。本发明实施例通过计算每个底库特征向量与样本特征向量之间的向量距离，为待测样本生成伪标签，得到无标签样本，根据无标签样本和包括车牌区域的车辆属性底库进行半监督学习，减少大量耗时费力的样本标定工作，降低标定成本，提升车辆属性识别模型的训练效率。

附图说明

在下面结合附图对于示例性实施例的描述中，本申请的更多细节、特征和优点被公开，在附图中：

图1示出了根据本申请示例性实施例的车辆属性识别模型训练方法的流程图；

图2示出了根据本申请示例性实施例的整体网络结构示意图；

图3示出了根据本申请示例性实施例的车辆ID识别网络示意图；

图4示出了根据本申请示例性实施例的生成伪标签流程示意图；

图5示出了能够用于实现本申请的实施例的示例性电子设备的结构框图；

图6示出了根据本申请示例性实施例的细粒度属性识别网络示意图；

图7示出了根据本申请示例性实施例的粗粒度属性识别网络示意图；

图8示出了根据本申请示例性实施例的网络块结构一；

图9示出了根据本申请示例性实施例的网络块结构二；

图10示出了根据本申请示例性实施例的网络块结构三；

图11示出了根据本申请示例性实施例的网络块结构四；

图12示出了根据本申请示例性实施例的车辆属性识别模型训练装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

现有的车辆属性识别方案一是基于局部区域的有监督属性识别，该方案依赖于有标签数据，从车辆图像中提取车辆整体图像和至少一张车辆局部图像，不同的部分送到不同的网络。现有的车辆属性识别方案二是基于全图的有监督属性识别，该方案依赖于有标签数据，且围绕着车辆本身提特征做分类，未引入其他高维信息。现有的车辆属性识别方案三是基于多标签的有监督属性识别，利用多标签方法提升了车辆属性识别模型的识别精度。

基于此，本申请提供的一种车辆属性识别模型训练方法、车辆属性识别方法及装置，输入是车辆整体图像，直接进入网络，是端到端出识别结果，不存在局部区域的概念，通过车辆ID识别的特征，依赖少量有标签和大量无标签样本的半监督学习，减少大量耗时费力的样本标定工作，降低标定成本，提升车辆属性识别模型的训练效率。可通过分层级损失函数的约束，降维监督车辆属性特征学习，可达到无痛涨点的效果。

首先，对涉及的术语进行说明。

车辆ID：一个车牌号的车辆就是一个ID。

降维监督：用更细粒度的类别训练模型，再用这个特征做粗粒度的分类任务。

根据本发明实施例的一个方面，提供了一种车辆属性识别模型训练方法，图1为本发明实施例提供的车辆属性识别模型训练方法的流程图，如图1所示，该方法包括如下步骤：

步骤S202，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；所述车辆属性底库中各图片包括车牌区域；

在该步骤中，车辆属性底库中包括多张照片。例如，假设做品牌识别，有N个品牌，每个品牌对应R张照片，则底库由N*R张照片组成。在采集R张照片时，可以兼顾拍摄角度(相对相机的俯仰、偏航、旋转角)、车辆正背向、场景亮度(白天、傍晚、黑夜等)，车辆属性底库中各图片包括车牌区域。待测样本可以是包括车辆图像的图片。对车辆属性底库中各图片以及待测样本分别进行特征提取，得到底库特征向量和样本特征向量。

步骤S204，分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，根据所述向量距离，确定所述待测样本的伪标签信息；

在该步骤中，分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，实现相似性比较，根据相似程度，筛选出底库特征向量作为待测样本的伪标签信息。对不同的待测样本，按照相同的步骤生成伪标签信息，可以得到大量无标签样本，避免大量标定工作，降低标定难度和标定成本。

在一种可能的实施方式中，根据所述向量距离，确定所述待测样本的伪标签信息，可以按照如下步骤执行：若目标底库特征向量与样本特征向量之间的第一向量距离小于第二向量距离，则将目标底库特征向量作为待测样本的伪标签信息；第二向量距离，为底库特征向量中，除目标底库特征向量之外的任意向量与样本特征向量之间的向量距离。

步骤S206，将目标待测样本和所述目标待测样本的伪标签信息作为一组无标签样本，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。

在该步骤中，车辆属性底库中各图片包括车牌区域，因此，可以将车辆属性底库作为有标签样本，经过步骤S202和步骤S206的处理后，得到多组无标签样本，依赖少量有标签和大量无标签样本作为训练集进行半监督学习，得到车辆属性识别模型。

在本申请实施例中，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；所述车辆属性底库中各图片包括车牌区域；分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，根据所述向量距离，确定所述待测样本的伪标签信息；将目标待测样本和所述目标待测样本的伪标签信息作为一组无标签样本，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。本发明实施例通过计算每个底库特征向量与样本特征向量之间的向量距离，为待测样本生成伪标签，得到无标签样本，根据无标签样本和包括车牌区域的车辆属性底库进行半监督学习，减少大量耗时费力的样本标定工作，降低标定成本，提升车辆属性识别模型的训练效率。

为了保证较高的特征提取效率，在一种可选的实施方式中，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量，可以按照如下步骤执行：利用提特征网络，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量。

在该可选的实施方式中，参见图8所示的网络块结构一，提特征网络的结构可以采用Darknet(一个较为轻型的开源深度学习框架)系列的主干。主干block采用2个卷积网络Conv Block(Cnn+Bn+LeakyReLU)+1个残差网络Residual Block，图8中M和N会变化。参见图9所示的网络块结构二，该图示出了darknet网络的Residual Block。

参见图4所示的生成伪标签流程示意图，将车辆属性底库中包括车牌区域的图片输入提特征网络，提特征网络提取车牌信息以及图中车辆属性信息，得到底库特征向量。将待测样本输入提特征网络，提特征网络提取车牌信息以及图中车辆属性信息得到样本特征向量。之后，再通过计算向量距离，得到伪标签。

考虑到为了提升车辆ID识别的鲁棒性，在一种可选的实施方式中，利用提特征网络，提取车辆属性底库中各图片的底库特征向量之前，还可以执行如下步骤：利用第一样本集训练目标网络，得到提特征网络；所述第一样本集的每个样本包括车辆图像；所述车辆图像中包括车牌区域；所述第一样本集中以随机的概率包括噪声区域；所述。

在该可选的实施方式中，第一样本集的每个样本包括车辆图像；所述车辆图像中包括车牌区域，为了防止训练过程只学习一些特定区域，如车牌区域，可使第一样本集中以随机的概率包括噪声区域，噪声区域遮挡所述车辆图像的指定区域，该指定区域可以根据实际需求进行设置，从而使目标网络的训练过程不只学习某些特定区域，鲁棒性可大大提升。例如，指定区域为车牌区域、非所述车牌区域或非车窗区域。若指定区域为车牌区域，则可实现以随机的概率完全遮挡车牌区域，若指定区域为非车牌区域，则可以实现以随机的概率完全不遮挡车牌区域，若指定区域为非车窗区域，则可以实现以随机的概率遮挡除了车窗以外的随机区域。需要说明的是，在指定区域为非车窗区域时，可以以随机面积Mask(0＜S_mask＜1/2*S_car)遮挡除了车窗以外的随机区域。

在一种可选的实施方式中，利用第一样本集训练目标网络，得到提特征网络，可以按照如下步骤执行：利用第一样本集和所述目标网络生成第一计算结果；利用所述第一计算结果和度量学习网络生成第二计算结果；利用交叉熵损失函数和所述第一计算结果调整所述目标网络，并利用circle损失函数和所述第二计算结果调整所述度量学习网络。

在该可选的实施方式中，参见图3所示的车辆ID识别网络示意图，引入度量学习网络。度量学习的原理是：学习一个从原始特征到低维稠密的向量空间(embedding space)映射，使得同类对象在embedding space上使用距离函数计算的距离比较近，而不同类的对象之间的距离则比较远。度量学习的目的：使同一个ID间距离拉近，不同ID间距离拉远。度量学习网络结构可以采用Res系列的主干。主干block采用Residual Block，见图10所示的网络块结构三。网络是由多个主干block组成，其中卷积的通道数是变化的。

目标网络的损失函数，可以采用交叉熵损失函数focal loss，原理可以参考公式：L_fl＝-(1-p_t)^γlog(p_t)，其中，L_fl表示focal损失函数的值，pt表示第t个样本预测为正样本的概率，γ是超参，用于调节简单样本和难例样本对于损失函数的贡献。

度量学习网络损失函数可以采用Circle Loss。Circle loss提出如果一个相似性得分远离最优中心，那么其应该被更多地惩罚，原理可以参考公式：

其中，K个类内相似性得分

类内是指相同车牌的车辆，K个类内相似性得分

类内是指相同车牌的车辆，S_n、S_p是计算相似性得分的公式，类内类间计算公式可以不同，γ是权重，人为设置，m是常量。

在一种可选的实施方式中，circle损失函数按照如下公式计算：

其中，L_cl是circle损失函数的值，γ是第一权重，

其中(q＝1，…，L_{branch_same})，是车牌不同但属性相同的车辆，

其中，(u＝1，...，L_{branch_diff})，是车牌不同且属性也不同的车辆，L_{branch_same}+L_{branch_diff}＝L，β是第二权重，β＞1，m是常量，S_n、S_p是用于计算相似性得分的公式，

是K个类内相似性得分，

是L个类间相似性得分。

在该可选的实施方式中，基于该公式计算circle损失函数的值，可以实现对公式中L个类间相似性得分

进行优化，拉近相同主品牌的不同ID车辆的相似性得分，拉远不同主品牌的不同ID车辆的相似性得分。此处需说明的是，类内就是相同ID的车辆，类间是指不同ID的车辆。通过该损失函数，优化提特征网络的训练过程，以便优化提特征网络的性能。

为了优化属性识别网络，使属性识别网络能够适应于更细粒度场景的属性识别工作，在一种可选的实施方式中，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，可以按照如下步骤执行：利用分层级损失函数训练所述分类模型；所述分层级损失函数对分类结果中不同层级间分类错误的惩罚程度不同；所述分类结果中包括多种层级的属性。

在该可选的实施方式中，分类结果中包括多种层级的属性，例如，车辆的品牌属性可以分为：主品牌、子品牌以及详细款式这三种不同层级。若分类结果中存在主品牌这一层级间存在分类错误，其惩罚程度将与在子品牌这一层级间存在分类错误的惩罚程度不同，分层级损失函数对分类结果中不同层级间分类错误的惩罚程度不同，可使训练得到的分类模型对类别间的差异更加敏感。

需要说明的是，分类模型的网络结构可以采用InceptionV2，InceptionV2由多个block组成，block结构图11所示，该block中conv block结构如图中左侧(Cnn+Bn+LeakyReLU)。通过车辆ID识别的特征，依赖少量有标签和大量无标签样本的半监督学习，基于车辆ID识别网络较高的性能，利用大量数据，打上属性伪标签，帮助车辆属性识别任务训练。

考虑到车辆品牌可分为：主品牌、子品牌、详细款式，故相同“详细款式”的车辆间相似度＞不同“详细款式”但相同子品牌的车辆间相似度＞不同“子品牌”但相同“年款”车辆间相似度＞不同“主品牌”车辆间相似度，因此，可以对分类结果细分为不同层级，在一种可选的实施方式中，所述分类结果中包括第一层级的属性、第二层级的属性和第三层级的属性；所述第一层级的属性包括所述第二层级的属性，所述第二层级的属性包括所述第三层级的属性；利用分层级损失函数训练所述分类模型，可以按照如下步骤执行：若所述分类模型在所述第一层级间产生属性分类错误，则利用第一惩罚系数计算第一惩罚结果；若所述分类模型在所述第二层级间产生属性分类错误，则利用第二惩罚系数计算第二惩罚结果；所述第一惩罚系数大于所述第二惩罚系数；若所述分类模型在所述第三层级间产生属性分类错误，则利用第三惩罚系数计算第三惩罚结果；所述第二惩罚系数大于所述第三惩罚系数；利用所述第一惩罚结果、所述第二惩罚结果和所述第三惩罚结果计算分层级损失函数，并利用计算结果调整所述分类模型。

在该可选的实施方式中，分类模型对车辆属性进行分类，分类结果中包括第一层级的属性、第二层级的属性和第三层级的属性；例如，第一层级的属性中包括属性A和属性B，其中，属性A的第二层级的属性包括A1、A2，属性B的第二层级的属性包括B1和B2，属性A1的第三层级的属性包括A11、A12，A2的第三层级的属性包括A21和A22，即第一层级的属性包括所述第二层级的属性，所述第二层级的属性包括所述第三层级的属性。

若分类模型将属性A1分类至属性B1，则分类模型在第一层级间产生属性分类错误，则利用第一惩罚系数计算第一惩罚结果，若分类模型将属性A2分类至属性A1，则分类模型在第二层级间产生属性分类错误，利用第二惩罚系数计算第二惩罚结果，若分类模型将属性A21分类至属性A22，则分类模型在第三层级间产生属性分类错误，利用第三惩罚系数计算第三惩罚结果。需要说明的是，第一惩罚系数、第二惩罚系数和第三惩罚系数的值可以根据实际需求进行设置，需要满足第一惩罚系数大于第二惩罚系数且第二惩罚系数大于第三惩罚系数即可。利用分级损失函数，将属性划分层级，不同层级间分类错误的惩罚程度不同。下面以一个具体的例子，对该可能的实施方式进行说明：

假设：属性分为{A、B、…、N}，A可细化为{A1、…、An}，A1可细化为{A11、…、A1n}，B可细化为{B1、…、Bn}；

设

惩罚系数为γ。ifPredict_label≠GT_label，则γ＝3；ifPredict_label＝GT_label and i≠m，则γ＝2；ifPredict_label＝GT_label and i＝m and j≠n，则γ＝1。通过分层级损失函数的约束，可以有效利用层级之间的特征渐变关系，更好地监督属性识别。

考虑到一些时候，需要粗粒度识别，一些时候需要细粒度识别，其中，粗粒度是指类别间差异均很大，例如，“动物类别识别任务”，类别划分为“猫”“狗”“猪”等，细粒度是指有些类别差异小，有些类别间差异大。例如：“动物类别识别任务”，类别划分为“波斯猫”“橘猫”“拉布拉多”“萨摩耶”等。在粗粒度场景时，参见图7所示的粗粒度属性识别网络示意图，按照图7所示训练分类模型，利用得到的分类模型进行属性识别，运行快速，而为了更好适用于细粒度的场景，在训练分类模型时，可以引入度量学习，因此，在一种可能的实施方式中，利用分层级损失函数训练所述分类模型，可以按照如下步骤执行：利用训练集和所述分类模型生成第三计算结果；利用所述第三计算结果和度量学习网络生成第四计算结果；利用所述第三计算结果和所述分层级损失函数调整所述分类模型，并利用所述第四计算结果和arcface损失函数调整所述度量学习网络。

在该可能的实施方式中，分类模型也可以采用InceptionV2的结构，度量学习的损失函数可以采用Arcface loss。Arcface通过角度值的比较来影响分类结果，其公式为：

其中，N表示样本数量，i表示第i个样本，j表示第j个类别，yi表示第i个样本的所属类别，θ_j表示第i个样本特征向量与底库第j类的特征的夹角，底库是训练模型过程中生成的特征图，m表示超参，用于增加惩罚度，m越大则损失函数值越大，s()表示该样本在第j类上的分数。参见图6所示的细粒度属性识别网络示意图，在分类模型训练时，采用分级损失函数以及Arcface分别作为分类模型和度量函数的损失函数，可以得到细粒度场景下，识别性能更高的分类模型。

本申请提供了一种车辆属性识别模型训练方法、车辆属性识别方法及装置，参见图2所示的整体网络结构示意图，该车辆属性识别模型训练方法，通过车辆ID识别的特征，依赖少量有标签和大量无标签样本的半监督学习，实现高精度的车辆属性识别，可达到降维监督车辆属性特征学习，可达到无痛涨点的效果。另外，该方法通用性强，适用于车辆各种粒度的属性识别。

根据本发明实施例的另一个方面，还提供了一种车辆属性识别方法，该方法包括：获取目标图片；将所述目标图片输入车辆属性识别模型，得到所述目标图片中车辆的属性信息；其中，所述车辆属性识别模型是通过上述任一种车辆属性识别模型训练方法训练后得到的。

根据本发明实施例的另一个方面，还提供了一种车辆属性识别模型训练装置，图12为本发明实施例提供的车辆属性识别模型训练装置的结构框图，如图12所示，该车辆属性识别模型训练装置包括：包括：特征提取模块1201、伪标签模块1202和训练模块1203。下面对该车辆属性识别模型训练装置进行详细说明。

特征提取模块1201，用于提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；所述车辆属性底库中各图片包括车牌区域；伪标签模块1202，用于分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，根据所述向量距离，确定所述待测样本的伪标签信息；训练模块1203，用于将目标待测样本和所述目标待测样本的伪标签信息作为一组无标签样本，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。

此处需要说明的是，上述特征提取模块1201、伪标签模块1202和训练模块1203对应于方法实施例中的步骤S102至S106，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。

在一种可选的实施方式中，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量，包括：利用提特征网络，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量。

在一种可选的实施方式中，利用提特征网络，提取车辆属性底库中各图片的底库特征向量之前，还包括：利用第一样本集训练目标网络，得到提特征网络；所述第一样本集的每个样本包括车辆图像；所述车辆图像中包括车牌区域；所述第一样本集中以随机的概率包括噪声区域；所述噪声区域遮挡所述车辆图像的指定区域。

在一种可选的实施方式中，所述指定区域为所述车牌区域、非所述车牌区域或非车窗区域。

在一种可选的实施方式中，利用第一样本集训练目标网络，得到提特征网络，包括：利用第一样本集和所述目标网络生成第一计算结果；利用所述第一计算结果和度量学习网络生成第二计算结果；利用交叉熵损失函数和所述第一计算结果调整所述目标网络，并利用circle损失函数和所述第二计算结果调整所述度量学习网络。

在一种可选的实施方式中，所述circle损失函数按照如下公式计算：

其中，L_cl是circle损失函数的值，γ是第一权重，

其中(q＝1，...，L_{branch_same})，是车牌不同但属性相同的车辆，

其中，(u＝1，…，L_{branch_diff})，是车牌不同且属性也不同的车辆，L_{branch_same}+Lbranch_diff＝L，p是第二权重，β＞1，m是常量，S_n、S_p是用于计算相似性得分的公式，

是K个类内相似性得分，

是L个类间相似性得分。

在一种可选的实施方式中，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，包括：利用分层级损失函数训练所述分类模型；所述分层级损失函数对分类结果中不同层级间分类错误的惩罚程度不同；所述分类结果中包括多种层级的属性。

在一种可选的实施方式中，所述分类结果中包括第一层级的属性、第二层级的属性和第三层级的属性；所述第一层级的属性包括所述第二层级的属性，所述第二层级的属性包括所述第三层级的属性；利用分层级损失函数训练所述分类模型，包括：若所述分类模型在所述第一层级间产生属性分类错误，则利用第一惩罚系数计算第一惩罚结果；若所述分类模型在所述第二层级间产生属性分类错误，则利用第二惩罚系数计算第二惩罚结果；所述第一惩罚系数大于所述第二惩罚系数；若所述分类模型在所述第三层级间产生属性分类错误，则利用第三惩罚系数计算第三惩罚结果；所述第二惩罚系数大于所述第三惩罚系数；利用所述第一惩罚结果、所述第二惩罚结果和所述第三惩罚结果计算分层级损失函数，并利用计算结果调整所述分类模型。

在一种可选的实施方式中，利用分层级损失函数训练所述分类模型，包括：利用训练集和所述分类模型生成第三计算结果；利用所述第三计算结果和度量学习网络生成第四计算结果；利用所述第三计算结果和所述分层级损失函数调整所述分类模型，并利用所述第四计算结果和arcface损失函数调整所述度量学习网络。

在一种可选的实施方式中，根据所述向量距离，确定所述待测样本的伪标签信息，包括：若目标底库特征向量与所述样本特征向量之间的第一向量距离小于第二向量距离，则将所述目标底库特征向量作为所述待测样本的伪标签信息；所述第二向量距离，为所述底库特征向量中，除所述目标底库特征向量之外的任意向量与所述样本特征向量之间的向量距离。

根据本发明实施例的另一个方面，还提供了一种车辆属性识别装置，包括：获取模块，用于获取目标图片；确定模块，用于将所述目标图片输入车辆属性识别模型，得到所述目标图片中车辆的属性信息；其中，所述车辆属性识别模型是通过上述的训练方法训练后得到的。

本申请示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本申请实施例的方法。

本申请示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本申请实施例的方法。

本申请示例性实施例还提供一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现本申请实施例的方法。

参考图5，现将描述可以作为本申请的服务器或客户端的电子设备500的结构框图，其是可以应用于本申请的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

电子设备500中的多个部件连接至I/O接口505，包括：输入单元506、输出单元507、存储单元508以及通信单元509。输入单元506可以是能向电子设备500输入信息的任何类型的设备，输入单元506可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元507可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元508可以包括但不限于磁盘、光盘。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机组，例如蓝牙设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理。例如，在一些实施例中，上述车辆属性识别模型训练方法或车辆属性识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到电子设备500上。在一些实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述车辆属性识别模型训练方法或车辆属性识别方法。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本申请使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器))；以及键盘和指向装置(例如，鼠标)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

Claims (16)

1.一种车辆属性识别模型训练方法，包括：

提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；所述车辆属性底库中各图片包括车牌区域；

分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，根据所述向量距离，确定所述待测样本的伪标签信息；

将目标待测样本和所述目标待测样本的伪标签信息作为一组无标签样本，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。

2.如权利要求1所述的方法，其中，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量，包括：

利用提特征网络，提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量。

3.如权利要求2所述的方法，其中，利用提特征网络，提取车辆属性底库中各图片的底库特征向量之前，还包括：

利用第一样本集训练目标网络，得到提特征网络；所述第一样本集的每个样本包括车辆图像；所述车辆图像中包括车牌区域；所述第一样本集中以随机的概率包括噪声区域；所述噪声区域遮挡所述车辆图像的指定区域。

4.如权利要求3所述的方法，其中，所述指定区域为所述车牌区域、非所述车牌区域或非车窗区域。

5.如权利要求3所述的方法，其中，利用第一样本集训练目标网络，得到提特征网络，包括：

利用第一样本集和所述目标网络生成第一计算结果；

利用所述第一计算结果和度量学习网络生成第二计算结果；

利用交叉熵损失函数和所述第一计算结果调整所述目标网络，并利用circle损失函数和所述第二计算结果调整所述度量学习网络。

6.如权利要求5所述的方法，其中，所述circle损失函数按照如下公式计算：

其中，L_cl是circle损失函数的值，γ是第一权重，

其中q＝1,…,L_{branch_same})，是车牌不同但属性相同的车辆，

其中，u＝1,…,L_{branch_})，是车牌不同且属性也不同的车辆，L_{branch_same}+L_{branch_}＝L，β是第二权重，β＞1，m是常量，S_n、S_p是用于计算相似性得分的公式，

是K个类内相似性得分，

是L个类间相似性得分。

7.如权利要求1所述的方法，其中，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，包括：

利用分层级损失函数训练所述分类模型；所述分层级损失函数对分类结果中不同层级间分类错误的惩罚程度不同；所述分类结果中包括多种层级的属性。

8.如权利要求7所述的方法，其中，所述分类结果中包括第一层级的属性、第二层级的属性和第三层级的属性；所述第一层级的属性包括所述第二层级的属性，所述第二层级的属性包括所述第三层级的属性；

利用分层级损失函数训练所述分类模型，包括：

若所述分类模型在所述第一层级间产生属性分类错误，则利用第一惩罚系数计算第一惩罚结果；

若所述分类模型在所述第二层级间产生属性分类错误，则利用第二惩罚系数计算第二惩罚结果；所述第一惩罚系数大于所述第二惩罚系数；

若所述分类模型在所述第三层级间产生属性分类错误，则利用第三惩罚系数计算第三惩罚结果；所述第二惩罚系数大于所述第三惩罚系数；

利用所述第一惩罚结果、所述第二惩罚结果和所述第三惩罚结果计算分层级损失函数，并利用计算结果调整所述分类模型。

9.如权利要求7所述的方法，其中，利用分层级损失函数训练所述分类模型，包括：

利用训练集和所述分类模型生成第三计算结果；

利用所述第三计算结果和度量学习网络生成第四计算结果；

利用所述第三计算结果和所述分层级损失函数调整所述分类模型，并利用所述第四计算结果和arcface损失函数调整所述度量学习网络。

10.如权利要求1-9任一项所述的方法，其中，根据所述向量距离，确定所述待测样本的伪标签信息，包括：

若目标底库特征向量与所述样本特征向量之间的第一向量距离小于第二向量距离，则将所述目标底库特征向量作为所述待测样本的伪标签信息；所述第二向量距离，为所述底库特征向量中，除所述目标底库特征向量之外的任意向量与所述样本特征向量之间的向量距离。

11.一种车辆属性识别方法，包括：

获取目标图片；

将所述目标图片输入车辆属性识别模型，得到所述目标图片中车辆的属性信息；

其中，所述车辆属性识别模型是通过权利要求1-10任一项所述的方法训练后得到的。

12.一种车辆属性识别模型训练装置，包括：

特征提取模块，用于提取车辆属性底库中各图片的底库特征向量，提取待测样本的样本特征向量；所述车辆属性底库中各图片包括车牌区域；

伪标签模块，用于分别计算每个所述底库特征向量与所述样本特征向量之间的向量距离，根据所述向量距离，确定所述待测样本的伪标签信息；

训练模块，用于将目标待测样本和所述目标待测样本的伪标签信息作为一组无标签样本，利用多组所述无标签样本和所述车辆属性底库作为训练集训练分类模型，得到车辆属性识别模型。

13.一种车辆属性识别装置，包括：

获取模块，用于获取目标图片；

预测模块，用于将所述目标图片输入车辆属性识别模型，得到所述目标图片中车辆的属性信息；

其中，所述车辆属性识别模型是通过权利要求1-11任一项所述的方法训练后得到的。

14.一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-11中任一项所述的方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

16.一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-11任一所述的方法。

Images