CN106570477A - 基于深度学习的车型识别模型构建方法及车型识别方法 - Google Patents

Abstract

本发明提出了一种基于深度学习的车型识别模型构建方法，该方法针对车型识别问题，设计了一种深层卷积神经网络结构，联合采用softmax分类损失和利用车型类别的层次化结构构建的基于四元组的排序损失来监督深层卷积神经网络的训练，实现对车型类内差异和类间差异的同时约束，以期学到语义信息更丰富的特征表示和更具有判别力的分类器；为了加快网络收敛，还采用了一种在线困难样本挖掘策略和改进的梯度反传优化算法，大大缩短了网络训练时间。同时本发明还提出了一种基于深度学习的车型识别方法，该方法利用上述模型构建方法构建的模型进行车辆图片中车辆类型的识别，有效提升车型分类精度。

Description

基于深度学习的车型识别模型构建方法及车型识别方法

技术领域

本发明属于计算机视觉和智能交通领域，具体涉及一种基于深度学习的车型识别模型构建方法及车型识别方法。

背景技术

车型识别属于计算机视觉中细粒度分类的问题，也是智能交通监控系统的一个重要研究方向。它需要对监控画面中的车辆实现具体到车辆厂商、车系等精细类别的自动分析和识别，因此车辆的特征表示需要有极强的表达能力和判别力。而传统的手工设计的基于图像全局或局部的特征在车型识别这个问题上很难做到较好的效果。

深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉、自然语言处理等领域获得了巨大的成功。尤其是深度卷积神经网络，凭借局部感受野、共享权值以及空间或时序的下采样这三大结构特点，能够从二维图像中提取出语义信息丰富和判别力强的特征，在大规模图像分类和物体检测任务中均表现出优越的性能。这两年，已经出现一些将深度学习应用于车型识别的技术，如CN105488517A设计了一个8层的卷积神经网络用以精确识别三千多种车辆品牌型号，CN105975941A先利用卷积神经网络检测车辆区域，然后利用多方向的车辆图片训练一个深层神经网络识别车型，CN10570906A则将车型识别，车辆座椅、车门等车属性的识别统一到一个多任务学习的框架中，通过训练一个8层的神经网络，实现对输入车辆多属性的联合分析。

现有的基于深度学习的车型识别技术尚有以下不足：首先，他们设计或采用的深度神经网络还比较浅，而通常来说，在训练数据足够多的情况下，更深的神经网络的判别能力和泛化能力更强，能够区分出不同车型之间更细微的区别；其次，网络训练监督函数直接使用softmax分类损失，虽然能够有效增大不同车型之间的类间差异，但缺乏对同一车型的类内差异的约束作用，造成类内差异大的车辆图片很有可能被分到邻近的车型类别；最后，车型的类别其实存在层次化结构，比如两辆车可能同属越野车(SUV)，但属于不同的车辆厂商，或者属于同一个车辆厂商，但不是同一个车系的。而上述基于深度学习的车型识别技术并没有将车型类别的层次化结构考虑在内，可能可以很容易的区分粗粒度的车型类别(如越野车与轿车)，但是在区分细粒度的车型类别(如宝马5系2002与宝马5系2008)时，判别力还很不足。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于深度学习的车型识别模型构建方法及车型识别方法，有效提升车型分类精度。

本发明提出的一种基于深度学习的车型识别模型构建方法，包括以下步骤：

步骤A1，选取包含车辆的图片，对各车辆图片进行车辆位置标注，具体为绘制各车辆图片中包含车辆的最小矩形框，记录矩形框的左上角和右下角坐标信息，形成车辆检测定位数据集；

步骤A2，利用车辆检测定位数据集，训练基于Haar特征和AdaBoost算法的车辆检测定位模型，并输出训练好的车辆检测定位模型；

步骤A3，依据各车辆图片中包含车辆的最小矩形框对车辆检测定位数据集中各车辆图片进裁切，生成车辆区域图片；

步骤A4，对所述各车辆区域图片标注两个层级的车型类别标签，形成车型识别数据集；第一层级为粗粒度的车型类别，第二层级为细粒度的车型类别，每个第一层级分别对应一个第二层级；

步骤A5，利用车型识别数据集训练用于车型识别的深度卷积神经网络，并输出训练好的用于车型识别的深度卷积神经网络；所述深度卷积神经网络的损失由softmax分类损失和利用不同层级的车型类别构建的基于四元组的排序损失加权组成。

优选地，在步骤A5中利用在线困难样本挖掘策略和一种改进的梯度反传优化算法来加快网络的收敛。

优选地，所述深度卷积神经网络由四个结构相同、参数共享的子网络构成，每个子网络输出两个softmax分类损失，四个子网络共同输出两个基于四元组的排序损失。

优选地，所述的子网络包括输入层、卷积层、池化层和损失输出层。

优选地，所述的子网络，每个卷积层的输出会经过批规范化处理。

优选地，所述的子网络中，输入层为1个、卷积层为16个、池化层为5个和损失输出层为4个。

优选地，5个池化层分别接在第2、4、8、12、16个卷积层之后。

优选地，所述深度卷积神经网络中的四个子网络的输入分别为que、pos、neg⁺、neg^-；其中que、pos属于同一个细粒度车型类别；neg⁺和que不属于同一个细粒度车型类别，但属于同一个粗粒度车型类别；neg^-和que属于不同的粗粒度车型类别；

所述基于四元组的排序损失，其构建方法具体为：基于pos、neg⁺、neg^-与que的语义相似性越来越小的语义顺序构建基于四元组的排序损失，该损失约束neg⁺与que之间的距离大于pos与que之间的距离，且neg^-与que之间的距离大于neg⁺与que之间的距离。

优选地，所述的子网络中，将5个池化层中的第四个池化层、第五个池化层分别接入损失层；5个池化层中的第四、第五个池化层的输出可以用于车辆的特征表示。

优选地，所述第四个池化层、第五个池化层，对应接入的损失层结构一样，均为一边连接softmax分类损失层、另一边连接与所述深度卷积神经网络中其他三个子网络共享的基于四元组的排序损失层；

所述softmax分类损失层由一个全连接层、一个softmax分类层和一个交叉熵损失层组成的。

优选地，所述在线困难样本挖掘策略，具体为：每次迭代的过程中，利用上一轮训练的网络参数，计算样本之间的距离，对que和pos选择与其距离最近的前几个neg⁺，对que和neg⁺选择与其距离最近的前几个neg^-，在线组成困难的四元组样本，加入最终的损失计算和网络梯度更新。

优选地，所述的一种改进的梯度反传优化算法，具体为：输入为单张图片，在线组成困难的四元组参与损失的计算，并针对每张图片将其在多个四元组样本中对应的梯度累加，并进行一次梯度反传。

本发明基于上述基于深度学习的车型识别模型构建方法，还提出了一种基于深度学习的车型识别方法，包括如下步骤：

步骤B1，输入待识别车辆图片；

步骤B2，利用步骤A2中训练好的车辆检测定位模型对待识别车辆图片进行车辆检测定位，输出车辆位置坐标信息，据此绘制车辆区域矩形框，依据矩形框对图片进裁切，生成车辆区域图片；

步骤B3，利用步骤A5中训练好的用于车型识别的深度卷积神经网络，对步骤B2中生成的车辆区域图片进行车型识别，并输出识别结果。

其中步骤B2中所采用的车辆检测定位模型为上述基于深度学习的车型识别模型构建方法中所构建的车辆检测定位模型，该模型的构建方法可以为上述各种优选方案的构建方法。

步骤B3中所采用的用于车型识别的深度卷积神经网络为上述基于深度学习的车型识别模型构建方法中所构建的用于车型识别的深度卷积神经网络，该深度卷积神经网络的构建方法可以为上述各种优选方案的构建方法。

本发明通过所设计的一种深层的卷积神经网络结构，联合使用softmax分类损失和利用不同层级的车型类别构建的基于四元组的排序损失来监督网络的训练，并提出了一种在线困难样本挖掘策略和改进的梯度反传优化算法来加快网络收敛。本发明方法训练得到的深层卷积神经网络能够从输入车辆图片中提取出语义信息更丰富，判别力更强的特征表示，从而在车型识别时有效提升车型分类精度。

附图说明

图1所示为本发明设计的车型识别深度神经网络总体结构示意图；

图2所示为本发明设计的车型识别深度神经网络子网络示意图；

图3是本发明车型识别方法总体流程示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明实施例包括基于深度学习的车型识别模型构建方法，以及基于所构建的车型识别模型的车型识别方法。

本发明实施例的一种基于深度学习的车型识别模型构建方法，包括以下步骤：

步骤A1，选取包含车辆的图片，对各车辆图片进行车辆位置标注，具体为绘制各车辆图片中包含车辆的最小矩形框，记录矩形框的左上角和右下角坐标信息，形成车辆检测定位数据集。

车辆图片的来源可以为很多方式，比如从网络上收集、或自行拍摄，车辆图片需要包含车身的50％以上；本实施例中采用手工标注的方式对各车辆图片进行车辆位置标注。

步骤A2，利用车辆检测数据集，训练基于Haar特征和AdaBoost算法的车辆检测定位模型，并输出训练好的车辆检测定位模型。该步骤可以参考文献“P.Viola；M.Jones.Rapid object detection using a boosted cascade of simplefeatures.Computer Vision and Pattern Recognition,2001”所述算法来训练车辆检测定位模型，具体包括了Haar特征选择、积分图像生成、AdaBoost训练和级联分类器训练四个阶段。

步骤A3，依据各车辆图片中包含车辆的最小矩形框对车辆检测数据集中各车辆图片进裁切，生成车辆区域图片。

步骤A4，对所述各车辆区域图片标注两个层级的车型类别标签，形成车型识别数据集；第一层级为粗粒度的车型类别，第二层级为细粒度的车型类别，每个第一层级分别对应一个第二层级。

本实施例中，第一层级根据车身款式可以将车辆分为10个粗粒度的车型类别，包括轿车，越野车(SUV)，大型货车，小型货车，大型客车，小型客车，商务车，微型面包车，轻客，皮卡；第二层级可以具体到车辆的年份，将车辆分为2000多种细粒度车型类别。

步骤A5，利用车型识别数据集训练用于车型识别的深度卷积神经网络，并输出训练好的用于车型识别的深度卷积神经网络；所述深度卷积神经网络的损失由softmax分类损失和利用不同层级的车型类别构建的基于四元组的排序损失加权组成。

为了加快用于车型识别的深度卷积神经网络的训练速度，在步骤A5中利用在线困难样本挖掘策略和一种改进的梯度反传优化算法来加快用于车型识别的深度卷积神经网络的收敛。

本实施例所设计的用于车型识别的深度卷积神经网络总体结构示意图如图1所示，由四个输入不一样(分别为que、pos、neg⁺、neg^-)，但结构一样、参数共享的子网络(分别用C1、C2、C3、C4来表示)组成，每个子网络输出两个softmax分类损失，四个子网络共同输出两个基于四元组的排序损失，图1为了简洁，只画出了接在网络最后的损失层。

其中，每个子网络具体的结构示意图如图2所示，每个子网络由1个输入层、16个卷积层、5个池化层(分别用P1、P2、P3、P4、P5来表示)和四个损失输出层组成。具体来说，5个池化层分别接在第2、4、8、12、16个卷积层之后，前四个池化层均为最大值池化操作，滤波器核为2×2，最后一个为平均值池化操作，滤波器核为8×8。前12个卷积层的卷积核均为3×3，后4个卷积层的卷积核为1×1，卷积层的通道个数分别为64，64,128,128,256,256,256,256,512,512,512,512,512,512,512,512。

每个卷积层的输出要经过一个批规范化(Batch Normalization，BN)处理，这一处理具体是由一个batch norm步骤和一个scale步骤组成，batch norm负责对输入做0均值1方差的归一化，scale则负责对输入做缩放和平移，具体可以参考文献“S Ioffe，CSzegedy.Batch Normalization:Accelerating Deep Network Training by ReducingInternal Covariate Shift.Computer Science,2015”。batch norm的均值和方差来自于输入，而scale层的缩放和平移参数需要从训练数据中学习。批规范化层通过对网络输入做归一化，有效的消除了网络内部的协变量转移，加快了网络的收敛，同时也是一种正则化机制，有效的防止了网络过拟合。批规范化之后再输入激活函数，这里采用的是ReLu(Rectified Linear Units)激活函数,该激活函数是一种常用的有效的非线性激活函数,参考文献“V Nair，GE Hinton.Rectified linear units improve restricted Boltzmannmachines.Proc Icml,2015:807-814”。

每个子网络除了在最后一层(P5)接入损失层，在P4后也接入了损失层，一是为了缓解网络反向传播过程中梯度消失问题；同时也是一种正则化作用，有助于加强网络低层特征的判别能力，有助于训练出更好的分类器；此外，P4、P5均可以作为车辆的特征表示，P4语义层级更低，但包含了更丰富的局部细节信息，P5层语义层级更高，判别力更强，两种特征各有侧重，互有补充，可以为输入车辆提供一个更全面综合的特征表达，有助于提升最终车型分类的准确率。

本发明考虑了车型类别的层次化结构，从训练样本中依据语义相似度选取了四个样本组成排序损失，具体来说，四个子网络的输入分别用que、pos、neg⁺、neg^-来表示，que、pos属于同一个细粒度车型类别；neg⁺和que不属于同一个细粒度车型类别，但属于同一个粗粒度车型类别；neg^-和que属于不同的粗粒度车型类别。因此pos、neg⁺、neg^-与que的语义相似性应该是越来越小的，基于这种语义顺序构建的排序损失如表达式(1)所示：

D表示两张输入图片经过深度网络映射后提取的特征之间的欧氏距离，其中α、β为权重系数。上面的四元组排序损失基于pos、neg⁺、neg^-与que的语义相似性越来越小的语义顺序构建，要求neg⁺与que之间的距离要比pos与que之间的距离远至少m₁，同时neg^-与que之间的距离也要比neg⁺与que之间的距离至少远m₂。这种引入了车型类别的层次化结构的排序损失能够约束网络学到不同车辆在多个层级上的相似性。

每个子网络的P4、P5层后面所接损失层结构是一样的，一边接由一个全连接层、一个softmax分类层和一个交叉熵损失层组成的softmax分类损失层，另一边接与其他三个子网络共享的基于四元组的排序损失层。本发明设计的基于四元组的排序损失能够在减小类内差异的同时，约束类间差异。不过考虑到softmax分类损失能够更强的增大类间差异，两个损失存在互补性，联合用来监督深度神经网络的训练，能够利用网络学到一个高效的映射空间，在这个空间中，样本之间距离的远近可以直接反应它们之间语义相似性的大小。对于每一个四元组输入，P4、P5层最终输出的损失均由三部分加权组成，如表达式(2)所示：

其中，C为分类损失，I_x为输入图像，l_x为输入图像I_x对应的细粒度车型类别标签，W_c为卷积层权重，W_l为全连接层权重。

在网络训练阶段，车辆区域图片先缩放到128×128像素大小的RGB三通道彩色图像(在图2中用128×128×3表示)，然后再进行减均值操作，最后和细粒度、粗粒度车型标签一起送进深度网络进行训练。其中四元组的选择对网络的训练很关键。如果随机选择训练样本中的所有的四元组，一方面当训练样本量比较大的时候，很难遍历完全，网络的训练时间也会很长；另一方面，会有大量的四元组很容易满足上述排序约束条件，导致排序损失为0，进而导致网络梯度反传时大量样本对网络的更新并没有起作用，大大拖慢了网络收敛的速度。因而，本发明采用了一种在线选取困难样本的策略，具体为，每次迭代的过程中，利用上一轮训练的网络参数，计算样本之间的距离，对于que和pos，选择与其距离最近的前几个neg⁺，同理，对于que和neg⁺，选择与其距离最近的前几个neg^-，在线组成困难的四元组样本，加入最终的损失计算和网络梯度更新。事实证明，这样可以有效加快网络的收敛。

根据上面的四元组的损失组成可以看出，网络迭代的次数取决于四元组的个数，然而，上面的采样策略可以使得一个图片出现在多个四元组排序损失中，而每个四元组排序损失都包括了四次网络的前向传播和反向传播。为了重复利用同一张图片的多次前向和反向传播，本发明在实际训练时，采用了一种改进的梯度反传优化算法，具体为：输入为单张图片，在线组成多个四元组参与损失的计算，并针对每张图片将其在多个四元组中的梯度累加，进行一次梯度反传，从而有效节省同一张图片的前传反传时间，缩短网络收敛时间。

本实施例的一种基于深度学习的车型识别方法，如图3所示，包括如下步骤：

步骤B1，输入待识别车辆图片；

步骤B2，利用步骤A2中训练好的车辆检测定位模型对待识别车辆图片进行车辆检测定位，输出车辆位置坐标信息，据此绘制车辆区域矩形框，依据矩形框对图片进裁切，生成车辆区域图片；

步骤B3，利用步骤A5中训练好的用于车型识别的深度卷积神经网络，进行粗粒度和细粒度车型类别标注，对步骤B2中生成的车辆区域图片进行车型识别，并输出车型识别结果。

该型识别方法在2000多类细粒度车型识别任务中的准确率高达98％以上。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (13)

1.一种基于深度学习的车型识别模型构建方法，其特征在于，包括以下步骤：

步骤A1，选取包含车辆的图片，对各车辆图片进行车辆位置标注，具体为绘制各车辆图片中包含车辆的最小矩形框，记录矩形框的左上角和右下角坐标信息，形成车辆检测定位数据集；

步骤A2，利用车辆检测定位数据集，训练基于Haar特征和AdaBoost算法的车辆检测定位模型，并输出训练好的车辆检测定位模型；

步骤A3，依据各车辆图片中包含车辆的最小矩形框对车辆检测数据集中各车辆图片进裁切，生成车辆区域图片；

步骤A4，对所述各车辆区域图片标注两个层级的车型类别标签，形成车型识别数据集；第一层级为粗粒度的车型类别，第二层级为细粒度的车型类别，每个第一层级分别对应一个第二层级；

步骤A5，利用车型识别数据集训练用于车型识别的深度卷积神经网络，并输出训练好的用于车型识别的深度卷积神经网络；所述深度卷积神经网络的损失由softmax分类损失和利用不同层级的车型类别构建的基于四元组的排序损失加权组成。

2.根据权利要求1所述的方法，其特征在于，在步骤A5中利用在线困难样本挖掘策略和一种改进的梯度反传优化算法来加快网络的收敛。

3.根据权利要求2所述的方法，其特征在于，所述深度卷积神经网络由四个结构相同、参数共享的子网络构成，每个子网络输出两个softmax分类损失，四个子网络共同输出两个基于四元组的排序损失。

4.根据权利要求3所述的方法，其特征在于，所述的子网络包括输入层、卷积层、池化层和损失输出层。

5.根据权利要求4所述的方法，其特征在于，所述的子网络，每个卷积层的输出会经过批规范化处理。

6.根据权利要求5所述的方法，其特征在于，所述的子网络中，输入层为1个、卷积层为16个、池化层为5个和损失输出层为4个。

7.根据权利要求6所述的方法，其特征在于，5个池化层分别接在第2、4、8、12、16个卷积层之后。

8.根据权利要求3～7中任一项所述的方法，其特征在于，所述深度卷积神经网络中的四个子网络的输入分别为que、pos、neg⁺、neg^-；其中que、pos属于同一个细粒度车型类别；neg⁺和que不属于同一个细粒度车型类别，但属于同一个粗粒度车型类别；neg^-和que属于不同的粗粒度车型类别；

所述四元组的排序损失，其构建方法具体为：基于pos、neg⁺、neg^-与que的语义相似性越来越小的语义顺序构建四元组的排序损失，约束neg⁺与que之间的距离大于pos与que之间的距离，且neg^-与que之间的距离大于neg⁺与que之间的距离。

9.根据引用权利要求8的权利要求7所述的方法，其特征在于，所述的子网络中，将5个池化层中的第四个池化层、第五个池化层分别接入损失层；5个池化层中的第四、第五个池化层可以用于车辆的特征表示。

10.根据引用权利要求9所述的方法，其特征在于，所述第四个池化层、第五个池化层，对应接入的损失层结构一样，均为一边连接softmax分类损失层、另一边连接所述深度卷积神经网络中其他三个子网络共享的基于四元组的排序损失层；

所述softmax分类损失层由一个全连接层、一个softmax分类层和一个交叉熵损失层组成的。

11.根据权利要求10所述的方法，其特征在于，所述在线困难样本挖掘策略，具体为：每次迭代的过程中，利用上一轮训练的网络参数，计算样本之间的距离，对que和pos选择与其距离最近的前几个neg⁺，对que和neg⁺选择与其距离最近的前几个neg^-，在线组成困难的四元组样本，加入最终的损失计算和网络梯度更新。

12.根据权利要求11中任一项所述的方法，其特征在于，所述的一种改进的梯度反传优化算法，具体为：输入为单张图片，在线组成困难的四元组参与损失的计算，并针对每张图片将其在多个四元组样本中对应的梯度累加，并进行一次梯度反传。

13.一种基于权利要求1～12所述基于深度学习的车型识别模型构建方法的车型识别方法，其特征在于，包括如下步骤：

步骤B1，输入待识别车辆图片；

步骤B2，利用步骤A2中训练好的车辆检测定位模型对待识别车辆图片进行车辆检测定位，输出车辆位置坐标信息，据此绘制车辆区域矩形框，依据矩形框对图片进裁切，生成车辆区域图片；

步骤B3，利用步骤A5中训练好的用于车型识别的深度卷积神经网络，对步骤B2中生成的车辆区域图片进行车型识别，并输出识别结果。