CN109948610A - 一种基于深度学习的视频中车辆细粒度分类方法 - Google Patents

Abstract

本发明公开一种基于深度学习的视频中车辆细粒度分类方法，将车辆外观特征分为不同的显著性等级；将图像分割为相同大小的子图像块，建立卷积神经网络将切割后的子图像块分类；通过提取特征向量的基础网络提取特征图，得到特征向量，并连接到对应分类类别数目的全连接层；将每一张子图的一级特征向量加权平均，得到二级特征向量；将二级特征向量采用加权投票机制得到三级特征向量；建立品牌分类器，每个品牌下建立型号分类器，每个型号下建立年份分类器；将车辆按照品牌‑车型‑年份进行逐层检测得到最终的车型分类结果。本发明将复杂的车牌定位问题简化为一个分类问题，将一个多分类问题分解成几个小分类问题的组合，大大减小网络的分类难度。

Description

一种基于深度学习的视频中车辆细粒度分类方法

技术领域

本发明涉及计算机视觉领域的目标分类方法，从视频中提取车辆特定角度的正面图像，提取车辆的不同显著性部件，在不同的卷积神经网络中对车辆型号进行精细检测。

背景技术

近年来随着深度学习和卷积神经网络的愈加成熟，计算机视觉已经取得了飞跃性的发展。利用计算机视觉进行目标分类，已经不仅仅停留于理论研究，很多技术人员开始将其应用于各个行业的实际生产中。比如在交通安全系统中，深度学习已经在车牌识别中取得了不错的效果，但是在一些特殊场景中，仅仅对车牌进行识别并不能满足实际的需求，还需要精细的检测出车辆的具体型号。例如在停车场中需要通过车辆类型对停车位做更好的规划，公安系统追踪嫌疑车辆时需要通过车辆型号检测套牌车辆等。相比于仅对车辆的类型分类，将对车型进行更精细的识别，如品牌、型号、生产年份等，称为车辆细粒度分类。从Stanford car dataset数据集到CompCars数据集，车型分类已经成为细粒度分类任务的典型代表。

目前已经有很多用于车辆细粒度的分类方法拥有不错的性能。例如文献1(余烨,金强,傅云翔,路强.基于Fg-CarNet的车辆型号精细分类研究.自动化学报,2018,44(X):X-X)中，根据车正脸图像特征分布特点,将其分为上下两部分分别进行特征提取，对网络中间层产生的特征进行两个维度的融合，通过使用小卷积核以及全局均值池化，使在网络分类准确度提高的同时降低了网络模型参数大小在文献2(Fang J,Zhou Y,Yu Y,et al.Fine-Grained Vehicle Model Recognition Using A Coarse-to-Fine Convolutional NeuralNetwork Architecture[J].IEEE Transactions on Intelligent TransportationSystems,2016,PP(99):1-11.)中，提出一种从粗到细的方法，通过卷积神经网络重复定位精炼特征图中对车型识别贡献大的显著性区域，将其与全局特征相融合，提高高显著性区域在分类器中的权重，使网络的精确率大大提高。文献1和文献2都肯定了在车型分类中，提高高显著性部分的权重，对识别准确率有很大的提高。但是，由于车型的种类繁多(仅在CompCars数据集中就有1716种)，除了同种品牌的车辆相似度较高，不同品牌的车辆中也有相似度很高的车型，这对车型的分类增加了巨大的难度(随着分类种类的增多，卷积神经网络中参数的规模也会相应增加，对于网络的设计和收敛，也会更加困难。)，而且随着新车型的大量出现，使网络根据新的目标做出相应的调整也是一个非常棘手的问题。

发明内容

针对上述视频中车辆精细度的检测问题，本发明的目的在于提供一种将复杂的车牌定位问题简化为一个分类问题，将一个多分类问题分解成几个小分类问题的组合，大大减小网络的分类难度的基于深度学习的视频中车辆细粒度分类方法。技术方案如下：

一种基于深度学习的视频中车辆细粒度分类方法，包括以下步骤：

步骤一：将车辆外观特征分为不同的显著性等级：背景为一级显著性部分，车头为三级显著性部分，车辆其他部分为二级显著性部分；

步骤二：将待检测车辆图像分割为相同大小的子图像块，建立卷积神经网络，按上述显著性等级将切割后的子图像块分为：一级显著性子图、二级显著性子图和三级显著性子图；

步骤三：每一张子图通过提取特向量的基础卷积神经网络，提取n个特征图，然后得到1*n维的特征向量，并连接到对应分类类别数目N的全连接层，得到一个1*N维的一级特征向量；

步骤四：设计一个由多个弱分类器结合成的强分类器：将每一张子图的一级特征向量进行加权平均，得到一个综合的二级特征向量；将来自不同显著性等级的二级特征向量采用加权投票机制综合得到最后的一个三级特征向量；

步骤五：建立品牌分类器，每个品牌下建立型号分类器，每个型号下建立年份分类器；将车辆按照品牌-车型-年份进行逐层检测得到最终的车型分类结果。

进一步的，所述步骤二中图像切割具体为，从视频中取出关键帧，将其大小变为360*360，然后分割60*60的子图像块。

更进一步的，所述步骤二中，卷积神经网络为9层的子图分类网络，包含7个卷积层，4个池化层，1个全连接层；经过最后一个卷积层后用全局平均池化层代替全连接层。

更进一步的，所述步骤四中，在N类分类类别中，三级特征向量FC3第i类所对应的特征值FC3_i为：

FC3_i＝w_1iFC1_i+w_2iFC2_i

其中，w_1i与w_2i是融合权重，可训练参数；FC1_i为二级显著性子图综合得到的二级特征向量FC1中第i类所对应的值；FC2_i为三级显著性子图综合得到的二级特征向量FC2中第i类所对应的值；且为了加快网络收敛w_1i、w_2i的初始权重为：：

其中，L1_i为二级显著性子图经过基础网络得到的损失，L2_i为三级显著性子图经过基础网络得到的损失。

更进一步的，所述品牌分类器选用softmax，参数包括分类权重和偏置；

所述型号分类器选用softmax，参数包括分类权重和偏置，以及不同显著性级别子图的adaboost融合权重；

所述年份分类器选用softmax，参数包括分类权重和偏置，以及不同显著性级别子块的adaboost融合权重。

更进一步的，所述将车辆按照品牌-车型-年份进行逐层检测得到最终的车型分类结果具体包括：

1)提取三级显著性子图中每一张子图的一级特征向量，加权平均得到三级显著性子图的二级特征向量，输入品牌分类器，获得车辆品牌；

2)由二级显著性子图得到相应的二级特征向量、三级显著性子图得到相应的二级特征向量，根据adboost权重融合这两个二级特征向量，获得三级特征向量，输入型号分类器，获得车辆型号；

3)由二级显著性子图得到相应的二级特征向量、三级显著性子图得到相应的二级特征向量，根据adboost权重融合这两个二级特征向量，获得三级特征向量，输入年份分类器，获得生产年份。

本发明的有益效果是：

1)本发明根据YOLO的思想，将图像分块后按显著性级别分类，将复杂的车牌定位问题简化为一个分类问题，同时还可以有效的去除背景等复杂的干扰因素；

2)本发明结合Adaboost的思想，设计了一种由多个弱分类器结合成的强分类器，在同一个分类任务中，同时使用多个不同的部件特征判断一个类别，使各个特征之间可以更好的互补；

3)本发明设计了一种多层分类数据库，实现了车辆型号的分层分类，将一个多分类问题分解成几个小分类问题的组合，减小了网络的分类难度；通过更换很小的分类器，使网络适应于不同的分类任务；当有新的车型加入时，只需要训练相应的分类器就可以使网络适应新的任务。

附图说明

图1为显著性等级划分示意图。

图2为待检测车辆图像分割示意图。

图3为子图分类网络示意图。

图4为车型识别网络的整体结构示意图。

图5为车型逐层检测示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。利用神经网络进行车型分类的传统方法，通常是采用整幅图像作为输入提取特征，但车型外观之间大部分是相似的，这些相似特征对于分类并不重要，甚至在有些车型外观差别较小时，采用整幅图像提取特征，很小的差别特征很容易被大量的相似特征掩盖，对网络分类造成干扰。所以根据不同部件对网络分类的重要性不同，将车辆外观特征分为不同的显著性级别，显著性级别越高的子块，对于分类的重要性越强。

对于车辆品牌的识别，最显著的特征无疑是每个品牌独有的车标。所以在品牌检测中，需要先定位车标。车标的定位已经有了很多方法，例如文献3(C.Huang,B.Liang,W.Li,and S.Han,“A convolutional neural network architecture for vehicle logorecognition,”in Proc.of IEEE International Conf.on Unmanned Systems,Beijing,China,Oct.2017,pp.282–287.)中的方法在作者自己的数据集中，车标定位已经达到了99.04％的准确率，但网络模型很大且很繁琐。在文献4(王枚,王国宏,房培玉,等.基于PCA与不变矩的车标定位与识别[J].武汉大学学报(信息科学版),2008,(1).)中，作者通过先定位车牌然后根据车牌与车标的相对位置检索车标，由于不同车型的车标相对于车牌位置多变，所以需要很精细的人为标注，而且有很多非车标也被标注为车标。在复杂的背景下，由于车标所占面积较小，对车标进行单独的定位是非常困难的，而车头部分中除了包含全部的车标信息外，同时还包含了车型分类任务中的大部分高显著性部件(在文献1、2中也有所提及)，如车灯，排气扇，转向灯等，所以直接定位车头，将其标注为高显著性部分。如图1定义背景为一级显著性部分，车头为三级显著性部分，车辆其他部分为二级显著性部分。

在定位显著性区域时，采用类似与YOLO(Redmon J,Divvala S,Girshick R,etal.You Only Look Once:Unified,Real-Time Object Detection[J].2015.)的图像分块思想，先将图像切块为相同大小的子图像块，再通过卷积神经网络按显著性等级分类。本实施例采用CompCars数据集中的监控场景下的汽车图像进行实验，将图像大小缩小为360*360，用90*90(大)、60*60(中)、40*40(小)三种不同的尺寸对图像进行分割，实验表明子图尺寸太大时，在二级显著性部分中存在大量背景，子图尺寸太小时，三级显著性部分被分割的太细，丢失了很多结构信息，所以最后采用了60*60的分割尺寸，如图2。

从视频中取出关键帧，将其大小变为360*360，然后分割为60*60的子图像块。.放入子图像分类网络，将其分为三类:一级显著性部分X₁张，二级显著性部分X₂张，三级显著性部分X₃张。

由于分类类别只有三类，不需要很深的卷积神经网络，所以设计了一个只有9层的子图分类网络如图3(包含7个卷积层，4个池化层，1个全连接层)，经过最后一个卷积层后，不直接使用全连接层，而是使用文献6(Lin M,Chen Q,Yan S.Network In Network[J].Computer Science,2013.)中的GAP(global average pooling全局平均池化)代替全连接层，这样不仅缩小了网络的参数，而且更加完整的保留了结构信息。

在车型分类中，将网络分为两个部分。

1)第一部分是提取特向量的基础网络，首先采用经典的VGG16(Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale ImageRecognition[J].Computer Science,2014.)得到512个7*7的特征图，然后使用GAP得到一个1*512维的特征向量，最后连接一个对应分类类别数目的全连接层(由于这一层的参数需要根据不同任务进行调整，所以将这一个全连接层放在了第二部分的分类器中)。

2)第二部分结合Adaboost(Schapire R E,Singer Y.Machine learning,improved boosting algorithms using confidence-rated predictions[J].MachineLearning,1999,37(3):80-91.)算法理论设计了一个由多个弱分类器结合成的强分类器。

将图像分为不同显著性的子图时，每个显著性等级中都包含了N张子图。因为N张子图需要判别同一个类型，所以要将每一张子图所得到的一级特征向量进行加权平均，得到一个综合的二级特征向量。因为显著性越高的部分对网络最后的决策影响越大，所以将来自不同显著性等级的二级特征向量采用加权投票机制综合得到最后的一个三级特征向量。

分类器选用softmax，除特征向量提取部分的参数(第一部分，在网络稳定后，参数不再进行训练)，可训练参数还包括分类权重和偏置，而且包括不同显著性级别子块的adaboost融合权重(分类器参数，根据不同的任务进行单独训练)，网络的整体结构如图4。

加权投票：若分类类别是N，定义二级显著性子图经过基础网络得到的二级特征向量为FC1，FC1_i为第i类所对应的特征值；定义三级显著性子图经过基础网络得到的二级特征向量为FC2，FC2_i为第i类所对应的特征值；FC3为三级特征向量，FC3_i为第i类所对应的特征值。则

FC3_i＝w_1iFC1_i+w_2iFC2_i (1)

其中，w_1i与w_2i为融合权重，为可训练参数；

为了在训练分类器时加快网络收敛速度，从准确率越高，贡献值越大，损失越小的角度出发，定义融合权重w_1i，w_2i的初始值，计算公式如下：

其中，L1_i为二级显著性子图经过基础网络得到的损失，L2_i为三级显著性子图经过基础网络得到的损失。

为了更好的对种类繁多的车型细粒度分类，设计一种多层分类数据库以便储存不同的分类器参数，将车辆按照品牌-车型-年份进行逐层检测如图5。

建立品牌分类器，每个品牌下建立型号分类器，每个型号下建立年份分类器：

1.品牌分类器选用softmax，参数包括分类权重和偏置。从三级显著性子块中提取二级特征向量，输入品牌分类器，获得车辆品牌。

2.每个品牌下包括各自的型号分类器，型号分类器选用softmax，参数不仅包括分类权重和偏置，而且包括不同显著性级别子块的adaboost融合权重。分别提取二级、三级显著性子块的二级特征向量，根据adboost权重融合这两个二级特征向量，获得三级特征向量。根据三级特征向量获得车辆型号。

3.每个型号向包含各自的年份分类器，年份分类器选用softmax，参数不仅包括分类权重和偏置，而且包括不同显著性级别子块的adaboost融合权重。分别提取二级、三级显著性子块的二级特征向量，根据adboost权重融合这两个二级特征向量，获得三级特征向量。根据三级特征向量获得生产年份。

将低一级分类网络中的分类器参数储存到上一级的相应位置。如图5所示，例如“中华”中储存对“VS”、“FFV”、“H530”分类网络的分类器参数。通过车型分类网络第一部分提取到特征向量后，只需要更换相应的分类器，就可以使网络适应与不同的分类任务，每一个标签中实际保存的参数仅有两个全连接层和一个加权权重向量，参数规模非常小(例如一个50类的分类任务，大约有652KB)。例如，上一层判断品牌为“中华”，更换分类器为“中华”中的分类器，将特征向量输入分类器，得到下一层为“H530”，再更换分类器为“H530”中的分类器，判断年份为“2011”，则车型的型号判断为“中华—H530—2011”。

将三级显著性部分X₃张放入车型分类网络(分类器采用品牌分类器，此时网络输入只有三级显著性部分，所以没有加权投票机制)，得到品牌类型A(a％)；根据品牌类型检测结果，在多层分类数据库中检索A的车型分类器，车型分类网络的分类器采用A的车型分类器，再将二级显著性部分X₂和三级显著性部分X₃的子图尺寸扩大到224*224，输入基础网络(此时网络输入为两个不同的显著性部分，采用加权投票机制，网络模型为图4所示)，得到型号类别B(b％)。

最后，根据型号类别检测结果，在多层分类数据库中检索B的年份分类器，再将得到的X₂+X₃个基础特征向量经过B的年份分类器，得到年份为C(c％)。

试验实例：

由于在CompCars数据集中的监控场景下的汽车图像只是分类了品牌和型号，并没给出具体的生产年份，所以在实验时只针对品牌和型号进行测试。选取10种品牌，38类车型，共5678张图片，其中3040张作为训练集(训练集的子图显著性级别标注需要花费很长时间)，2638张作为测试集。在品牌识别中准确率达到了97.42％(2638张10类错误68张)，在同一品牌的不同型号识别中，准确率达到了92.14％-96.07％(280张4类中错12-22张)，综合准确率达到了91.60％。

Claims (6)

1.一种基于深度学习的视频中车辆细粒度分类方法，其特征在于，包括以下步骤：

步骤一：将车辆外观特征分为不同的显著性等级：背景为一级显著性部分，车头为三级显著性部分，车辆其他部分为二级显著性部分；

步骤二：将待检测车辆图像分割为相同大小的子图像块，建立卷积神经网络，按上述显著性等级将切割后的子图像块分为：一级显著性子图、二级显著性子图和三级显著性子图；

步骤三：每一张子图通过提取特向量的基础卷积神经网络，提取n个特征图，然后得到1*n维的特征向量，并连接到对应分类类别数目N的全连接层，得到一个1*N维的一级特征向量；

步骤四：设计一个由多个弱分类器结合成的强分类器：将每一张子图的一级特征向量进行加权平均，得到一个综合的二级特征向量；将来自不同显著性等级的二级特征向量采用加权投票机制综合得到最后的一个三级特征向量；

步骤五：建立品牌分类器，每个品牌下建立型号分类器，每个型号下建立年份分类器；将车辆按照品牌-车型-年份进行逐层检测得到最终的车型分类结果。

2.根据权利要求1所述的基于深度学习的视频中车辆细粒度分类方法，其特征在于，所述步骤二中图像切割具体为，从视频中取出关键帧，将其大小变为360*360，然后分割60*60的子图像块。

3.根据权利要求1所述的基于深度学习的视频中车辆细粒度分类方法，其特征在于，所述步骤二中，卷积神经网络为9层的子图分类网络，包含7个卷积层，4个池化层，1个全连接层；经过最后一个卷积层后用全局平均池化层代替全连接层。

4.根据权利要求1所述的基于深度学习的视频中车辆细粒度分类方法，其特征在于，所述步骤四中，在N类分类类别中，三级特征向量FC3第i类所对应的特征值FC3_i为：

FC3_i＝w_1iFC1_i+w_2iFC2_i

其中，w_1i与w_2i是融合权重，可训练参数；FC1_i为二级显著性子图综合得到的二级特征向量FC1中第i类所对应的值；FC2_i为三级显著性子图综合得到的二级特征向量FC2中第i类所对应的值；且为了加快网络收敛w_1i、w_2i的初始权重为：

其中，L1_i为二级显著性子图经过基础网络得到的损失，L2_i为三级显著性子图经过基础网络得到的损失。

5.根据权利要求1所述的基于深度学习的视频中车辆细粒度分类方法，其特征在于，所述品牌分类器选用softmax，参数包括分类权重和偏置；

所述型号分类器选用softmax，参数包括分类权重和偏置，以及不同显著性级别子图的adaboost融合权重；

所述年份分类器选用softmax，参数包括分类权重和偏置，以及不同显著性级别子块的adaboost融合权重。

6.根据权利要求5所述的基于深度学习的视频中车辆细粒度分类方法，其特征在于，所述将车辆按照品牌-车型-年份进行逐层检测得到最终的车型分类结果具体包括：

1)提取三级显著性子图中每一张子图的一级特征向量，加权平均得到三级显著性子图的二级特征向量，输入品牌分类器，获得车辆品牌；

2)由二级显著性子图得到相应的二级特征向量、三级显著性子图得到相应的二级特征向量，根据adboost权重融合这两个二级特征向量，获得三级特征向量，输入型号分类器，获得车辆型号；

3)由二级显著性子图得到相应的二级特征向量、三级显著性子图得到相应的二级特征向量，根据adboost权重融合这两个二级特征向量，获得三级特征向量，输入年份分类器，获得生产年份。