CN109902732B

CN109902732B - 车辆自动分类方法及相关装置

Info

Publication number: CN109902732B
Application number: CN201910131839.1A
Authority: CN
Inventors: 徐勇; 王俊茜; 刘晓阳; 钟启兴
Original assignee: Huizhou Desay SV Automotive Co Ltd; Shenzhen Graduate School Harbin Institute of Technology
Current assignee: Huizhou Desay SV Automotive Co Ltd; Shenzhen Graduate School Harbin Institute of Technology
Priority date: 2019-02-22
Filing date: 2019-02-22
Publication date: 2021-08-27
Anticipated expiration: 2039-02-22
Also published as: CN109902732A

Abstract

本发明公开了一种车辆自动分类方法及相关装置，根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集，增强了训练样本的多样性和完整性，以进一步提高后续车辆目标检测和分类的准确度，克服现有技术中存在车辆检测方法的准确度低下的技术问题。

Description

车辆自动分类方法及相关装置

技术领域

本发明涉及车辆检测领域，尤其是一种车辆自动分类方法及相关装置。

背景技术

车辆自动检测在实际的生活中有重要应用。通过检测出车辆目标并判别出其型号以及对应的存储数据后，可实现对车辆的快速视频检索；也可以为交通视频生成对应的具有语义信息的视频摘要；还可以实现车辆的分类统计；方便停车场与高速公路的收费与管理；便于自动驾驶中自动检测与判识前方车辆，以便在必要场合下的控制主动避让等操作。

已知的基于机器学习方法的车辆目标检测与分类方法，在实际应用中，无法正确检测、判别车辆的型号，车辆自动检测的准确度低下，导致基于车辆检测的车辆视频检索、车辆分类统计等自动操作的准确率低下。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种车辆自动分类方法及相关装置，用于提高车辆检测的准确度。

本发明实施例所采用的技术方案是：

第一方面，本发明提供一种车辆自动分类方法，包括：

车辆样本集获取步骤：根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集；

车辆目标检测模型训练步骤：根据所述车辆样本集训练车辆目标检测模型；

车辆目标特征表示模型训练步骤：根据所述车辆样本集训练车辆目标特征表示模型；

车辆目标检测步骤：根据待分类的车辆图像和所述车辆目标检测模型获取待分类的车辆目标；

车辆分类步骤：根据所述待分类的车辆目标和所述车辆目标特征表示模型获取车辆的分类结果。

进一步地，所述车辆样本集获取步骤具体包括：

车辆模型处理子步骤：根据所述车辆模型获取对应的车辆实物模拟图像；

图像外观扩展子步骤：对所述车辆图像样例和/或所述车辆实物模拟图像进行图像尺寸和/或车辆外观颜色和/或车辆角度和/或车辆外观的新旧程度和/或车辆外观的毁损程度变换扩展以获取多个车辆扩展样本；

车辆样本集获取子步骤：将所述车辆图像样例、所述车辆模型、所述车辆实物模拟图像和所述车辆扩展样本构成所述车辆样本集。

进一步地，所述车辆模型处理子步骤具体包括：

对所述车辆模型进行车辆尺寸和/或图像亮度变换扩展以获取所述车辆实物模拟图像。

进一步地，所述车辆目标检测模型包括快速区域卷积神经网络，所述快速区域卷积神经网络的共享子网络中的卷积层为多分支膨胀卷积结构。

进一步地，所述多分支膨胀卷积结构包括输入层、多个膨胀卷积支路、全连接层、与所述全连接层、所述输入层均连接的1×1卷积层、以及与所述1×1卷积层连接的输出层，所述膨胀卷积支路包括膨胀卷积层、与所述膨胀卷积层连接的1×1卷积层，所述膨胀卷积层的膨胀率各不相同，所述输入层与所述膨胀卷积层的输入端连接，所述膨胀卷积支路的1×1卷积层与所述全连接层连接。

进一步地，所述车辆目标检测模型训练步骤具体包括：

多分支膨胀卷积结构训练子步骤：根据所述车辆样本集和图像数据库训练所述多分支膨胀卷积结构；

共享子网络预训练子步骤：对所述共享子网络进行预训练以调整网络参数；

迁移子步骤：将训练好的所述共享子网络迁移至所述快速区域卷积神经网络以完成对所述快速区域卷积神经网络的训练。

进一步地，所述车辆目标特征表示模型包括级联CNN结构，所述级联CNN结构包括多个CNN网络，所述级联CNN结构采用全连接的方式，具体地，先对低层的卷积特征进行均值池化的下采样操作，再与下一层的卷积特征相连接，将上下级的卷积特征两两相结合。

进一步地，所述车辆目标特征表示模型的损失函数为Softmax和Center Loss组成的联合监督损失函数。

进一步地，所述车辆自动分类方法还包括：

类模板特征获取步骤：对所述车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征。

进一步地，所述类模板特征获取步骤具体包括：

特征表示子步骤：根据所述车辆目标特征表示模型获取所述样本图像集合的每一张样本图像的特征表示向量，

聚类子步骤：根据所述特征表示向量和聚类算法获取所述样本图像集合的多个中心特征向量；

权重获取子步骤：根据所述样本图像集合的样本数量、所述中心特征向量的分布特点获取每个中心特征向量的融合权重；

类模板特征获取子步骤：根据多个所述中心特征向量和对应的融合权重获取所述样本图像集合对应的类模板特征。

进一步地，所述车辆分类步骤具体包括：

待分类的车辆目标表示子步骤：根据所述车辆目标特征表示模型获取所述待分类的车辆目标的待分类特征表示向量；

相似度获取子步骤：根据所述待分类特征表示向量和多个所述类模板特征获取多个相似度；

车辆分类子步骤：获取相似度最大的车辆类别作为所述待分类的车辆目标的车辆类别。

第二方面，本发明提供一种车辆自动分类装置，包括：

车辆样本集获取单元，用于根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集；

车辆目标检测模型训练单元，用于根据所述车辆样本集训练车辆目标检测模型；

车辆目标特征表示模型训练单元，用于根据所述车辆样本集训练车辆目标特征表示模型；

车辆目标检测单元，用于根据待分类的车辆图像和所述车辆目标检测模型获取待分类的车辆目标；

车辆分类单元，用于根据所述待分类的车辆目标和所述车辆目标特征表示模型获取车辆的分类结果。

第三方面，本发明提供一种车辆自动分类设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的车辆自动分类方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的车辆自动分类方法。

本发明的有益效果是：

根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集，增强了训练样本的多样性和完整性，以进一步提高后续车辆目标检测和分类的准确度，克服现有技术中存在车辆检测方法的准确度低下的技术问题。

另外，本发明还对车辆模型进行车辆尺寸和/或图像亮度变换扩展获取其对应的车辆实物模拟图，以适应实际量产后的车辆检测；再对车辆图像样例和/或车辆实物模拟图像进行图像尺寸和/或车辆外观颜色和/或车辆角度和/或车辆外观的新旧程度和/或车辆外观的毁损程度变换扩展以获取多个车辆扩展样本，增强车辆样本图像的多样性和实用性。

利用具有多个膨胀率不同的膨胀卷积支路的多分支膨胀卷积结构替换快速区域卷积神经网络的共享子网络中的卷积层，实现多尺度特征融合，提高了车辆目标检测的效果。

级联CNN结构可以有效的学习车辆的表示特征；对样本图像集合进行聚类后，经过加权计算获取对应的类模板特征，根据类模板特征和待分类特征表示向量的相似度获取待分类的车辆目标的车辆类别。

附图说明

图1是本发明中车辆自动分类方法的一具体实施例方法流程图；

图2是本发明中车辆自动分类方法的多分支膨胀卷积结构的一具体实施例示意图；

图3是本发明中车辆自动分类方法的级联CNN结构的一具体实施例示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

参考图1，图1是本发明中车辆自动分类方法的一具体实施例方法流程图，车辆自动分类方法包括：

S1、车辆样本集获取步骤：获取不同车辆类别如不同车辆型号的车辆的图像作为车辆图像样例，根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集；

S2、车辆目标检测模型训练步骤：根据车辆样本集训练车辆目标检测模型；

S3、车辆目标特征表示模型训练步骤：根据车辆样本集训练车辆目标特征表示模型；

S4、车辆目标检测步骤：根据待分类的车辆图像和车辆目标检测模型获取待分类的车辆目标；

S5、车辆分类步骤：根据待分类的车辆目标和车辆目标特征表示模型获取车辆的分类结果。

作为技术方案的进一步改进，车辆样本集获取步骤S1具体包括：

S11、车辆模型处理子步骤：对车辆模型进行车辆尺寸和/或图像亮度变换扩展以获取车辆实物模拟图像；

S12、图像外观扩展子步骤：对车辆图像样例和/或车辆实物模拟图像进行图像尺寸和/或车辆外观颜色和/或车辆角度和/或车辆外观的新旧程度和/或车辆外观的毁损程度变换扩展以获取多个车辆扩展样本，多种不同的扩展组合可以产生大量的图像样本；

S13、车辆样本集获取子步骤：将车辆图像样例、车辆模型、车辆实物模拟图像和车辆扩展样本构成车辆样本集。

针对车辆模型，基于车厂已发布、且未来将上市的车辆模型或概念图生成相应的车辆实物模拟图像，可避免后期实际使用时，由于对没有正式销售的车型，无法获取这些车型的实际车辆图像，根据没有包含此车型的车辆样本集训练得出的模型将无法正确检测与判别该车型。因此，产生该车型的实物模拟图像，并将其添加到车辆样本集中具有重要的意义，可使利用车辆样本集训练后的模型能很好判识该车型正式上市后的实车。具体地，汽车厂商发布的尚未上市的车辆模型图像与上市后的实际车辆图像除了尺寸不同外，颜色与光照等也会有较大差异。因此，对汽车厂商发布的尚未上市的车辆模型图像，进行长与宽按比例的尺寸放大与缩小变换、在长度上进行尺寸的放大与缩小变换、在宽度上进行尺寸的放大与缩小变换、车身图像的亮度提升与亮度减弱变换以得到新的车辆实物模拟图像。另外，针对车辆实物模拟图像的外观颜色替换，可以利用图像分割技术，分割出车身并为车身设置不同的合理颜色。

下面，对车辆图像样例或车辆模型进行车辆外观颜色、图像尺寸、车辆角度、车辆外观的新旧程度、车辆外观的毁损程度变换扩展做具体说明，以车辆图像样例为例进行说明：

根据已有的车辆图像数据库的数据，利用分类器建立大类车型(分为两厢车、三厢车、客货两用车三个类别)的常用外观颜色数据库，库中给出各车辆类型的常用颜色外观，根据车型的不同，车辆外观扩展的方案不同，例如，客货就做一些折旧操作，其他类型的车辆就进行外观颜色更换。针对车辆图像的外观颜色替换，对所获取的车辆图像样例利用颜色模型判断出车辆的外观颜色，再基于图像分割方法生成该车辆的其他外观颜色，其他外观颜色包括具有差异性且与原颜色接近的相关外观颜色，以模拟现实中不同摄像头和成像设备的颜色差异或光照等因素引起的目标的颜色偏差；其次，还包括该车辆的其他外观颜色，例如，已采集到外观颜色为红色的某车辆图像样例，则基于该图像样例生成此车辆的蓝色、黑色与白色等外观颜色。

而对于图像尺寸的变换，可以根据原始的车辆图像样例的图像尺寸产生不同的图像尺寸的样本图像，以模拟实际采集时的图像尺寸变化。同理，在实际应用场景所采集的车辆目标的角度也存在多样性，因此，可以通过旋转车辆图像样例以获取不同车辆角度的样本图像。

另外，车辆外观的新旧程度、车辆外观的毁损程度即为生成车辆图像样例的“陈旧性”外观，以模拟现实中灰尘等异物或老化与腐蚀引起的车身的陈旧效果，外观“陈旧性”扩展包括三个方面，一是外观的纯粹“陈旧性”处理，即新旧程度，二是外观的部分“损毁”和腐蚀，即毁损程度，三是外观的前两个处理效果的混合。

外观的纯粹“陈旧性”处理根据亮度“暗化”与图像模糊化的手段产生。对收集到的车身亮度较高的车辆图像样例(车身亮度较高的情况下，车辆较新)，亮度“暗化”即对车身局部区域进行非均匀的亮度降低，同时对车身图像进行局部模糊化处理，由此产生的车辆图像样例可以部分代表车辆外观的纯粹“陈旧性”效果。

外观的部分“损毁”和腐蚀是指对收集到的车身亮度较高的车辆图像样例，对车身四周区域通过图像处理方法产生局部不规则损毁和腐蚀的图像效果，并将具有此效果的图像作为新扩展的车辆图像样例。车身外观出现“损毁”时，一般伴随着不同程度的腐蚀。产生如上新车辆图像样例的具体方法为：收集同一车型外观颜色的新车的图像与具有部分“损毁”和腐蚀的旧车的图像，切割出“损毁”和腐蚀的局部图像以及新车的相应图像区域，并称其为样本对，根据已有的多个样本对建立某个外观的“损毁”和腐蚀的像素回归模型。然后，对收集到的正常车辆图像样例，随意选取车身四周的某个位置，划定不规则区域，利用建立的像素回归模型产生该划定区域的“损毁”和腐蚀图像。由于有多种形式的损毁，所以需要建立多个像素回归模型。

还可以根据车辆图像样例获取同时具有“陈旧性”和外观部分“损毁”与腐蚀的车辆图像样例。基于此方案建立的车辆样本集不仅包含已有的众多车型的图像样例，而且包含了未上市车型的图像样例，因此，训练后的车辆目标检测与分类模型可以很好处理实际场景中会出现的新车型，对实际应用具有很好的适应性。基于有限的车辆图像样例的车辆外观扩展方案，以增强样本的多样性和为获得高准确率的检测结果提供基础。获得车辆样本集后，对集合中的每一张样本图像标注好车辆目标区域、车辆品牌、颜色，以用于后续模型训练。

接着，利用车辆样本集训练车辆目标检测模型，本实施例中，车辆目标检测模型采用快速区域卷积神经网络(faster region-based convolutional neural networks，FRCN)，FRCN包括一个基础CNN(也即共享子网络)，如ResNet101，一个RPN(区域候选网络)，一个position sensitive的预测层，最后的ROI pooling、投票的决策层。共享子网络用于对输入的图像数据实现特征提取，共享子网络使用了多个卷积层叠加的方式抽取图像的表示特征。快速区域卷积神经网络的共享子网络中的每个卷积层用多分支膨胀卷积结构来替换。其中，参考图2，图2是本发明中车辆自动分类方法的多分支膨胀卷积结构的一具体实施例示意图；多分支膨胀卷积结构包括输入层、多个膨胀卷积支路、全连接层(即concat层)、与全连接层、输入层均连接的1×1卷积层、以及与1×1卷积层连接的输出层，膨胀卷积支路包括膨胀卷积层、与膨胀卷积层连接的1×1卷积层，膨胀卷积层的膨胀率各不相同，输入层与膨胀卷积层的输入端连接，膨胀卷积支路的1×1卷积层与全连接层连接。本实施例中，采用膨胀率分别为1、2和3的3个膨胀卷积层，其中，膨胀率等于1就是普通的卷积层，膨胀率等于1的膨胀卷积层必须保留。膨胀卷积层的个数可以变化，膨胀率也可以变化。本实施例中取3个主要是控制网络参数数量和特征提取效果的平衡。

利用RFCN检测框架结合多分支膨胀卷积结构，以实现扩大感受野，提升车辆目标的特征表现能力。采用与Inception结构和相似的并列式网络结构并结合不同膨胀率的膨胀卷积支路对输入的特征实现多尺度的融合操作，在每个膨胀卷积支路后连接一个1×1卷积，最后将所有的分支利用Concat操作进行特征相连并利用1×1卷积实现特征信息整合，多分支膨胀卷积结构中还包含残差结构(即shortcut connections)，将提出的多分支膨胀卷积结构运用到每个卷积层中，实现在不改变特征层大小的前提下扩大感受野，提升车辆目标和非车辆目标的特征表现能力，对提升FRCN检测车辆目标与非车辆目标的准确度具有重要意义。

进一步地，车辆目标检测模型属于有监督学习，车辆目标检测模型训练步骤S2具体包括：

S21、多分支膨胀卷积结构训练子步骤：根据车辆样本集和图像数据库训练多分支膨胀卷积结构；其中，图像数据库为部分公开数据库如VOC、COCO数据集，其具有车辆和非车辆目标的标注数据(这种公开的数据库没有详细的品牌型号标注，所以后续分类训练不需要用到)。将准备好的训练数据和用于特征提取的多分支膨胀卷积结构使用Caffe框架进行训练。使用部分公开数据集加上车辆样本集进行训练，可以提高车辆目标检测模型的通用性和泛化能力。

S22、共享子网络预训练子步骤：对共享子网络进行预训练以调整网络参数，具体地，将共享子网络在Imagenet数据集上进行训练以实现网络参数调整。

S23、迁移子步骤：采用迁移学习策略，将训练好的共享子网络迁移至快速区域卷积神经网络以完成对快速区域卷积神经网络的训练。其中，快速区域卷积神经网络采用SmoothL1Loss作为车辆目标位置回归的偏移量修正，以降低由于异常对网络训练的影响。

由于用于车辆目标检测模型的训练样本数量巨大，所以在训练过程中，可以采用Mini-batch梯度下降算法以加快网络参数的更新和收敛。进一步地，向车辆目标检测模型输入车辆图片后，利用非极大值抑制算法(NMS)筛选、检测出车辆图片中的车辆目标。

进一步地，车辆目标特征表示模型训练步骤S3利用车辆样本集训练车辆目标特征表示模型，本实施例中，车辆目标特征表示模型采用级联CNN结构，参考图3，图3是本发明中车辆自动分类方法的级联CNN结构的一具体实施例示意图；级联CNN结构包括多个依次连接的CNN网络(如Res1 Block、Res2 Block、……Res5 Block)，CNN网络可采用Resnet网络，级联CNN结构采用全连接的方式，具体地，先对低层的卷积特征进行均值池化的下采样操作，再与下一层的卷积特征相连接，将上下级的卷积特征两两相结合，可以保持信息的丰富性，运用多次采样的方式，避免了一次采样的对各层特征信息的极大损失。采用级联CNN结构可以将低层次滤波器捕捉的低层细节特征，与高层次滤波器捕获的高层次语义特征相融合，提升网络对车辆目标特征学习的表征能力。参考图3，车辆目标特征表示模型的损失函数为Softmax和Center Loss组成的联合监督损失函数，并利用车辆样本集训练车辆目标特征表示模型以使级联CNN结构收敛；级联CNN结构通过第一全连接层(如图3中的1×1×2048)和第二全连接层后输入联合监督损失函数，利用Softmax和Center Loss的多任务学习机制，实现对车辆目标的特征参数学习的联合监督，这种联合监督减小了同类车辆目标特征距离，也增大了不同类车辆目标特征距离，使得级联CNN网络学习得到的特征的区分性和鲁棒性更强。

参考图3，假设有C个车辆的车辆类别，车辆类别以车辆型号为例，第二全连接层输出z＝[z₁，z₂…，z_C]，对每个车辆目标的车辆型号的预测概率为

因此，Softmax分类损失函数的计算公式如下：

上式中，当c是对应于真实的车辆目标的车型品牌标签时，y_j＝1；反之，y_j＝0。

Center Loss对每一次输入的数据组，计算同类车辆样本的中心，并要求同类车辆目标特征距离尽量小，具体计算公式如下：

上式中，

表示第d_i个车辆样本的特征中心，m表示batch的大小，f∈R表示的是第一全连接层的特征。

L＝λ₁L_softmax+λ₂L_CenterLoss

在上式中，定义了参数λ₁和参数λ₂表示为平衡级联CNN结构中Softmax和CenterLoss损失函数对车辆目标的学习程度。

另外，车辆自动分类方法还包括：

类模板特征获取步骤：对车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征。本实施例中，车辆类别指车辆品牌型号，样本图像集合指同一品牌型号车辆的不同颜色、不同角度、不同图像尺寸、不同新旧、腐蚀程度的样本图像集合。以获取一个车辆类别的类模板特征为例，类模板特征获取步骤具体包括：

特征表示子步骤：根据车辆目标特征表示模型获取样本图像集合的每一张样本图像的1×1×2048维特征表示向量；

聚类子步骤：根据特征表示向量和聚类算法获取样本图像集合的多个中心特征向量；具体地，对样本图像集合对应的特征表示向量，利用K-Means聚类算法求取该类别的K个中心特征向量作为该类别的有效模板数据集，获取每个类别的中心特征向量可以提高代表性，提高检测精度；

权重获取子步骤：根据样本图像集合的样本数量、K个中心特征向量的分布特点获取每个中心特征向量的融合权重；

类模板特征获取子步骤：根据多个中心特征向量和对应的融合权重获取样本图像集合对应的类模板特征，实现每个车辆类别的自适应K特征融合，加权计算后可以得到每个车辆类别的1×1×2048维的类模板特征。

进一步地，利用类模板特征获取步骤可以获取车辆样本集的多个类模板特征；车辆目标检测步骤S4利用车辆目标检测模型对待分类的车辆图像获取待分类的车辆目标后，再利用车辆分类步骤S5进行具体的车辆分类，车辆分类步骤S5具体包括：

S51、待分类的车辆目标表示子步骤：根据车辆目标特征表示模型获取待分类的车辆目标的待分类特征表示向量；将待分类的车辆目标输入到已经训练好的级联CNN网络中，提取对应的1×1×2048维特征表示向量f_test＝(x₁，…，x₂₀₄₈)。

S52、相似度获取子步骤：根据待分类的特征表示向量和多个类模板特征获取多个相似度；将提取的1×1×2048维f_test特征与多个类模板特征f_k＝(y₁，…，y₂₀₄₈)，c∈1，…，C计算相似度，相似度计算公式为：

S53、车辆分类子步骤：获取相似度最大的车辆类别作为待分类的车辆目标的车辆类别。将计算得到的相似度结果进行排序，取相似度最大的车辆类别作为待分类的车辆目标的车辆类别，即求P＝argmax_cd_Euclidean。

本实施例的车辆自动分类方法可以有效地处理实际场景中多角度和多变化的车型分类任务，计算方案简单有效，满足实际车辆目标分类的应用。

实施例2

基于实施例1提供实施例2，实施例2提出一种车辆自动分类装置，包括：

车辆目标检测模型训练单元，用于根据车辆样本集训练车辆目标检测模型；

车辆目标特征表示模型训练单元，用于根据车辆样本集训练车辆目标特征表示模型；

车辆目标检测单元，用于根据待分类的车辆图像和车辆目标检测模型获取待分类的车辆目标；

车辆分类单元，用于根据待分类的车辆目标和车辆目标特征表示模型获取车辆的分类结果。

进一步地，车辆自动分类装置还包括类模板特征获取单元，用于对车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征；具体地，类模板特征获取单元包括：

特征表示模块，用于根据车辆目标特征表示模型获取样本图像集合的每一张样本图像的特征表示向量，

聚类模块，用于根据特征表示向量和聚类算法获取样本图像集合的多个中心特征向量；

权重获取模块，用于根据样本图像集合的样本数量、中心特征向量的分布特点获取每个中心特征向量的融合权重；

类模板特征获取模块，用于根据多个中心特征向量和对应的融合权重获取样本图像集合对应的类模板特征。

进一步地，车辆分类单元具体包括：

待分类的车辆目标表示模块，用于根据车辆目标特征表示模型获取待分类的车辆目标的待分类特征表示向量；

相似度获取模块，用于根据待分类特征表示向量和多个类模板特征获取多个相似度；

车辆分类模块，用于获取相似度最大的车辆类别作为待分类的车辆目标的车辆类别。

车辆自动分类装置的具体工作过程参照实施例1的描述，不再赘述。

实施例3

一种车辆自动分类设备，包括：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的车辆自动分类方法。车辆自动分类方法参照实施例1的描述，不再赘述。

实施例4

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的车辆自动分类方法。车辆自动分类方法参照实施例1的描述，不再赘述。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种车辆自动分类方法，其特征在于，包括：

车辆样本集获取步骤：根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集；所述图像外观扩展包括对车辆外观的新旧程度和/或车辆外观的毁损程度进行变换扩展；

车辆分类步骤：根据所述待分类的车辆目标和所述车辆目标特征表示模型获取车辆的分类结果；

类模板特征获取步骤：对所述车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征；

所述类模板特征获取步骤具体包括：

特征表示子步骤：根据所述车辆目标特征表示模型获取所述样本图像集合的每一张样本图像的特征表示向量；

2.根据权利要求1所述的车辆自动分类方法，其特征在于，所述车辆样本集获取步骤具体包括：

3.根据权利要求2所述的车辆自动分类方法，其特征在于，所述车辆模型处理子步骤具体包括：

4.根据权利要求1至3任一项所述的车辆自动分类方法，其特征在于，所述车辆目标检测模型包括快速区域卷积神经网络，所述快速区域卷积神经网络的共享子网络中的卷积层为多分支膨胀卷积结构。

5.根据权利要求4所述的车辆自动分类方法，其特征在于，所述多分支膨胀卷积结构包括输入层、多个膨胀卷积支路、全连接层、与所述全连接层、所述输入层均连接的1×1卷积层、以及与所述1×1卷积层连接的输出层，所述膨胀卷积支路包括膨胀卷积层、与所述膨胀卷积层连接的1×1卷积层，所述膨胀卷积层的膨胀率各不相同，所述输入层与所述膨胀卷积层的输入端连接，所述膨胀卷积支路的1×1卷积层与所述全连接层连接。

6.根据权利要求4所述的车辆自动分类方法，其特征在于，所述车辆目标检测模型训练步骤具体包括：

7.根据权利要求1至3任一项所述的车辆自动分类方法，其特征在于，所述车辆目标特征表示模型包括级联CNN结构，所述级联CNN结构包括多个CNN网络，所述级联CNN结构采用全连接的方式，具体地，先对低层的卷积特征进行均值池化的下采样操作，再与下一层的卷积特征相连接，将上下级的卷积特征两两相结合。

8.根据权利要求7所述的车辆自动分类方法，其特征在于，所述车辆目标特征表示模型的损失函数为Softmax和Center Loss组成的联合监督损失函数。

9.根据权利要求1所述的车辆自动分类方法，其特征在于，所述车辆分类步骤具体包括：

10.一种车辆自动分类装置，其特征在于，包括：

车辆样本集获取单元，用于根据车辆图像样例和/或车辆模型进行图像外观扩展以获取车辆样本集；所述图像外观扩展包括对车辆外观的新旧程度和/或车辆外观的毁损程度进行变换扩展；

车辆分类单元，用于根据所述待分类的车辆目标和所述车辆目标特征表示模型获取车辆的分类结果；

类模板特征获取单元，用于对所述车辆样本集中的属于同个车辆类别的样本图像集合获取对应的类模板特征；

所述类模板特征获取单元具体包括：

特征表示子单元，用于根据所述车辆目标特征表示模型获取所述样本图像集合的每一张样本图像的特征表示向量；

聚类子单元，用于根据所述特征表示向量和聚类算法获取所述样本图像集合的多个中心特征向量；

权重获取子单元，用于根据所述样本图像集合的样本数量、所述中心特征向量的分布特点获取每个中心特征向量的融合权重；

类模板特征获取子单元，用于根据多个所述中心特征向量和对应的融合权重获取所述样本图像集合对应的类模板特征。

11.一种车辆自动分类设备，其特征在于，包括：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9任一项所述的车辆自动分类方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至9任一项所述的车辆自动分类方法。