CN111079640B - 一种基于自动扩增样本的车型识别方法及系统 - Google Patents

Abstract

本发明提供了一种基于自动扩增样本的车型识别方法及系统。车型识别方法步骤为，首先对车辆图像进行预处理和标注；然后训练车辆检测网络；同时基于生成对抗网络构建的样本生成模块，生成新的车辆图像数据，即为生成样本，对生成样本进行自动标注，训练车型识别网络；最后部署在线车辆检测网络和车型识别网络。所述系统包括车辆图像预处理和标注模块、车辆检测模块、样本生成模块、生成样本自动标注模块和车型识别模块。本车型识别方法解决了在样本不足的情况下，从多种不同角度拍摄的车辆图像，其车型识别率不高的问题。

Description

一种基于自动扩增样本的车型识别方法及系统

技术领域

本发明涉及目标识别技术领域和车辆识别技术领域，具体是一种基于自动扩增样本的车型识别方法及系统。

背景技术

当今社会，随着人们生活水平的提高和城市化的加速发展，人均车辆保有量随之增大，随之产生的交通问题与社会问题也日益显著。而车辆识别技术是计算机视觉和智能交通领域的一个重要分支，在分析交通流量、规范交通秩序、停车场收费管理、卡口系统、交通事故检测和打击盗窃车辆等领域有着广泛的应用。

申请日为2014年12月30日，公布日为2019年07月19日，授权公告号为CN105809088B的中国发明专利申请“车辆识别方法和系统”。公开了一种车辆识别方法和系统。该方法包括：获得被检查车辆的外观信息，并且基于外观信息得到车辆的外部特征；获得车辆的透射图像，并且基于透射图像得到车辆的内部特征；至少基于外部特征和内部特征形成车辆的描述；以及利用描述从车型数据库中确定车辆的车型。该方案的识别率受车辆内部杂物多少以及大小的影响较大。

申请日为2019年01月17日，公布日为2019年06月18日，公布号为CN109902563A的中国发明专利申请“一种多角度车型识别方法及系统”。公开了一种多角度车型识别方法及系统，该方法包括以下步骤：收集多角度车辆图片，构建多角度车辆数据库，进行预处理获得多角度车辆训练图片，未经预处理的图片作为测试样本图片；构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积；对所述多角度车辆训练图片进行卷积神经网络训练，获得多角度车辆识别模型；通过所述车辆识别模型对所述多角度车辆数据库内的所述测试样本图片进行分类识别。然而该系统在样本不足的情况下，识别率受到一定的限制，识别率不高。

发明内容

技术问题：车型识别属于精细识别问题，由于车辆型号种类繁多，部分车型之间的相似度较大，不同角度拍摄的同一车型外观变化也很大，因此车型识别存在一定难度。尤其是当样本不充足时，识别难度增大。本技术方案要解决的问题就是，在样本不足的情况下，针对从多种不同细微角度拍摄的车辆，其车型的识别问题。

技术方案：

本发明的一种基于自动扩增样本的车型识别方法及系统，包括以下技术方案：

一种基于自动扩增样本的车型识别方法，包括以下步骤：

S1：车辆图像的预处理与标注：车辆图像归一化处理，人工标注，得到标注的图像；

S2：训练生成新的车辆图像：将S1中标注的车辆图像及其包含的标签信息，和随机噪声一起作为样本生成网络的输入，训练样本生成网络中的生成网络和判别网络，利用训练好的生成网络生成新的车辆图像，即为生成样本；

S3：对生成样本进行自动标注：利用原始车辆图像初步训练车型识别网络，将生成样本输入初步训练好的车型识别网络中，对生成样本重新进行标定，形成标签信息；

S4：训练车型识别网络：将获得的生成样本作为原图像的扩充数据，将已标注的原图像、生成样本图像和图像对应的标签信息作为车型识别网络的输入，并对车型识别网络进行训练；

S5：训练车辆检测网络：基于S1中标注后的车辆图像初步训练车辆检测网络，将图像分块，若块中心在标注的包围框中，则回归预测包围框大小和位置，并且预测回归的包围框里面的物体是车的置信度，使用非极大值抑制算法确定最终包围框的大小和位置；

S6：在线车型识别系统的部署：将训练好的车辆检测网络和车型识别网络部署到服务器上，对新的车辆图像进行在线识别。

进一步地，所述步骤S1中，将图像大小进行归一化，然后对图像进行镜像操作、均值化、中心化和随机翻转以增加图像数量，将单通道图像改为三通道图像；需要标定的数据有：车辆的类别信息、车辆在图中的坐标位置。

进一步地，所述步骤S2中，样本生成网络采用生成对抗网络技术，由前半部分的生成网络和后半部分的判别网络组成。

进一步地，所述样本生成网络由基本的卷积层、全连接层、自注意力层和采样层组成。

进一步地，所述生成网络中，采样层的结构为“卷积+上采样+卷积”，上采样方法为最近邻法；所述判别网络中，采样层的结构为“卷积+下采样+卷积”，下采样方法为均值池化法。

进一步地，所述自注意力层由三个卷积层组成，假设自注意力层接收到的数据为

输出的自注意力层为

则对于第j通道的第i位置的自注意力权重为

式中，

N的大小为自注意力层输入特征图的宽和高的乘积，C₁、C₂为通道数，C₂＝C₁/8，W_Q和W_K分别为可学习的矩阵参数，d为输入距离参数；

基于自注意力权重，计算最终输出，为：

式中，b_j为正则项参数，

W_V是可学习的矩阵参数，

将原数据X加上加权后的注意力层的数据作为注意力层最终的输出，则：

Y＝λY+X，

式中：参数λ的值随训练批次从0线性增长到1。

进一步地，所述生成网络的输入为噪声和车辆图像标签，输出为生成图像，判别网络的输入为生成图像、原始图像和图像对应标签。

进一步地，包括以下模块：

车辆图像预处理和标注模块，用于车辆图像归一化处理，人工标注，得到标注的车辆图像，即为原始车辆图像；

车辆检测模块，以车辆图像预处理和标注模块中标注的原始车辆图像为训练集，进行车辆检测模块的训练；在进行车型识别之前，先利用车辆检测模块进行车辆的检测；

样本生成模块，将原始车辆图像和标签作为样本生成网络的输入，训练样本生成网络中的生成网络和判别网络，利用训练好的生成网络生成新的车辆图像，得到生成样本，送入生成样本自动标注模块；

生成样本自动标注模块，接收样本生成模块的生成样本，利用原始车辆图像初步训练车型识别网络，将生成样本输入初步训练好的车型识别网络中，对生成样本重新进行标注，形成标签信息；

车型识别模块，接收生成样本自动标注模块标注的生成样本，将生成样本作为原图像的扩充数据，将已标注的原图像、生成图像和图像对应的标签信息作为车型识别网络的输入，对车型识别网络进行训练，接受车辆检测模块中检测出的车辆，进行其车型的自动识别。

有益效果：

本发明采用生成对抗网络技术，在已有车辆样本的基础上，通过对抗训练，生成新的车辆样本，扩充了原始图像的数据集，从而解决了样本不足情况下因为训练不充足而导致特征提取不足，致使车型识别率不高的问题。所述样本生成网络由生成网络和判别网络组成，包含基本的卷积层、全连接层、自注意力层和采样层。通过搭建新的生成对抗网络，将自我注意力机制融入生成对抗网络，在一定程度上解决了生成对抗网络难以训练的问题，使生成的车辆样本更加逼近真实。

附图说明

图1为系统结构示意图；

图2为样本生成模块网络示意图。

具体实施方式

下面结合具体实施例对本发明进一步进行描述。

所述的方法如图1所示，其中步骤包括：

S1：车辆图像的预处理与标签的标注：

控制摄像装置拍摄车辆行驶中的图像，对所得到的所有图像进行人工标注和预处理，标注车辆所在包围框的位置和大小、车辆的类型。将所有图像大小归一化为448×448，并在训练前对所有图像进行镜像操作、均值化、中心化和随机翻转等以增加图像数量。如果有单通道图像则改为三通道图像。

S2：样本生成模块的训练：

将S1中包围框中车辆图像归一化到256×256大小，将其输入生成对抗网络。如图2所示，生成对抗网络由生成网络(又称生成器G)和判别网络(又称判别器D)构成，生成网络由卷积层、上采样层、自注意力层和全连接层组成，输入为噪声和标签，输出为生成图像。判别网络由卷积层、下采样层、自注意力层和全连接层组成，输入为生成图像、原始图像和对应的标签，输出为生成图像的类别是对应标签的概率。

训练时，将512维服从均匀分布的噪声向量z和标签值c作为生成网络的输入数据。在分别经过全连接层后进行reshape操作，将其转换为4×4×256大小的特征矩阵，将两个特征矩阵进行加性融合作为后续网络输入。

在开始训练时，生成网络的输出和判别网络的输入均为4×4大小的特征图像。当一轮训练完毕之后，在生成网络中增加新的卷积层和上采样层，在判别网络中增加新的卷积层和下采样层。从而使生成网络的输出和判别网络的输入提高为8×8大小的特征图像。以此类推，在每次训练稳定之后，逐步提升特征图像的大小，直到生成需要的256×256大小的高分辨率图像。

当生成网络的输出和判别网络的输入提升到64×64大小之后，在生成网络中增加新的卷积层和上采样层之后再加上注意力层，在判别网络中增加新的卷积层和下采样层之后再加上注意力层。注意力层的操作为：对输入的特征分别进行三次卷积，分别得到Q、K和V，Q和K的输出通道为原通道的1/8，V的输出通道与原通道数量相等。将Q和K延展为一维矩阵，不同通道分别进行相乘，之后再还原成与V大小相同的矩阵，将其输入softmax层，将得到的结果与V对应位置相乘，得到注意力层的输出。

S3：生成样本自动标注模块：

将生成好的图像输入初步训练的车型识别模块，得到其在初步识别模块的输出。对于生成的第K类图像，考虑到其特征不仅对第K类有贡献，对其他类也有一定的贡献，因此，它在其他类别上的标签并不为零。在此基础上剔除生成质量较差的图像，以减小对特征提取的负面影响。如下面公式所示，对于生成标签c∈{1,2,...,K}下生成的图像X，利用初步训练的车型识别模块对其重新识别，将得到的识别结果f(x)与原始类别c对比，若f(x)与c相等，则将生成图像标签标为初步训练的车型识别模块中softmax层输出结果P(x)。若不相等，则直接将其标为K+1类。

S4：车型识别模块的训练：

利用原始图像、图像包围框和其对应的标签对车型识别模块进行训练，得到初步的训练结果。在此基础上，利用初步训练的识别网络，将生成图像输入到识别网络中，进行识别，设定阈值α，将标签为K+1的图像和max(P(x))小于阈值α的图像直接从生成图像中剔除。最终得到的生成图像标签是一个K维的分布，不会增加新的类，减小了错误生成的图像对识别结果的影响。将生成图像和原始图像再一起作为训练集对车型识别模块进行训练，得到最终训练好的识别网络模型。

S5：车辆检测模块的训练：

使用MobileNet V2作为检测网络的基础网络，将原图像分割为13×13大小的块。判断块中心是否在标注的包围框中，若在包围框中，则回归预测包围框大小和位置，并预测回归的包围框内的物体是车的置信度。最后得到169个包围框，剔除置信度小于0.4的包围框，使用非极大值抑制算法确定最终包围框的大小和位置。将原图包围框中的车辆图像裁剪出，测试时将其传入下一步车型识别网络中。

S6：在线车型识别系统的部署：

将训练好的模型部署到服务器上，接收从卡口相机拍摄的图像，将图像输入模型。在线识别不需要使用生成模型。其流程为：服务器接收卡口相机拍摄的图像，经过检测模块检测出车辆的位置信息，再经过车型识别模块进行识别，将识别结果返回。

Claims (8)

1.一种基于自动扩增样本的车型识别方法，其特征在于，包括以下步骤：

S1：车辆图像的预处理与标注：车辆图像归一化处理，人工标注，得到标注的图像；

S2：训练生成新的车辆图像：将S1中标注的车辆图像及其包含的标签信息，和随机噪声一起作为样本生成网络的输入，训练样本生成网络中的生成网络和判别网络，利用训练好的生成网络生成新的车辆图像，即为生成样本；

S3：对生成样本进行自动标注：利用原始车辆图像初步训练车型识别网络，将生成样本输入初步训练好的车型识别网络中，对生成样本重新进行标定，形成标签信息；

S4：训练车型识别网络：将获得的生成样本作为原图像的扩充数据，将已标注的原图像、生成样本图像和图像对应的标签信息作为车型识别网络的输入，并对车型识别网络进行训练；

S5：训练车辆检测网络：基于S1中标注后的车辆图像初步训练车辆检测网络，将图像分块，若块中心在标注的包围框中，则回归预测包围框大小和位置，并且预测回归的包围框里面的物体是车的置信度，使用非极大值抑制算法确定最终包围框的大小和位置；

S6：在线车型识别系统的部署：将训练好的车辆检测网络和车型识别网络部署到服务器上，对新的车辆图像进行在线识别。

2.根据权利要求1所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述步骤S1中，将图像大小进行归一化，然后对图像进行镜像操作、均值化、中心化和随机翻转以增加图像数量，将单通道图像改为三通道图像；需要标定的数据有：车辆的类别信息、车辆在图中的坐标位置。

3.根据权利要求1所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述步骤S2中，样本生成网络采用生成对抗网络技术，由前半部分的生成网络和后半部分的判别网络组成。

4.根据权利要求3所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述样本生成网络由基本的卷积层、全连接层、自注意力层和采样层组成。

5.根据权利要求4所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述生成网络中，采样层的结构为“卷积+上采样+卷积”，上采样方法为最近邻法；所述判别网络中，采样层的结构为“卷积+下采样+卷积”，下采样方法为均值池化法。

6.根据权利要求4所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述自注意力层由三个卷积层组成，假设自注意力层接收到的数据为

输出的自注意力层为

则对于第j通道的第i位置的自注意力权重为

式中，

N的大小为自注意力层输入特征图的宽和高的乘积，C₁、C₂为通道数，C₂＝C₁/8，W_Q和W_K分别为可学习的矩阵参数，d为输入距离参数；

基于自注意力权重，计算最终输出，为：

式中，b_j为正则项参数，

W_V是可学习的矩阵参数，

将原数据X加上加权后的注意力层的数据作为注意力层最终的输出，则：

Y＝λY+X，

式中：参数λ的值随训练批次从0线性增长到1。

7.根据权利要求4所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述生成网络的输入为噪声和车辆图像标签，输出为生成图像，判别网络的输入为生成图像、原始图像和图像对应标签。

8.一种实现权利要求1所述方法的车型识别系统，其特征在于，包括以下模块：

车辆图像预处理和标注模块，用于车辆图像归一化处理，人工标注，得到标注的车辆图像，即为原始车辆图像；

车辆检测模块，以车辆图像预处理和标注模块中标注的原始车辆图像为训练集，进行车辆检测模块的训练；在进行车型识别之前，先利用车辆检测模块进行车辆的检测；

样本生成模块，将原始车辆图像和标签作为样本生成网络的输入，训练样本生成网络中的生成网络和判别网络，利用训练好的生成网络生成新的车辆图像，得到生成样本，送入生成样本自动标注模块；

生成样本自动标注模块，接收样本生成模块的生成样本，利用原始车辆图像初步训练车型识别网络，将生成样本输入初步训练好的车型识别网络中，对生成样本重新进行标注，形成标签信息；

车型识别模块，接收生成样本自动标注模块标注的生成样本，将生成样本作为原图像的扩充数据，将已标注的原图像、生成图像和图像对应的标签信息作为车型识别网络的输入，对车型识别网络进行训练，接受车辆检测模块中检测出的车辆，进行其车型的自动识别。

Images