CN116824270A - 一种基于注意力机制改进的小样本车型识别方法 - Google Patents

Abstract

本申请提供了一种基于注意力机制改进的小样本车型识别方法，解决了现有车型识别方法在少量样本的情况下识别精度低的技术问题，包括：步骤一，提取车辆图像样本的特征图；步骤二，将特征图输入第一注意力模块，采用全局平均池化，生成注意力权重图_1；步骤三，使用注意力权重图_1，对特征图加权、卷积，得到新特征图；步骤四，将新特征图输入第二注意力模块，采用全局最大池化，生成注意力权重图_2；步骤五，使用注意力权重图_2，对新特征图加权，得到细化特征图；步骤六，将细化特征图输入全卷积网络分类模块，计算属于每个车型类别的概率。本发明广泛应用于车型识别技术领域。

Description

一种基于注意力机制改进的小样本车型识别方法

技术领域

本申请涉及一种车型识别方法，更具体地说，是涉及一种基于注意力机制改进的小样本车型识别方法。

背景技术

车型识别是一种基于计算机视觉对车辆信息进行自动识别的技术。通过提取车辆外观特征，来识别车辆的品牌、型号等信息。目前，车型识别技术广泛应用于交通管理、车辆安全、智能交通等领域。

传统的车型识别方法主要是基于特征提取和分类器的方法。具体来说，这种方法首先需要从汽车图片中提取出有效特征，例如车辆的形状、颜色、标识等，然后使用分类器对提取的特征与已知车型进行匹配，从而得到最终的车型识别结果。但是，这种方法通常需要人为设计特征提取器，耗费大量的人力成本和时间成本；同时，还存在识别精度和效率低下的问题。

近年来，基于深度学习的模型被广泛应用于车型识别领域。深度学习模型具有较高的精度和鲁棒性，能够通过多层神经网络结构自动从大量数据中学习到有用的特征，从而避免了手工特征提取的缺点。然而，基于深度学习的车型识别算法存在以下两点问题。（1）数据不平衡问题。由于车型众多，某些车型的样本数量相对较少，深度学习模型依赖于大量标注样本进行训练，在样本量较少时，识别精度显著下降。（2）新增车型识别问题。随着汽车行业的快速发展，新的车型不断推出。基于深度学习的方法在每次新增车型时都需要收集和标注大量样本重新训练模型，这是非常困难和耗时的。

因此，利用少量样本迅速适应新车型的识别，从而及时更新车型识别系统是非常有必要的。

发明内容

为解决上述技术问题，本申请提出了一种基于注意力机制改进的小样本车型识别方法，包括：

步骤一，提取车辆图像样本的特征图；

步骤二，将特征图输入第一注意力模块，采用全局平均池化，生成注意力权重图_1；

步骤三，使用注意力权重图_1，对特征图加权、卷积，得到新特征图/>；

步骤四，将新特征图输入第二注意力模块，采用全局最大池化，生成注意力权重图_2；

步骤五，使用注意力权重图_2，对新特征图加权，得到细化特征图/>；

步骤六，将细化特征图输入全卷积网络分类模块，生成车型识别模型，对车辆图像进行识别，计算属于每个车型类别的概率。

优选地，当新增车型时，对步骤六生成的车辆识别模型进行微调：采用基于内循环准确率加权的多步损失训练算法。

优选地，采用基于内循环准确率加权的多步损失训练算法，具体指：

对于一个元学习任务，计算每一步内循环的准确率与损失值，并按照准确率的大小对损失值赋予权重，即准确率越高权重越大，反之亦然；最后，外循环梯度更新时会用到内循环所有步数的损失权重参数。

优选地，步骤一，具体步骤包括：

将车辆图像样本输入特征提取模块进行特征提取，其中，车辆图像样本，卷积核/>，特征提取模块为三层卷积神经网络，卷积操作公式为：

(1)

其中，分别代表车辆图像样本的高度、宽度、通道数以及卷积核的个数；/>代表X的一个通道，/>代表k的二维空间滤波器；特征提取模块输出的特征图为：

(2)。

优选地，步骤二，具体步骤包括：

将特征图输入到全局平均池化层，得到全局平均池化特征，即：

(3)

将全局平均池化特征输入两个全连接层，得到注意力权重图_1：

(4)

上述公式（3）、（4）中，和/>为特征图/>的高度和宽度，/>代表sigmoid函数， 、/>分别代表两个全连接层的权重参数，/>代表注意力权重图_1的权重参数。

优选地，步骤三，具体步骤包括：

使用注意力权重图_1，对特征图加权：

(5)

随后，对加权特征图集合进行卷积操作，得到新特征图/>：

(6)。

优选地，步骤四，具体步骤包括：

将新特征图输入到全局平均池化层，得到全局最大池化特征：

(7)

将全局最大池化特征输入两个全连接层，得到注意力权重图_2：

(8)

其中，,/>为新特征图/>的高度和宽度，/> 、/>分别代表两个全连接层的权重参数，/>代表注意力权重图_2的权重参数。

优选地，步骤五，细化特征图：

(9)

本发明的有益效果：（1）在模型结构方面，采用双通道注意力模块，使模型既能关注到车辆的一般性特征，又能够自动捕捉到车辆的判别性特征；（2）在模型优化方面，提出了一种新的元学习优化方法，解决训练梯度不稳定的问题。本专利提出的车型识别方法极大的减少了样本标注量，可以在仅有5-10张新车型图片的情况下快速进行模型更新，具有训练速度快，人力成本低的优势。本发明方法具有样本标注量极少、模型训练稳定、泛化性能强、识别精度率高的优势。本发明适用于智能交通系统，如交通违法监控、智能停车场管理、高速路智能卡口等，通过识别详细的车型信息，结合车牌、车辆属性进行车辆身份校验，保障车辆安全。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为基于注意力机制改进的小样本车型识别方法的车型识别模型训练网络结构图；

图2为基于注意力机制改进的小样本车型识别方法的模型微调方法流程图；

图3为基于注意力机制改进的小样本车型识别方法的智能交通管理系统网拓扑图。

具体实施方式

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明基于元学习思想，针对现有模型在少量样本的情况下识别精度低的问题，提出了基于注意力机制改进的小样本车型识别模型。

现对本申请实施例提供的基于注意力机制改进的小样本车型识别方法进行说明。

请参阅图1，本申请提出了一种基于注意力机制改进的小样本车型识别方法，包括以下步骤：

步骤一，提取车辆图像样本的特征图。具体地，将车辆图像样本输入特征提取模块进行特征提取，其中，车辆图像样本，卷积核，特征提取模块具体为三层卷积神经网络，卷积操作公式为：

(1)

其中，分别代表车辆图像样本的高度、宽度、通道数以及卷积核的个数；/>代表X的一个通道，/>代表k的二维空间滤波器。特征提取模块输出的特征图为：

(2)

现有的小样本学习模型用于车型识别任务时，通常不加区分的从输入图像的每个区域提取特征（例如，使用3*3的卷积核对整个图像进行卷积），这会导致两个问题：第一是模型缺乏全局信息，第二是不能有效的关注到显著性特征。针对上述问题，本发明设计了双通道注意力模块，该模块是一个可计算单元，包含了两个顺序排列的注意力模块，分别是第一注意力模块、第二注意力模块。第一注意力模块通过全局平均池化关注车辆的一般性特征，第二注意力模块通过全局最大池化聚焦显著性特征，即判别性特征，有效提升车型识别的准确率。

因此，步骤二，将特征图输入第一注意力模块，生成注意力权重图_1。第一注意力模块采用全局平均池化（GAP），来获取全局上下文信息，关注车辆的一般性特征，弥补过度定位的问题。具体地：

将特征提取模块得到的特征图输入到全局平均池化层，得到全局平均池化特征，即：

(3)

将全局平均池化特征输入两个全连接层，得到注意力权重图_1：

(4)

上述公式（3）、（4）中，和/>为特征图/>的高度和宽度，/>代表sigmoid函数， 、/>分别代表两个全连接层的权重参数，/>代表注意力权重图_1的权重参数。

步骤三，使用注意力权重图_1，即，对特征图/>进行加权，得到加权特征图/>：

(5)

随后，对加权特征图集合进行卷积操作，得到新特征图：

(6)

步骤四，将新特征图输入第二注意力模块，生成注意力权重图_2，如公式（7）和公式（8）。第二注意力模块采用全局最大池化（GMP），用于定位不同类别之间具有显著性差异的区域，从而为车型识别提供判别性信息。具体地：

将新特征图输入到全局平均池化层，得到全局最大池化特征，即：

(7)

将全局最大池化特征输入两个全连接层，得到注意力权重图_2：

(8)

其中，,/>为新特征图/>的高度和宽度，/> 、/>分别代表两个全连接层的权重参数，/>代表注意力权重图_2的权重参数。

步骤五，使用注意力权重图_2，即，对新特征图/>加权，得到最终的细化特征图/>：

(9)

通过第一注意力模块汇聚全局信息，第二注意力模块侧重强调最突出的区域，这两个注意力模块根据特征的相关性动态生成权重参数，并将注意力权重附加到原特征上，最终获得细化特征图。

步骤六，将细化特征图输入分类模块，生成车型识别模型，对待识别车辆图像进行识别，计算属于每个车型类别的概率。具体地，分类模块采用全卷积网络。传统的小样本学习算法通常采用卷积层和全连接层作为特征嵌入网络，然而，全连接层会将输入特征图展平为一维向量，这会导致重要的空间信息丢失，从而减弱了整个网络的泛化能力。为了克服上述问题，分类模块采用两个卷积层来替换全连接层，有效保护对车型分类重要的空间信息，进一步增加了模型的泛化性和稳定性。

将模型应用于新增车型时，需要对模型进行优化后再应用。现有小样本学习模型在外循环梯度更新时，只选取内循环最后一步的损失值进行计算，而前几步得到的参数不能参与模型更新，这会导致模型训练不稳定的问题。因此，本发明采用基于内循环准确率加权的多步损失训练算法，提高模型训练的稳定性。只需要对参数进行微调操作即可应用，具体流程如图2所示。首先获取5-10张新车型样本图片，输入到车型识别模型中对参数进行微调，得到训练后的模型，当获取到待识别车辆图像，即可利用训练后的模型输出对应的车型识别结果。

具体训练方法为，对于一个元学习任务，计算每一步内循环的准确率与损失值，并按照准确率的大小对损失值赋予权重，即准确率越高权重越大，反之亦然；最后，外循环梯度更新时会用到内循环所有步数的损失权重参数。

通过引入基于内循环准确率的损失权重参数，本发明的模型优化方法能够根据任务迭代期间的准确率和更新步数，针对性地调整共享参数的更新策略，从而提高模型训练的稳定性，并进一步提升车型识别的准确率。

车型识别模型优化流程，包括元训练阶段，所述元训练阶段的前置条件为，该车型识别模型包含：车辆图片生成器G，元训练数据S，元学习模型M，模型参数θ，内循环步数N。所述元训练阶段步骤如下：

1）外层循环开始，车辆图片生成器G随机生成五种类别的车辆图片，每个类别包含20张带标签样本，并按照设定比例将各个类别划分为支撑集spt和查询集qry；

2）对数据集合进行预处理，统一处理为设定尺寸，得到模型输入数据S，即元训练数据；

3）内层循环开始，从S中取出支撑集spt，输入到元学习模型M中，结合模型共享参数θi-1计算出准确率acci与损失Li，并对M的参数进行梯度更新，得到新的参数θi，其中i为当前内层循环的步数；

4）重复步骤3）共计N（内循环步数）次，结束内层循环。

5）对内循环的损失Li加权求和，并利用ADAM算法对模型参数优化。其中，β为模型学习率，B为单次训练传给模型的训练样本个数，为内循环第i步时，基于准确率acci求取的权重参数：

(10)

6）重复步骤1）~5）直到完成所有的任务。

本发明提出一种基于注意力机制改进的小样本车型识别方法。由于车型识别具有不同类别间差异很小，同时类别内差异较大的特点，因此，本发明提出的方法主要对两方面进行优化：（1）在模型结构方面，采用双通道注意力模块，使模型既能关注到车辆的一般性特征，又能够自动捕捉到车辆的判别性特征；（2）在模型优化方面，提出了一种新的元学习优化方法，解决训练梯度不稳定的问题。本专利提出的车型识别方法极大的减少了样本标注量，可以在仅有5-10张新车型图片的情况下快速进行模型更新，具有训练速度快，人力成本低的优势。同时，模型具有较高的识别精度，能够满足工业化需求。本发明方法具有样本标注量极少、模型训练稳定、泛化性能强、识别准确率高的优势。本发明适用于智能交通系统，如交通违法监控、智能停车场管理、高速路智能卡口等，通过识别详细的车型信息，结合车牌、车辆属性进行车辆身份校验，保障车辆安全。

将本车型识别方法应用于智能交通管理系统，请参阅图3，为该智能交通管理系统的网络拓扑图。通过部署车型识别服务器集群，并以接口方式接收交通检测设备拍摄的车辆照片，自动识别并分类车辆品牌、型号和颜色等信息。通过将车辆品牌和型号等信息提供给电子收费系统，为车辆通行费用的计算和收费提供数据支持；统计车辆数量、车型和行驶速度等信息并提供给交通流量管理系统，为交通流量调度和规划提供数据支持；接入交警系统，对套牌车辆、车牌污损、和故意遮挡号牌的车辆进行识别，辅助违法行为筛查；接入停车管理系统，通过对车辆品牌、型号的自动识别和分类，方便车主进行快速的停车和取车。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于注意力机制改进的小样本车型识别方法，其特征在于，包括：

步骤一，提取车辆图像样本的特征图；

步骤二，将特征图输入第一注意力模块，采用全局平均池化，生成注意力权重图_1；

步骤三，使用注意力权重图_1，对特征图加权、卷积，得到新特征图/>；

步骤四，将新特征图输入第二注意力模块，采用全局最大池化，生成注意力权重图_2；

步骤五，使用注意力权重图_2，对新特征图加权，得到细化特征图/>；

步骤六，将细化特征图输入全卷积网络分类模块，生成车型识别模型，对车辆图像进行识别，计算属于每个车型类别的概率。

2.如权利要求1所述的基于注意力机制改进的小样本车型识别方法，其特征在于：当新增车型时，对所述步骤六生成的车辆识别模型进行微调：采用基于内循环准确率加权的多步损失训练算法。

3.如权利要求2所述的基于注意力机制改进的小样本车型识别方法，其特征在于：采用基于内循环准确率加权的多步损失训练算法，具体指：

对于一个元学习任务，计算每一步内循环的准确率与损失值，并按照准确率的大小对损失值赋予权重，即准确率越高权重越大，反之亦然；最后，外循环梯度更新时会用到内循环所有步数的损失权重参数。

4.如权利要求1-3任一所述的基于注意力机制改进的小样本车型识别方法，其特征在于：所述步骤一，具体步骤包括：

将车辆图像样本输入特征提取模块进行特征提取，其中，车辆图像样本，卷积核/>，特征提取模块为三层卷积神经网络，卷积操作公式为：

(1)

其中， 分别代表车辆图像样本的高度、宽度、通道数以及卷积核的个数；/>代表X的一个通道，/>代表k的二维空间滤波器；特征提取模块输出的特征图为：

(2)。

5.如权利要求4所述的基于注意力机制改进的小样本车型识别方法，其特征在于：所述步骤二，具体步骤包括：

将特征图输入到全局平均池化层，得到全局平均池化特征，即：

(3)

将全局平均池化特征输入两个全连接层，得到注意力权重图_1：

(4)

上述公式（3）、（4）中，和/>为特征图/>的高度和宽度，/> 代表sigmoid函数，/> 、 分别代表两个全连接层的权重参数，/>代表注意力权重图_1的权重参数。

6.如权利要求5所述的基于注意力机制改进的小样本车型识别方法，其特征在于：所述步骤三，具体步骤包括：

使用注意力权重图_1，对特征图加权：

(5)

随后，对加权特征图集合进行卷积操作，得到新特征图/>：

(6)。

7.如权利要求6所述的基于注意力机制改进的小样本车型识别方法，其特征在于：所述步骤四，具体步骤包括：

将新特征图输入到全局平均池化层，得到全局最大池化特征：

(7)

将全局最大池化特征输入两个全连接层，得到注意力权重图_2：

(8)

其中，,/>为新特征图/>的高度和宽度，/> 、/>分别代表两个全连接层的权重参数，/>代表注意力权重图_2的权重参数。

8.如权利要求7所述的基于注意力机制改进的小样本车型识别方法，其特征在于：所述步骤五，细化特征图：

(9)。