CN114155496B - 一种基于自注意力的车辆属性多任务协同识别方法 - Google Patents

Abstract

本发明公开了一种基于自注意力的车辆属性多任务协同识别方法，包括构建训练数据集、构建深度学习网络结构、深度神经网络训练三部分。该种基于自注意力的车辆属性多任务协同识别方法，基于车辆多属性识别问题，设计了一种多任务协同识别网络结构和多任务损失函数，通过参数共享模块融合多个属性之间的共性特征；通过一次网络模型前向计算，输出多个属性任务的预测结果；不仅提升了属性属性识别准确率，而且通过多属性识别网络参数共享降低了网络参数量，大幅减少了计算资源的消耗，降低了成本，便于实际部署。

Description

一种基于自注意力的车辆属性多任务协同识别方法

技术领域

本发明涉及图像分类技术领域，具体为一种基于自注意力的车辆属性多任务协同识别方法。

背景技术

随着人工智能等先进技术的迅猛发展，全国各地也加速推进部署和建设智慧城市。车辆作为智能交通系统的重要组成，结合视频大数据分析技术快速对车辆属性信息有效甄别和统筹，有助于提升智能交通系统的运行效率。车辆颜色、车辆类型、车辆品牌车系、车型等车辆属性作为车辆外观的显著特征，能够为车辆快速定位、追踪、智能化管理提供依据。

传统的车辆属性识别算法大多数都是单个属性对应单个独立的模型，没有考虑到多个属性之间的共性特征；而且在模型部署时，多个独立的模型同时加载，占用计算资源较大，模型处理性能较差，成本较高。因此我们对此做出改进，提出一种基于自注意力的车辆属性多任务协同识别方法。

发明内容

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于自注意力的车辆属性多任务协同识别方法，包括如下步骤：

S1、构建训练数据集，准备一定数量的车体图片数据，并为该数据进行打标车辆属性标签；

S2、构建深度学习网络结构，构建深度学习网络结构分为两部分，第一部分是构建任务自适应图像裁剪子网络R_resizer(w,x)，基于车辆属性任务自适应调整图像的裁剪方式；第二部分是搭建自注意力任务网络和协同共享网络，分别提取各任务特征编码信息和协同任务特征编码信息；

S3、模型训练，使用动态分配的任务平均权重更新多任务损失函数，计算各任务真实值和预测值的之间的损失，使用动态分配的权重加权求取损失和，使用NAdam优化器更新网络，进行模型训练。

作为本发明的一种优选技术方案，所述S2中构建任务自适应图像裁剪子网络R_resizer(w,x)的具体过程如下：

a、先将原始图像通过双线性计算裁剪成矩形图像，计算公式如下：

I＝Billinear(I_src)

其中I为矩形图像，Billinear(·)为双线性操作，I_src为原始图片；

b、I经过任务自适应图像裁剪子网络R_resizer(w,x)计算归一化处理后图像，然后与I求和，计算公式如下：

I_dst＝I+BN(Conv2d(LeakyRelu(Bn(Conv2d(I)))

其中Con2d(·)是R_resizer(w,x)中的卷积操作，BN(·)是R_resizer(w,x)中的批归一化操作，LeakyRelu(·)是LeakyRelu非线性激活函数。

作为本发明的一种优选技术方案，所述S2中搭建协同共享网络，用于学习协同任务的特征编码信息，具体可以表示为：

Net_share(w,x；y)＝[Block₁+Maxpool₁,Block₂+Maxpool₂,Block₃+Maxpool₃,Block₄+Avgpool₄]

其中Block_i为残差子模块，Maxpool_i为最大池化层，Avgpool为全局池化层；

构建自注意力任务网络，用于学习任务k的特征编码信息，具体可表示为：

Net_k(w,x；y)＝[block_k1,block_k2,block_k3]

其中block_ki为任务k模型的子模块。

作为本发明的一种优选技术方案，所述S2中的自注意力任务网络中自注意力机制，即任务k网络子模块与协同共享网络子模块输出进行特征融合，通过卷积操作和激活函数空间映射，与协同共享网络的输出再做内积，便可在学习的过程中生成任务k自注意力掩码，任务k能够在学习过程中挑选协同共享网络局部特征用于学习任务k信息编码，具体计算如下步骤：

a、任务k的block_i可以设计为：

b、任务k的的输出为/>计算与协同共享网络Block_i输出C_i的融合特征，具体可表示为：

其中f_i ^k(·)为特征融合操作；

c、计算任务k的自注意力掩码，具体可表示为：

其中都是由1×1的卷积核组成，/>卷积后经过归一化BN层和RELU层转化成非线性特征，/>卷积后经过归一化BN层和sigmoid激活函数后，将特征转换到[0，1]之间，形成任务k的注意力掩码；

d、output_mask与C_i做点积操作，使得任务k可以在学习过程中自适应选择协同共享网络中的部分权重，具体可表示为：

o_i＝C_i·output_mask

其中·是点积操作；

e、o_i经卷积操作、归一化BN层、RELU层和最大池化层计算，用于适配Block_i+1的输出大小，具体可表示为：

其中为/>的输出，/>是一个3×3的卷积操作。

作为本发明的一种优选技术方案，所述S3模型训练中，动态分配的任务平均权重更新多任务损失函数，按如下步骤进行计算：

a、计算任务k交叉熵损失，具体公式如下：

其中L_k表任务k的交叉熵损失，N表示批处理的图像数目，i表示某一图像，m表示任务k的总类别数，c表示某一类别，y_ic表示第i个图像的标签为c，softmax(y_i′_c)表示任务k模型预测输出；

b、计算任务k的动态加权损失L_kμ，具体公式如下：

其中L_kμ为任务k自适应加权损失，μ＝[μ₁,μ₂]∈R^1×2为自适应梯度更新分配权重，log(·)为取对数操作；

c、计算t时刻的比值更新损失函数，具体公式如下：

其中L_kμ(t)，L_kμ(t-1)表示任务k在t时刻和t-1时刻的动态加权损失，w_k(t)为任务k在t时刻的交叉熵损失和t-1时刻交叉熵损失的比值，是t时刻交叉熵计算比值取指数操作，T表示温度系数；

d、计算多任务网络损失函数，具体公式如下：

本发明的有益效果是：

本发明基于车辆多属性识别问题，提出一种基于自注意力的车辆属性多任务协同识别方法，本发明设计了一种多任务协同识别网络结构和多任务损失函数，通过参数共享模块融合多个属性之间的共性特征；通过一次网络模型前向计算，输出多个属性任务的预测结果；不仅提升了属性识别准确率，而且通过多属性识别网络参数共享降低了网络参数量，大幅减少了计算资源的消耗，降低了成本，便于实际部署。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一种基于自注意力的车辆属性多任务协同识别方法的流程图；

图2是本发明一种基于自注意力的车辆属性多任务协同识别方法的搭建自注意力任务网络和协同共享网络示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例：如图1所示，本发明一种基于自注意力的车辆属性多任务协同识别方法，包括构建训练数据集、构建深度学习网络结构、深度神经网络训练三部分。

1、构建数据集

准备一定数量的车体图数据，本次数据共收集车辆数据160990张。

给车辆数据打标车辆类型和车辆颜色标签，根据数据特点，需打标的车辆类型应包括大型客车、中型客车等32种主要类型。需打标车辆颜色标签应包括黑色、棕色、灰色等14种主要颜色。为后面训练模型做准备；

由于车辆类型的分类类别数较多，为了能保证车辆类型的准确分类，根据车辆类型中的每一类别进行数据集切分，80％用于训练，20％用于测试，最终训练集总数为128782张，测试集总数为32208张。

2构建深度学习网络结构

构建深度学习网络结构分为两部分，第一部分是构建任务自适应图像裁剪子网络R_resizer(w,x)，基于车辆属性任务自适应调整图像的裁剪方式。第二部分是搭建自注意力任务网络和协同共享网络，如图2所示，分别提取任务特征编码信息和协同任务特征编码信息。

2.1构建任务自适应图像裁剪子网络R_resizer(w,x)

(1)自适应图像裁剪子网络的输入图像I_src尺寸是原始图片大小。

(2)先将原始图像通过双线性计算裁剪成矩形，I尺寸是72×72×3，计算公式如下：

I＝Billinear(I_src)

其中Billinear(·)双线性操作，I_src为原始图片。

(3)R_resizer(w,x)由两个卷积层构成，第一个卷积层的卷积核大小为7×7，第二个卷积核大小为1×1，图像I经过两个卷积核和非线性激活函数编码特征后，再与图像I求和，计算如下表示：

I_dst＝I+BN(Conv2d(LeakyRelu(BN(Conv2d(I)))

其中Con2d(·)是R_resizer(w,x)中的卷积操作，BN(·)是R_resizer(w,x)中的批归一化操作，LeakyRelu(·)是leakyRelu激活函数，I_dst图像尺寸大小为72×72×3。

2.2搭建自注意力任务网络和协同共享网络

(1)协同共享网络使用WideResnet，网络深度设置为28，宽度因子设置为4。网络结构可表示为：

Net_share(w,x；y)＝[Block₁+Maxpool₁,Block₂+Maxpool₂,Block₃+Maxpool₃,Block₄+Avgpool₄]

其中Block_i为残差子模块，Maxpool_i为最大池化层，Avgpool为全局池化层，四个特征块的卷积核输出大小分别是16，64，128，256。

(2)构建自注意力任务网络，网络结构可表示为：

Net_k(w,x；y)＝[block_k1,block_k2,block_k3]

其中block_ki为任务k模型的子模块。

2.2.1任务k模型的子模块设计

(1)任务k的block_i可以设计为：

(2)任务k的的输出为/>计算与协同共享网络Block_i输出C_i的融合特征，具体可表示为：

其中f_i ^k(·)为特征融合操作。

(3)计算任务k的自注意力掩码，具体可表示为：

其中都是由1×1的卷积核组成，/>卷积后经过归一化BN层和RELU层转化成非线性特征，/>卷积后经过归一化BN层和sigmoid激活函数后，将特征转换到[0，1]之间，形成任务k的注意力掩码。

(4)output_mask与C_i做点积操作，使得任务k可以在学习过程中自适应选择协同共享网络中的部分权重，具体可表示为：

o_i＝C_i·output_mask

其中·是点积操作。

(5)o_i经卷积操作、归一化BN层、RELU层和最大池化层计算，用于适配Block_i+1的输出大小，具体可表示为：

其中为/>的输出，/>是一个3×3的卷积操作。

3模型训练

(1)训练框架选用pytorch。

(2)使用Xavier初始化方法对神经网络进行初始权重。

(3)在训练时对数据进行随机增广，使用随机翻转、旋转、随机高斯模糊等操作，使得数据分布更加广泛。

(4)协同共享网络输入图片大小设置为72×72×3。

(5)在训练中采用了不平衡采样技术，由于本算法中涉及到两个标签，车辆类型的标签是相对类别数较多的类别，所以根据车辆类型在一个批处理中进行平衡采样，保证在一个批训练中样本是平衡的，避免样本类多的在训练中占梯度的主导作用。

(6)通过使用动态分配的任务平均权重更新多任务损失函数，计算模型输出预测结果与真实值之间的损失，使用NAdam优化器进行优化，进行模型训练。

(7)所述动态分配的任务平均权重更新多任务损失函数，按如下步骤进行计算：

1)计算任务交叉熵损失，具体公式如下：

其中L_k表任务k的交叉熵损失，N表示批处理的图像数目，i表示某一图像，m表示任务k的总类别数，c表示某一类别，y_ic表示第i个图像的标签为c，softmax(y_i′_c)表示任务k模型预测输出。

2)计算任务k的动态加权损失L_kμ，具体公式如下：

其中L_kμ为任务k自适应加权损失，μ＝[μ₁,μ₂]∈R^1×2为自适应梯度更新分配权重，log(·)为取对数操作；

3)计算t时刻的比值更新损失函数，具体公式如下：

其中L_kμ(t)，L_kμ(t-1)表示任务k在t时刻和t-1时刻的动态加权损失，w_k(t)为任务k在t时刻的交叉熵损失和t-1时刻交叉熵损失的比值，是t时刻交叉熵计算比值取指数操作，T表示温度系数；

4)计算多任务网络损失函数

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于自注意力的车辆属性多任务协同识别方法，其特征在于，包括如下步骤：

S1、构建训练数据集，准备一定数量的车体图片数据，并为该数据进行打标车辆属性标签；

S2、构建深度学习网络结构，构建深度学习网络结构分为两部分，第一部分是构建任务自适应图像裁剪子网络R_resizer(w,x)，基于车辆属性任务自适应调整图像的裁剪方式；第二部分是搭建自注意力任务网络和协同共享网络，分别提取各任务特征编码信息和协同任务特征编码信息；

S3、模型训练，使用动态分配的任务平均权重更新多任务损失函数，计算各任务真实值和预测值的之间的损失，使用动态分配的权重加权求取损失和，使用NAdam优化器更新网络，进行模型训练。

2.根据权利要求1所述的一种基于自注意力的车辆属性多任务协同识别方法，其特征在于，所述S2中构建任务自适应图像裁剪子网络R_resizer(w,x)的具体过程如下：

a、先将原始图像通过双线性计算裁剪成矩形图像，计算公式如下：

I＝Billinear(I_src)

其中I为矩形图像，Billinear(·)为双线性操作，I_src为原始图片；

b、I经过任务自适应图像裁剪子网络R_resizer(w,x)计算归一化处理后图像，然后与I求和，计算公式如下：

I_dst＝I+BN(Conv2d(LeakyRelu(Bn(Conv2d(I)))

其中Conv2d(·)是R_resizer(w,x)中的卷积操作，BN(·)是R_resizer(w,x)中的批归一化操作，LeakyRelu(·)是LeakyRelu非线性激活函数。

3.根据权利要求1所述的一种基于自注意力的车辆属性多任务协同识别方法，其特征在于，所述S2中搭建协同共享网络，用于学习协同任务的特征编码信息，具体可以表示为：

Net_share(w,x；y)＝[Block₁+Maxpool₁,Block₂+Maxpool₂,Block₃+Maxpool₃,Block₄+Avgpool₄]

其中Block_i为残差子模块，Maxpool_i为最大池化层，Avgpool为全局池化层；

构建自注意力任务网络，用于学习任务k的特征编码信息，具体可表示为：

Net_k(w,x；y)＝[block_k1,block_k2,block_k3]

其中block_ki为任务k模型的子模块。

4.根据权利要求3所述的一种基于自注意力的车辆属性多任务协同识别方法，其特征在于，所述S2中的自注意力任务网络中自注意力机制，即任务k网络子模块与协同共享网络子模块输出进行特征融合，通过卷积操作和激活函数空间映射，与协同共享网络的输出再做内积，便可在学习的过程中生成任务k自注意力掩码，任务k能够在学习过程中挑选协同共享网络局部特征用于学习任务k信息编码，具体计算如下步骤：

a、任务k的block_i可以设计为：

b、任务k的的输出为/>计算与协同共享网络Block_i输出C_i的融合特征，具体可表示为：

其中f_i ^k(·)为特征融合操作；

c、计算任务k的自注意力掩码，具体可表示为：

其中都是由1×1的卷积核组成，/>卷积后经过归一化BN层和RELU层转化成非线性特征，/>卷积后经过归一化BN层和sigmoid激活函数后，将特征转换到[0，1]之间，形成任务k的注意力掩码；

d、output_mask与C_i做点积操作，使得任务k可以在学习过程中自适应选择协同共享网络中的部分权重，具体可表示为：

o_i＝C_i·output_mask

其中·是点积操作；

e、o_i经卷积操作、归一化BN层、RELU层和最大池化层计算，用于适配Block_i+1的输出大小，具体可表示为：

其中为/>的输出，/>是一个3×3的卷积操作。

5.根据权利要求1所述的一种基于自注意力的车辆属性多任务协同识别方法，其特征在于，在所述S3模型训练中，动态分配的任务平均权重更新多任务损失函数，按如下步骤进行计算：

a、计算任务k交叉熵损失，具体公式如下：

其中L_k表任务k的交叉熵损失，N表示批处理的图像数目，i表示某一图像，m表示任务k的总类别数，c表示某一类别，y_ic表示第i个图像的标签为c，softmax(y′_ic)表示任务k模型预测输出；

b、计算任务k的动态加权损失L_kμ，具体公式如下：

其中L_kμ为任务k自适应加权损失，μ＝[μ₁,μ₂]∈R^1×2为自适应梯度更新分配权重，ln(·)为取对数操作；

c、计算t时刻的比值更新损失函数，具体公式如下：

其中L_kμ(t)，L_kμ(t-1)表示任务k在t时刻和t-1时刻的动态加权损失，w_k(t)为任务k在t时刻的交叉熵损失和t-1时刻交叉熵损失的比值，是t时刻交叉熵计算比值取指数操作，T表示温度系数；

d、计算多任务网络损失函数，具体公式如下：