CN106934392B - 基于多任务学习卷积神经网络的车标识别及属性预测方法 - Google Patents

Abstract

本发明公开了一种基于多任务学习卷积神经网络的车标识别及属性预测方法，包括以下步骤：创建基于多任务学习卷积神经网络；采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络；使用训练好的卷积神经网络对获取的车辆标识图像进行分层提取特征，根据车标数据库进行车标识别及属性预测。该方法基于卷积神经网络结构，采用多任务学习机制，提出自适应任务权重学习策略和任务自动开闭学习策略，能同时判断车标类别和预测车标属性，并且准确率高。

Description

基于多任务学习卷积神经网络的车标识别及属性预测方法

技术领域

本发明涉及一种车标识别方法，具体地涉及一种基于多任务学习卷积神经网络的车标识别及属性预测方法。

背景技术

车辆制造商识别在智能交通系统中起着重要作用。自动获取汽车统计数据和车辆属性信息有助于交通管理和汽车行业。其中，车辆标志在涉及一系列潜在的应用，例如车辆的识别、验证或分类，这对于调查车辆相关犯罪至关重要。

与许多其他计算机视觉课题相比，如人脸或行人，车辆标志仍然是一个较少研究的主题。车标涉及一系列特殊困难，包括小尺寸，低分辨率和多角度。虽然，已经出版了许多关于车辆标识识别的论文，这些方法中的大多数遵循常规图像处理流水线，即，提取一些人工定义的特征，例如梯度直方图(HOG)，随后是利用例如支持向量机(SVM)的可训练分类器。这些方法具有许多限制。首先，人工定义的特征不可能同时解决各种因素，例如，视点变化和成像条件。其次，车标识别系统的性能通常取决于车标检测的准确性。

近年来，由于强大的特征表达学习能力，深度学习已经引起了广泛的关注。它为人工设计的特征提取器造成的瓶颈问题带来了有希望的解决方案。一种特殊类型的深度学习模型，即卷积神经网络，已经在许多计算机视觉任务中展示了最先进的性能。已经反复验证卷积神经网络可以从原始像素通过非线性映射的几个卷积层提取通用的，鲁棒的和分层的特征。由于优越性，卷积神经网络也已被应用于车辆标识的识别。然而，这些工作对于原始卷积神经网络架构都是非常初步的。并且许多重要的实际问题没有被讨论，例如，与车辆标志相关的属性预测。

在计算机视觉领域，针对许多语义任务的属性学习的概念已提出多年，对于视觉目标识别，语义属性可以命名描述目标的属性，从而提供一种方便链接低级特征和高级语义任务书叙述性属性有效工具。已经针对许多多媒体应用(例如，多媒体搜索和检索以及多媒体内容分析和推荐)研究了来自属性的益处。

本质上，车标分类和车标属性预测是两个不同的任务。虽然存在不同的可能性来完成它们，但是，由于两个任务之间的共同点，多任务学习方法应当是选项中的最高优先级。多任务学习方法已被研究作为一个重要的机器学习主题，并且，最近被利用到许多计算机视觉问题。多任务学习方法强调不同任务之间的知识共享，同时解决多个相关任务。很多研究成果已经证明知识共享可以提高一些任务或有时所有任务的性能。

最近，学术界已经提出了好几种基于卷积神经网络的多任务学习方法，其可以粗略地划分为以下两种类型：任务交替优化方式和任务同时优化方式。在第一类中，训练在任务之间交替，即，对一个任务进行优化，而其他任务不变，并且对于所有任务迭代该过程。在第二类中，对所有任务同时进行学习。在任务交替优化方式中，迭代次数将随着任务量增加而快速增加。在任务同时优化方式中，可以提高系统的性能。本发明因此而来。

发明内容

针对上述存在的技术问题，本发明的目的是提出了一种基于多任务学习卷积神经网络的车标识别及属性预测方法。该方法基于卷积神经网络结构，采用多任务学习机制，提出自适应任务权重学习策略和任务自动开闭学习策略，能同时判断车标类别和预测车标属性，并且准确率高。

本发明的技术方案是：

一种基于多任务学习卷积神经网络的车标识别及属性预测方法，包括以下步骤：

S01：创建基于多任务学习卷积神经网络；

S02：采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络，所述自适应任务权重学习策略为：

其中，α_i是第i个任务的权重，

是第j次所有数据迭代中第i个任务的加权，

是第i个任务在第j次迭代后验证误差，

β是控制任务权重当前迭代和前一次迭代的权重之间平衡的实验参数，N是任务总数；

S03：使用训练好的卷积神经网络对获取的车辆标识图像进行分层提取特征，根据车标数据库进行车标识别及属性预测。

优选的，所述任务自动开闭学习策略包括暂停执行不佳的任务机制和重新激活暂停的任务机制，所述暂停执行不佳的任务机制为当在验证集上计算每个任务的误差连续H次误差都未减小，暂停该任务；所述重新激活暂停的任务机制为当Eav^j-min_j＝1,…,JEav>δ，挂起的任务将被重新激活，其中，

Etr为训练误差，Eva为验证误差，Eav是平均误差，δ为设定阈值。

优选的，所述基于多任务学习卷积神经网络包括依次连接的卷积层、最大池化层、全连层；

所述卷积层表达式：C₁＝f_act(b+∑_kw^k*x^k)

式中，x^k和C₁分别是第k个原始图像和经过第1层卷基层得到的特征图，w^k是卷积滤波器的权重，*表示点积运算，b和f_act(·)是偏差和非线性映射；

所述最大池化层的公式为：

式中，第k个输出图y^k中的每个神经元生成用于第k个输入图x^k的s×s非重叠局部区域；

在最后的最大池层之后连接的是被分裂成N个分支的全连层，损失函数的定义如下：

式中，L是总损失，N是任务总数，L_i是第i个任务的损失函数，α_i是第i个任务的权重。

与现有技术相比，本发明的优点是：

该方法基于卷积神经网络结构，采用多任务学习机制，提出自适应任务权重学习策略和任务自动开闭学习策略，采用上述策略训练卷积神经模型，识别车辆标志并同时预测其属性。在基于卷积神经网络的多任务学习的自适应加权方案的基础上，可切换任务学习方案进一步提高系统性能；可以建立更全面的车辆标志数据库，用于标识识别和属性预测，准确率高。既能识别车标还可以对车标属性预测，比如车标是否含有英文字母，是否对称等等属性预测，其对基于内容的图片检索是意义重大的。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于多任务学习卷积神经网络的车标识别及属性预测方法的流程图；

图2为卷积神经网络模型的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1所示，一种基于多任务学习卷积神经网络的车标识别及属性预测方法，包括以下步骤：

S01：创建基于多任务学习卷积神经网络；

S02：采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络。

S03：使用训练好的卷积神经网络对获取的车辆标识图像进行分层提取特征，根据车标数据库进行车标识别及属性预测。

车标属性预测可以是，比如车标是否含有英文字母，是否对称等等属性预测，其对基于内容的图片检索是意义重大的。

1、创建的卷积神经网络结构可以如图2所示，使用卷积神经网络从输入图像中分层提取特征。

在卷积神经网络架构中，邻近接收场(内核或滤波器)从左上角到右下角反复滑过整个视野，形成一个特征图，这是卷积运算的本质。卷积运算在每个层中共享相同的参数(权重向量和偏置)。权重的共享减少了大量的变量，同时增加了模型的泛化性能。权重(内核或过滤器)被初始化为随机的，并且将被学习为边缘，颜色或车辆标志的特定模式检测器。卷积运算公式化如下：

式(1)中x^k和C₁分别是第k个原始图像和经过第1层卷基层得到的特征图。w^k是卷积滤波器的权重。*表示点积运算。b和f_act(·)是偏差和非线性映射。滤波器的权重被随机初始化，然后使用反向传播算法进行训练。

卷积层本质上执行的是线性滤波。为了形成全局的非线性复杂模型，非线性激活函数必须应用于神经元。本发明中使用整流线性单位(ReLU)，公式化如下：

ReLU(C₁)＝max(C₁，0) (2)

由于在卷积层中权重的复制，数据驱动特征仍然可能对输入模式的适当位置敏感，如果其后面是分类，则这对于性能是不利的。该问题可以通过池化特征来解决，本发明使用最大池化方法，其表现形式为最大池化层，公式化如下：

式(3)中，第k个输出图y^k中的每个神经元生成用于第k个输入图x^k的s×s非重叠局部区域。换句话说，最大池化运算从输入中选择局部最大值。

2、基于多任务学习卷积神经网络结构的自适应任务权重学习策略

如图2所示，在最后的最大池层之后连接的是可以被分裂成N个分支的全连层。损失函数的定义如下：

式(4)，(5)中L是总损失，N是任务总数，L_i是第i个任务的损失函数，α_i是第i个任务的权重。

此发明提出采用任务自适应加权多任务学习策略，公式如下：

式(6)，(7)中，

表示第j次所有数据迭代中第i个任务的加权。

是第i个任务在第j次迭代后验证误差。β是控制任务权重当前迭代和前一次迭代的权重之间平衡的实验参数。

3、基于多任务学习卷积神经网络结构的任务自动开闭学习策略

自动开闭学习策略涉及两种机制：

1)暂停执行不佳的任务机制；

2)重新激活暂停了的任务机制。

3.1)暂停执行不佳的任务机制描述如下：

I)将数据拆分成训练集，验证集和测试集；

II)用训练数据训练图一所示模型；

III)然后在验证集上计算每个任务的误差；

IV)重复步骤II)和III)直到连续H次误差都未减小。

3.2)重新激活暂停了的任务机制公式化如下：

在式(8)和式(9)中，Eav^j是在第j次迭代中训练误差Etr^j和验证误差Eva^j的平均值。式(9)表明如果超过阈值δ，则挂起的任务将被重新激活。

步骤S02中的详细过程如下伪代码所示：

输入：训练集X_tr和验证集X_va；

输出：卷积神经网络模型参数θ；

训练完模型之后，进行模型测试。详细过程如下伪代码所示：

输入：测试集X_te和卷积神经网络模型参数θ；

输出：测试集预测结果Y和测试集误差E_te；

1：载入训练模型及其参数θ

2：输入X_te到模型中，计算得到测试集预测结果Y和测试集误差Ete

具体实例

本车标数据库标定了十个任务，第一个任务是15种车标类别，剩下9种是两类属性预测任务。

首先车标图片需要预处理，从而使其规格统一，具体操作如下：

1)调整大小至64×64大小的彩色图片；

2)彩色图片被转换至灰度图片。

随后，将以上预处理完的图片输入如图2所示的网络中，训练出所需的网络模型，详细网络结构参数如下：

训练的同时引入自适应任务权重学习策略，公式(6)中β＝0.1。

为了进一步优化模型，任务自动开闭学习策略也被运用到训练模型中，机制3.1中H＝10和机制3.2中δ＝0.01。

为了证明算法有效性，做了两类试验，第一，只有车标分类任务不同算法对比试验结果。第二，车标分类任务和9个两类属性预测任务同时进行不同算法对比试验结果。

1)只有车标分类任务不同算法对比试验结果

下表中列举出了本发明中提出的方法与现在流行的方法之间的比较结果。1表示多任务学习卷积神经网络方法，2代表自适应任务权重学习策略，3表示任务自动开闭学习策略，+表示联合运用前后两种方法。表2证明了此方法有效性，在以下列举的算法中，其取得了最好的性能。

2)车标分类任务和9个两类属性预测任务同时进行不同算法对比试验结果。

下表中列举出了此发明中提出的方法与现有的多任务学习卷积神经网络方法之间的比较结果。证明了此方法有效性，在以下列举的算法中，其取得了最好的性能。

准确率％	十个任务平均准确率
		1+2+3	96.13
1+2	95.98
		1	94.27

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (2)

1.一种基于多任务学习卷积神经网络的车标识别及属性预测方法，其特征在于，包括以下步骤：

S01：创建基于多任务学习卷积神经网络；

S02：采用自适应任务权重学习策略和任务自动开闭学习策略训练卷积神经网络，所述自适应任务权重学习策略为：

其中，α_i是第i个任务的权重，

是第j次所有数据迭代中第i个任务的加权，

是第i个任务在第j次迭代后验证误差，

β是控制任务权重当前迭代和前一次迭代的权重之间平衡的实验参数，N是任务总数；所述任务自动开闭学习策略包括暂停执行不佳的任务机制和重新激活暂停的任务机制，所述暂停执行不佳的任务机制为当在验证集上计算每个任务的误差连续H次误差都未减小，暂停该任务；所述重新激活暂停的任务机制为当Eva^j-min_j＝1,…,JEav>δ，挂起的任务将被重新激活，其中，

Etr为训练误差，Eva为验证误差，Eav是平均误差，δ为设定阈值；

S03：使用训练好的卷积神经网络对获取的车辆标识图像进行分层提取特征，根据车标数据库进行车标识别及属性预测。

2.根据权利要求1所述的基于多任务学习卷积神经网络的车标识别及属性预测方法，其特征在于，所述基于多任务学习卷积神经网络包括依次连接的卷积层、最大池化层、全连层；

所述卷积层表达式：C₁＝f_act(b+∑_kw^k*x^k）

式中，x^k和C₁分别是第k个原始图像和经过第1层卷基层得到的特征图，w^k是卷积滤波器的权重，*表示点积运算，b和f_act(·)是偏差和非线性映射；

所述最大池化层的公式为：

式中，第k个输出图y^k中的每个神经元生成用于第k个输入图x^k的s×s非重叠局部区域；

在最后的最大池层之后连接的是被分裂成N个分支的全连层，损失函数的定义如下：

式中，L是总损失，N是任务总数，L_i是第i个任务的损失函数，α_i是第i个任务的权重。

Images