CN110458077A - 一种车辆颜色识别方法及系统 - Google Patents

Abstract

本发明公开了一种车辆颜色识别方法，包括：获取车辆的样本图像，并对所述样本图像进行预处理；其中，所述样本图像包含若干个不同的颜色类别；将预处理后的所述样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图；将所述多模态特征图输入到预先训练好的三宽度学习网络中，以输出所述样本图像的颜色识别结果。本发明还公开一种车辆颜色识别系统。采用本发明实施例，利用注意力机制的卷积神经网络的特征提取能力，又有效的结合宽度学习的多模态特征融合能力，可实现实际场景的车辆颜色判别，提高车辆颜色识别的准确率。

Description

一种车辆颜色识别方法及系统

技术领域

本发明涉及车辆颜色识别技术领域，尤其涉及一种车辆颜色识别方法及系统。

背景技术

车辆颜色作为车辆可靠显著的特征，为车辆识别、监控、跟踪等方面提供了有用的信息。车辆颜色识别是一种根据输入的车辆图像，来确定图像中车辆颜色的技术，已被广泛应用于公安执法、车辆追踪等领域。自然场景中车辆颜色受天气、光照和灰尘的影响容易造成色偏的情况，同时车辆颜色是基于人的主观心理感受，实际上只有部分区域能够用于车辆颜色的识别，不同车辆类型的车辆的颜色识别区域块也是不尽相同的。在目前现有的技术中，大多利用传统的方法进行颜色识别，在选取颜色区域块的过程中，会受到光照、车辆姿态等因素的较大干扰造成识别结果错误，并且在区域选择时，有可能会截取到部分车窗、车栅栏、天窗区域，将带有非颜色信息的区域进行识别同样会造成误识别，大大影响其准确率。

发明内容

本发明实施例的目的是提供一种车辆颜色识别方法及系统，利用注意力机制的卷积神经网络的特征提取能力，又有效的结合宽度学习的多模态特征融合能力，可实现实际场景的车辆颜色判别，提高车辆颜色识别的准确率。

为实现上述目的，本发明实施例提供了一种车辆颜色识别方法，包括：

获取车辆的样本图像，并对所述样本图像进行预处理；其中，所述样本图像包含若干个颜色类别；

将预处理后的所述样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图；

将所述多模态特征图输入到预先训练好的三宽度学习网络中，以输出所述样本图像的颜色识别结果。

与现有技术相比，本发明公开的车辆颜色识别方法，首先，获取车辆的样本图像，并对样本图像进行预处理；然后，将预处理后的样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图，将样本图像中提取的不同尺度的特征，分层依次连接至各注意力结构，使得模型在预测分类判别时可以自适应选取样本图像各尺度各区域的特征；最后，将多模态特征图输入到预先训练好的三宽度学习网络中，以输出样本图像的识别结果，三宽度学习网络将多模态特征图进行了融合，可以满足数据不断扩充的情况下，通过增加增强节点的个数来提高模型的拟合能力，只需要利用上次拟合的结果，通过少量计算就能得到更新的权重，对车辆样本进行颜色分类。本发明公开的车辆颜色识别方法利用了注意力机制的卷积神经网络的特征提取能力，又有效的结合宽度学习的多模态特征融合能力，可有效地实现实际场景的车辆颜色判别，提高车辆颜色识别的准确率。

作为上述方案的改进，所述卷积神经网络的训练方法包括：

将预处理后的所述样本图像作为训练集输入到基于注意力机制的卷积神经网络中，得到若干个得分图；

利用网络的末端获得注意力图，分别与所述得分图进行像素相乘操作，以得到注意力选择图；

将所有所述注意力选择图进行融合，得到多模态特征图。

作为上述方案的改进，所述基于注意力机制的卷积神经网络包括卷积层、反卷积层、最大池化层和全局平均池化层。

作为上述方案的改进，所述卷积神经网络的训练方法还包括：

当所述卷积神经网络中损失函数的l oss值收敛或训练所述卷积神经网络的迭代次数达到预设的最大迭代次数时，保存当前所述卷积神经网络的网络参数，并输出当前训练完成所述卷积神经网络。

作为上述方案的改进，所述对所述样本图像进行预处理，具体包括：

将所述样本图像分别转化为RGB、HSV、LAB格式的样本图像；则，所述多模态特征图包括RGB模态特征图、HSV模态特征图、LAB模态特征图。

作为上述方案的改进，所述三宽度学习网络的训练方法包括：

利用所述三宽度学习网络的宽度学习单元分别提取每个所述多模态特征图的高维特征；其中，所述高维特征包括特征节点映射特征和增强节点映射特征；

在融合节点层将所述多模态特征图的高维特征进行映射，并经过一个非线性变换抽象将所述多模态特征图的高维特征融合；

通过学习输出权值矩阵，利用岭回归法求取全局最优解得到所述训练集的识别结果。

作为上述方案的改进，所述三宽度学习网络包括特征节点层、增强节点层、CCA层、融合节点层和输出层。

为实现上述目的，本发明实施例还提供了一种车辆颜色识别系统，包括：

样本图像预处理模块，用于获取车辆的样本图像，并对所述样本图像进行预处理；其中，所述样本图像包含若干个颜色类别；

多模态特征图获取模块，用于将预处理后的所述样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图；

识别模块，用于将所述多模态特征图输入到预先训练好的三宽度学习网络中，以输出所述样本图像的颜色识别结果。

与现有技术相比，本发明公开的车辆颜色识别系统，首先，样本图像预处理模块获取车辆的样本图像，并对样本图像进行预处理；然后，模态特征图获取模块将预处理后的样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图，将样本图像中提取的不同尺度的特征，分层依次连接至各注意力结构，使得模型在预测分类判别时可以自适应选取样本图像各尺度各区域的特征；最后，识别模块将多输出的多模态特征图输入到预先训练好的三宽度学习网络中，输出样本图像的识别结果，三宽度学习网络将多模态特征图进行了融合，可以满足数据不断扩充的情况下，通过增加增强节点的个数来提高模型的拟合能力，只需要利用上次拟合的结果，通过少量计算就能得到更新的权重，对车辆样本进行颜色分类。本发明公开的车辆颜色识别系统利用了注意力机制的卷积神经网络的特征提取能力，又有效的结合宽度学习的多模态特征融合能力，可有效地实现实际场景的车辆颜色判别，提高车辆颜色识别的准确率。

作为上述方案的改进，所述系统还包括卷积神经网络训练模块；其中，所述卷积神经网络训练模块具体包括：

得分图生成单元，用于将预处理后的所述样本图像输入到基于注意力机制的卷积神经网络中，得到若干个得分图；

注意力选择图生成单元，用于利用网络的末端获得注意力图，分别与所述得分图进行像素相乘操作，以得到注意力选择图；

多模态特征图生成单元，用于将所有所述注意力选择图进行融合，得到多模态特征图。

作为上述方案的改进，所述系统还包括三宽度学习网络训练模块；其中，所述三宽度学习网络训练模块具体包括：

高维特征提取单元，用于利用所述三宽度学习网络的宽度学习单元分别提取每个所述多模态特征图的高维特征；其中，所述高维特征包括特征节点映射特征和增强节点映射特征；

融合单元，用于在融合节点层将所述多模态特征图的高维特征进行映射，并经过一个非线性变换抽象将所述多模态特征图的高维特征融合；

识别单元，用于通过学习输出权值矩阵，利用岭回归法求取全局最优解得到所述训练集的识别结果。

附图说明

图1是本发明实施例提供的一种车辆颜色识别方法的流程图；

图2是本发明实施例提供的一种车辆颜色识别方法中卷积神经网络的训练方法的流程图；

图3是本发明实施例提供的一种车辆颜色识别方法中卷积神经网络的结构示意图；

图4是本发明实施例提供的一种车辆颜色识别方法中三宽度学习网络的结构示意图；

图5是本发明实施例提供的一种车辆颜色识别方法中三宽度学习网络的训练方法的流程图；

图6是本发明实施例提供的一种车辆颜色识别系统的结构示意图；

图7是本发明实施例提供的一种车辆颜色识别系统中卷积神经网络训练模块40的结构示意图；

图8是本发明实施例提供的一种车辆颜色识别系统中三宽度学习网络训练模块50的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参见图1，图1是本发明实施例提供的一种车辆颜色识别方法的流程图；包括：

S1、获取车辆的样本图像，并对所述样本图像进行预处理；其中，所述样本图像包含若干个不同的颜色类别；

S2、将预处理后的所述样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图；

S3、将所述多模态特征图输入到预先训练好的三宽度学习网络中，以输出所述样本图像的颜色识别结果。

具体的，在步骤S1中，对所述样本图像进行语出后，将所述样本图像分别转化为RGB、HSV、LAB格式的样本图像；其中，所述样本图像分为训练集和测试集，所述训练集用于训练基于注意力机制的卷积神经网络，所述测试集用于在训练好所述基于注意力机制的卷积神经网络后，对所述基于注意力机制的卷积神经网络进行测试。

值得说明的是，本发明实施例中使用的数据均来源于标准卡口的车辆颜色数据集，该数据集包含了8类车型的前后拍10个颜色类别(黑、蓝、棕、灰、绿、粉红、紫、红、白、黄)的颜色样本。将10种颜色类别的车辆图片分别进行分类标注，标签具体情况(0：黑；1：蓝；2：棕；3：灰；4：绿；5：粉红；6：紫；7：红；8：白；9：黄)。从而将带有类别标签的样本图像分为训练集和测试集两部分。由于计算机显存的限制，在训练阶段，将所述训练集设置成227×227大小；在测试阶段，将所述测试集也设置成227×227大小。

具体的，在步骤S2中，参见图2，图2是本发明实施例提供的一种车辆颜色识别方法中卷积神经网络的训练方法的流程图；包括：

S21、将预处理后的所述样本图像作为训练集输入到基于注意力机制的卷积神经网络中，得到若干个得分图；

S22、利用网络的末端获得注意力图，分别与所述得分图进行像素相乘操作，以得到注意力选择图；

S23、将所有所述注意力选择图进行融合，得到多模态特征图。

优选的，构造基于注意力机制的卷积神经网络(Adaptive Attention mechanismConvolution Nerual Networks，AAMCNet)。所述基于注意力机制的卷积神经网络包括卷积层、反卷积层、最大池化层和全局平均池化层。

如图3所示，所述卷积神经网络包含8个卷积层(卷积层Covn1、卷积层Covn2、卷积层Covn3、卷积层Covn4、卷积层Covn5_1、卷积层Covn5_2、卷积层Covn5_3、卷积层Covn5_4)，4个反卷积层(反卷积层Covn5_2、反卷积层Covn5_3、反卷积层Covn5_4、反卷积层Covn5_5)，1个最大池化层(最大池化MaxPool)和1个全局平均池化层(全局平均池化Gogal AveragingPoll)。

其中，所述得分图即被用来计算得分值的二维特征图。所述注意力选择图的计算公式如下：I_j(x,y)＝Sigmoid(Fconvi,(x,y))；其中，I_j(x,y)表示第j维输出注意力选择图中位置上的注意力值，Sigmoid为输出特征图对应位置的得分值，Sigmoid为Logistic函数,所述得分值是指将二维特征图(得分图)经过Global Average pool后变成的实数值。

结合图3对训练注意力机制的卷积神经网络进行说明：在Caffe框架下，将样本图像转化为RGB，HSV，LAB颜色空间后，输入到基于注意力机制的卷积神经网络中，分别得到了得分图1，得分图2，得分图3，得分图4，得分图5，得分图6。利用网络的末端获得注意力选择图，分别与网络中间输出层的分类得分图进行像素相乘操作以得到注意力选择图。由于得分图的值是随着迭代次数不断更新的，所以这里就车身区域对于颜色判别的重要性进行了动态调整，将注意力选择图1～6进行融合得到了得分融合图(即多模态特征图，包括：RGB模态特征图、HSV模态特征图、LAB模态特征图)。

优选的，所述卷积神经网络的训练方法还包括：

S24、当所述卷积神经网络中损失函数的loss值收敛或训练所述卷积神经网络的迭代次数达到预设的最大迭代次数时，保存当前所述卷积神经网络的网络参数，并输出当前训练完成所述卷积神经网络。在训练迭代到设定的最大次数或者迭代到损失函数少于设定的阈值，保存此时的网络参数，并抽取注意力选择图1～6的特征向量。

具体的，在步骤S3中，将上述步骤得到的不同颜色空间的特征图(多模态特征图)输入进预先设计的三宽度学习网络，以识别出所述样本图像的颜色。优选的，所述三宽度学习结构图是一个以BLS(Broad Learning System宽学习系统)为基本单元的三宽度学习框架，用于处理不同模态的融合问题。所述三宽度学习网络包括特征节点层、增强节点层、CCA层、融合节点层和输出层。参见图4，图4是本发明实施例提供的一种车辆颜色识别方法中三宽度学习网络的结构示意图，所述三宽度学习结构由三层特征节点层、三层增强节点层、一层CCA(典型相关性分析typical correlation analysis)层、一层融合节点层、一层输出层组成。当三种模态的特征数据输入三宽度学习框架时。

优选的，参见图5，图5是本发明实施例提供的一种车辆颜色识别方法中三宽度学习网络的训练方法的流程图；所述三宽度学习网络的训练方法包括：

S31、利用所述三宽度学习网络的宽度学习单元分别提取每个所述多模态特征图的高维特征；其中，所述高维特征包括特征节点映射特征和增强节点映射特征；

S32、在融合节点层将所述多模态特征图的高维特征进行映射，并经过一个非线性变换抽象将所述多模态特征图的高维特征融合；

S33、通过学习输出权值矩阵，利用岭回归法求取全局最优解得到所述训练集的识别结果。

其中，岭回归(ridge regression,Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。在本发明实施例中，采用岭回归广义逆直接求取全局最优解得到输出类别属性。

以三宽度学习为基础，把三种模态经过特征节点和增强节点粗提取的样本特征统一映射到CCA生成的特征子空间上进行学习、匹配和降维，然后再由融合节点直接非线性化融合，连接到输出层进行分类输出。其中CCA在整个融合体系中承担着实现多模态机器学习关联和转换任务的作用，同时CCA的降维特性为简化模型提供了便利。

则在后续识别过程中，直接将进行预处理完后的所述样本图像输入到训练好的所述卷积神经网络中，即可识别出多模态特征图；然后再将该多模态特征图输入到训练好的三宽度学习网络中，识别出所述样本图像的颜色。本发明实施例中将样本图像转化为不同的颜色空间输入到注意力机制的卷积神经网络，设计多个损失函数同时监督网络参数，利用网络的末端获得注意力图，分别与网络中间输出层的分类得分图进行像素级相乘操作以得到注意力提升图，并且将在多个颜色空间提取的注意力提升图采用三宽度学习结构来进行多模态特征的融合，能够很好地适应强光照，多姿态的复杂车辆场景，达到较好的车辆颜色识别效果。

与现有技术相比，本发明公开的车辆颜色识别方法，首先，获取车辆的样本图像，并对样本图像进行预处理；然后，将预处理后的样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图，将样本图像中提取的不同尺度的特征，分层依次连接至各注意力结构，使得模型在预测分类判别时可以自适应选取样本图像各尺度各区域的特征；最后，将多模态特征图输入到预先训练好的三宽度学习网络中，以输出样本图像的识别结果，三宽度学习网络将多模态特征图进行了融合，可以满足数据不断扩充的情况下，通过增加增强节点的个数来提高模型的拟合能力，只需要利用上次拟合的结果，通过少量计算就能得到更新的权重，对车辆样本进行颜色分类。

本发明公开的车辆颜色识别方法利用了注意力机制的卷积神经网络的特征提取能力，又有效的结合宽度学习的多模态特征融合能力，可有效地实现实际场景的车辆颜色判别，提高车辆颜色识别的准确率。

实施例二

参见图6，图6是本发明实施例提供的一种车辆颜色识别系统的结构示意图；所述车辆颜色识别系统包括：

样本图像预处理模块10，用于获取车辆的样本图像，并对所述样本图像进行预处理；其中，所述样本图像包含若干个不同的颜色类别；

多模态特征图获取模块20，用于将预处理后的所述样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图；

识别模块30，用于将所述多模态特征图输入到预先训练好的三宽度学习网络中，以输出所述样本图像的颜色识别结果。

参见图7，图7是本发明实施例提供的一种车辆颜色识别系统中卷积神经网络训练模块40的结构示意图；所述卷积神经网络训练模块40具体包括：

得分图生成单元41，用于将预处理后的所述样本图像输入到基于注意力机制的卷积神经网络中，得到若干个得分图；

注意力选择图生成单元42，用于利用网络的末端获得注意力图，分别与所述得分图进行像素相乘操作，以得到注意力选择图；

多模态特征图生成单元43，用于将所有所述注意力选择图进行融合，得到多模态特征图；

网络参数存储单元44，用于当所述卷积神经网络中损失函数的l oss值收敛或训练所述卷积神经网络的迭代次数达到预设的最大迭代次数时，保存当前所述卷积神经网络的网络参数，并输出当前训练完成所述卷积神经网络。

进一步的，所述基于注意力机制的卷积神经网络包括卷积层、反卷积层、最大池化层和全局平均池化层。

参见图8，图8是本发明实施例提供的一种车辆颜色识别系统中三宽度学习网络训练模块50的结构示意图；所述三宽度学习网络训练模块50具体包括：

高维特征提取单元51，用于利用所述三宽度学习网络的宽度学习单元分别提取每个所述多模态特征图的高维特征；其中，所述高维特征包括特征节点映射特征和增强节点映射特征；

融合单元52，用于在融合节点层将所述多模态特征图的高维特征进行映射，并经过一个非线性变换抽象将所述多模态特征图的高维特征融合；

识别单元53，用于通过学习输出权值矩阵，利用岭回归法求取全局最优解得到所述训练集的识别结果。

进一步的，所述三宽度学习网络包括特征节点层、增强节点层、CCA层、融合节点层和输出层。

具体的所述车辆颜色识别系统中各个模块的工作过程请参考上述实施例一所述的车辆颜色识别方法的工作过程，在此不再赘述。

与现有技术相比，本发明公开的车辆颜色识别系统，首先，样本图像预处理模块10获取车辆的样本图像，并对样本图像进行预处理；然后，模态特征图获取模块20将预处理后的样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图，将样本图像中提取的不同尺度的特征，分层依次连接至各注意力结构，使得模型在预测分类判别时可以自适应选取样本图像各尺度各区域的特征；最后，识别模块30将多输出的多模态特征图输入到预先训练好的三宽度学习网络中，输出样本图像的识别结果，三宽度学习网络将多模态特征图进行了融合，可以满足数据不断扩充的情况下，通过增加增强节点的个数来提高模型的拟合能力，只需要利用上次拟合的结果，通过少量计算就能得到更新的权重，对车辆样本进行颜色分类。

本发明公开的车辆颜色识别系统利用了注意力机制的卷积神经网络的特征提取能力，又有效的结合宽度学习的多模态特征融合能力，可有效地实现实际场景的车辆颜色判别，提高车辆颜色识别的准确率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种车辆颜色识别方法，其特征在于，包括：

获取车辆的样本图像，并对所述样本图像进行预处理；其中，所述样本图像包含若干个颜色类别；

将预处理后的所述样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图；

将所述多模态特征图输入到预先训练好的三宽度学习网络中，以输出所述样本图像的颜色识别结果。

2.如权利要求1所述的车辆颜色识别方法，其特征在于，所述卷积神经网络的训练方法包括：

将预处理后的所述样本图像作为训练集输入到基于注意力机制的卷积神经网络中，得到若干个得分图；

利用网络的末端获得注意力图，并分别与所述得分图进行像素相乘操作，以得到注意力选择图；

将所有所述注意力选择图进行融合，得到多模态特征图。

3.如权利要求2所述的车辆颜色识别方法，其特征在于，所述基于注意力机制的卷积神经网络包括卷积层、反卷积层、最大池化层和全局平均池化层。

4.如权利要求2所述的车辆颜色识别方法，其特征在于，所述卷积神经网络的训练方法还包括：

当所述卷积神经网络中损失函数的loss值收敛或训练所述卷积神经网络的迭代次数达到预设的最大迭代次数时，保存当前所述卷积神经网络的网络参数，并输出当前训练完成所述卷积神经网络。

5.如权利要求1所述的车辆颜色识别方法，其特征在于，所述对所述样本图像进行预处理，具体包括：

将所述样本图像分别转化为RGB、HSV、LAB格式的样本图像；则，所述多模态特征图包括RGB模态特征图、HSV模态特征图、LAB模态特征图。

6.如权利要求5所述的车辆颜色识别方法，其特征在于，所述三宽度学习网络的训练方法包括：

利用所述三宽度学习网络的宽度学习单元分别提取每个所述多模态特征图的高维特征；其中，所述高维特征包括特征节点映射特征和增强节点映射特征；

在融合节点层将所述多模态特征图的高维特征进行映射，并经过一个非线性变换抽象将所述多模态特征图的高维特征融合；

通过学习输出权值矩阵，利用岭回归法求取全局最优解得到所述训练集的识别结果。

7.如权利要求6所述的车辆颜色识别方法，其特征在于，所述三宽度学习网络包括特征节点层、增强节点层、CCA层、融合节点层和输出层。

8.一种车辆颜色识别系统，其特征在于，包括：

样本图像预处理模块，用于获取车辆的样本图像，并对所述样本图像进行预处理；其中，所述样本图像包含若干个颜色类别；

多模态特征图获取模块，用于将预处理后的所述样本图像输入到预先训练好的基于注意力机制的卷积神经网络中，以输出多模态特征图；

识别模块，用于将所述多模态特征图输入到预先训练好的三宽度学习网络中，以输出所述样本图像的颜色识别结果。

9.如权利要求8所述的车辆颜色识别系统，其特征在于，所述系统还包括卷积神经网络训练模块；其中，所述卷积神经网络训练模块具体包括：

得分图生成单元，用于将预处理后的所述样本图像输入到基于注意力机制的卷积神经网络中，得到若干个得分图；

注意力选择图生成单元，用于利用网络的末端获得注意力图，分别与所述得分图进行像素相乘操作，以得到注意力选择图；

多模态特征图生成单元，用于将所有所述注意力选择图进行融合，得到多模态特征图。

10.如权利要求9所述的车辆颜色识别系统，其特征在于，所述系统还包括三宽度学习网络训练模块；其中，所述三宽度学习网络训练模块具体包括：

高维特征提取单元，用于利用所述三宽度学习网络的宽度学习单元分别提取每个所述多模态特征图的高维特征；其中，所述高维特征包括特征节点映射特征和增强节点映射特征；

融合单元，用于在融合节点层将所述多模态特征图的高维特征进行映射，并经过一个非线性变换抽象将所述多模态特征图的高维特征融合；

识别单元，用于通过学习输出权值矩阵，利用岭回归法求取全局最优解得到所述训练集的识别结果。