CN110533034A

CN110533034A - 一种汽车前脸品牌分类方法

Info

Publication number: CN110533034A
Application number: CN201910786822.XA
Authority: CN
Inventors: 李宝军; 陈峰蔚; 孙旭生; 胡平
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2019-08-24
Filing date: 2019-08-24
Publication date: 2019-12-03
Anticipated expiration: 2039-08-24
Also published as: CN110533034B

Abstract

本发明提供了一种汽车前脸品牌分类方法，1)创建用于汽车品牌分类的前视图初始训练图像库。2)提取影响汽车前脸品牌分类的图像最显著区域。3)创建车标移除的汽车前脸品牌分类数据集。4)检测品牌分类遮挡不变性的敏感区域尺寸及位置，并创建相应数据集。5)合并步骤1)、3)、4)创建的三个数据集，定义为汽车前脸遮挡不变性数据集。6)采用深度学习分类器进行训练，得到汽车前脸品牌分类器。本发明的优点：1)针对汽车前脸品牌识别问题，本发明可有效识别无遮挡、部分遮挡、无车标、假车标等多个复杂工况。2)基于大规模数据的遮挡不变性识别模型库，结合深度学习分类器，方法鲁棒性高、精度高、可移植性强。

Description

一种汽车前脸品牌分类方法

技术领域

本发明涉及一种由汽车正前视图图片识别出汽车品牌，涉及一种汽车前脸图片的部分遮挡、无车标、假车标等情况的高精度汽车品牌识别方法。

背景技术

随着车辆数量的飞速增长，智能交通系统的研究领域不断扩大，车辆品牌识别(Vehicle Model Recognition，VMR)在道路交通监控与管理、驾驶员辅助驾驶等领域具有广泛的应用前景，是一个具有吸引力和重要意义的问题。VMR作为一种细粒度的识别任务，由于类间的细微差异，在计算机视觉中也是一个非常具有挑战性的问题。研究人员设计了各种方法从汽车正面视图图像中提取特征进行分类，考虑到汽车正面造型包含某些识别身份识别的信息。然而，除了较小的类间方差外，在视点、光照、遮挡、造假等方面的变化也很容易影响细粒度识别精度。

汽车车标作为不同品牌之间最显著的特征之一，对VMR具有重要意义。有大量方法通过车标识别来解决VMR问题，这要求车标必须在捕获的图像中，并且必须精确地定位并识别。然而，在真实的交通场景中，不同的视角、灯光和遮挡并不能保证这一点。品牌标识容易修改，在某些情况下，车主可能会装饰汽车标识，甚至用其他品牌的标识代替，增加了汽车品牌识别的难度。为了避免车辆被识别，一些犯罪分子在犯罪行为中篡改标志，造成巨大的安全风险和经济损失。因此，面对上述问题，一个更好的解决方案是从汽车正面实现品牌识别，学习更多的品牌特征，避免过度依赖标志。

虽然一些研究人员已经提出通过从车辆正面视图或ROI中提取特征来实现VMR，但没有研究车辆识别中是否存在关键区域或特征，也没有探讨遮挡对识别的影响。对于这些通过增加随机掩模或增加数据库大小来解决分类和检测中的遮挡或伪标志问题的工作，这些工作并没有考虑数据与识别精度在特定问题下的内在联系，因此，本发明提出了一种新的解决方法。通过对识别中敏感区域的精确定位，可以进一步提高这些方法的有效性和效率。

发明内容

针对现有问题，本发明提出了一种汽车前脸图片的部分遮挡、无车标、假车标等情况的高精度汽车品牌识别方法。

本发明的技术方案：

一种汽车前脸品牌分类方法，步骤如下：

(1)创建用于汽车前脸品牌分类的前视图初始训练图像库：整理不同品牌及其不同型号的汽车前脸图像，总样本数目不少于5000，涵盖汽车品牌数目不少于20，单一品牌图像数目不低于150；将背景信息与汽车分离并舍弃，背景色设置为白色；按照宽高比为5：2截取感兴趣区域ROI并存储新图像，尺寸统一化，根据品牌进行标注，将数据集分为60％训练集、20％校验集、20％测试集；

(2)提取影响汽车品牌分类的最显著区域：利用步骤(1)创建的初始训练库，采用深度学习分类器进行初始分类，通过可视化权重分析得车标及周围区域对品牌识别影响极大；

(3)创建车标移除的汽车前脸品牌分类数据集：根据步骤(2)得出的结论，对步骤(1)得到的初始训练图像库中的图像逐一进行后处理，去除车标，生成无车标的汽车前脸品牌分类数据集，该数据集规模与步骤(1)的初始训练图像库相同且图片一一对应，并按汽车品牌标注；

(4)检测品牌分类遮挡不变性的敏感区域尺寸及位置，并创建相应数据集：采用方形随机色彩块进行图像的部分遮挡；首先根据图像尺寸测定方形尺寸大小，进而确定该尺寸下遮挡块的确切位置；针对步骤(1)创建的数据集，创建新的随机遮挡数据集并做训练分类测试；最终确定遮挡块的高度与原始图像高度比例为1：2.8～3.2之间；进而根据识别率高低，确定影响识别率最高的十个遮挡块位置；根据上述位置，创建相应的遮挡数据集，并做标注；

(5)合并步骤1、步骤3、步骤4创建的三个数据集，定义为汽车前脸遮挡不变性数据集，并按照3：1分为训练集、验证集；

(6)采用深度学习分类器，进行训练得到分类器，然后用于汽车前脸图像的品牌识别测试。

本发明的有益效果：

1)对汽车前视图图像进行精确品牌分类。

2)对汽车前视图部分遮挡图像可实现精确品牌分类。

3)对汽车前视图无车标图像可实现精确品牌分类。

4)对汽车前视图车标造假图像可实现精确品牌分类。

本发明对比已有技术具有以下显著优点：

1)针对汽车前脸品牌识别问题，本发明可有效识别无遮挡、部分遮挡、无车标、假车标等多个复杂工况。

2)基于大规模数据的遮挡不变性识别模型库，结合深度学习分类器，方法鲁棒性高、精度高、可移植性强。

附图说明

图1为本发明的流程图。

图2(a)为汽车前视图图像。

图2(b)为图2(a)的ROI区域处理图。

图3为汽车前视图图像车标移除示意图。

图4为汽车前视图图像显著区域遮挡示意图。

图5为汽车前视图遮挡不变数据库示意图。

图6为汽车前视图遮挡不变性品牌分类器。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

一种汽车前脸参数化模型全自动生成方法，步骤如下：

(1)创建用于汽车前脸品牌分类的前视图初始训练图像库：整理不同品牌及其不同型号的汽车前脸图像，总样本数目不少于5000，涵盖汽车品牌数目不少于20，单一品牌图像数目不低于150；将背景信息与汽车分离并舍弃，背景色设置为白色；按照宽高比为5：2截取感兴趣区域(ROI，参见图2(a)和图2(a))，并存储新图像，尺寸统一化，如144*360像素，根据品牌进行标注，将数据集分为60％训练集、20％校验集、20％测试集；

(2)提取影响汽车品牌分类的最显著区域。利用步骤(1)创建的初始训练库，采用深度学习分类器，如可选用VGG19、ResNet50等网络结构进行初始分类，通过可视化权重分析可得车标及周围区域对品牌识别影响极大；

(3)创建车标移除的汽车前脸品牌分类数据集。根据(2)结论，对数据集(1)中图像逐一进行后处理，去除车标，并根据车标周围细节进行填充抠除部分，生成无车标的汽车前脸品牌分类数据集，参见图3，该数据集规模与(1)相同且图片一一对应，并按汽车品牌标注；

(4)检测品牌分类遮挡不变性的敏感区域尺寸及位置，并创建相应数据集。本方法采用方形随机色彩块进行图像的部分遮挡。首先根据图像尺寸测定方形尺寸大小，进而确定该尺寸下遮挡块的确切位置。针对步骤(1)创建的数据集，创建新的随机遮挡数据集并做训练分类测试。最终确定遮挡块的高度与原始图像高度比例为1：2.8～3.2之间较为合理。进而根据识别率高低，确定影响识别率最高的十个遮挡块位置。根据上述位置，创建相应的遮挡数据集，并做标注。

参见图4。具体实施如下：

该部分由两个模块组成，即敏感区域检测模块和敏感区域移除模块。

给定训练集首先针对汽车品牌识别训练一个CNN模型。将CNN模型定义为一个从N个图像到C个类别的置信向量的映射函数置信向量y＝[y₁，y₂，......，y_c]^T，其中y_j(j＝1，2，......，C)代表第j个类别的置信度。因此分类结果可以表述为寻找拥有最大置信度的类别。为找到分类中的敏感区域，图像中的矩形区域r＝[r_x，r_y，w，h]被随机遮挡块p遮挡，其中r_x与r_y为区域左上顶点坐标，w与h分别代表矩形宽度与长度。给定验证集通过逐渐积累正确样本，可以获得最终的准确率，即g(f(Val))。将带有遮挡的验证集上的准确率定义为g(f(Val，r))。因此敏感区域定位函数可以表达为：

r^Φ＝max(Φ_f(Val，r))

Φ_f(Val，r)＝g(f(Val))-g(f(Val，r))

其中函数Φ_f(Val，r)比较原验证集和被遮挡的验证集上的准确率。通过利用图像中最敏感区域被遮挡造成的准确率下降最大这一事实，可以定位汽车品牌识别中的敏感区域。本发明选择了前十个最大精度损失的区域，并将之定义为敏感区域。

以144×360像素的图像为例，确定最终遮挡块尺寸的原则如下：

·遮挡框应足够大，从而可以对识别精度造成影响。

·为避免损失过多特征并保证后续识别效果，遮挡块尺寸应有上限。

·遮挡块的尺寸应保证消除当前敏感区域后，无新的敏感区域生成。

考虑综上因素，通过实验确定遮挡块尺寸为48×48，并通过16个像素的步幅密集的生成了遮挡块，通过以上方法，每张图像可生成约140张被遮挡图像。

敏感区域定位后，采用向敏感区域添加噪声的方式以减轻模型对该区域的局部依赖程度。敏感区域消除模块将采用两种方式进行数据增强。一种为添加随机遮挡，另一种为填充纹理信息。两种方法均基于原训练集，增强后的训练集为随之CNN模型将在全新的数据集上进行二次训练，映射函数也更新为为检验其有效性，定义了一个精度损失阈值ε以限制本发明取ε设置为0.05。特别指出的是，上述精度损失阈值并不作为反馈来调节训练过程。

同时，在少数敏感区域中，精度损失可能并不满足阈值要求。这种情况下，训练集将会在这些区域上再次进行敏感区域消除并重新训练CNN模型。

与随机擦除的方法不同，本方法主要贡献在于敏感区域的精确定位，该方法不仅可以用来进行特征理解，还可以需要提供遮挡块的具体位置，减少了数据扩增中大量冗余的遮挡。

(5)合并步骤1、步骤3、步骤4创建的三个数据集，定义为汽车前脸遮挡不变性数据集，并按照3：1分为训练集、验证集，参见图5。

6)采用深度学习分类器，如ResNet50等网络结构进行训练得到分类器，然后可用于汽车前脸图像的品牌识别测试。

Claims

1.一种汽车前脸品牌分类方法，其特征在于，步骤如下：

2.根据权利要求1所述的汽车前脸品牌分类方法，其特征在于，步骤(4)的具体实施如下：

该部分由两个模块组成，即敏感区域检测模块和敏感区域移除模块；

敏感区域检测模块：给定训练集首先针对汽车品牌识别目标训练一个卷积神经网络CNN模型；将CNN模型定义为一个从N个图像到C个类别的置信向量的映射函数f：记置信向量y＝[y₁，y₂，......，y_c]^T，其中y_j(j＝1，2，......，C)代表第j个类别的置信度；因此分类结果表述为寻找拥有最大置信度的类别；为找到分类结果中的敏感区域，图像中的矩形区域r＝[r_x，r_y，w，h]被随机遮挡块p遮挡，其中r_x与r_y为区域左上顶点坐标，w与h分别代表矩形宽度与长度；给定验证集通过逐渐积累正确样本，获得最终的准确率，即g(f(Val))；将带有遮挡的验证集上的准确率定义为g(f(Val，r))；因此敏感区域定位函数表达为：

r^Φ＝max(Φ_f(Val，r))

Φ_f(Val，r)＝g(f(Val))-g(f(Val，r))

其中，函数Φ_f(Val，r)比较原验证集和被遮挡的验证集上的准确率；选择前十个最大精度损失的区域，并将之定义为敏感区域；

敏感区域移除模块：敏感区域定位后，采用向敏感区域添加噪声的方式以减轻CNN模型对该敏感区域的局部依赖程度；敏感区域移除模块将采用两种方式进行数据增强：一种为添加随机遮挡，另一种为填充纹理信息；两种方法均基于原训练集，增强后的训练集为随之CNN模型将在全新的数据集上进行二次训练，映射函数也更新为为检验其有效性，定义一个精度损失阈值ε以限制取ε设置为0.05；

同时，在少数敏感区域中，精度损失可能并不满足阈值要求；这种情况下，训练集将在这些区域上再次进行敏感区域消除并重新训练CNN模型。