CN105868786A - 一种基于自编码预训练深度神经网络的车标识别方法 - Google Patents

Abstract

本发明公开了一种基于自编码预训练深度神经网络的车标识别方法，具体为：建立车标样本数据库；构建深度神经网络和自编码神经网络；训练阶段，先进行预训练，再进行深度神经网络训练；对深度神经网络进行测试；读取交通卡口采集到的前车车脸图像，然后基于前车车脸图像获取车标图像，并对车标图像进行预处理后作为待识别车标图像；将待识别车标图像输入到训练好的深度神经网络中，得到车标识别结果。本发明的有益效果是：本发明采用自编码神经网络优化初始权值减少了训练时间，提高了车标识别准确率，相较与类似车标识别方法，本发明整个系统结构更加简单，更易于更新和扩充，同时，本发明对噪声的鲁棒性更好，可以对无车牌的车辆实现车标识别。

Description

一种基于自编码预训练深度神经网络的车标识别方法

技术领域

本发明涉及智能交通技术领域的车标识别技术，特别涉及一种基于自编码预训练深度神经网络的车标识别方法。

背景技术

随着现代交通的发展，智能交通系统已经成为最重要的研究领域之一，智能交通旨在监控并反馈交通流量及突发交通事故等。因此，车辆车牌识别和车标识别成为了智能交通最前沿的研究方向。如今，车牌识别已经成为了最常用智能交通方法。

但是，随着车辆数量的增加，车辆犯罪也成为了一个严重的车辆问题，车辆犯罪主要包括盗抢机动车以及利用机动车犯罪等形式，根据相关部门的统计，我国被盗抢的机动车辆数量已经突破百万，此类案件不仅对失主造成了不小的经济损失，也对公共安全提出了严峻的挑战；另外，许多不法分子在实施犯罪后，如针对银行或者珠宝店的抢劫，往往会选择汽车作为逃离犯罪现场的交通工具；除此之外，在当前形势下，还存在极少数的恐怖主义或极端主义支持者，他们也经常利用车辆进行一些恐怖活动，例如臭名昭著的汽车炸弹等等。目前，在遇到与车辆有关联的犯罪活动之后，公安部门一般在关键路段采用人工观察车牌号、颜色等方法，效率较低，侦破率也因此不近人意。以上这些基于车辆的犯罪活动，通常都有一些共同点，为了躲避交通监控的追踪，不法分子会遮盖、更换甚至直接拆卸车辆牌照，这会导致车辆识别效果大打折扣，也使得许多不法分子逍遥法外。因此，在针对机动车犯罪检测时，以车标识别为核心的智能交通技术成了新的研究重点。

文献1：Psyllos A P,Anagnostopoulos C-N E,Kayafas E.Vehicle logorecognition using a sift-based enhanced matching scheme[J].IntelligentTransportation Systems,IEEE Transactions on,2010,11(2):322-328，提出一种基于SIFT特征匹配的车标识别方法，是利用车标的SIFT特征在图像中匹配识别车 标，该方法获得了不俗的效果，但是其对于光照等噪声较为敏感。文献2：Pan C,Yan Z,Xu X,etal.Vehicle logo recognition based on deep learning architecture in videosurveillance for intelligent traffic system[C].2013IET InternationalConference on Smart and Sustainable City 2013:132-135，提出了基于卷积神经网络的车标识别方法，获得了较为理想的车标识别率，同时对于一些噪声有很好的鲁棒性，但是该方法所采用的卷积神经网络需要比较长的训练时间，同时，相比较于深度神经网络，其结构较为庞大，实现较为复杂，不利于整个系统的更新和扩充；另外，该方法是基于车牌和车标的相对上下位置实现车标检测，进而进行车标识别，对于无车牌的车辆很难实现车标检测过程。总之，现在缺乏一种基于车标自身特征的且拥有高识别率和训练效率较高的方法。

发明内容

针对现有技术对噪声敏感、训练时间长等缺陷，提供了一种基于自编码预训练深度神经网络的车标识别方法，本发明的重点在于：一是通过视觉显著性检测，实现基于车标自身特征的车标检测，对无车牌车辆同样适用；二是通过深度神经网络自身的结构优势，提高车标识别的识别率，并通过自编码神经网络预训练阶段，减少训练阶段的冗杂程度，提高训练过程的训练效率，减少训练时间。

为了实现上述发明目的，本发明提供了一种基于自编码预训练深度神经网络的车标识别方法，所述识别方法具体为：

步骤S1：建立车标样本数据库；人工采集车前脸图像(包括训练样本和测试样本，并对训练样本进行标签识别)，并通过视觉显著性检测方法获取车标图像，对车标图像进行预处理，得到训练样本集和测试样本集；

步骤S2：构建深度神经网络，深度神经网络包括四层：输入层、隐含层1、隐含层2和输出层；

步骤S3：构建两个自编码神经网络，分别对深度神经网络中输入层和隐含层1之间的权值1以及隐含层1和隐含层2之间的权值2进行预训练；

步骤S4：将预训练得到的权值1和权值2作为深度神经网络权值1和权值2的初始权值，再使用训练样本对深度神经网络进行训练，得到训练好的深度神经网络；

步骤S5：将测试样本输入到训练好的深度神经网络进行测试；

步骤S6：读取交通卡口采集到的前车车脸图像，然后基于前车车脸图像，通过视觉显著性检测方法获取车标图像，并对车标图像进行预处理后作为待识别车标图像；

步骤S7：将待识别车标图像输入到训练好的深度神经网络中，得到车标识别结果。

其中，所述步骤S1中，人工采集n款车标的车前脸图像，每一款车标共采集至少800张车前脸图像，然后通过视觉显著性检测方法获取车标图像作为训练样本和测试样本，优选地，每一款车标共采集800-1500张车前脸图像作为训练样本和测试样本，优选为采集1150张车前脸图像作为训练样本和测试样本，优选地选取1000张车标图像作为训练样本，150张车标图像作为测试样本，即每款车标对应的所述训练样本集包含10000个训练样本，所述测试样本包含1500个测试样本；其中，n为大于等于1的整数。

所述步骤S1和所述步骤S6中，所述预处理是指对图像经过尺寸归一化为70×70像素，并灰度化处理。

所述步骤S2中，所述深度神经网络的输入层的输入为70×70像素的训练样本，包含4900个节点，隐含层1和隐含层2各包含700个节点，输出层所包含的节点数目则和车标类型数目一致。

所述步骤S3中，两个所述自编码神经网络均包括三层：输入层、隐含层和输入层，第一个自编码神经网络三层的节点数依次为4900、700和4900，分别对应深度神经网络的输入层、隐含层1和输出层；第二个自编码神经网络三层的节点数分别为700、700和700，分别对应深度神经网络的隐含层1、隐含层2和隐含层1。

所述步骤S1和步骤S6中，所述视觉显著性检测方法具体为：

将读取的RGB前车车脸图像，根据强度特征计算公式I＝(r+g+b)/3，得到前车车脸图像的强度特征图，在强度特征图的基础上进行0°、45°、90°和135°四个方向的Gabor滤波处理，得到四张方向特征图，分别计算强度特征图和方向特征图中每个像素与周边像素的相似度，然后先对四张方向特征图进行叠加获得一张融合后的方向特征图，再将强度特征图和融合后的方向特征图叠加，得到显著图，在显著图上选取99.4％高显著性并且连通区域面积最大的显著区 域，即得到所述车标图像。其中，计算出强度特征图和每一张方向特征图中每个像素点与周边像素点的相似度后，根据每一个像素点的相似度，对该像素点重新赋灰度值，所述灰度值由相似度所处比例决定，相似度最高赋灰度值255，最低赋灰度值0，此处相似度采用构建马尔科夫随机场衡量像素点之间的相似度，相似度可以更好的反应该像素点在图中的特征显著性。

本发明的有益效果是：本发明的识别方法是基于车标自身的特征进行检测定位，可实现无车牌车辆的车标识别过程，适用于各种条件下的车标图像，而且在识别率和训练效率上均大大提高；其中，针对车标识别过程，本发明采用深度神经网络作为训练框架，使用自编码神经网络作为预训练框架完成训练阶段；结合视觉显著性检测和训练好的深度神经网络实现测试阶段，可以获得较为理想的车标识别结果。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例中车标识别算法训练过程流程示意图。

图3为本发明实施例中部分测试样本的示意图。

图4为本发明实施例中的深度神经网络训练示意图。

图5为本发明实施例中dropout方法原理示意图。

图6为本发明实施例中第一自编码神经网络预训练示意图。

图7为本发明实施例中第二自编码神经网络预训练示意图。

具体实施方式

本发明的核心思想为：针对交通口或监控视频中截取的前车脸图像，采用视觉显著性检测实现车标图像检测，并采用深度神经网络训练权值矩阵，且通过自编码神经网络对权值进行预训练，结合dropout方法提高深度神经网络的泛化能力，从而实现对车标图像的检测和识别功能。

以下采用实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

本发明实施例提供了一种基于自编码预训练深度神经网络的车标识别方法，参见图1和图2，本发明实施例车标识别方法具体为：

步骤S1：建立车标样本数据库；人工采集车前脸图像，并通过视觉显著性检测方法获取车标图像，对车标图像进行预处理，得到含有训练样本集和测试样本集的样本库；

参见图3，本实施例中，人工采集十类(即n＝10)车标的车前脸图像，包括别克、雪铁龙、本田、现代、马自达、日产、标致、铃木、丰田和大众十款车标，每款车标采集1150张图像，然后通过视觉显著性检测方法获取车标图像，将每款车对应的1000张车标图像作为训练样本，150张车标图像作为测试样本，即所述训练样本集包含10000个训练样本，所述测试样本包含1500个测试样本。其中，每款车标均采集包含各种不同车标尺寸、拍摄角度、光照情况和清晰度的车标图像，车标图像中的所有噪音都是源于自然，并没有人为刻意地增加噪音，且样本库中的图像均经过尺寸归一化为70×70像素，并灰度化处理；

步骤S2：构建深度神经网络，参见图4深度神经网络包括四层：输入层、隐含层1、隐含层2和输出层；深度神经网络的输入层的输入为70×70像素的训练样本，包含4900个节点，隐含层1和隐含层2各包含700个节点，输出层包含10个节点，分别对应10类车标。

其中，作为深度神经网络的输入，应对样本库中车标图像进行向量化，即将所有的车标图像转化成1×4900的向量，因此在深度神经网络中，输入层就相应的设有4900个节点。

步骤S3：构建两个自编码神经网络(第一自编码神经网络和第二自编码神经网络)，分别对深度神经网络中输入层和隐含层1之间的权值W⁽¹⁾以及隐含层1和隐含层2之间的权值W⁽²⁾进行预训练；通过不断的迭代、更新权值矩阵，使得代价函数尽可能的接近于零；

其中，两个所述自编码神经网络(参见图6和图7)均包括三层：输入层、隐含层和输出层，第一个自编码神经网络三层的节点数依次为4900、700和4900，分别对应深度神经网络的输入层、隐含层1和输入层；第二个自编码神经网络三层的节点数分别为700、700和700，分别对应深度神经网络的隐含层1、隐 含层2和隐含层1。

以第一自编码神经网络为例，其输入层-深度神经网络的输入层，隐含层-深度神经网络的隐含层1，输出层-深度神经网络的输入层。由于深度神经网络和自编码神经网络均采用Sigmoid函数作为激活函数，由于自编码神经网络中输入层和隐含层之间的关系与深度神经网络中输入层和隐含层1之间的关系是一样的，即层与层之间权值矩阵也完全一样，因此通过自编码神经网络预训练权值W⁽¹⁾是完全正确的。类似的，权值W⁽²⁾也可以被预训练。

自编码神经网络是一种无监督的神经网络，在传统的神经网络中，训练样本是以样本x和标签y作为输入，通过实际输出h_W,b(x)和理论输出，即标签值y构造代价函数J(W,b；x,y)，进而使用梯度下降法实现权值矩阵W(包含偏置项权值向量b)的更新。在自编码神经网络中，输入只有样本x，我们把输入同时也作为输出项，利用实际输出h_W,b(x)和理论输出，即输入x构造代价函数J(W,b；x)，利用梯度下降法进行迭代权值矩阵W。

步骤S4：将预训练得到的权值W⁽¹⁾和权值W⁽²⁾作为深度神经网络中输入层和隐含层1之间的权值W⁽¹⁾以及隐含层1和隐含层2之间的权值W⁽²⁾的初始值，再使用训练样本对深度神经网络进行训练，得到训练好的深度神经网络；

其中，构建的深度神经网络，除输出层外其它三层不仅包括设定的节点，还包括一个偏置项，偏置项没有输入，输出+1。层与层之间通过权值矩阵和偏置项向量互相连接，除输入层外，其余各层的输入均为上一层每个节点的加权输出和；除输出层外，每个节点的输出将作为下一层每一个节点输入的一部分。每一层的节点实际上包含了一个激励函数，本发明所采用的是Sigmoid函数：f(z)＝sigmoid(z)＝1/(1+exp(-z))。

采用BP算法通过训练样本对深度神经网络进行训练，即采用反向传播算法通过训练样本训练深度神经网络的权值矩阵，反向传播算法包括前向传播和反向传播，具体为：

(1)前向传播：

对于深度神经网络，第l层第j个单元与第l+1层第i个单元之间的权重参数为第l+1层第i个单元的偏置项为因此W^(l)是第l层和第l+1层之间的权值矩阵，b^(l)是第l+1层的偏置项向量。定义每个单元节点的输入值和激活值为：

$z_i^{(l+1)}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{ij}^{\left(l\right)}{x}_j+b_i^{\left(l\right)}$

$a_i^{(l+1)}=f\left(z_i^{(l+1)}\right)$

推广后，定义每一层的输入值和激活值为：

z^(l+1)＝W^(l)x+b^(l)

a^(l+1)＝f(z^(l+1))

其中，输入层的输入值是输入的样本，即a⁽¹⁾＝x。基于此，样本在深度神经网络中实现了逐层的前向传播，最终深度神经网络输出计为实际输出值h_W,b(x)。

(2)反向传播：

构造代价函数，对于包含m个样例的固定样本集{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),...,(x^(m),y^(m))}(对于每一个输入向量x⁽ⁱ⁾，y⁽ⁱ⁾就是它的标签值，其中标签y⁽ⁱ⁾就是输出的期望)，代价函数为：

$J(W,b)=\[\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left(\frac{1}{2}\right|\left|h_{W,b}\right(x^{\left(i\right)})-y^{\left(i\right)}|{|}^2)\]+\frac{\mathrm{\λ}}{2}\mathrm{\Σ}{\left(W_{ji}^{\left(l\right)}\right)}^2$

其中，λ是权重衰减项，其目的是减小权重的幅度，防止过度拟合，提高整个深度神经网络的泛化能力。代价函数其实代表了深度神经网络输出的实际结果和实际结果之间的差距是多少，即深度神经网络模型的正确性有多少，当代价函数很大的时候，说明模型并不是很理想，反之，如果代价函数很小，那么说明模型充分学习了训练样本。由于代价函数是一个非凸函数，通过梯度下降法是一定可以找到它的局部最小值。通过计算W和b的偏导数，进而对其进行更新可以获得更小的代价函数，即：

$W_{ji}^{\left(l\right)}=W_{ji}^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂W_{ji}^{\left(l\right)}}J(W,b;x,y)$

$b_i^{\left(l\right)}=b_i^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂b_i^{\left(l\right)}}J(W,b;x,y)$

其中α是学习速率，决定了梯度下降的速率。通过梯度下降法，训练样本从输出层逐层后向传播，减小代价函数。训练样本在深度神经网络中迭代地进行前向传播和后向传播，实现对权值矩阵的训练。

此外，本发明还采用了dropout方法提升深度神经网络的泛化能力。参见图5，在深度神经网络的某一次迭代过程中，dropout按照一定比例随机的保存每层隐含层中一定比例的节点所对应的权值，在迭代过程中不对其做修改，而深度 神经网络中其他的节点对应的权值将会更新。在下一次迭代中，dropout按照同样的比例重新选取一部分节点。并且，dropout不会让某个节点在两次连续迭代过程中均被隐藏。

步骤S5：将测试样本输入到训练好的深度神经网络进行测试；

本实施例是在Intel Core i5-4460 CPU，4.00G内存和NVIDIA GeForce GT705独立显卡条件下，采用本实施例所建立的车标数据库(图2所示)进行训练和测试，选取300次预训练迭代和200次训练迭代，经过预训练和训练后，获得了权值矩阵。基于此权值矩阵，对于1500个测试样本进行测试，获得了最终的测试结果(见表1)。

对比试验：分别采用背景技术中文献1提出的MFM方法进行车标识别，以及基于上述步骤S1建立的样本库，采取文献2提出的CNN方法(文献2)进行训练并测试，将上述两种识别率及训练时间与本发明实施例进行对比，结果如表2所示。

表1本实施例识别方法的测试结果统计表

表2本发明与传统识别方法的测试结果对照表

从表1和表2的数据可以看出：与现有识别方法相比，本发明实施例不仅保证了较高的识别率，而且明显缩短了训练时间，极大的提高了训练效率。

步骤S6：在本实施例方法具有非常理想的测试结果后，即可将本系统投入实际应用中。读取交通卡口采集到的前车车脸图像，然后基于前车车脸图像，通过视觉显著性检测方法获取车标图像，并对车标图像经过尺寸归一化为70×70像素，并灰度化处理即可作为待识别车标图像；

其中，步骤S1和步骤S6中的视觉显著性检测方法具体为：将从交通卡口直接读取的RGB前车车脸图像，根据强度特征计算公式I＝(r+g+b)/3，得到前车车脸图像的强度特征图，在强度特征图的基础上进行0°、45°、90°和135°四个方向的Gabor滤波处理，得到四张方向特征图，分别计算强度特征图和方向特征图中每个像素与周边像素的相似度，然后先对四张方向特征图的像素值直接相加求和后除以四，即获得一张融合后的方向特征图，再将强度特征图和融合后的方向特征图的像素值取权值(其中，强度特征图的权值为0.3，融合后的方向特征图的权值为0.7)，进行加权得到融合的图像即显著图，在显著图上选取99.4％高显著性并且连通区域面积最大的显著区域，即得到所述车标图像。其中，计算出强度特征图和每一张方向特征图中每个像素点与周边像素点的相似度后，根据每一个像素点的相似度，对该像素点重新赋灰度值，所述灰度值由相似度所处比例决定，相似度最高赋255，最低赋0，此处相似度采用构建马尔科夫随机场衡量像素点之间的相似度，相似度可以更好的反应该像素点在图中的特征显著性。其中，上述相似度的计算方法为现有技术，在此不再赘述。

步骤S7：将待识别车标图像输入到训练好的深度神经网络中，得到车标识别结果。

经过15天的实际应用，人工核对识别结果，发现分类效果比较理想，经统计，白天车标识别准确率在98％以上，夜晚光线较好识别率在90％以上。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

Claims (6)

1.一种基于自编码预训练深度神经网络的车标识别方法，其特征在于，所述识别方法具体为：

步骤S1：建立车标样本数据库；人工采集车前脸图像，并通过视觉显著性检测方法获取车标图像，对车标图像进行预处理，得到训练样本集和测试样本集；

步骤S2：构建深度神经网络，深度神经网络包括四层：输入层、隐含层1、隐含层2和输出层；

步骤S3：构建两个自编码神经网络，分别对深度神经网络中输入层和隐含层1之间的权值1以及隐含层1和隐含层2之间的权值2进行预训练；

步骤S4：将预训练得到的权值1和权值2作为深度神经网络权值1和权值2的初始值，再使用训练样本对深度神经网络进行训练，得到训练好的深度神经网络；

步骤S5：将测试样本输入到训练好的深度神经网络进行测试；

步骤S6：读取交通卡口采集到的前车车脸图像，然后基于前车车脸图像，通过视觉显著性检测方法获取车标图像，并对车标图像进行预处理后作为待识别车标图像；

步骤S7：将待识别车标图像输入到训练好的深度神经网络中，得到车标识别结果。

2.根据权利要求1所述的基于自编码预训练深度神经网络的车标识别方法，其特征在于，所述步骤S1中，人工采集n款车标的车前脸图像，每一款车标共采集至少800张车前脸图像，然后通过视觉显著性检测方法获取车标图像作为训练样本和测试样本；其中，n为大于等于1的整数。

3.根据权利要求1或2所述的基于自编码预训练深度神经网络的车标识别方法，其特征在于，所述步骤S1和所述步骤S6中，所述预处理是指对图像经过尺寸归一化为70×70像素，并灰度化处理。

4.根据权利要求1-3任一项所述的基于自编码预训练深度神经网络的车标识别方法，其特征在于，所述步骤S2中，所述深度神经网络的输入层的输入为70×70像素的训练样本，包含4900个节点，隐含层1和隐含层2各包含700个节点，输出层所包含的节点数目则和车标类型数目一致。

5.根据权利要求1-4任一项所述的基于自编码预训练深度神经网络的车标识别方法，其特征在于，所述步骤S3中，两个所述自编码神经网络均包括三层：输入层、隐含层和输入层，第一个自编码神经网络三层的节点数依次为4900、700和4900，分别对应深度神经网络的输入层、隐含层1和输出层；第二个自编码神经网络三层的节点数分别为700、700和700，分别对应深度神经网络的隐含层1、隐含层2和隐含层1。

6.根据权利要求1-5任一项所述的基于自编码预训练深度神经网络的车标识别方法，其特征在于，所述步骤S1和步骤S6中，所述视觉显著性检测方法具体为：

将读取的RGB前车车脸图像，根据强度特征计算公式，得到前车车脸图像的强度特征图，在强度特征图的基础上进行0°、45°、90°和135°四个方向的Gabor滤波处理，得到四张方向特征图，分别计算强度特征图和方向特征图中每个像素与周边像素的相似度，然后先对四张方向特征图进行叠加获得一张融合后的方向特征图，再将强度特征图和融合后的方向特征图叠加，得到显著图，在显著图上选取99.4%高显著性并且连通区域面积最大的显著区域，即得到所述车标图像。