CN108647679A - 一种基于车窗粗定位的车标识别方法 - Google Patents

Abstract

本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种基于车窗粗定位的车标识别方法。本发明采用计算机视觉技术，通过定位车窗对车标进行粗定位、车标精定位与基于卷积神经网络的车标分类，解决了车标识别问题，同时拥有更好的准确率与效率，改善了以车牌辨车的传统工作模式，为打击汽车套牌、一车多牌、假牌照等违法犯罪行为提供了可靠帮助，进一步提高了智能交通的可靠性，节省了大量的人力成本。

Description

一种基于车窗粗定位的车标识别方法

技术领域

本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种基于车窗粗定位的车标识别方法。

背景技术

随着科学技术和社会经济的高速发展，人民生活水平不断提高，车辆数量也在飞速增长，城市道路交通问题显得越来越突出，各种道路交通问题接踵而至，以人眼识别为主的传统道路监控方式便无法满足要求，现代化智能交通控制系统已成为未来全球道路交通的发展趋势和现代化城市的先进标志。近年来，遮挡车牌、汽车套牌等妨碍交通秩序的违法行为层出不穷，仅依靠车牌识别已不能适应当前的交通现状了，因此，车标识别技术变得更为重要，它可以弥补车牌识别的不足，从而进一步提高智能交通系统的可靠性。

视频中运动车辆的车标识别与检测是近年来智能交通管理系统中比较关注的研究方向之一。目前，国内已有一些车标识别的方法，其中与本发明较为相近的技术方案包括：专利(陆辉；蒋恋华；张仁辉。车标定位与识别方法。CN103310231A[P]。2013。)使用车牌来对车牌进行粗定位，犯罪车辆通常没有车牌或车牌被遮挡，此时无法正确识别车牌，在这种情况下，该方法无法正确识别车标；发明专利(杜克林；吴斌；赵旭等。一种基于机器学习的车标识别方法。

CN105740886A[P]。2016。)中使用SIFT算子将提取到的车标特征放入SVM分类器进行训练与分类，该方法虽然在识别率上有所提高，但是使用多个二值子分类器对多种车标进行分类，不仅会使决策时的速度过慢，而且可能导致分类器泛化误差无界，此外，使用这种卷积神经网络+SVM的非端到端式的检测效率很低；文献(宁莹莹,李文举,王新年。基于主成分分析和BP神经网络的车标识别[J]。辽宁师范大学学报(自然科学版),2010,33(2):179-184)通过主成分分析(PCA)提取特征并通过BP神经网络对车标进行训练与识别，该算法比较依赖车标定位算法，如果没有定位到较完整的车标图片会对识别结果产生较大影响，此外，该方法对噪声的干扰也较为敏感。

综上所述，在对车标进行识别时，当前方法存在如下不足：(1)在无车牌时无法对车标进行粗定位；(2)有时无法提取到正确的车标区域；(3)识别采用SVM分类速度较慢；(4)噪声会对识别结果产生较大的影响。本发明针对这些问题提出了一种基于卷积神经网络的车标识别方法。

发明内容

为解决上述问题，本发明提供了一种基于车窗粗定位的车标识别方法。

所述的一种基于车窗粗定位的车标识别方法，其特征在于具体步骤如下：

步骤1：定义车标种类集合为C＝{C_i|i＝1,…,t}，其中t为车标的总数，并建立相应的车标数据集；

步骤2：构建用于车标分类的卷积神经网络并用步骤1中的车标数据集进行训练，得到卷积神经网络；

步骤3：对输入的车辆图像I进行车标定位，I的宽为width，高为height，具体为：

步骤3.1：识别车窗并根据车窗的位置对车标进行粗定位；

步骤3.2：根据式(7)，(8)，(9)计算每一像素行是否有效，若FR_i为1，则表示第i行为有效行，否则，为无效行：

其中，D(i,j)为矩形D第i行第j列的灰度值，σ_i为第i行像素值的标准差，μ₁为比例系数，AVG_r(i)为第i行的像素均值；

步骤3.3：连接相邻的有效行，得到有效块集合rect_i(x_i,y_i,w_i,h_i)，i＝1,2,...n，n为有效块的总数，其中，(x_i,y_i)为rect_i左上角坐标，w_i和h_i为矩形rect_i的宽和高；

步骤3.4：从rect_i中剔除块的块，得到新的rect_i，根据(10)，(11)筛选出车标所在的区域R；

h_max＝max(h₁,h₂,...,h_n) (10)

R＝rect_max(x_max,y_max,w_max,h_max) (11)

其中，(x_max,y_max)为R左上角坐标，w_max和h_max为矩形R的宽和高，为阈值；

步骤3.6：根据式(12)，(13，(14)计算每一列是否有效，若FC_i为1，则表示第i行为有效行，否则，为无效行：

其中，R(j,i)为矩形R第j行第i列的灰度值，σ'_i为第i列像素值的标准差，μ₁为比例系数，AVG_c(i)为第i列的像素均值；

步骤3.7：根据式(15)，(16)，(17)得到车标精确定位区域D'，完成车标的精确定位：

F_max＝max(i|F_i＝1) (15)

F_min＝min(i|F_i＝1) (16)

其中，(x',y')为D'左上角坐标，w'和h'为矩形D'的宽和高；

步骤4：利用训练好的卷积神经网络对车标定位区域D'进行识别，具体为：

步骤4.1：将D'对应的图像I'归一化至N*N像素大小，传入步骤2训练所得的卷积神经网络，得到输出向量U＝(u₁,u₂,...,u_t)，其中u_k为I'对应车标C_k的概率，k＝1,2,...,t；

步骤4.2：根据式(18)得到最大的概率u_q，则车标识别结果为C_q，C_q∈C，完成车标的识别：

u_q＝max(u₁,u₂,...,u_t) (18)。

所述的一种基于车窗粗定位的车标识别方法，其特征在于步骤2中的构建用于车标分类的卷积神经网络并用步骤1中的车标数据集进行训练，具体过程为：

步骤2.1：构建含有8层的卷积神经网络，8层依次是卷积层Conv1，池化层Pool2，卷积层Conv3，池化层Pool4，卷积层Conv5，池化层Pool6，全连接层Fc7，分类层Softmax8，其中卷积层Conv1的输入大小为N*N，分类层Softmax8的输出向量大小为t+1；

步骤2.2：随机初始化卷积神经网络，使用步骤1构建的车标数据集对卷积神经网络进行训练，并根据公式(1)计算损失函数L，并根据链式法则逐步计算反向误差，更新各层的权重参数值，直到输出的损失函数L≤θ，完成训练：

其中，Yⁱ和分别为实际输出和真实标签第i个神经元的值，θ为设定的阈值。

所述的一种基于车窗粗定位的车标识别方法，其特征在于步骤3.1中的对车标进行粗定位具体为：

步骤3.1.1：根据公式(2)对I进行灰度化处理，得到灰度图I_G：

I_G(x,y)＝max(I(x,y,k)) (2)

其中，I_G(x,y)为图像I_G上第x行第y列的灰度值，I(x,y,k)为图像I上第x行第y列第k个通道的灰度值，k＝1,2,3；

步骤3.1.2：使用OTSU方法对I_G进行二值化，得到式I_B，并根据式(3)得到I_O：

其中，e₁,e₂为结构元，为膨胀运算，Θ为腐蚀运算；

步骤3.1.3：扫描整幅二值图像I_O，计算各白色区域的像素面积，过滤面积小于0.005*height*width的连通区域，得到连通区域的候选集l＝{l_i i＝1,2,…,m}，m为过滤后连通区域的总数；

步骤3.1.4：利用最小外接矩形算法，通过公式(4)计算各个连通区域l_i(i＝1,2,...,m)占其最小外接矩形r_i(i＝1,2,...,m)的面积百分比a_i(i＝1,2,...,m)；

a_i＝l_i/r_i (4)

步骤3.1.5：通过比较筛选出占外接矩形面积百分比最大的轮廓a_max，使其满足公式(5)，完成车窗的识别；

a_max＝max{a₁,a₂,......,a_n} (5)

步骤3.1.6：记轮廓a_max所对应的矩形r_max为R_W(x_w,y_w,w_w,h_w)，其中，(x_w,y_w)为矩形R_W左上角坐标，w_w和h_w分别为矩形R_W的宽和高；

步骤3.1.7：根据式(6)得到车标粗定位区域D，完成车标的粗定位：

其中，(x_d,y_d)为D左上角坐标，w_d和h_d为矩形D的宽和高，ρ₁,ρ₂为比例系数。

通过采用上述技术，本发明的车标识别方法与现有的车标识别方法相比，本发明采用计算机视觉技术，通过定位车窗对车标进行粗定位、车标精定位与基于卷积神经网络的车标分类，解决了车标识别问题，同时拥有更好的准确率与效率，改善了以车牌辨车的传统工作模式，为打击汽车套牌、一车多牌、假牌照等违法犯罪行为提供了可靠帮助，进一步提高了智能交通的可靠性，节省了大量的人力成本。

附图说明

图1为本发明的流程图；

图2为卷积神经网络模型示意图；

图3为具体实施例示例用图；

图4为图3灰度化示意图；

图5为图4使用二值化处理后的示意图；

图6为图5使用形态学运算后的结果图；

图7为车窗定位结果图，用长方形框标注；

图8为车标粗定位结果图，用正方形框标注；

图9为粗定位区域剔除无效行后的结果图，无效行用黑色区域代替；

图10为车标所在有效块的识别结果图；

图11为图10剔除无效列后的结果图，无效列用黑色区域代替；

图12为车标定位结果图。

具体实施方式

下面结合实施例来详细阐述一种基于车窗粗定位的车标识别方法的具体实施方法。应当理解，此处所描述的具体实例仅用于解释本发明，并不用于限定本发明。

如图1所示，本发明的基于车窗粗定位的车标识别方法，其具体步骤如下：

步骤1：定义车标种类集合为C＝{C_i|i＝1,…,t}，其中t为车标的总数，并建立相应的车标数据集，在本实施例中，t取10，C＝{C_i|_i＝1,2,...,t}＝{奥迪，宝马，奔驰，凯迪拉克，福特，雪佛兰，现代，大众，别克，沃尔沃}；

步骤2：构建用于车标分类的卷积神经网络并用步骤1中的车标数据集进行训练，具体为：

步骤2.1：构建含有8层的卷积神经网络，8层依次是卷积层Conv1，池化层Pool2，卷积层Conv3，池化层Pool4，卷积层Conv5，池化层Pool6，全连接层Fc7，分类层Softmax8，其中卷积层Conv1的输入大小为N*N，分类层Softmax8的输出向量大小为t+1，在本实施例中，N取64；

步骤2.2：卷积神经网络模型如图2所示，随机初始化卷积神经网络，使用步骤1构建的车标数据集对卷积神经网络进行训练，具体步骤如下：

步骤2.2.1：将输入图像缩放至75*75像素大小并输入卷积层Conv1，用大小为5*5的卷积核对其进行步长为1的卷积操作，总共35个卷积核，得到32张分辨率为71*71像素大小的特征图；

步骤2.2.2：将步骤2.1.1中所得特征图输入池化层Pool2，对其进行池化块大小为3*3、步长为2的最大池化操作，得到32张分辨率为35*35像素大小的特征图；

步骤2.2.3：将上一步中所得特征图输入卷积层Conv3，用大小为用大小为5*5的卷积核对其进行步长为1的卷积操作，总共32个卷积核，得到32张分辨率为31*31像素大小的特征图；

步骤2.2.4：将上一步中所得特征图输入池化层Pool4，对其进行池化块大小为3*3、步长为2的平均池化操作，得到32张分辨率为15*15像素大小的特征图；

步骤2.2.5：将上一步中所得特征图输入卷积层Conv5，用大小为用大小为5*5的卷积核对其进行步长为1的卷积操作，总共64个卷积核，得到64张分辨率为11*11像素大小的特征图；

步骤2.2.6：将上一步中所得特征图输入池化层Pool4，对其进行池化块大小为3*3、步长为2的平均池化操作，得到64张分辨率为5*5像素大小的特征图；

步骤2.2.7：将池化层Pool6所得的64张特征图以列的顺序排成1600维列向量，输出至全连接层Fc7，全连接层Fc7的输出为11维列向量；

步骤2.2.8：将全连接层Fc7输出的特征向量输入分类层

Softmax8，得到输入图像所对应各个类别的分类概率，并将最大概率的标签输出根据式(1)计算损失函数L，并根据链式法则逐步计算反向误差，更新各层的权重参数值：

其中，Yⁱ和分别为实际输出和真实标签第i个神经元的值；在本实施例中，所述的卷积神经网络训练方法在申请号为201610861396.8的文件中已公开，在此不再详述；

步骤2.2.9：重复步骤2.2.1至2.2.8，直到输出的损失函数L≤θ，其中θ为设定的阈值，完成训练，在本实施例中，θ取0.001；

步骤3：对输入的车辆图像I进行车标定位，I的宽为width，高为height，图3为具体实施例示例用图，具体为：

步骤3.1：识别车窗并根据车窗的位置对车标进行粗定位，具体为：

步骤3.1.1：根据公式(2)对I进行灰度化处理，得到灰度图I_G：

I_G(x,y)＝max(I(x,y,k)) (2)

其中，I_G(x,y)为图像I_G上第x行第y列的灰度值，I(x,y,k)为图像I上第x行第y列第k个通道的灰度值，k＝1,2,3，在本实施例中，处理结果如图4所示；

步骤3.1.2：使用OTSU方法对I_G进行二值化，得到式I_B，并根据式(3)得到I_O：

其中，e₁,e₂为结构元，为膨胀运算，Θ为腐蚀运算，在本实施例中，e₁,e₂为核为5*5的结构元，处理结果分别如图5，图6所示；

步骤3.1.3：扫描整幅二值图像I_O，计算各白色区域的像素面积，过滤面积小于0.005*height*width的连通区域，得到连通区域的候选集l＝{l_i i＝1,2,…,m}，m为过滤后连通区域的总数；

步骤3.1.4：利用最小外接矩形算法，通过公式(4)计算各个连通区域l_i(i＝1,2,...,m)占其最小外接矩形r_i(i＝1,2,...,m)的面积百分比a_i(i＝1,2,...,m)；

a_i＝l_i/r_i (4)

步骤3.1.5：通过比较筛选出占外接矩形面积百分比最大的轮廓a_max，使其满足公式(5)，完成车窗的识别：

a_max＝max{a₁,a₂,......,a_n} (5)

在本实施例中，处理结果如图7所示；

步骤3.1.6：记轮廓a_max所对应的矩形r_max为R_W(x_w,y_w,w_w,h_w)，其中，(x_w,y_w)为矩形R_W左上角坐标，w_w和h_w为矩形R_W的宽和高；

步骤3.1.7：根据式(6)得到车标粗定位区域D，完成车标的粗定位：

其中，(x_d,y_d)为D左上角坐标，w_d和h_d为矩形D的宽和高，ρ₁,ρ₂为比例系数，在本实施例中，ρ₁取0.5，ρ₂取1.5，处理结果如图8所示；

步骤3.2：根据式(7),(8),(9)计算每一行是否有效，若FR_i为1，则表示第i行为有效行，否则，为无效行：

其中，D(i,j)为矩形D第i行第j列的灰度值，σ_i为第i行像素值的标准差，μ₁为比例系数，AVG_r(i)为第i行的像素均值，在本实施例中，μ₁取30，处理结果如图9所示；

步骤3.3：连接相邻的有效行，得到有效块集合rect_i(x_i,y_i,w_i,h_i)，i＝1,2,...n，n为有效块的总数，其中，(x_i,y_i)为rect_i左上角坐标，w_i和h_i为矩形rect_i的宽和高；

步骤3.4：从rect_i中剔除块的块，得到新的rect_i，根据(10),(11)筛选出车标所在的区域R；

h_max＝max(h₁,h₂,...,h_n) (10)

R＝rect_max(x_max,y_max,w_max,h_max) (11)

其中，(x_max,y_max)为R左上角坐标，w_max和h_max为矩形R的宽和高，为阈值，在本实施例中，取0.1，处理结果如图10所示；

步骤3.6：根据式(12)，(13)，(14)计算每一列是否有效，若FC_i为1，则表示第i行为有效行，否则，为无效行：

其中，R(j,i)为矩形R第j行第i列的灰度值，σ'_i为第i列像素值的标准差，μ₁为比例系数，AVG_c(i)为第i列的像素均值，在本实施例中，μ₁取20，处理结果如图11所示；

步骤3.7：根据式(15),(16),(17)得到车标精确定位区域D'，完成车标的精确定位：

F_max＝max(i|F_i＝1) (15)

F_min＝min(i|F_i＝1) (16)

其中，(x',y')为D'左上角坐标，w'和h'为矩形D'的宽和高，在本实施例中，处理结果如图12所示；

步骤4：利用训练好的卷积神经网络对车标定位区域D'进行识别，具体为：

步骤4.1：将D'对应的图像I'归一化至N*N像素大小，传入步骤2训练所得的卷积神经网络，得到输出向量U＝(u₁,u₂,...,u_t)，其中u_k为I'对应车标C_k的概率，k＝1,2,...,t；

步骤4.2：根据式(18)得到最大的概率u_q，则车标识别结果为C_q，C_q∈C，完成车标的识别：

u_q＝max(u₁,u₂,...,u_t) (18)。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于车窗粗定位的车标识别方法，其特征在于具体步骤如下：

步骤1：定义车标种类集合为C＝{C_i|i＝1,…,t}，其中t为车标的总数，并建立相应的车标数据集；

步骤2：构建用于车标分类的卷积神经网络并用步骤1中的车标数据集进行训练，得到卷积神经网络；

步骤3：对输入的车辆图像I进行车标定位，I的宽为width，高为height，具体为：

步骤3.1：识别车窗并根据车窗的位置对车标进行粗定位；

步骤3.2：根据式(7)，(8)，(9)计算每一像素行是否有效，若FR_i为1，则表示第i行为有效行，否则，为无效行：

其中，D(i,j)为矩形D第i行第j列的灰度值，σ_i为第i行像素值的标准差，μ₁为比例系数，AVG_r(i)为第i行的像素均值；

步骤3.3：连接相邻的有效行，得到有效块集合rect_i(x_i,y_i,w_i,h_i)，i＝1,2,...n，n为有效块的总数，其中，(x_i,y_i)为rect_i左上角坐标，w_i和h_i为矩形rect_i的宽和高；

步骤3.4：从rect_i中剔除块的块，得到新的rect_i，根据(10)，(11)筛选出车标所在的区域R；

h_max＝max(h₁,h₂,...,h_n) (10)

R＝rect_max(x_max,y_max,w_max,h_max) (11)

其中，(x_max,y_max)为R左上角坐标，w_max和h_max为矩形R的宽和高，为阈值；

步骤3.5：根据式(12)，(13，(14)计算每一列是否有效，若FC_i为1，则表示第i行为有效行，否则，为无效行：

其中，R(j,i)为矩形R第j行第i列的灰度值，σ'_i为第i列像素值的标准差，μ₁为比例系数，AVG_c(i)为第i列的像素均值；

步骤3.6：根据式(15)，(16)，(17)得到车标精确定位区域D'，完成车标的精确定位：

F_max＝max(i|F_i＝1) (15)

F_min＝min(i|F_i＝1) (16)

其中，(x',y')为D'左上角坐标，w'和h'为矩形D'的宽和高；

步骤4：利用训练好的卷积神经网络对车标定位区域D'进行识别，具体为：

步骤4.1：将D'对应的图像I'归一化至N*N像素大小，传入步骤2训练所得的卷积神经网络，得到输出向量U＝(u₁,u₂,...,u_t)，其中u_k为I'对应车标C_k的概率，k＝1,2,...,t；

步骤4.2：根据式(18)得到最大的概率u_q，则车标识别结果为C_q，C_q∈C，完成车标的识别：

u_q＝max(u₁,u₂,...,u_t) (18)。

2.根据权利要求1所述的一种基于车窗粗定位的车标识别方法，其特征在于步骤2中的构建用于车标分类的卷积神经网络并用步骤1中的车标数据集进行训练，具体过程为：

步骤2.1：构建含有8层的卷积神经网络，8层依次是卷积层Conv1，池化层Pool2，卷积层Conv3，池化层Pool4，卷积层Conv5，池化层Pool6，全连接层Fc7，分类层Softmax8，其中卷积层Conv1的输入大小为N*N，分类层Softmax8的输出向量大小为t+1；

步骤2.2：随机初始化卷积神经网络，使用步骤1构建的车标数据集对卷积神经网络进行训练，并根据公式(1)计算损失函数L，并根据链式法则逐步计算反向误差，更新各层的权重参数值，直到输出的损失函数L≤θ，完成训练：

其中，Yⁱ和分别为实际输出和真实标签第i个神经元的值，θ为设定的阈值。

3.根据权利要求1所述的一种基于车窗粗定位的车标识别方法，其特征在于步骤3.1中的对车标进行粗定位具体为：

步骤3.1.1：根据公式(2)对I进行灰度化处理，得到灰度图I_G：

I_G(x,y)＝max(I(x,y,k)) (2)

其中，I_G(x,y)为图像I_G上第x行第y列的灰度值，I(x,y,k)为图像I上第x行第y列第k个通道的灰度值，k＝1,2,3；

步骤3.1.2：使用OTSU方法对I_G进行二值化，得到式I_B，并根据式(3)得到I_O：

其中，e₁,e₂为结构元，为膨胀运算，Θ为腐蚀运算；

步骤3.1.3：扫描整幅二值图像I_O，计算各白色区域的像素面积，过滤面积小于0.005*height*width的连通区域，得到连通区域的候选集l＝{l_i|i＝1,2,…,m}，m为过滤后连通区域的总数；

步骤3.1.4：利用最小外接矩形算法，通过公式(4)计算各个连通区域l_i(i＝1,2,...,m)占其最小外接矩形r_i(i＝1,2,...,m)的面积百分比a_i(i＝1,2,...,m)；

a_i＝l_i/r_i (4)

步骤3.1.5：通过比较筛选出占外接矩形面积百分比最大的轮廓a_max，使其满足公式(5)，完成车窗的识别；

a_max＝max{a₁,a₂,......,a_n} (5)

步骤3.1.6：记轮廓a_max所对应的矩形r_max为R_W(x_w,y_w,w_w,h_w)，其中，(x_w,y_w)为矩形R_W左上角坐标，w_w和h_w分别为矩形R_W的宽和高；

步骤3.1.7：根据式(6)得到车标粗定位区域D，完成车标的粗定位：

其中，(x_d,y_d)为D左上角坐标，w_d和h_d为矩形D的宽和高，ρ₁,ρ₂为比例系数。