CN109492526A - 基于ldcnn模型和nhe算法的交通标志识别方法 - Google Patents

Abstract

本发明公开了基于LDCNN模型和NHE算法的交通标志识别方法，包括如下步骤：1）GTSRB数据集预处理；2）交通标志对比度增强；3）构建LDCNN模型；4）训练LDCNN模型；5）识别。这种方法使用方便，能提取交通标志更多特征，提高了交通标志识别的准确率。

Description

基于LDCNN模型和NHE算法的交通标志识别方法

技术领域

本发明涉及深度学习和图像领域，具体是基于LDCNN模型和NHE算法的交通标志识别方法。

背景技术

近年来，先进驾驶辅助系统ADAS的发展受到了政府和汽车行业的广泛关注，交通标志识别系统TSRS作为ADAS的子系统之一，能为驾驶员提供警示和指导信息，提高车辆行驶安全，因此研究交通标志识别具有重要的理论意义和实用价值。

90年代初，国内外专家已经提出许多基于传统算法的TSRS，如：Liu H等提出一种基于稀疏编码特征的TSRS模型；文献中分别提出一种基于决策树、小波变换(DT-CWT)方法的TSRS模型。以上传统算法尚不能满足实际使用要求，究其原因，图像特征主要依靠人工提取，不仅耗费大量时间，而且交通标志的识别准确率较低。最近几年，CNN成为最热门的图像分类技术，相较于传统方法，其优势在于网络模型的输入是原始图像而不是人工提取的图像特征，不仅节省了大量时间，而且还实现了高识别率。CNN已经取得了很大的进展，2012年，Alex等提出AlexNet，该模型在ImageNet视觉识别比赛(ILSVRC)上取得优异成绩。2014年，牛津大学和Google共同研发了VGG16，该网络的拓展性很强，迁移到其他图片数据上的泛化性非常好，故被用于很多相关领域。鉴于此，国内外学者将CNN运用于交通标志识别领域，文献中提出一种铰链损失随机梯度下降法来训练CNN模型，并在GTSRB基准中进行了评估；Limetal等提出基于CNN的识别算法，并使用PCA和Fisher预选颜色特征以提高识别率。Sermanet等提出基于CNN模型的TSRS方法，实现了98.31％交通标志识别准确率。上述交通标志识别算法都达到较高的识别准确率，但依旧存在两个问题，一是交通标志识别准确率还有待提高，另一是传统算法和CNN算法都没有对原始图像进行增强处理，这也是导致识别准确率无法提高的原因。

发明内容

本发明的目的是针对现有技术的不足，而提供基于LDCNN模型和NHE算法的交通标志识别方法。这种方法使用方便，能提取交通标志更多特征，能提高交通标志识别的准确率。

实现本发明目的的技术方案是：

基于LDCNN模型和NHE算法的交通标志识别方法，与现有技术不同的是，包括如下步骤：

1)GTSRB数据集预处理：采用数据增强技术对GTSRB数据集中的交通标志进行数量扩增，所述数据增强技术为水平翻转、垂直翻转、旋转和调整亮度；

2)交通标志对比度增强：采用新直方图均衡即NHE算法对步骤1)处理后的交通标志整体对比度增强，首先对交通标志进行分频处理，其次对低频数据做直方图均衡，对高频数据做线性加权，最后将低、高频数据进行数量级融合，得最终图像，E(·)表示分频滤波器，k表示加权系数，f(x,y)、f_a(x,y)、f_b(x,y)和F(x,y)分别表示原始输入、低频分量、高频分量和最终图像；

E(·)使用高斯低通滤波器，采用这种滤波器的原因是它在时域和频均具有良好的平滑性能，而且在图像分频上，不会出现图像细微结构发生极性反转现象，其次，还能将图像二维卷积分解成行、列两个方向的一维卷积，使算法速度得到提高，再次，一定尺度下的图像细节也能通过调整尺度因子来得到保护，滤波器定义：

其中,σ是滤波器的尺度因子，

图像f(x,y)经过分频处理得到低频f_a(x,y)和高频f_b(x,y)，三者关系定义为

f(x,y)＝f_a(x,y)+f_b(x,y) (2)，

f_a(x,y)执行直方图均衡,f_a1(x,y)为均衡后低频图像，对f_b(x,y)进行加权，f_b1(x,y)为增强后高频图像，F(x,y)等于f_a1(x,y)和f_b1(x,y)的线性加和，也即：

F(x,y)＝f_a1(x,y)+f_b1(x,y)＝HE(f_a(x,y))+k*f_b(x,y) (5)

其中，k为高频部分的权系数，NHE算法可以实现提高图像的整体对比度，突出整体图像细节，为LDCNN模型训练的交通标志打下良好的基础；

3)构建LDCNN模型：在改进卷积层、激活函数、池化层种类参数基础上，加入块层技术，构建新的LDCNN模型，所述LDCNN模型包括顺序连接的卷积层C1、卷积池化层C2c2-C4c4、聚合层C5-C7、卷积层C8、全连接层FL9、FL10和输出层Output，其中，C1-C7层中嵌入块层，交通标志数据加载到主程序C1，C2c2-C4c4，C5-C8，经FL9-10进入Output层输出准确率结果；

CNN的核心是卷积层，其中权值共享和局部连接的特性能够降低训练参数数量，设l层是卷积层，则的表示形式为：

其中，是l层中的第j个特征图，

卷积操作属于线性操作，在卷积层后添加一个非线性的ReLU激活函数，并用该函数进行特征图的映射，增加浅层网络的表现能力，识别准确率得到提高，ReLU函数表示为f(x)＝max(0,x)，输出层将选择softmax函数，该函数将K维的矢量压缩成另一K维矢量，矢量中的每个元素取值都在(0，1)之间，softmax函数表示为：

其中，j＝1,2.....,k，可以看出，z_j比z大时,映射矢量趋于1,其他趋于0，

在训练神经网络的过程中，每层的权重和参数不断更新，前一层的更新将改变下一层的输入分布，因此，需要在训练时进行权重初始化，减小学习率，而学习率的减小又会导致网络的收敛特别慢，这种现象称为内部协方差的偏移(internal covariate shift)，鉴于此，采用块层来加速网络收敛，减少计算代价和运算时间，维持各层输入的均值和方差稳定，降低内部协方差的偏移，提高训练效果，块层表示形式为

输入：β＝{x₁.....m}，输出：{y_i＝BatchRenorm(x_i)}，

更新：μ:＝μ+Δ(μ_β-μ)σ:＝σ+Δ(σ_β-σ) (14)，

结果：

卷积层提取输入图像的特征之后，就能够使用该特征训练模型，但每一次卷积操作都会带来非常大的计算量，故卷积层后通常连接池化层，减少计算量和训练时间，池化的目的还在于保持某种不变性(旋转、平移等)，对于同样的输入，当其中像素在邻域发生微小位移时，池化层的输出是不变的，这就使网络的鲁棒性增强，有一定抗扰动的作用，最大池化是目前广泛使用的池化方法，其表示为

其中，k*k为核窗口，d为步长，m*n为特征图尺寸；

4)训练LDCNN模型：训练步骤3)构建的模型，即设置模型优化器为Adam、学习率为0.001、批处理大小为256、dropout值为0.5、网络中的权值和偏差为随机初始化，交通标志的大小固定为32×32，采用谷歌开发的机器学习系统TensorFlow来训练LDCNN模型；

5)识别：依据步骤4)的已经训练好模型来识别交通标志，以GTSRB测试集为基准，测试准确率达到98％以上为识别成功。

这种方法使用方便，能提取交通标志更多特征，提高了交通标志识别的准确率。

附图说明

图1为实施例的方法流程示意图；

图2为NHE算法过程图；

图3为实施例中LDCNN模型的结构示意图。

具体实施方式

下面结合和附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例：

参照图1，基于LDCNN模型和NHE算法的交通标志识别方法，包括如下步骤：

1)GTSRB数据集预处理：采用数据增强技术对GTSRB数据集中的交通标志进行数量扩增，所述数据增强技术为水平翻转、垂直翻转、旋转和调整亮度；

2)交通标志对比度增强：采用新直方图均衡即NHE算法对步骤1)处理后的交通标志整体对比度增强，首先对交通标志进行分频处理，其次对低频数据做直方图均衡，对高频数据做线性加权，最后将低、高频数据进行数量级融合，得最终图像，如图2所示，采用NHE算法的过程，其中，E(·)表示分频滤波器，HE表示直方图过程；k表示加权系数，f(x,y)、f_a(x,y)、f_b(x,y)和F(x,y)分别表示原始输入、低频分量、高频分量和最终图像；

E(·)使用高斯低通滤波器，采用这种滤波器的原因是它在时域和频均具有良好的平滑性能，而且在图像分频上，不会出现图像细微结构发生极性反转现象，其次，还能将图像二维卷积分解成行、列两个方向的一维卷积，使算法速度得到提高，再次，一定尺度下的图像细节也能通过调整尺度因子来得到保护，滤波器定义：

其中,σ是滤波器的尺度因子，

图像f(x,y)经过分频处理得到低频f_a(x,y)和高频f_b(x,y)，三者关系定义为

f(x,y)＝f_a(x,y)+f_b(x,y) (2)，

f_a(x,y)执行直方图均衡,f_a1(x,y)为均衡后低频图像，对f_b(x,y)进行加权，f_b1(x,y)为增强后高频图像，F(x,y)等于f_a1(x,y)和f_b1(x,y)的线性加和，也即：

F(x,y)＝f_a1(x,y)+f_b1(x,y)＝HE(f_a(x,y))+k*f_b(x,y) (5)，

其中，k为高频部分的权系数，

NHE算法可以实现提高图像的整体对比度，突出整体图像细节，为LDCNN模型训练的交通标志打下良好的基础；

3)构建LDCNN模型：在改进卷积层、激活函数、池化层种类参数基础上，加入块层技术，构建了新的LDCNN模型，所述LDCNN模型包括顺序连接的卷积层C1、卷积池化层C2c2-C4c4、聚合层C5-C7、卷积层C8、全连接层FL9、FL10和输出层Output，其中，C1-C7层中嵌入块层，交通标志数据加载到主程序C1，C2c2-C4c4，C5-C8，经FL9-10进入Output层输出准确率结果，如图3所示；

CNN的核心是卷积层，其中权值共享和局部连接的特性能够降低训练参数数量，设l层是卷积层，则的表示形式为：

其中，是l层中的第j个特征图，

卷积操作属于线性操作，在卷积层后添加一个非线性的ReLU激活函数，并用该函数进行特征图的映射，增加浅层网络的表现能力，识别准确率得到提高，ReLU函数表示为f(x)＝max(0,x)，输出层将选择softmax函数，该函数将K维的矢量压缩成另一K维矢量，矢量中的每个元素取值都在(0，1)之间，softmax函数表示为：

其中，j＝1,2.....,k，可以看出，z_j比z大时,映射矢量趋于1,其他趋于0，

在训练神经网络的过程中，每层的权重和参数不断更新，前一层的更新将改变下一层的输入分布，因此，需要在训练时进行权重初始化，减小学习率，而学习率的减小又会导致网络的收敛特别慢，这种现象称为内部协方差的偏移(internal covariate shift)，鉴于此，采用块层来加速网络收敛，减少计算代价和运算时间，维持各层输入的均值和方差稳定，降低内部协方差的偏移，提高训练效果，块层表示形式为

输入：β＝{x₁.....m}，输出：{y_i＝BatchRenorm(x_i)}，

更新：μ:＝μ+Δ(μ_β-μ)σ:＝σ+Δ(σ_β-σ) (14)，

结果：

卷积层提取输入图像的特征之后，就能够使用该特征训练模型，但每一次卷积操作都会带来非常大的计算量，故卷积层后通常连接池化层，减少计算量和训练时间，池化的目的还在于保持某种不变性(旋转、平移等)，对于同样的输入，当其中像素在邻域发生微小位移时，池化层的输出是不变的，这就使网络的鲁棒性增强，有一定抗扰动的作用，最大池化是目前广泛使用的池化方法，其表示为

其中，k*k为核窗口，d为步长，m*n为特征图尺寸；

4)训练LDCNN模型：训练步骤3)构建的模型，即设置模型优化器为Adam、学习率为0.001、批处理大小为256、dropout值为0.5、网络中的权值和偏差为随机初始化，交通标志的大小固定为32×32，采用谷歌开发的机器学习系统TensorFlow来训练LDCNN模型；

5)识别：依据步骤4)的已经训练好模型来识别交通标志，以GTSRB测试集为基准，测试准确率达到98％以上为识别成功。

Claims (1)

1.基于LDCNN模型和NHE算法的交通标志识别方法，其特征是，包括如下步骤：

1)GTSRB数据集预处理：采用数据增强技术对GTSRB数据集中的交通标志进行数量扩增，所述数据增强技术为水平翻转、垂直翻转、旋转和调整亮度；

2)交通标志对比度增强：采用新直方图均衡即NHE算法对步骤1)处理后的交通标志整体对比度增强，首先对交通标志进行分频处理，其次对低频数据做直方图均衡，对高频数据做线性加权，最后将低、高频数据进行数量级融合，得最终图像，E(·)表示分频滤波器，k表示加权系数，f(x,y)、f_a(x,y)、f_b(x,y)和F(x,y)分别表示原始输入、低频分量、高频分量和最终图像；

滤波器定义：

其中,σ是滤波器的尺度因子，

图像f(x,y)经过分频处理得到低频f_a(x,y)和高频f_b(x,y)，三者关系定义为

f(x,y)＝f_a(x,y)+f_b(x,y) (2)，

f_a(x,y)执行直方图均衡,f_a1(x,y)为均衡后低频图像，对f_b(x,y)进行加权，f_b1(x,y)为增强后高频图像，F(x,y)等于f_a1(x,y)和f_b1(x,y)的线性加和，也即：

F(x,y)＝f_a1(x,y)+f_b1(x,y)＝HE(f_a(x,y))+k*f_b(x,y) (5)

其中，k为高频部分的权系数；

3)构建LDCNN模型：所述LDCNN模型包括顺序连接的卷积层C1、卷积池化层C2c2-C4c4、聚合层C5-C7、卷积层C8、全连接层FL9、FL10和输出层Output，其中，C1-C7层中嵌入块层，交通标志数据加载到主程序C1，C2c2-C4c4，C5-C8，经FL9-10进入Output层输出准确率结果；

4)训练LDCNN模型：训练步骤3)构建的模型，即设置模型优化器为Adam、学习率为0.001、批处理大小为256、dropout值为0.5、网络中的权值和偏差为随机初始化，交通标志的大小固定为32×32，采用谷歌开发的机器学习系统TensorFlow来训练LDCNN模型；

5)识别：依据步骤4)的已经训练好模型来识别交通标志，以GTSRB测试集为基准，测试准确率达到98％以上为识别成功。