CN113536943A - 一种基于图像增强的道路交通标志识别方法 - Google Patents

Abstract

本发明提供一种基于图像增强的道路交通标志识别方法，通过对训练集图像进行均衡化处理获得一致性差异分布，对图像进行第一转化、第二转化、和图像增强，并对神经网络模型进行改进，降低神经网络模型参数量。通过对模型进行优化后，与传统的模型相比，参数量仅为原模型的9.2％，但是识别精度并未有效降低，获得较好的效果，比较适用于嵌入式低配置硬件。

Description

一种基于图像增强的道路交通标志识别方法

技术领域

本发明涉及目标识别领域，尤其涉及一种基于图像增强的道路交通标志识别方法。

背景技术

交通标识识别是智能交通系统的关键技术，在车辆控制、交通监控和智能驾驶等系统中都有着广泛的应用，准确识别各种倾斜角度、拍摄角度的交通标识是实现车辆智能驾驶的重要基础。交通标识识别系统主要包括交通标识检测、交通标识区域分割、交通标识分类和交通标识识别4个环节，而交通标识分类是交通标识识别系统的中心环节，也是尤其重要的一个环节，现有的交通标识形状识别算法在各自特定的条件下都能取得较好的识别效果，但在交通标识图像倾斜、拍摄角度倾斜的情况下，现有算法则表现出了各自的局限性。但是目前神经网络中其参数量非常大，少则数百万，多则数千万，这需要机器能够具备较高的算力，在传统的服务器、工作站是能够胜任此计算的。但是在汽车上，其硬件配置往往较低，如此庞大的参数量给交通识别增加计算负荷，同时也带来成本的提升。为了解决现有技术存在的缺陷，需要提供一种降低计算量的交通标志识别方法，同时也能够保证精度。

发明内容

基于现有技术中存在的缺陷，本发明提供一种基于图像增强的道路交通标志识别方法，至少包括：

从数据集中获取的图像，对每个类别图像的数量进行均衡化分布处理；

对图像进行图像预处理，将预处理后的图像进行图像增强；

应用神经网络模型对图像数据进行训练，获取训练后的结果；

其中，图像预处理包括：将训练集中的图像进行第一转化获取转化的第一图像，第一转化函数为：M＝30％×R+59％×G+11％×B，其中，R,G,B分别表示图像的三个红色、绿色、蓝色三个通道的像素值，M为经过转化后的图像像素值；

神经网络模型的具体结构至少包括：基础单元层、基础单元层、特征均衡层、最大池化层、基础单元层、基础单元层、特征均衡层、最大池化层、基础单元层、基础单元层、特征均衡层、最大池化层、基础单元层、基础单元层、最大池化层、展平层、全连接层、Softmax层，其中，最大池化层前面都设有Relu层。

一种基于图像增强的道路交通标志识别方法，进一步地，神经网络模型包括：基础单元层，基础单元层至少包括：

步骤S101，获取输入图像数据，采用(K×K)卷积核与图像数据的通道进行卷积，其中，一个(K×K)卷积核只与图像的一个通道数据进行卷积，获得相应通道数据经过卷积后的特征值，其中，K为卷积核行或列的数值，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值；

步骤S102，采用1×1的卷积核分别与所有通道的特征值进行卷积后进行相加获得与卷积核对应的特征值，其中，(1×1)的卷积核为多个，一个(K×K)卷积核分别与所有的通道数据进行卷积，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值。

一种基于图像增强的道路交通标志识别方法，进一步地，图像预处理包括：对图像进行第二转化，第二转化具体步骤包括：步骤S10：使用(K×K)固定大小的窗口，在图像像素中选取与(K×K)窗口相同的尺寸的像素，K为奇正整数。；

步骤S11，在(K×K)窗口相同的尺寸的像素中，求解(K×K)窗口的所有像素的平均值，然后将(K×K)窗口的像素值分别与平均值进行比较，如果像素值大于平均值，则将像素置1，反之，如果像素值小于平均值，则将像素置0；

步骤S12，用(K×K)窗口遍历图像的所有像素并且重复步骤S11，获得最终的图像。

一种基于图像增强的道路交通标志识别方法，进一步地，在步骤S11中，在求解平均值时以及在后续的像素二值化过程中，排除了每个(K×K)窗口的中心像素，使其(K×K)-1个相邻像素进行二值化，K为奇正整数。

一种基于图像增强的道路交通标志识别方法，进一步地，在步骤S11中，在(K×K)窗口相同的尺寸的像素中，求解(K×K)窗口的所有像素的中值，然后将(K×K)窗口的中心像素值等于中值。

一种基于图像增强的道路交通标志识别方法，进一步地，图像增强包括：在模型训练时，将图像进行随机旋转、随机放大、随机水平偏移和随机上下偏移，其中，图像旋转角度范围为8～12度，最大随机放大倍数为1.2，最大随机水平偏移和上下偏移的范围为0.08。

一种基于图像增强的道路交通标志识别方法，进一步地，特征均衡层具体包括：获取特征值X的均值μ和方差σ，利用获取的方差对卷积特征值进行正态化分布获得卷积特征值

特征输出值Y则设为：

其中，γ、β为系数，通过神经网络反向传播求解梯度获得。

一种基于图像增强的道路交通标志识别方法，进一步地，在图像数据输入神经网络模型之前，对图像数据进行维度升级，使其变成三维数据，扩展维度在第三个轴上；将整形数据转化变浮点型数据，然后将数据转化为[-1,1]之间。

一种基于图像增强的道路交通标志识别方法，进一步地，基础单元层中，卷积核的元素值范围限定为：卷积核初始取值范围设为[-range,range],其中，

range＝(6/K*K*(Input_channel+Output_channel))

其中K为卷积核的尺寸，input_channel为输入通道数，output_channel输出通道数。

一种基于图像增强的道路交通标志识别方法，进一步地，均衡化分布处理包括：

获取每个类别对应下的子样本数量，计算每个类别频率中心值＝(当前类别对应的数值+与当前类别对应的下一个类别对应的数值)/2，遍历类别总数，获取频率中心值总个数；

对于每个类别，获取当前类别样本数，当样本数量小于预设阈值，将预设阈值减去当前类别的样本数获得差值W，并从当前样本数中随机产生W个样本，并将产生的W个样本与当前类别的样本数相加作为新的样本数；遍历类别总数，产生类别的新样本数，直至样本类别总数是等于频率中心值的总个数。

有益效果：

1.本发明提供的技术方案中，采用第一转化、第二转化对图像处理预处理以及图像增强，能够克服不同环境光条件对成像图片的影响，从而能够提高的交通标志类别的准确率。

2.本发明提供的技术方案中，第二转化仅使用局部区域的平均像素强度，对低照度输入更具鲁棒性，相比全局平均值，更能够克服光照条件的变化；将每个像素与局部区域的平均强度进行比较，因此全局照明没有影响，只考虑反射率，因此第二转化对亮度变化具有鲁棒性。

3.本发明提供的技术方案中，通过采用改进的神经网络模型，极大的减少参数量，相比传统的方法，本发明由于限定每一个卷积核只与图像数据的每个通道进行卷积，然后在限定采用1×1的卷积核分别与所有通道的特征值进行卷积后进行相加获得与卷积核对应的特征值。通过这种设计方法，使其计算量降低，通过基于此构建的神经网络模型与传统模型相比，尽管参数量降低，但是识别率能够与传统神经网络模型相当。

4.本发明提供的技术方案中，基于数据集样本的有限性和类别样本量分布不均衡，本实施例通过计算每个类别频率中心值，以频率中心值为基础，通过设置样本数量上限阈值，随机产生上限阈值与当前类别样本数量的差值个样本，遍历类别总是，直至样本类别总数是等于频率中心值的总个数。从而使得样本数量均衡化，降低类别数量的较大差异，同时要保持类别数量存在较小差异，有助于提供样本的准确率。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。

图1为本发明一实施例中对采用第一转化处理、第二转化处理获得的不同条件下的图片：图1a为原图，图1b为进行第一转化后的图像，图1c为经过第二转化含有9点的图像；

图2为本发明一实施例中对采用第一转化处理、第二转化处理获得的不同条件下的图片：图2a为经过第二转化后含有8个点的图片、图2b为经过第二转化取中值方法的后的图片。

图3为本发明一实施例中训练集、验证集、测试集经过神经网络模型的流程图，图3a为训练集的数据流示意图，图3b为验证集、训练集的数据流示意图。

图4为本发明一实施例中改进的神经网络模型具体结构示意图。

图5为本发明一实施例中改进的神经网络与传统卷积神经网路的训练参数数量对比图。

图6为本发明一实施例中传统的卷积神经网络的训练集和测试集的损失函数随着训练epoch的变化图。

图7为本发明一实施例中传统的卷积神经网络的训练集和测试集的识别准确率随着训练epoch的变化图。

图8为本发明一实施例中改进的神经网络的训练集和测试集的损失函数随着训练epoch的变化图。

图9为本发明一实施例中改进的神经网络的训练集和测试集的识别准确率随着训练epoch的变化图。

图10为本发明一实施例中不同条件的识别准确率图。

具体实施方式

为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。

关于控制系统，功能模块、应用程序(APP)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制系统可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本申请描述的操作即可。当然，控制系统也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。

本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。

本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合

应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。

此外，本公开的控制器可被具体化为计算机可读介质上的非瞬态计算机可读介质，该计算机可读介质包含由处理器、控制器或类似物执行的可执行程序指令。计算机可读介质的示例包括，但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质也可分布在通过网络耦合的计算机系统中，使得计算机可读介质例如通过远程信息处理服务器或控制器区域网络(CAN)以分布式方式存储和执行。

本实施例提供一种基于图像增强的道路交通标志识别方法，具体包括：

获取训练集中的图片；

对图片进行预处理；

将预处理后的图像进行图像增强；

应用神经网络模型对数据进行训练，获取训练后的结果；

应用训练后的结果对测试集中的数据进行测试。

获取训练集中的图片，训练集中的图片数量不均衡，有些类别的图片数量较多，有些类别的图片数量较少，为了提高样本的准确率，本实施例对训练集的图片类别进行均衡化处理，降低类别数量的较大差异，但是又要保持类别数量存在较小差异。本实施例采用以下均衡数量方法，具体包括以下步骤：

步骤S1：根据图片类别，获取图片类别的频率直方图分布。

步骤S2：获取总的样本类别数量以及每个类别对应下的子样本数量，根据如下公式计算每个类别的频率中心，为了便于计算，本实施例中，采用不同数字代表不同的类别，如有50个类别，则0至49分别表示不同类别。0表示猫、1表示狗、3表示花。

当前类别频率中心值＝(当前类别对应的数值+与当前类别对应的下一个类别对应的数值)/2

获取频率中心值总个数，对于每个类别，获取当前类别子样本数，当子样本数小于预设阈值时，则从当前子样本中随机产生预设阈值减去子样本数的差值个样本，并将产生的差值个样本与当前类别的子样本相加作为当前类别的新的子样本。

步骤S3：遍历类别总数，每完成一次类别加1，直至样本类别总数等于频率中心值的总个数。

由于本实施采用了神经网络模型进行训练，数据预处理方法是非常重要的，如果不经过预处理而直接进行训练，则会导致后面的模型震荡、不收敛，从而使得识别精度低。现阶段预处理方法非常多，但是场景不同，预处理方法要适配检测场景，否则，预处理方法将将获得较差的结果。

由于汽车的交通标识都是在嵌入式设备中进行，其设备对图像的运算能力较低，导致识别结果较慢，本实施例中，为了减少计算量，降低光照对图片的影响，忽略了图像的颜色，将RGB图像进行如下第一转化图像M，转化公式为：

M＝30％×R+59％×G+11％×B(1)

其中，R,G,B分别表示图像的三个红色、绿色、蓝色三个通道的像素值，M为经过转化后的图像像素值；

具体地，光照不变性是交通的重要元素，主要由以下两种原因引起：1)检测在移动车辆中捕获的图像中的物体涉及照明的变化，这使得检测更具挑战性，2)天气和时间线的变化导致照明的变化。

具体地，为了克服上述两种原因导致照明条件的变化从而使得图像的成像图像相同对交通标志识别的准确率影响，本实施例进行下述变化：

在数字图像中，每个像素都可以使用等式(2)来描述：

I(x)＝g×L(x)×R(x)+b (2)

其中x是图像中的像素，I(x)表示像素x强度，L(x)和R(x)分别表示光源的亮度和表面反射率，g和b是相机参数。

像素的强度由亮度和反射率的组合决定。如果亮度在某些情况下变得恒定或有限，则等式(1)变为等式(2)，表明强度仅受反射率的影响，

I′(x)＝R(x)+b (3)

其中b是常数。因此，该方程仅受表面反射率的影响，而与亮度强度无关。对输入像素的强度进行归一化，则可以忽略输入像素亮度的影响。然而，测量每个像素的精确亮度是不可行的,因此为了克服亮度变化对交通识别结果的影响，本实施例在进行交通标志识别时，对经过第一转化识别的图像进行第二转化，第二转化具体步骤包括：

步骤S10：使用(K×K)固定大小的窗口，在图像像素中选取与(K×K)窗口相同的尺寸的像素；

步骤S11，在(K×K)窗口相同的尺寸的像素中，求解(K×K)窗口的所有像素的平均值，然后将(K×K)窗口的像素值分别与平均值进行比较，如果像素值大于平均值，则将像素置1，反之，如果像素值小于平均值，则将像素置0；

步骤S12，用(K×K)窗口遍历图像的所有像素并且重复步骤S11，获得最终的图像。

如图1所示，图1为本发明一实施例中对采用第一转化处理、第二转化处理获得的不同条件下的图片：图1a为原图，图1b为进行第一转化后的图像，图1c为经过第二转化含有9点的图像。

本实施例中，仅使用局部区域的平均像素强度，对低照度输入更具鲁棒性，相比全局平均值，更能够克服光照条件的变化；将每个像素与局部区域的平均强度进行比较，因此全局照明没有影响，只考虑反射率，因此它对亮度变化具有鲁棒性。

在本实施例中，我们进一步更改步骤S11，以呈现,具体地，在求解平均值时以及在后续的像素二值化过程中，从中排除了每个(K×K)窗口的中心像素，导致只有(K×K)-1个相邻像素进行二值化。

例如：K＝3,5,7，本实施例中，选用K＝3，在(3×3)的固定窗口尺寸中，共有9个像素，在排除中心像素后，仅有8个像素进行二值化，窗口中心的像素值保持不变。

图2显示了一个包含全局的图像以及不包括中心的图像。图2为本发明一实施例中对采用第一转化处理、第二转化处理获得的不同条件下的图片：图2a为经过第二转化后含有8个点的二值化的图片、图2b为经过第二转化取固定窗口中心的像素值为中值的图片。

与包含中心点的计划相比，这种变换有两个优点。第一，计算效率提升；同时保留大部分特征描述符，如直线、对角线、角等，将特征向量大小缩减为255维，从而可以更快地学习。第二，对噪声的鲁棒性；考虑K×K区域中的K×K-1个相邻像素与其平均值之间的差异,能够提高对中心像素噪声的鲁棒性，与K×K的方法不同，中心像素不会影响特征描述符。

优选地，步骤S11中，在(K×K)窗口相同的尺寸的像素中，求解(K×K)窗口的所有像素的中值，然后将(K×K)窗口的中间值等于中值；

具体地，为了提升模型准确率，避免某种像素值的数据对模型存在依赖性，本实施例中，如果不进行处理，模型精度会极大降低，因此对数据的进行如下处理：

对图像数据进行维度升级，使其变成三维数据，扩展维度在第三个轴上；

将整形数据转化变浮点型数据，然后将数据通过如下公式转化为[-1,1]之间：

图像数据＝(Z-128)/128,其中，Z为图像的像素值。

在实际行车过程中，装在车上的摄像头在行车时会存在抖动且不同的行车方向拍摄的交通标志的成像角度不同，因此，为了消除这些原因造成的影响，在模型训练时，图像增强包括：将图像进行随机旋转、放大、水平偏移和上下偏移，其目的是增大样本量。

具体地，图像旋转角度范围为8～12度，优选为10度；

最大随机放大倍数为：1.2；

最大随机水平偏移和上下偏移的范围为0.08。

现有技术中，往往采用深层次的神经网络进行训练，因为层次的加深能够提升识别的准确率，但其会极大的增加模型计算的参数量，需要占据非常大的计算资源；

本发明的另一实施例对现有的卷积神经网络模型进行了改进，在确保识别准确率的条件下，降低模型参数，从而降低计算量；

具体地，本实施例的改进性神经网络模型包括：

基础单元层，基础单元层定义为：

步骤S101，获取输入图像数据，采用(K×K)卷积核与图像数据的通道进行卷积，其中，一个(K×K)卷积核只与图像的一个通道数据进行卷积，获得相应通道数据经过卷积后的特征值，其中，K为卷积核行或列的数值，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值；

其中，如：N为输出图象的通道数，K为卷积核行或列的数值，如K＝3，即采用3×3的矩阵，对N个通道的，则采用N个卷积核与N个通道对应相乘获得N个通道的特征值。

步骤S102，采用1×1的卷积核分别与所有通道的特征值进行卷积后进行相加获得与卷积核对应的特征值，其中，(1×1)的卷积核为多个，一个(K×K)卷积核分别与所有的通道数据进行卷积，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值。

假设有M个(1×1)的卷积核，则最后形成M个输出通道值的特征值。

具体地，为了解决在训练过程中，中间层数据分布发生改变的问题，以防止损失值震荡或不收敛，加快训练速度，在进行激活函数之前，还可以对数据进行如下改进，使其中间层数据分布趋于均衡，本实施例称为特征均衡层：

特征均衡层具体为：

获取特征值X的均值μ和方差σ，利用获取的方差对卷积特征值进行正态化分布获得特征值

对特征值

进行如下反变换：

其中，γ、β为学习系数，通过学习系数，把正态化的数据

进行再次进行反变化，使其保留上一层的部分关键特征，防止经过正态化后导致关键特征值丢失。

γ、β为学习系数可以通过梯度的反向传播自动获得。

本实施例中，提出了模型的训练集、验证集、测试集经过神经网络模型训练和验证方法图，图3a为训练集的数据流示意图，图3b为验证集、训练集的数据流示意图。

优选的，参见图4，本实施例的改进神经网络模型为：

输入通道32×32×1图像、第一基础层、第二基础层、特征均衡层、最大池化层、第三基础层、第四基础层、特征均衡层、最大池化层、第五基础层、第六基础层、特征均衡层、最大池化层、第七基础层、第八基础层、特征均衡层、最大池化层、展平层、全连接层、Softmax层，其中第一基础层的输出通道为32，第二基础层的输出通道为64；具体每层的输入通道与输出通道参见图4。

第一基础层(32×32×32)、第二基础层32×32×64，第三基础层(16×16×128)、第四基础层16×16×256，第五基础层(8×8×128)、第六基础层8×8×128，第七基础层(4×4×128)、第八基础层4×4×128。

全连接层具有64个神经元，Softmax层中有43个分类；

在上述改进的神经网络模型中，最大池化层前面都设有Relu层；

神经网络的损失函数采用交叉熵，优化器采用标准的adam方法。

通过损失函数计算原始样本图像的预测信息与预定的正确标注结果的损失值，通过反向传播算法将第一损失值反向传播，更新卷积神经网络的参数。

神经网络中的权重系数在开始训练时是尽管是卷积核的矩阵值是随机分布，但是随机分布往往会导致取值范围的任意性，在训练时使得模型的结果偏离真实值，会破坏权重系数取值范围，从而可能导致最后模型找到局部最优先而非全局最优解，因此本实施例中，对卷积核初始化的随机取值范围进行限定，具体为：

卷积核初始取值范围设为[-range,range],

其中K为卷积核的尺寸，input_channel为输入通道数，output_channel输出通道数。

另外，为了防止过拟合，采用舍去层，即在最终的输出层之前随机舍去了上层预设数量的输出结果，即对上一层输出结果，只随机取预设的神经元个数作为本层计算的输入值。

最大全局池化层为在给定的采样范围内取所有神经元的最大值，其目的在于下采样，降低图像的尺寸。

展平层是将上层高维度的数据转化为一维数据；

Softmax层的计算公式为：

z_i为层的输出，其作为softmax的输入，维度为C；

y_i为预测对象属于第c类的概率。

具体地，本实施例中，舍去的预设数量为20～50％。列如当预设数量为40％，则只取1-40％＝60％的神经元个数作为本层计算的输入值参与训练，舍去40％的神经个数。

传统卷积模型的参数量的卷积模型为：输入层32×32×1，卷积层32×32×1，卷积层32×32×64，最大池化层16×16×64、舍去层16×16×64、展平层(None,16384)、全连接层(None，128)、舍去层(None，128)、softmax层(43个神经元)；

本实施例采用德国GTSRB的数据集，其分为训练集、验证集和测试集，其中图像的大小为32*32，训练集含有34799个样本，验证集中含有4410张图片，测试集中含有12630张图片，经过均衡后，将测试集样本扩充为50690张图片。

图5显示了本实施采用的改进性网络模型和传统卷积模型的参数量，从图中可以看出，本实施例采用的改进性网络模型的参数量为171668个参数，但是传统的模型的网络参数为2121643，可以看出，本实施例通过改进后，网络模型参数极大的降低，只需要原模型9.20％的参数量即可实现。

图6为传统的神经网络的训练集和测试集的识别准确率随着训练epoch的变化图，图7为本发明一实施例中改进的神经网络的训练集和测试集的损失值随着训练epoch的变化图。图像处理方法为第一转化处理+第二转化处理(9个点都都进行二值化)+图像增强，采用训练集和测试集都是采用相同的预处理方式，可以看出，损失函数和识别率都较为稳定，并未出现过拟合和欠拟合情况，训练集的识别准确率达到98.1％,测试集达到99.3％，这时由于网络参数的选取是选择测试集中最好的识别结果对应的训练集的识别结果的网络参数引起的。损失函数的值对于训练集为0.064，测试集为0.034。

图8为本发明一实施例中改进的神经网络的训练集和测试集的识别准确率随着训练epoch的变化图。图9为本发明一实施例中改进的神经网络与传统神经网路的训练参数数量对比图。图像处理方法为第一转化处理+第二转化处理(9个点都进行二值化)+图像增强，可以看出，与图6和图7相比，尽管本发明采用的改进性模型参数量降低为原来的9.2％，但是其识别准确率并没有降低，损失函数曲线和识别率曲线都较为鲁棒，损失函数值有较大的波动。训练集的识别准确率达到98.6％,测试集达到98.1％。损失函数对于训练集的值为0.048，测试集为0.139。

图10采用本实施提供的改进神经网络模型与传统的神经网络模型经过不同条件的对比训练集、测试集、验证集的识别结果准率。

具体地，评判识别准确率主要取决于验证集，验证集样本并未在训练集和测试集，且验证集的样本数非常大，如果验证集的准确率高，则说明网络参数比较好。图像处理方法中，第一转化处理+第二转化处理(3×3-1)+图像增强这个条件下，无论是在改进型模型还是在传统的卷积模型，均有较高的识别率。在改进型模型下，尽管网络参数仅有171668个，其训练集的正确率达到96.9％，传统的卷机模型的网络参数为2201110个，其训练集的正确率达到98.0％，二者相差不大。

采用第一转化处理+第二转化处理(3×3)时，验证集的精度较低，采用改进型模型时，仅为94.8％。采用传统卷积模型，训练集精度达到97.1％。但由于传统模型的网络参数亮非常大，尽管不通过图像增强，其仍然具备较高识别率。但是在网络参数量较小的情况，图像增强就显得非常重要，在采用第一转化处理+第二转化处理(3×3)+图像增强时，验证集的精度较低，采用改进型模型时，仅为94.8％。采用传统卷积模型，训练集精度达到97.8％。由此可见，图像增强能够提升识别率。

采用第一转化处理+第二转化处理(中值)+图像增强时，验证集的精度获得较高，采用改进型模型时，识别准确率96.1％。采用传统卷积模型，训练集精度达到97.9％。可见，相比于取平均值，固定窗口大小中值并不损失精度，相反，还能够得到提升。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像增强的道路交通标志识别方法，其特征在于，至少包括：

从数据集中获取的图像，对每个类别图像的数量进行均衡化分布处理；

对图像进行图像预处理，将预处理后的图像进行图像增强；

应用神经网络模型对图像数据进行训练，获取训练后的结果；

其中，图像预处理包括：将训练集中的图像进行第一转化获取转化的第一图像，第一转化函数为：M＝30％×R+59％×G+11％×B，其中，R,G,B分别表示图像的三个红色、绿色、蓝色三个通道的像素值，M为经过转化后的图像像素值；

神经网络模型的具体结构至少包括：基础单元层、基础单元层、特征均衡层、最大池化层、基础单元层、基础单元层、特征均衡层、最大池化层、基础单元层、基础单元层、特征均衡层、最大池化层、基础单元层、基础单元层、最大池化层、展平层、全连接层、Softmax层，其中，最大池化层前面都设有Relu层。

2.如权利要求1所述的一种基于图像增强的道路交通标志识别方法，其特征在于，神经网络模型包括：基础单元层，基础单元层至少包括：

步骤S101，获取输入图像数据，采用(K×K)卷积核与图像数据的通道进行卷积，其中，一个(K×K)卷积核只与图像的一个通道数据进行卷积，获得相应通道数据经过卷积后的特征值，其中，K为卷积核行或列的数值，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值；

步骤S102，采用1×1的卷积核分别与所有通道的特征值进行卷积后进行相加获得与卷积核对应的特征值，其中，(1×1)的卷积核为多个，一个(K×K)卷积核分别与所有的通道数据进行卷积，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值。

3.如权利要求1所述的一种基于图像增强的道路交通标志识别方法，其特征在于，图像预处理包括：对图像进行第二转化，第二转化具体步骤包括：步骤S10：使用(K×K)固定大小的窗口，在图像像素中选取与(K×K)窗口相同的尺寸的像素，K为奇正整数；

步骤S11，在(K×K)窗口相同的尺寸的像素中，求解(K×K)窗口的所有像素的平均值，然后将(K×K)窗口的像素值分别与平均值进行比较，如果像素值大于平均值，则将像素置1，反之，如果像素值小于平均值，则将像素置0；

步骤S12，用(K×K)窗口遍历图像的所有像素并且重复步骤S11，获得最终的图像。

4.如权利要求3所述的一种基于图像增强的道路交通标志识别方法，其特征在于，在步骤S11中，在求解平均值时以及在后续的像素二值化过程中，排除了每个(K×K)窗口的中心像素，使其(K×K)-1个相邻像素进行二值化，K为奇正整数。

5.如权利要求3所述的一种基于图像增强的道路交通标志识别方法，其特征在于，在步骤S11中，在(K×K)窗口相同的尺寸的像素中，求解(K×K)窗口的所有像素的中值，然后将(K×K)窗口的中心像素值等于中值。

6.如权利要求1所述的一种基于图像增强的道路交通标志识别方法，其特征在于，图像增强包括：在模型训练时，将图像进行随机旋转、随机放大、随机水平偏移和随机上下偏移，其中，图像旋转角度范围为8～12度，最大随机放大倍数为1.2，最大随机水平偏移和上下偏移的范围为0.08。

7.如权利要求1所述的一种基于图像增强的道路交通标志识别方法，其特征在于，特征均衡层具体包括：获取特征值X的均值μ和方差σ，利用获取的方差对卷积特征值进行正态化分布获得卷积特征值

特征输出值Y则设为：

其中，γ、β为系数，通过神经网络反向传播求解梯度获得。

8.如权利要求1所述的一种基于图像增强的道路交通标志识别方法，其特征在于，在图像数据输入神经网络模型之前，对图像数据进行维度升级，使其变成三维数据，扩展维度在第三个轴上；将整形数据转化变浮点型数据，然后将数据转化为[-1,1]之间。

9.如权利要求1所述的一种基于图像增强的道路交通标志识别方法，其特征在于，基础单元层中，卷积核的元素值范围限定为：卷积核初始取值范围设为[-range,range],其中，

range＝(6/K*K*(Input_channel+Output_channel))

其中K为卷积核的尺寸，input_channel为输入通道数，output_channel输出通道数。

10.如权利要求1所述的一种基于图像增强的道路交通标志识别方法，其特征在于，均衡化分布处理包括：

获取每个类别对应下的子样本数量，计算每个类别频率中心值＝(当前类别对应的数值+与当前类别对应的下一个类别对应的数值)/2，遍历类别总数，获取频率中心值总个数；

对于每个类别，获取当前类别样本数，当样本数量小于预设阈值，将预设阈值减去当前类别的样本数获得差值W，并从当前样本数中随机产生W个样本，并将产生的W个样本与当前类别的样本数相加作为新的样本数；遍历类别总数，产生类别的新样本数，直至样本类别总数等于频率中心值的总个数。

Images