CN113536942A - 一种基于神经网络的道路交通标志识别方法 - Google Patents

一种基于神经网络的道路交通标志识别方法 Download PDF

Info

Publication number
CN113536942A
CN113536942A CN202110683512.2A CN202110683512A CN113536942A CN 113536942 A CN113536942 A CN 113536942A CN 202110683512 A CN202110683512 A CN 202110683512A CN 113536942 A CN113536942 A CN 113536942A
Authority
CN
China
Prior art keywords
image
neural network
value
data
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110683512.2A
Other languages
English (en)
Other versions
CN113536942B (zh
Inventor
肖文平
何敖东
潘永靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hinge Electronic Technologies Co Ltd
Original Assignee
Shanghai Hinge Electronic Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hinge Electronic Technologies Co Ltd filed Critical Shanghai Hinge Electronic Technologies Co Ltd
Priority to CN202110683512.2A priority Critical patent/CN113536942B/zh
Publication of CN113536942A publication Critical patent/CN113536942A/zh
Application granted granted Critical
Publication of CN113536942B publication Critical patent/CN113536942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于神经网络的道路交通标志识别方法，通过对训练集图像进行均衡化处理获得一致性差异分布，对图像进行第一转化、第二转化、第三转化和图像增强，并对神经网络模型进行改进，降低神经网络模型参数量。通过对模型进行优化后，与传统的模型相比，参数量仅为原模型的9.23％，但是识别精度并未降低，获得较好的效果。

Description

一种基于神经网络的道路交通标志识别方法
技术领域
本发明涉及目标识别领域，尤其涉及一种基于神经网络的道路交通标志识别方法。
背景技术
交通标识识别是智能交通系统的关键技术，在车辆控制、交通监控和智能驾驶等系统中都有着广泛的应用，准确识别各种倾斜角度、拍摄角度的交通标识是实现车辆智能驾驶的重要基础。交通标识识别系统主要包括交通标识检测、交通标识区域分割、交通标识分类和交通标识识别4个环节，而交通标识分类是交通标识识别系统的中心环节，也是尤其重要的一个环节，现有的交通标识形状识别算法在各自特定的条件下都能取得较好的识别效果，但在交通标识图像倾斜、拍摄角度倾斜的情况下，现有算法则表现出了各自的局限性。但是目前神经网络中其参数量非常大，少则数百万，多则数千万，这需要机器能够具备较高的算力，在传统的服务器、工作站是能够胜任此计算的。但是在汽车上，其硬件配置往往较低，如此庞大的参数量给交通识别增加计算负荷，同时也带来成本的提升。为了解决现有技术存在的缺陷，需要提供一种降低计算量的交通标志识别方法，同时也能够保证精度。
发明内容
基于现有技术中存在的缺陷，本发明提供一种基于神经网络的道路交通标志识别方法，至少包括：
从数据集中获取的图像，对每个类别图像的数量进行均衡化分布处理；
对图像进行图像预处理，将预处理后的图像进行图像增强；
应用神经网络模型对图像数据进行训练，获取训练后的结果；
其中，图像预处理包括：
将训练集中的图像进行第一转化获取转化的第一图像，第一转化函数为：C＝max(R,G,B)，将训练集的图像进行第二转化获取转化后的第二图像，第二转化函数为：C＝30％×R+59％×G+11％*B，其中，R,G,B分别表示图像的三个红色、绿色、蓝色三个通道的像素值；
将第一转化函数与第二转化函数后的图像进行合并形成数据集。
其中，图像预处理包括：
将训练集中的图像进行第一转化获取转化的第一图像，第一转化函数为：C＝max(R,G,B)，将训练集的图像进行第二转化获取转化后的第二图像，第二转化函数为：C＝30％×R+59％×G+11％×B，其中，R,G,B分别表示图像的三个红色、绿色、蓝色三个通道的像素值；
将第一转化获得的第一图像与第二转化获得的图像组成新的训练集；
根据训练集获得神经网络参数，在进行图像识别时，被识别的图像包括第二转化获得图像但不包括第一转化获得的图像。
一种基于神经网络的道路交通标志识别方法，进一步地，图像预处理包括：对图像进行转化，第三转化函数为：
Y＝F(x)×255；
F(x)＝CDF(x)2+K(x)×2×CDF(x)×(1-CDF(x))；
其中，
Figure BDA0003123410650000021
Pm{.}表示事件发生的概率，X为图像的像素值，x表示图像像素值的分级值；PDF(u)为图像中X像素值的概率密度分布函数；K(x)为权重系数，用于表征事件概率密度的不确定程度。
一种基于神经网络的道路交通标志识别方法，进一步地，图像增强包括：在模型训练时，将图像进行随机旋转、随机放大、随机水平偏移和随机上下偏移，其中，图像旋转角度范围为8～12度，最大随机放大倍数为1.2，最大随机水平偏移和上下偏移的范围为0.08。
一种基于神经网络的道路交通标志识别方法，进一步地，神经网络模型包括：基础单元层、全连接层、展平层、Softmax层；其中，基础单元层包括：
步骤S101，获取输入图像数据，采用(K×K)卷积核与图像数据的通道进行卷积，其中，一个(K×K)卷积核只与图像的一个通道数据进行卷积，获得相应通道数据经过卷积后的特征值，其中，K为卷积核行或列的数值，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值；
步骤S102，采用1×1的卷积核分别与所有通道的特征值进行卷积后进行相加获得与卷积核对应的特征值，其中，(1×1)的卷积核为多个，一个(K×K)卷积核分别与所有的通道数据进行卷积，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值。
一种基于神经网络的道路交通标志识别方法，进一步地，根据对卷积后的特征值在尚未输入激活函数前进行特征均衡化，具体包括：获取特征值X的均值μ和方差σ，利用获取的方差对卷积特征值进行正态化分布获得卷积特征值
Figure BDA0003123410650000031
Figure BDA0003123410650000032
特征输出值Y则设为：
Figure BDA0003123410650000033
其中，γ、β为系数。
一种基于神经网络的道路交通标志识别方法，进一步地，神经网络模型的具体结构包括：基础单元层、基础单元层、最大池化层、基础单元层、基础单元层、最大池化层、基础单元层、基础单元层、最大池化层、展平层、全连接层、Softmax层。
一种基于神经网络的道路交通标志识别方法，进一步地，在图像数据输入神经网络模型之前，对图像数据进行维度升级，使其变成三维数据，扩展维度在第三个轴上；将整形数据转化变浮点型数据，然后将数据转化为[-1,1]之间。
一种基于神经网络的道路交通标志识别方法，进一步地，基础单元层中，卷积核的元素值范围限定为：卷积核初始取值范围设为[-range,range],其中，
range＝(6/K*K*(Input_channel+Output_channel))
Figure BDA0003123410650000041
其中K为卷积核的尺寸，input_channel为输入通道数，output_channel输出通道数。
一种基于神经网络的道路交通标志识别方法，进一步地，均衡化分布处理包括：
获取每个类别对应下的子样本数量，计算每个类别频率中心值＝(当前类别对应的数值+与当前类别对应的下一个类别对应的数值)/2，遍历类别总数，获取频率中心值总个数；
对于每个类别，获取当前类别样本数，当样本数量小于预设阈值，将预设阈值减去当前类别的样本数获得差值W，并从当前样本数中随机产生W个样本，并将产生的W个样本与当前类别的样本数相加作为新的样本数；遍历类别总数，产生类别的新样本数，直至样本类别总数是等于频率中心值的总个数。
一种基于神经网络的道路交通标志识别方法，进一步地，对图像添加高斯白噪音，然后进行图像滤波；将第一转化和第二转化后进行合并形成新的训练集。
有益效果：
1.本发明提供的技术方案中，基于数据集样本的有限性和类别样本量分布不均衡，本实施例通过计算每个类别频率中心值，以频率中心值为基础，通过设置样本数量上限阈值，随机产生上限阈值与当前类别样本数量的差值个样本，遍历类别总是，直至样本类别总数是等于频率中心值的总个数。从而使得样本数量均衡化，降低类别数量的较大差异，同时要保持类别数量存在较小差异，有助于提供样本的准确率。
2.本发明提供的技术方案中，采用第一转化、第二转化、第三转化对图像处理预处理，能够克服不同环境光照条件对成像图片的影响，从而能够提高的交通标志类别的准确率。
3.本发明提供的技术方案中，通过采用改进的神经网络模型，极大的减少参数量，相比传统的方法，本发明由于限定每一个卷积核只与图像数据的每个通道进行卷积，然后在限定采用1×1的卷积核分别与所有通道的特征值进行卷积后进行相加获得与卷积核对应的特征值。通过这种设计方法，使其计算量降低，通过基于此构建的神经网络模型与传统模型相比，尽管参数量降低，但是识别率能够与传统神经网络模型相当。
4.本发明提供的技术方案中，不同的条件进行相反的尝试，在训练集、测试集采用相同的图像变化条件获得的网络参数，但验证集采用不同的条件变化运用相同的网络参数进行识别，在训练集、测试集的数据采用相同的变化训练获得的网络参数去验证有差别的验证集的图像变化条件的样本进行识别，获得结果比采用与训练集具备相同条件的图像变化的验证集的效果。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。
图1为本发明一实施例中对采用第一转化处理获得的不同条件下的图片：图1a为原图，图1b为进行第一转化后的图像，图1c为经过第一转化、第三转化后的图像，图1d为经过高斯模糊、中值处理、第一转化、第三转化后的图像。
图2为本发明一实施例中对采用第二转化处理获得的不同条件下的图片，图2a为第二转化后的图像，图2b为经过第二转化、第三转化后的图像，图3c为经过高斯模糊、中值处理、第二转化、第三转化后的图像。
图3为本发明一实施例中训练集、验证集、测试集经过神经网络模型的流程图，图3a为训练集的数据流示意图，图3b为验证集、训练集的数据流示意图，图3c为验证集中不经过第一转化的数据流示意图。
图4为本发明一实施例中改进的神经网络模型具体结构示意图。
图5为本发明一实施例中改进的神经网络与传统神经网路的训练参数数量对比图。
图6为本发明一实施例中传统的神经网络的训练集和测试集的损失函数随着训练epoch的变化图。
图7为本发明一实施例中传统的神经网络的训练集和测试集的识别准确率随着训练epoch的变化图。
图8为本发明一实施例中改进的神经网络的训练集和测试集的损失函数随着训练epoch的变化图。
图9为本发明一实施例中改进的神经网络的训练集和测试集的识别准确率随着训练epoch的变化图。
图10为本发明一实施例中不同条件的识别准确率图。
图11为本发明一实施例中不同条件的相同权重数中验证集的识别准确率图。
具体实施方式
为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。
关于控制系统，功能模块、应用程序(APP)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制系统可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本申请描述的操作即可。当然，控制系统也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。
本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。
本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合
应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
此外，本公开的控制器可被具体化为计算机可读介质上的非瞬态计算机可读介质，该计算机可读介质包含由处理器、控制器或类似物执行的可执行程序指令。计算机可读介质的示例包括，但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质也可分布在通过网络耦合的计算机系统中，使得计算机可读介质例如通过远程信息处理服务器或控制器区域网络(CAN)以分布式方式存储和执行。
本实施例提供一种基于神经网络的道路交通标志识别方法，具体包括：
获取训练集中的图片；
对图片进行预处理；
将预处理后的图像进行图像增强；
应用神经网络模型对数据进行训练，获取训练后的结果；
应用训练后的结果对测试集中的数据进行测试。
获取训练集中的图片，训练集中的图片数量不均衡，有些类别的图片数量较多，有些类别的图片数量较少，为了提高样本的准确率，本实施例对训练集的图片类别进行均衡化处理，降低类别数量的较大差异，但是又要保持类别数量存在较小差异。本实施例采用以下均衡数量方法，具体包括以下步骤：
步骤S1：根据图片类别，获取图片类别的频率直方图分布。
步骤S2：获取总的样本类别数量以及每个类别对应下的子样本数量，根据如下公式计算每个类别的频率中心，为了便于计算，本实施例中，采用不同数字代表不同的类别，如有50个类别，则0至49分别表示不同类别。0表示猫、1表示狗、3表示花。
当前类别频率中心值＝(当前类别对应的数值+与当前类别对应的下一个类别对应的数值)/2；
获取频率中心值总个数，对于每个类别，获取当前类别子样本数，当子样本数小于预设阈值时，则从当前子样本中随机产生预设阈值减去子样本数的差值个样本，并将产生的差值个样本与当前类别的子样本相加作为当前类别的新的子样本。
步骤S3：遍历类别总数，每完成一次类别加1，直至样本类别总数等于频率中心值的总个数。
由于本实施采用了神经网络模型进行训练，数据预处理方法是非常重要的，如果不经过预处理而直接进行训练，则会导致后面的模型震荡、不收敛，从而使得识别精度低。现阶段预处理方法非常多，但是场景不同，预处理方法要适配检测场景，否则，预处理方法将获得较差的结果。
现有技术中，对图片的预处理往往都是采用均值滤波，是一种线性滤波，主要思想为邻域平均法，即用几个像素灰度的平均值来代替每个像素的灰度。有效抑制加性噪声，但容易引起图像模糊。
本实施例中，并不采用均值滤波，而采用如下方法进行：
具体地，对训练集中的图片添加高斯白噪音，然后进行图像滤波。
具体地，图像滤波的过程为：在输入图像中，以任一像素为中心设置一个确定的邻域A，A的边长为2N+1,(N＝0,1,2,…)；将邻域内各像素的强度值按大小顺序排列，取位于中间位置的值作为该像素点的输出值，遍历整幅图像就可完成整个滤波过程：A＝xi,y＝Med{x1,x2,x3,…,x2N+1}，其中xi表示第i个点的像素强度；
我们向图像添加高斯白噪声，这等效于对高斯分布产生的随机样本值与输入图像中每个像素的均值m和方差v进行叠加，从而最大程度地降低了输入图像上的像素位置的影响，然后通过上述滤波方法自适应去除噪声，输出图像可以很好地去除输入图像中的一些多余噪声。
有多种类型的模糊处理，但已为此目的选择了高斯模糊。现在的任务是从图像中提取红色和蓝色。因此，使用掩膜工艺来获得蓝色和红色区域。图像遮罩是图形软件用来隐藏图像的某些部分并显示某些部分的过程。它基于色相，饱和度和值。遮罩是图像编辑的非破坏性过程。每种颜色都需要一个范围，然后根据该范围应用遮罩。对于红色和蓝色，色相特征，饱和度特征和值特征都有预定义的范围。
由于汽车的交通标识都是在嵌入式设备中进行，其设备对图像的运算能力较低，导致识别结果较慢，本实施例中，为了减少计算量，降低光照对图片的影响，忽略了图像的颜色，将RGB图像进行如下第一转化图像M，转化公式为：
设置R，G，B分别表示图片的三个通道的数值，
获取三个通道中的最大值Cmax＝max(R,G,B)，图像M的像素值为：M＝Cmax，具体如图1b所示。图1中，图1a为原图，图1b为进行第一转化后的图像。
实际过程中，外界光照条件变化多样，为了增加训练集样本，降低光照条件的影响，本实施例还对RGB进行另外的计算，将RGB图像进行如下第二转化：
M＝30％×R+59％×G+11％×B
具体如图2b所示。
具体地，由于样本容量有限，训练集数据很难覆盖到所有不同的光照条件，传统的神经网络方法中，通过增减不同的条件去增加样本，但是其结果较难预测，不同的场景在不同的变化条件下获得的结果变化差异很大。但相同的做法都是对训练集、测试集、验证集采用相同的数据预处理和图像增强进行训练和验证，其目的是保存数据结构的一致性，同时，也能够保证模型的精度。但是在本发明实施例的过程中，本实施例在不同的条件进行相反的尝试，在训练集、测试集采用相同的图像变化，验证集采用不同的条件变化，在训练集、测试集的数据采用相同的变化训练获得的网络参数去测试与训练集、测试集中不同的图像变化条件的样本进行尝试：
具体地：
将第一转化获得的第一图像与第二转化获得的图像组成新的训练集；
根据训练集获得神经网络参数去对验证集中的图像进行识别，在进行图像识别时，被识别的图像包括第二转化获得图像但不包括第一转化获得的图像。
从图2a和图2b可以看出，其都较为暗，细节较为模糊，如果不进行处理直接训练，将会导致在后续模型提取无用特性进行运算，导致较差识别率。现有技术中，对图像像素中的像素值进行转化的方法采用如下转化方法，
Figure BDA0003123410650000121
Pm{.}表示事件发生的概率，x1,x2为图像中的两个像素的值。a,b的取值在x1,x2之间，X为整个像素的值的范围集合。
但是通过这种方法，尽管能够获得较好的效果，但是其需要计算x1,x2像素中关于亮度的二维分布，二维分布相对于一维分布，其计算过程较为复杂，并且代价较高，在嵌入式设备进行计算将会显得很慢，无法保证实时性。
因此为了避免无用特征被采用，降低计算量，保证实时性，本实施例分别对图像进行均衡变处理，具体包括以下步骤：
定义图像的中像素第三转化函数：
y＝F(x)＝CDF(x)2+K(x)×2×CDF(x)×(1-CDF(x))
其中，
Figure BDA0003123410650000122
Pm{.}表示事件发生的概率，x为图像的像素值；PDF(u)为图像中x像素值的概率密度分布函数；K(x)为权重系数，用于表征事件概率密度的不确定程度。
本实施例中，定义：
K(x)＝Pm{X≤x}＝CDF(x)
第三转化函数为：
y＝F(x)＝CDF(x)2(1+2*(1-CDF(x))
具体地，本实施例中，
将图像像素值按照上述转化函数进行变化获取变化后图像的像素值y；
将像素值y*255获得标准化的图像像素值，获得图像数据；
图1c为经过第一转化、第三转化后的图像，图1d为经过高斯模糊、中值处理、第一转化、第三转化后的图像。图2a为第二转化后的图像，图2b为经过第二转化、第三转化后的图像，图3c为经过高斯模糊、中值处理、第二转化、第三转化后的图像。
具体地，为了提升模型准确率，避免某种像素值的数据对模型存在依赖性，本实施例，
对图像数据进行维度升级，使其变成三维数据，扩展维度在第三个轴上；
将整形数据转化变浮点型数据，然后将数据通过如下公式转化为[-1,1]之间：
图像数据＝(Z-128)/128,其中，Z为图像的像素值。
在实际行车过程中，装在车上的摄像头在行车时会存在抖动且不同的行车方向拍摄的交通标志的成像角度不同，因此，为了消除这些原因造成的影响，在模型训练时，图像增强包括：将图像进行随机旋转、放大、水平偏移和上下偏移，其目的是增大样本量。
具体地，图像旋转角度范围为8～12度，优选为10度；
最大随机放大倍数为：1.2；
最大随机水平偏移和上下偏移的范围为0.08。
现有技术中，往往采用深层次的神经网络进行训练，因为层次的加深能够提升识别的准确率，但其会极大的增加模型计算的参数量，需要占据非常大的计算资源；
本发明的另一实施例对现有的卷积神经网络模型进行了改进，在确保识别准确率的条件下，降低模型参数，从而降低计算量；
具体地，本实施例的卷积神经网络模型包括：
基础单元层，基础单元层定义为：
步骤S101，获取输入图像数据，采用(K×K)卷积核与图像数据的通道进行卷积，其中，一个(K×K)卷积核只与图像的一个通道数据进行卷积，获得相应通道数据经过卷积后的特征值，其中，K为卷积核行或列的数值，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值；
其中，如：N为输出图象的通道数，K为卷积核行或列的数值，如K＝3，即采用3×3的矩阵，对N个通道的，则采用N个卷积核与N个通道对应相乘获得N个通道的特征值。
步骤S102，采用1×1的卷积核分别与所有通道的特征值进行卷积后进行相加获得与卷积核对应的特征值，其中，(1×1)的卷积核为多个，一个(K×K)卷积核分别与所有的通道数据进行卷积，对特征值分别运用激活函数ReLU＝max(0,x)获取激活后的特征值。
假设有M个(1×1)的卷积核，则最后形成M个输出通道值的特征值。
具体地，为了解决在训练过程中，中间层数据分布发生改变的问题，以防止损失值震荡或不收敛，加快训练速度，在进行激活函数之前，还可以对数据进行如下改进，使其中间层数据分布趋于均衡：
特征均衡层具体为：
获取特征值X的均值μ和方差σ，利用获取的方差对卷积特征值进行正态化分布获得特征值
Figure BDA0003123410650000151
Figure BDA0003123410650000152
对特征值
Figure BDA0003123410650000153
进行如下反变换：
Figure BDA0003123410650000154
其中，γ、β为学习系数，通过学习系数，把正态化的数据
Figure BDA0003123410650000155
进行再次进行反变化，使其保留上一层的部分关键特征，防止经过正态化后导致关键特征值丢失。
γ、β为学习系数可以通过梯度的反向传播自动获得。
本实施例中，提出了模型的训练集、验证集、测试集经过神经网络模型训练和验证方法图，图3a为训练集的数据流示意图，图3b为验证集、训练集的数据流示意图。图3c为验证集中不经过第一转化的数据流示意图。
优选的，本实施例的神经网络模型为：
输入1通道32×32图像、第一基础层、第二基础层、最大池化层、第三基础层、第四基础层、最大池化层、第五基础层、第六基础层、最大池化层、展平层、全连接层、Softmax层，其中第一基础层的输出通道为32，第二基础层的输出通道为32；具体每层的输入通道与输出通道参见图4。
神经网络的损失函数采用交叉熵，优化器采用标准的adam方法。
通过损失函数计算原始样本图像的预测信息与预定的正确标注结果的损失值，通过反向传播算法将第一损失值反向传播，更新卷积神经网络的参数。
神经网络中的权重系数在开始训练时是尽管是卷积核的矩阵值是随机分布，但是随机分布往往会导致取值范围的任意性，在训练时使得模型的结果偏离真实值，会破坏权重系数取值范围，从而可能导致最后模型找到局部最优先而非全局最优解，因此本实施例中，对卷积核初始化的随机取值范围进行限定，具体为：
卷积核初始取值范围设为[-range,range],
Figure BDA0003123410650000161
其中K为卷积核的尺寸，input_channel为输入通道数，output_channel输出通道数。
另外，为了防止过拟合，采用舍去层，即在最终的输出层之前随机舍去了上层预设数量的输出结果，即对上一层输出结果，只随机取预设的神经元个数作为本层计算的输入值。
最大全局池化层为在给定的采样范围内取所有神经元的最大值，其目的在于下采样，降低图像的尺寸。
展平层是将上层高维度的数据转化为一维数据；
Softmax层的计算公式为：
Figure BDA0003123410650000162
zi为层的输出，其作为softmax的输入，维度为C；
yi为预测对象属于第c类的概率。
具体地，本实施例中，舍去的预设数量为20～50％。例如当预设数量为40％，则只取1-40％＝60％的神经元个数作为本层计算的输入值参与训练，舍去40％的神经个数。
为了提高运算速度，降低计算参数量，本实施例中，采用的对比神经网络为传统的卷积网络，其模型包括：输入层([(None,32,32,1)])，卷积层1(None,32,32,32)、卷积层2(None,32,32,64)，最大池化层(None,16,16,64)，舍去层(None,16,16,64)，展平层(None,16384)，全连接层(None,128)，舍去层(None,128)，全连接层(None,43)，Softmax层。
本实施例采用德国GTSRB的数据集，其分为训练集、验证集和测试集，其中图像的大小为32*32，训练集含有34799个样本，验证集中含有4410张图片，测试集中含有12630张图片，经过均衡后，将测试集样本扩充为50690张图片。
图5显示了本实施采用的改进性网络模型和对比模型的参数量，从图中可以看出，本实施例采用的改进性网络模型的参数量为158548个参数，但是传统的模型的网络参数为2121643，可以看出，本实施例通过改进后，网络模型参数极大的降低，只需要原模型9.23％的参数量即可实现。
图6为传统的神经网络的训练集和测试集的损失函数随着训练epoch的变化图，图7为本发明一实施例中改进的神经网络的训练集和测试集的识别准确率随着训练epoch的变化图。采用训练集和测试集都是采用相同的预处理方式，可以看出，损失函数和识别率都较为稳定，并未出现过拟合和欠拟合情况，训练集的识别准确率达到97.3％,测试集达到99.0％。
图8为本发明一实施例中改进的神经网络的训练集和测试集的损失函数随着训练epoch的变化图。图9为本发明一实施例中改进的神经网络的训练集和测试集的识别准确率随着训练epoch的变化图。可以看出，与图6和图7相比，尽管本发明采用的改进性模型参数量降低为原来的9.23％，但是其识别准确率并没有降低，损失函数曲线和识别率曲线都较为鲁棒。训练集的识别准确率达到99.6％,测试集达到98.8％。
图10采用本实施提供的改进神经网络模型与传统的神经网络模型经过不同条件的对比训练集、测试集、验证集的识别结果准率，不同图10中可以看出第一转化处理+第二转化处理+第三转化+图像增强的处理在验证集上表现较好，因此可以看出，经过本发明提供的图像预处理和图像增强方法，能够获取较好的效果。
图11为本发明一实施例中不同条件的相同权重数中验证集的识别准确率图。
需要说明的是，现有的神经网络在测试集、验证集中都采用相同的预处理条件，这样获得模型结果才能够匹配，提取的图像特征才符合要求。本发明在进行模型搭建时，如果按照传统的方法去提升模型识别的准确率，如图10中，其模型已经达到的上限，很难进行提升。本发明与传统的神经网络采用相反的设计思路，即在训练集上采用不同图像预处理方法对图像的多样性进行变化，通过训练后获得最佳的网络参数。但是在真正运用网络模型进行图像识别时是，验证集中的图像并未如训练集一样采用相同的图像预处理方法，在本实施例中，比如训练集中采用(第一转化处理+第二转化处理+第三转化+图像增强)，如果按照传统方法，验证集也采用相同的方法，其识别率97.5％，但是当验证集仅采用第二转化处理+第三转化+图像增强，如果按照理论预测，由于提取的特征不相同，识别准确率会极大降低，但是经过验证，其识别准确率并没有降低，反而有所提升到97.7％，达到了出乎意料的效果。
以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于神经网络的道路交通标志识别方法，其特征在于，至少包括：
从数据集中获取的图像，对每个类别图像的数量进行均衡化分布处理；
对图像进行图像预处理，将预处理后的图像进行图像增强；
应用神经网络模型对图像数据进行训练，获取训练后的结果；
其中，图像预处理包括：将训练集中的图像进行第一转化获取转化的第一图像，第一转化函数为：C＝max(R，G，B)，将训练集的图像进行第二转化获取转化后的第二图像，第二转化函数为：C＝30％×R+59％×G+11％×B，其中，R，G，B分别表示图像的三个红色、绿色、蓝色三个通道的像素值。
2.如权利要求1所述的一种基于神经网络的道路交通标志识别方法，其特征在于，图像预处理包括：对图像进行转化，第三转化函数为：
Y＝F(x)×255；
F(x)＝CDF(x)2+K(x)×2×CDF(x)×(1-CDF(x))；
其中，
Figure FDA0003123410640000011
Pm{.}表示事件发生的概率，X为图像的像素值，x表示图像像素值的分级值；PDF(u)为图像中X像素值的概率密度分布函数；K(x)为权重系数，用于表征事件概率密度的不确定程度。
3.如权利要求1所述的一种基于神经网络的道路交通标志识别方法，其特征在于，图像增强包括：在模型训练时，将图像进行随机旋转、随机放大、随机水平偏移和随机上下偏移，其中，图像旋转角度范围为8～12度，最大随机放大倍数为1.2，最大随机水平偏移和上下偏移的范围为0.08。
4.如权利要求1所述的一种基于神经网络的道路交通标志识别方法，其特征在于，神经网络模型包括：基础单元层，基础单元层至少包括：
步骤S101，获取输入图像数据，采用(K×K)卷积核与图像数据的通道进行卷积，其中，一个(K×K)卷积核只与图像的一个通道数据进行卷积，获得相应通道数据经过卷积后的特征值，其中，K为卷积核行或列的数值，对特征值分别运用激活函数ReLU＝max(0，x)获取激活后的特征值；
步骤S102，采用1×1的卷积核分别与所有通道的特征值进行卷积后进行相加获得与卷积核对应的特征值，其中，(1×1)的卷积核为多个，一个(K×K)卷积核分别与所有的通道数据进行卷积，对特征值分别运用激活函数ReLU＝max(0，x)获取激活后的特征值。
5.如权利要求4所述的一种基于神经网络的道路交通标志识别方法，其特征在于，根据对卷积后的特征值在尚未输入激活函数前进行规范化转化，具体包括：获取特征值X的均值μ和方差σ，利用获取的方差对卷积特征值进行正态化分布获得卷积特征值
Figure FDA0003123410640000021
Figure FDA0003123410640000022
特征输出值Y则设为：
Figure FDA0003123410640000023
其中，γ、β为系数。
6.如权利要求4所述的一种基于神经网络的道路交通标志识别方法，其特征在于，神经网络模型的具体结构包括：基础单元层、基础单元层、最大池化层、基础单元层、基础单元层、最大池化层、基础单元层、基础单元层、最大池化层、展平层、全连接层、Softmax层。
7.如权利要求4所述的一种基于神经网络的道路交通标志识别方法，其特征在于，在图像数据输入神经网络模型之前，对图像数据进行维度升级，使其变成三维数据，扩展维度在第三个轴上；将整形数据转化变浮点型数据，然后将数据转化为[-1，1]之间。
8.如权利要求4所述的一种基于神经网络的道路交通标志识别方法，其特征在于，基础单元层中，卷积核的元素值范围限定为：卷积核初始取值范围设为[-range，range]，其中，
range＝(6/K*K*(Input_channel+Output_channel))
Figure FDA0003123410640000031
其中K为卷积核的尺寸，input_channel为输入通道数，output_channel输出通道数。
9.如权利要求1所述的一种基于神经网络的道路交通标志识别方法，其特征在于，均衡化分布处理包括：
获取每个类别对应下的子样本数量，计算每个类别频率中心值＝(当前类别对应的数值+与当前类别对应的下一个类别对应的数值)/2，遍历类别总数，获取频率中心值总个数；
对于每个类别，获取当前类别样本数，当样本数量小于预设阈值，将预设阈值减去当前类别的样本数获得差值W，并从当前样本数中随机产生W个样本，并将产生的W个样本与当前类别的样本数相加作为新的样本数；遍历类别总数，产生类别的新样本数，直至样本类别总数等于频率中心值的总个数。
10.如权利要求1所述的一种基于神经网络的道路交通标志识别方法，其特征在于，对图像添加高斯白噪音，然后进行图像滤波；将第一转化和第二转化后进行合并形成新的训练集。
CN202110683512.2A 2021-06-21 2021-06-21 一种基于神经网络的道路交通标志识别方法 Active CN113536942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110683512.2A CN113536942B (zh) 2021-06-21 2021-06-21 一种基于神经网络的道路交通标志识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110683512.2A CN113536942B (zh) 2021-06-21 2021-06-21 一种基于神经网络的道路交通标志识别方法

Publications (2)

Publication Number Publication Date
CN113536942A true CN113536942A (zh) 2021-10-22
CN113536942B CN113536942B (zh) 2024-04-12

Family

ID=78125259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110683512.2A Active CN113536942B (zh) 2021-06-21 2021-06-21 一种基于神经网络的道路交通标志识别方法

Country Status (1)

Country Link
CN (1) CN113536942B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
CN101761038A (zh) * 2009-12-31 2010-06-30 华南理工大学 一种铁路临时限速标志识别系统及方法
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN105930830A (zh) * 2016-05-18 2016-09-07 大连理工大学 一种基于卷积神经网络的路面交通标志识别方法
CN109033944A (zh) * 2018-06-07 2018-12-18 西安电子科技大学 一种全天空极光图像分类与关键局部结构定位方法及系统
US20190050973A1 (en) * 2017-08-11 2019-02-14 United Technologies Corporation Sensor system for data enhancement
CN109635784A (zh) * 2019-01-10 2019-04-16 重庆邮电大学 基于改进的卷积神经网络的交通标志识别方法
CN109753929A (zh) * 2019-01-03 2019-05-14 华东交通大学 一种图库联合的高铁绝缘子巡检图像识别方法
CN110188705A (zh) * 2019-06-02 2019-08-30 东北石油大学 一种适用于车载系统的远距离交通标志检测识别方法
CN110321803A (zh) * 2019-06-10 2019-10-11 南京邮电大学 一种基于srcnn的交通标志识别方法
CN110580450A (zh) * 2019-08-12 2019-12-17 西安理工大学 一种基于卷积神经网络的交通标志识别方法
CN110689011A (zh) * 2019-09-29 2020-01-14 河北工业大学 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法
CN111325152A (zh) * 2020-02-19 2020-06-23 北京工业大学 一种基于深度学习的交通标志识别方法
CN111428556A (zh) * 2020-02-17 2020-07-17 浙江树人学院（浙江树人大学） 一种基于胶囊神经网络的交通标志识别方法
CN111753653A (zh) * 2020-05-15 2020-10-09 中铁第一勘察设计院集团有限公司 基于注意力机制的高铁接触网紧固件识别与定位方法
CN112040174A (zh) * 2020-07-20 2020-12-04 西安科技大学 一种用于井下的煤流量视觉检测方法
US20200387230A1 (en) * 2017-10-24 2020-12-10 Boe Technology Group Co., Ltd. Gesture detection method, gesture processing device, and computer readable storage medium
CN112507624A (zh) * 2020-12-15 2021-03-16 交通运输部公路科学研究所 一种城际公路出行方式识别模型构建、识别方法及装置
CN112509026A (zh) * 2020-11-06 2021-03-16 广东电网有限责任公司中山供电局 一种绝缘子裂缝长度识别方法
CN112613225A (zh) * 2020-12-06 2021-04-06 北京工业大学 一种基于神经网络元胞传输模型的交叉口交通状态预测方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
CN101761038A (zh) * 2009-12-31 2010-06-30 华南理工大学 一种铁路临时限速标志识别系统及方法
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN105930830A (zh) * 2016-05-18 2016-09-07 大连理工大学 一种基于卷积神经网络的路面交通标志识别方法
US20190050973A1 (en) * 2017-08-11 2019-02-14 United Technologies Corporation Sensor system for data enhancement
US20200387230A1 (en) * 2017-10-24 2020-12-10 Boe Technology Group Co., Ltd. Gesture detection method, gesture processing device, and computer readable storage medium
CN109033944A (zh) * 2018-06-07 2018-12-18 西安电子科技大学 一种全天空极光图像分类与关键局部结构定位方法及系统
CN109753929A (zh) * 2019-01-03 2019-05-14 华东交通大学 一种图库联合的高铁绝缘子巡检图像识别方法
CN109635784A (zh) * 2019-01-10 2019-04-16 重庆邮电大学 基于改进的卷积神经网络的交通标志识别方法
CN110188705A (zh) * 2019-06-02 2019-08-30 东北石油大学 一种适用于车载系统的远距离交通标志检测识别方法
CN110321803A (zh) * 2019-06-10 2019-10-11 南京邮电大学 一种基于srcnn的交通标志识别方法
CN110580450A (zh) * 2019-08-12 2019-12-17 西安理工大学 一种基于卷积神经网络的交通标志识别方法
CN110689011A (zh) * 2019-09-29 2020-01-14 河北工业大学 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法
CN111428556A (zh) * 2020-02-17 2020-07-17 浙江树人学院（浙江树人大学） 一种基于胶囊神经网络的交通标志识别方法
CN111325152A (zh) * 2020-02-19 2020-06-23 北京工业大学 一种基于深度学习的交通标志识别方法
CN111753653A (zh) * 2020-05-15 2020-10-09 中铁第一勘察设计院集团有限公司 基于注意力机制的高铁接触网紧固件识别与定位方法
CN112040174A (zh) * 2020-07-20 2020-12-04 西安科技大学 一种用于井下的煤流量视觉检测方法
CN112509026A (zh) * 2020-11-06 2021-03-16 广东电网有限责任公司中山供电局 一种绝缘子裂缝长度识别方法
CN112613225A (zh) * 2020-12-06 2021-04-06 北京工业大学 一种基于神经网络元胞传输模型的交叉口交通状态预测方法
CN112507624A (zh) * 2020-12-15 2021-03-16 交通运输部公路科学研究所 一种城际公路出行方式识别模型构建、识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEIXING WANG;NAN YANG;YI ZHANG;FENGPING WANG;TING CAO;PATRIK EKLUND;: "A review of road extraction from remote sensing images", JOURNAL OF TRAFFIC AND TRANSPORTATION ENGINEERING(ENGLISH EDITION), no. 03, 15 June 2016 (2016-06-15) *
杨天祺;黄双喜;: "改进卷积神经网络在分类与推荐中的实例应用", 计算机应用研究, no. 04, 1 April 2017 (2017-04-01) *
黄冰晶;谢明鸿;李润青;: "基于LVQ神经网络的建筑物提取", 软件导刊, no. 12, 15 December 2017 (2017-12-15) *

Also Published As

Publication number Publication date
CN113536942B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN106599773B (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN111986125B (zh) 一种用于多目标任务实例分割的方法
CN113421269A (zh) 一种基于双分支深度卷积神经网络的实时语义分割方法
CN106599869A (zh) 一种基于多任务卷积神经网络的车辆属性识别方法
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN109740451B (zh) 基于重要性加权的道路场景图像语义分割方法
CN111985451A (zh) 一种基于YOLOv4的无人机场景检测方法
CN111126481A (zh) 一种神经网络模型的训练方法及装置
CN111986126B (zh) 一种基于改进vgg16网络的多目标检测方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN114037640A (zh) 图像生成方法及装置
CN113841162A (zh) 深度神经网络中的深度优先卷积
CN115376089A (zh) 一种基于深度学习的车道线检测方法
CN115512100A (zh) 基于多尺度特征提取与融合的点云分割方法、装置及介质
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN110598801A (zh) 一种基于卷积神经网络的车型识别方法
CN114219757B (zh) 一种基于改进Mask R-CNN的车辆智能定损方法
CN113536942B (zh) 一种基于神经网络的道路交通标志识别方法
CN112686147B (zh) 车辆与车轮从属关系预测方法、系统、存储介质及终端
CN113536943B (zh) 一种基于图像增强的道路交通标志识别方法
CN110533098B (zh) 一种基于卷积神经网络识别绿通车车厢装载类型的方法
CN111914765B (zh) 一种服务区环境舒适度检测方法、设备及可读存储介质
CN115424250A (zh) 一种车牌识别方法及装置
CN114882449B (zh) 一种基于Car-Det网络模型的车辆检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant