CN111325152B - 一种基于深度学习的交通标志识别方法 - Google Patents
一种基于深度学习的交通标志识别方法 Download PDFInfo
- Publication number
- CN111325152B CN111325152B CN202010105769.5A CN202010105769A CN111325152B CN 111325152 B CN111325152 B CN 111325152B CN 202010105769 A CN202010105769 A CN 202010105769A CN 111325152 B CN111325152 B CN 111325152B
- Authority
- CN
- China
- Prior art keywords
- layer
- traffic sign
- size
- model
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013135 deep learning Methods 0.000 title claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000009499 grossing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 210000004027 cell Anatomy 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010008 shearing Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000011478 gradient descent method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习的交通标志识别方法属于图像识别领域。包括以下步骤：步骤一、获取交通标志数据集，并对数据集进行预处理。步骤二、构建TSR_ConvNet网络结构进行训练。TSR_ConvNet网络加入改善过拟合的Dropout策略，加入批量归一化层。设计合适的卷积核尺寸。全连接层的softmax分类层采用Label‑smoothing策略。步骤三、将预处理后的交通标志图像输入到TSR_ConvNet网络模型，进行交通标志识别。本发明在保证较高准确率的情况下简化了模型结构，使得模型计算量小从而训练时间大幅减少，具有更好的实用性。
Description
技术领域
本技术属于图像识别领域，是一种基于卷积神经网络进行特征提取，可应用于道路交通标志的识别。
背景技术
交通标志载有大量有效道路信息，对于调节交通流量缓解交通拥堵和预示道路路况防止发生交通事故起到了重要指示作用。然而真实的自然环境复杂多变，交通标志识别的准确性和实时性极易受到交通标志褪色变形、复杂的光照环境以及天气变化、交通标志被障碍物遮挡、汽车运动导致图片模糊等因素的影响。因此快速可靠的交通标志识别系统成为辅助驾驶与智慧交通系统的重要组成部分。现有的交通标志识别方法根据所采用的技术的不同，可总体上划分为以下三类：HSV颜色空间的阈值图像分割技术，基于人工提取特征和机器学习相结合的分类技术和基于卷积神经网络进行特征提取从而进行识别的技术。基于HSV颜色空间的阈值图像分割技术根据交通标志颜色的不同进行识别，能够有效识别出不同类别的交通标志。比如红色代表停止、禁止类，蓝色代表指示标志类，黄色代表注意警告类，绿色代表安全类。然而由于每种大类下面可细分出不同小类的交通标志，对具体的交通标志类型识别率不高。基于人工提取特征和机器学习相结合的技术，采用方向梯度直方图、LBP特征等方法进行特征提取。然后采用传统的分类器进行分类。比如支持向量机、随机森林分类器、AdaBoost算法等。然而该方法针对不同的类别的交通标志，需要设计不同的特征。人工设计特征的好坏往往导致交通标志图像的识别精度和识别效率有较大起伏，在实际应用中存在着很大的挑战。随着人工智能的发展，深度学习为交通标志识别提供了一种新的方案。卷积神经网络可以在不进行预处理的情况下从大量样本中学习特征，不仅避免了手工制作特征的设计难度，而且还可以训练更多的特征，大大提高了交通标志识别的准确性。目前主流的卷积神经网络框架有用于手写数字识别的LeNet-5,用于图像分类的AlexNet、VGGNet等。虽然它们能够取得很高的识别准确率，但在训练的过程中计算量非常大，对硬件的要求较高，操作复杂，而且训练非常耗时。
发明内容
本发明提供一种基于改进的卷积神经网络模型的交通标志识别方法。具有训练时间短、识别准确率高、良好的泛化能力的特点。使用德国交通标志数据集(GTSRB)进行交通标志分类识别实验。实验结果表明，在GTSRB基准数据集上获得98.74％以上的识别准别率以及每幅图像17ms的识别速度。本发明构建的交通标志识别模型TSR_ConvNet具有模型的参减少、模型训练时间短，在1.5h内能够训完成。
本发明通过对数据集进行预处理，得到了高质量的数据集。包括为交通标志图像采用加权平均法进行灰度化处理、对比度受限的自适应直方图均衡化(CLAHE)、提升数据集平衡性的数据增广(加噪、模糊、旋转)。采用Random erasing方法，解决交通标志识别过程中遇到物体遮挡问题，提高模型的泛化性，解决了过拟合问题。
本发明提出了一种用于交通标志识别的TSR_ConvNet网络模型。基于经典的Lenet-5卷积神经网络进行改进。包括加入改善过拟合的Dropout策略，在卷积层DropoutRatio设置为0.2，全连接层Dropout Ratio设置为0.5。在卷积层后面添加批量归一化层即Batch Normalization层，防止过拟合和梯度消失，加速训练。卷积核尺寸由5×5改成3×3，减少了计算量，加快了训练速度。并且全连接层的softmax分类层采用Label-smoothing策略，使算法具有更好的鲁棒性。
为了实现上述问题，本发明提供了一种改进的基于卷积神经网络模型的交通标志识别方法。该方法具体包括：
步骤1、获取交通标志数据集，并将该数据集分为训练集和测试集。然后对交通标志数据集中数据进行预处理，得到经过与处理后的交通标志数据集，并且在下面的步骤对本数据集进行操作；
步骤1具体包含以下步骤：
步骤1.1输入一幅大小为W*H的原始交通标志图像，并设定其尺寸归一化后的目标尺寸为32*32，W为原始图像宽度，H为原始图像的高度，32为目标图像的高度，32为目标图像的高度；
步骤1.2将尺寸归一化后的交通标志图片进行灰度化处理，由彩色图片转换为灰度图片；
步骤1.3通过将图像随机旋转，缩放，移动，剪切或翻转操作，创建一些新的数据来平衡各类交通标志图像的分布。并且采用Random erasing方法，解决交通标志识别过程中遇到物体遮挡问题。最后通过直方图均衡算法调高图像整体对比度，使交通标志图像更加清晰；
步骤2、对卷积神经网络模型的结构进行改进，通过Keras和Tensorflow构建改进后的交通标志识别模型，将训练集样本输入TSR_ConvNet模型，采用mini-batch的反向传播方法进行训练。
步骤2具体包含以下步骤：
步骤2.1将进行过预处理的训练数据集输入到12层的TSR_ConvNet模型，进行向前传播；即图片特征从输入层向前传播，经过5个卷积层，3个池化层以及2个全连接层，通过输出层得到网络的输出结果；对于l层i单元和l-1层k个单元，其过程如下:
其中w，b是l层的权重和偏差，为l-1层的输入，/>为第l层的输出。
步骤2.2根据负对数似然函数计算预测输出值与实际值之间的误差，通过链式求导法计算各层网络节点的偏导数，然后采用随机梯度下降算法(SGD)更新权重参数，进行反向传播，直至完成一次迭代；权重更新公式为：
其中，W2，b2为第l层更新后的权重和偏移量。W1，b1为更新前的权重和偏移量。η为学习率，为第l层权重的梯度，/>为第l层偏移量的梯度。
步骤2.3重复进行向前传播和反向传播阶段，直到达到设定的迭代次数10次后或者当loss在3次迭代稳定时调用回调函数，训练终止，此时得到训练好的模型；
步骤3、将训练好的卷积神经网络模型导出保存在本地。通过加载训练好的模型对新的交通标志图像进行预测，得到预测结果。
步骤1的具体过程为：
①原始数据集中交通标志图像的大小分布不均,图像大小为：15x15到250×250，统计发现图像尺寸长宽分布的中位数是41x40。综合考虑运算量和图像细节,对交通标志图片尺寸归一化为32*32。将训练集中的图片随机打散后按照8:2分成训练集和验证数据集，测试集仍然作为测试集。
②对数据集中的彩色交通标志图像进行灰度化处理，转换为灰度图片。为了不降低图像细节部分的信息，本文采用加权平均法对图像进行灰度化处理。
Gray＝0.3R+0.59G+0.11B (4)
公式(1)中，R、G、B分别为彩色图像中的红、绿、蓝3个颜色分量,Gray表示计算出的灰度值大小。
③对训练集进行图像增强处理，获得高质量和分布均匀的数据集。具体为：(1)在keras中采用ImageDataGenerator方法构造图像生成器，进行数据增强。通过将图像随机旋转，缩放，移动，剪切或翻转操作，创建一些新的数据来平衡各类交通标志图像的分布。(2)采用Random erasing方法，解决交通标志识别过程中遇到物体遮挡问题。(3)采用直方图均衡算法调高图像整体对比度。
步骤2的具体过程为：
④本发明中以LeNet-5网络为基础，通过优化CNN结构，调整网络参数，构造了一个深度为12的TSR_ConvNet结构。其中卷积神经网络结构包括1个输入层、1个输出层、2个全连接层、5个卷积层、3个采样层。其中，
第一层为输入层：输入图像样本的像素值大小为32×32。
第二层为卷积层C1：有32个大小为32×32的特征图，卷积核尺寸为5×5，步长为1像素。
第三层为池化层S2：有32个大小为16×16的特征图，卷积核尺寸为2×2。
第四、五层分为卷积层C3、C4：有64个大小为16×16的特征图，卷积核尺寸为3×3
第六层为池化层S5：64个大小为8×8的特征图，卷积核尺寸为2×2
第七、八层为卷积层C6、C7：有128个大小为8×8的特征图，卷积核尺寸为3×3
第九层为池化层S8：有128个大小为4×4的特征图，卷积核尺寸为2×2
第十层为全连接层F9：神经元个数为512个
第十一层为全连接层F10：神经元个数为258个
第十二层为输出层：输出层的神经元个数为43个，采用softmax函数，分别用于识别43类交通标志。
⑤本发明中池化方式采用最大池化方式。激活函数采用ReLU函数f(x)＝max(0,x)。0.001作为初始学习率，通过Adam优化器设置动态学习率，使学习率随着迭代次数增加逐渐变小，从而达到更好的训练效果。
⑥本发明中的损失函数为负对数似然函数。成本函数定义为当前批次的损失函数的平均值。卷积神经网络训练的过程是通过梯度下降法使代价函数最小化。负对数似然函数由方程组(5)描述：
L(r,y)＝-[ylnr+(1-y)ln(1-r)] (5)
其中r是通过卷积神经网络向前传播获得的每个类别的计算概率，
y是每个类别的真实概率,为负对数似然函数的输出值；
成本函数由方程式(6)(7)描述：
其中w，b是输出全连接层的权重和偏差，m是迭代次数，r是通过卷积神经网络向前传播获得的每个类别的计算概率，y是每个类别的真实概率，为当前批次通过损失函数计算的损失值，为当前批次损失函数计算的损失值的平均值；
⑦为提高模型的泛化能力，解决模型过拟合，采用方法如下：1、在改进模型中增加Dropout层，设置Dropout率在卷积层为0.2，全连接层为0.5。2、在卷积操作形成的特征层添加归一化函数。3、在全连接层的softmax分类层采用Label-smoothing策略4、训练轮次比较多的情况下,增加回调函数,当算法在训练过程中loss稳定时算法调用回调函数提前停止训练。
其中归一化算法的具体步骤如下：
批处理输入交通标志图像数据集：β＝{xi…m}，输出：规范后的网络{yi＝BNγ,β(xi)}；计算给定数据集的批处理均值和方差：
其中为输入的交通标志图像，m为当前批次的大小，为均值，为方差；
规范化
其中，ε是避免除数为0时所加的一个很小的正值1e-8，xi为数据集中每个数据进行归一化后的值，xi为输出的数据集值，μβ为均值，为方差；
尺度变化和偏移，然后返回学习到的参数γ和β；
yi←γxi+β＝BNγ,β(xi) (11)
其中，γ是尺度因子；β是平移因子，yi为进行规范化后的输出值；实现Label-smoothing regularization正则化方法，在标签m中加入噪声，实现对模型约束，降低模型过拟合程度。本发明中将损失的目标值从1降到0.9以及从0升到0.1。将真实的概率改造为：
其中，ε是一个小的常数为0～0.1，K是类别的数目，m是图片的真正的标签，i代表第i个类别，qi是图片为第i类的概率。
步骤3的具体过程为：
将训练好的卷积神经网络模型导出保存在本地。选取测试集中一张交通标志图片，输入到训练好的卷积神经网络模型中，对该交通标志图像进行预测，输出该标志的具体类别。
附图说明：
图1为本发明所涉及的方法流程图。
图2为本发明使用的卷积神经网络结构图
图3为本发明使用的卷积神经网络参数图
图4为本发明模型训练时精度损失图。
具体实施方式：
本发明所用到的硬件平台：系统的硬件环境拟采用Intel(R)Core(TM)i7-4702作为处理器，采用8G内存和1TB的机械硬盘用来储存系统数据，同时使用NVIDIA GTX1050显卡来加速图形化处理的PC机1台。软件环境：Anaconda3，Tensorflow2.0，Kares，Python，OpenCV，CUDA/Cudnn等。
如图1所示，本发明提供了一种交通标志识别的方法流程图。
具体包括如下步骤：
步骤1、获取交通标志数据集，并将该数据集分为训练集和测试集。然后对交通标志数据集中数据进行预处理，得到经过与处理后的交通标志数据集，并且在下面的步骤对本数据集进行操作；
步骤1具体包含以下步骤：
步骤1.1获取交通标志图片数据集，数据集中样本的大小为16×16至250×250。统一对交通标志图片进行归一化操作。例如一张原始交通标志图片大小为W*H，尺寸归一化后的目标尺寸为32*32，W为原始图像宽度，H为原始图像的高度，32为目标图像的高度，32为目标图像的高度；
步骤1.2将尺寸归一化后的交通标志图片进行灰度化处理，由彩色图片转换为灰度图片；
步骤1.3在keras中采用ImageDataGenerator方法构造图像生成器，进行数据增强。通过将图像随机旋转，缩放，移动，剪切和翻转操作，创建一些新的数据来平衡各类交通标志图像的分布。并且采用Random erasing方法，解决交通标志识别过程中遇到物体遮挡问题。最后通过直方图均衡算法调高图像整体对比度，使交通标志图像更加清晰；
步骤2、对卷积神经网络模型的结构进行改进，通过Keras和Tensorflow构建改进后的交通标志识别模型，将训练集样本输入TSR_ConvNet模型，采用mini-batch的反向传播方法进行训练。
步骤2具体包含以下步骤：
步骤2.1将进行过预处理的训练数据集输入到12层的TSR_ConvNet模型，进行向前传播；即图片特征从输入层向前传播，经过5个卷积层，3个池化层以及2个全连接层，通过输出层得到网络的输出结果；
步骤2.2根据负对数似然函数计算预测输出值与实际值之间的误差，通过链式求导法计算各层网络节点的偏导数，然后采用随机梯度下降算法(SGD)更新权重参数，进行反向传播，直至完成一次迭代；
步骤2.3重复进行向前传播和反向传播阶段，直到达到设定的迭代次数10次后或者当loss在3次迭代稳定时调用回调函数，训练终止，此时得到训练好的模型；
步骤3、将训练好的卷积神经网络模型导出保存在本地。按照步骤1中预处理后的测试集交通标志图像输入到步骤2得到的改进后的卷积神经网络模型进行识别，得到该交通标志的类别。
采用传统的HOG+SVM方法进行交通标志识别的准确率为95.68％，而本发明中交通标志识别方法准确率为98.74％，提升了3.06％。采用VGG卷积神经网络对本发明中的数据集进行交通标志识别的准确率为98.23％，训练时间为11h。而本发明中交通标志的识别率提升了0.51％。训练时间为1.5H。
通过上述方式，本发明构建了一种基于改进的卷积神经网络的交通标志识别方法。本发明对Lenet-5卷积神经网络进行改进，改进后的模型参数量减少，计算量减少，训练速度变快，识别准确率达到98.74％，具有更好的鲁棒性。
Claims (2)
1.一种基于深度学习的交通标志识别方法，其特征在于，包括以下步骤：
步骤1、获取交通标志数据集，并将该数据集分为训练集和测试集；然后对交通标志数据集中数据进行预处理，得到经过预处理后的交通标志数据集；
步骤1具体包含以下步骤：
步骤1.1输入一幅大小为W*H的原始交通标志图像，并设定其尺寸归一化后的目标尺寸为32*32，W为原始图像宽度，H为原始图像的高度，32为目标图像的高度；
步骤1.2将尺寸归一化后的交通标志图片进行灰度化处理，由彩色图片转换为灰度图片；
步骤1.3通过将图像随机旋转，缩放，移动，剪切或翻转操作，创建一些新的数据来平衡各类交通标志图像的分布；并且采用Random erasing方法，解决交通标志识别过程中遇到物体遮挡问题；最后通过直方图均衡算法调高图像整体对比度，使交通标志图像更加清晰；
步骤2、对卷积神经网络模型的结构进行改进，通过Keras和Tensorflow构建改进后的交通标志识别模型，将训练集样本输入TSR_ConvNet模型，采用mini-batch的反向传播方法进行训练；
步骤2具体包含以下步骤：
步骤2.1将进行过预处理的训练数据集输入到12层的TSR_ConvNet模型，进行向前传播；即图片特征从输入层向前传播，经过5个卷积层，3个池化层以及2个全连接层，通过输出层得到网络的输出结果；对于l层i单元和l-1层k个单元，其过程如下:
其中w，b是l层的权重和偏差，为l-1层的输入，/>为第l层的输出；
步骤2.2根据负对数似然函数计算预测输出值与实际值之间的误差，通过链式求导法计算各层网络节点的偏导数，然后采用随机梯度下降算法更新权重参数，进行反向传播，直至完成一次迭代；权重更新公式为：
其中，W2，b2为第l层更新后的权重和偏移量；W1，b1为更新前的权重和偏移量；η为学习率，为第l层权重的梯度，/>为第l层偏移量的梯度；
步骤2.3重复进行向前传播和反向传播阶段，直到达到设定的迭代次数10次后或者当loss在3次迭代稳定时调用回调函数，训练终止，此时得到训练好的模型；
步骤3、将训练好的卷积神经网络模型导出保存在本地；通过加载训练好的模型对新的交通标志图像进行预测，得到预测结果；
所述步骤2具体为：
以LeNet-5网络为基础，通过优化CNN结构，调整网络参数，构造了一个深度为12的TSR_ConvNet结构；其中卷积神经网络结构包括1个输入层、1个输出层、2个全连接层、5个卷积层、3个采样层；其中，
第一层为输入层：输入图像样本的像素值大小为32×32；
第二层为卷积层C1：有32个大小为32×32的特征图，卷积核尺寸为5×5，步长为1像素；
第三层为池化层S2：有32个大小为16×16的特征图，卷积核尺寸为2×2；
第四、五层分别为卷积层C3、C4：均有64个大小为16×16的特征图，卷积核尺寸为3×3；
第六层为池化层S5：64个大小为8×8的特征图，卷积核尺寸为2×2；
第七、八层分别为卷积层C6、C7：均有128个大小为8×8的特征图，卷积核尺寸为3×3；
第九层为池化层S8：有128个大小为4×4的特征图，卷积核尺寸为2×2；
第十层为全连接层F9：神经元个数为512个；
第十一层为全连接层F10：神经元个数为258个；
第十二层为输出层：输出层的神经元个数为43个，采用softmax函数，分别用于识别43类交通标志；
池化层的池化方式采用最大池化方式；卷积层采用ReLU函数的作为激活函数，ReLU函数定义为：f(x)＝max(0,x)；0.001作为初始学习率，通过Adam优化器设置动态学习率，使学习率随着迭代次数增加逐渐变小，结合梯度的反向传播算法对该卷积神经网络模型中的参数进行更新；
损失函数为负对数似然函数；成本函数定义为当前批次的损失函数的平均值；卷积神经网络训练的过程是通过梯度下降法使代价函数最小化；负对数似然函数由方程组(5)描述：
L(r,y)＝-[ylnr+(1-y)ln(1-r)] (5)
其中r是通过卷积神经网络向前传播获得的每个类别的计算概率，y是每个类别的真实概率,L(r,y)为负对数似然函数的输出值；
成本函数由方程式(6)(7)描述：
其中w，b是输出全连接层的权重和偏差，m是迭代次数，r是通过卷积神经网络向前传播获得的每个类别的计算概率，y是每个类别的真实概率，J(w,b)为当前批次通过损失函数计算的损失值，j(w,b)为当前批次损失函数计算的损失值的平均值；
为提高模型的泛化能力，解决模型过拟合，采用方法如下：1、在改进模型中的池化层后面增加Dropout层，并设置Dropout率为0.2，在全连接层的每层之间添加Dropout层，并设置Dropout率为0.5；2、在卷积操作形成的特征层添加归一化函数即BatchNormalization层；3、在全连接层的softmax分类层采用Label-smoothing策略；4、当算法在训练过程中loss稳定时算法调用回调函数提前停止训练；
其中归一化算法的具体步骤如下：
批处理输入交通标志图像数据集：β＝{xi…m}，输出：规范后的网络{yi＝BNγ,β(xi)}；计算给定数据集的批处理均值和方差：
其中xi为输入的交通标志图像，m为当前批次的大小，μβ为均值，为方差；
规范化
其中，ε是避免除数为0时所加的正值，为数据集中每个数据进行归一化后的值，xi为输出的数据集值，μβ为均值，/>为方差；
尺度变化和偏移，然后返回学习到的参数γ和β；
其中，γ是尺度因子；β是平移因子，yi为进行规范化后的输出值；
在全连接层中加入Label-smoothing regularization策略；LSR正则化方法是在标签m中加入噪声，实现对模型约束，降低模型过拟合程度；将损失的目标值从1降到0.9以及从0升到0.1；将真实的概率改造为：
其中，ε是一个常数为0～0.1，K是类别的数目，m是图片的真正的标签，i代表第i个类别，qi是图片为第i类的概率。
2.如权利要求1所述的方法，其特征在于，所述步骤3具体为：
将训练好的卷积神经网络模型导出保存在本地；选取测试集中一张交通标志图片，输入到训练好的卷积神经网络模型中，对该交通标志图像进行预测，输出该标志的具体类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010105769.5A CN111325152B (zh) | 2020-02-19 | 2020-02-19 | 一种基于深度学习的交通标志识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010105769.5A CN111325152B (zh) | 2020-02-19 | 2020-02-19 | 一种基于深度学习的交通标志识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325152A CN111325152A (zh) | 2020-06-23 |
| CN111325152B true CN111325152B (zh) | 2023-09-26 |
Family
ID=71167998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010105769.5A Active CN111325152B (zh) | 2020-02-19 | 2020-02-19 | 一种基于深度学习的交通标志识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325152B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111832463A (zh) * | 2020-07-07 | 2020-10-27 | 哈尔滨理工大学 | 一种基于深度学习的交通标志检测方法 |
| CN112218414A (zh) * | 2020-09-08 | 2021-01-12 | 南京飞赫电器有限公司 | 一种自适应设备亮度调节的方法及系统 |
| CN112633052A (zh) * | 2020-09-15 | 2021-04-09 | 北京华电天仁电力控制技术有限公司 | 一种皮带撕裂检测方法 |
| CN112507864A (zh) * | 2020-12-04 | 2021-03-16 | 河北地质大学 | 基于卷积神经网络的信贷档案识别方法 |
| CN112633169B (zh) * | 2020-12-23 | 2023-05-30 | 西安建筑科技大学 | 一种基于改进型LeNet-5网络的行人识别算法 |
| CN113221620A (zh) * | 2021-01-29 | 2021-08-06 | 太原理工大学 | 一种基于多尺度卷积神经网络的交通标志快速识别方法 |
| CN113033620B (zh) * | 2021-03-04 | 2022-08-05 | 湖南工业大学 | 一种基于随机森林的多信息融合回转窑产品质量分类识别方法 |
| CN113052057A (zh) * | 2021-03-19 | 2021-06-29 | 北京工业大学 | 一种基于改进卷积神经网络的交通标志识别方法 |
| CN113536943B (zh) * | 2021-06-21 | 2024-04-12 | 上海赫千电子科技有限公司 | 一种基于图像增强的道路交通标志识别方法 |
| CN113536942B (zh) * | 2021-06-21 | 2024-04-12 | 上海赫千电子科技有限公司 | 一种基于神经网络的道路交通标志识别方法 |
| CN113361654A (zh) * | 2021-07-12 | 2021-09-07 | 广州天鹏计算机科技有限公司 | 一种基于机器学习的图像识别方法和系统 |
| CN113392814B (zh) * | 2021-08-16 | 2021-11-02 | 冠传网络科技(南京)有限公司 | 一种字符识别模型的更新方法、装置及存储介质 |
| CN113792611A (zh) * | 2021-08-20 | 2021-12-14 | 昆明理工大学 | 一种运行在辅助驾驶边缘设备上的道路限速标志识别方法 |
| CN114660605B (zh) * | 2022-05-17 | 2022-12-27 | 湖南师范大学 | 一种机器学习的sar成像处理方法、装置及可读存储介质 |
| CN116612389B (zh) * | 2023-07-20 | 2023-09-19 | 青建国际集团有限公司 | 一种建筑施工进度管理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635784A (zh) * | 2019-01-10 | 2019-04-16 | 重庆邮电大学 | 基于改进的卷积神经网络的交通标志识别方法 |
| CN109657584A (zh) * | 2018-12-10 | 2019-04-19 | 长安大学 | 辅助驾驶的改进LeNet-5融合网络交通标志识别方法 |
| CN110580450A (zh) * | 2019-08-12 | 2019-12-17 | 西安理工大学 | 一种基于卷积神经网络的交通标志识别方法 |
-
2020
- 2020-02-19 CN CN202010105769.5A patent/CN111325152B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657584A (zh) * | 2018-12-10 | 2019-04-19 | 长安大学 | 辅助驾驶的改进LeNet-5融合网络交通标志识别方法 |
| CN109635784A (zh) * | 2019-01-10 | 2019-04-16 | 重庆邮电大学 | 基于改进的卷积神经网络的交通标志识别方法 |
| CN110580450A (zh) * | 2019-08-12 | 2019-12-17 | 西安理工大学 | 一种基于卷积神经网络的交通标志识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Wenlong Li 等.Application of Improved LeNet-5 Network in Traffic Sign Recognition.ICVIP2019.2019,全文. * |
| 张邯 ; 罗晓曙 ; 袁荣尚 ; .基于优化的卷积神经网络在交通标志识别中的应用.现代电子技术.2018,(第21期),全文. * |
| 王博 ; 李亚文 ; .一种改进的CNN交通标志识别算法.计算机与数字工程.2019,(第12期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325152A (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325152B (zh) | 一种基于深度学习的交通标志识别方法 | |
| CN109886121B (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
| CN107330480B (zh) | 手写字符计算机识别方法 | |
| CN109800754A (zh) | 一种基于卷积神经网络的古字体分类方法 | |
| CN110633604B (zh) | 信息处理方法和信息处理装置 | |
| CN111652317B (zh) | 基于贝叶斯深度学习的超参数图像分割方法 | |
| CN111986125A (zh) | 一种用于多目标任务实例分割的方法 | |
| CN111986126B (zh) | 一种基于改进vgg16网络的多目标检测方法 | |
| CN106874862B (zh) | 基于子模技术和半监督学习的人群计数方法 | |
| CN109711442B (zh) | 无监督逐层生成对抗特征表示学习方法 | |
| CN111553438A (zh) | 一种基于卷积神经网络的图像识别方法 | |
| CN114283345A (zh) | 基于元学习和注意力的小样本城市遥感影像信息提取方法 | |
| CN116503676B (zh) | 一种基于知识蒸馏小样本增量学习的图片分类方法及系统 | |
| CN115358305A (zh) | 一种基于边界样本迭代生成的增量学习鲁棒性提升方法 | |
| CN114926680A (zh) | 一种基于AlexNet网络模型的恶意软件分类方法及系统 | |
| Tan et al. | Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion | |
| CN111310827A (zh) | 一种基于双阶段卷积模型的目标区域检测方法 | |
| CN113947732A (zh) | 基于强化学习图像亮度调节的空中视角人群计数方法 | |
| CN111709911B (zh) | 一种基于神经网络的卵巢卵泡自动计数的方法 | |
| CN113536896A (zh) | 基于改进Faser RCNN的小目标检测方法、装置及存储介质 | |
| CN112270404A (zh) | 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法 | |
| CN116935122A (zh) | 基于3D-WGMobileNet的图像分类方法及系统 | |
| CN107729992B (zh) | 一种基于反向传播的深度学习方法 | |
| Song | An Improved Traffic Sign Recognition Algorithm Based on Deep Learning | |
| Albert et al. | Application of target detection algorithm based on deep learning in farmland pest recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |