CN112464731B - 一种基于图像处理的交通标志检测识别方法 - Google Patents

一种基于图像处理的交通标志检测识别方法 Download PDF

Info

Publication number
CN112464731B
CN112464731B CN202011211981.6A CN202011211981A CN112464731B CN 112464731 B CN112464731 B CN 112464731B CN 202011211981 A CN202011211981 A CN 202011211981A CN 112464731 B CN112464731 B CN 112464731B
Authority
CN
China
Prior art keywords
image
triangle
traffic sign
color
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011211981.6A
Other languages
English (en)
Other versions
CN112464731A (zh
Inventor
李军
徐康民
王茂琦
李�浩
程光皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011211981.6A priority Critical patent/CN112464731B/zh
Publication of CN112464731A publication Critical patent/CN112464731A/zh
Application granted granted Critical
Publication of CN112464731B publication Critical patent/CN112464731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于图像处理的交通标志检测识别方法。该方法包括以下步骤：获取原始的含有交通标志的图像，基于YCrCb彩色空间对图像进行增强，利用HSV颜色空间进行颜色阈值分割获取感兴趣的颜色区域并且将图像二值化，转入下一步；利用圆形和三角形检测算法对二值化图片进行进一步处理，对检测出的圆形和三角形目标进行定位，转入下一步；采用HOG特征与SVM分类器结合的方法对定位出来的目标进行识别，辨别分割到的图像中是否含有交通标志，转入下一步；将经过SVM分类器分类后含有交通标志的感兴趣区域图片输入到训练后的卷积神经网络中，得到交通标志的类别信息。本发明提高了交通标志检测识别的效率和精度。

Description

一种基于图像处理的交通标志检测识别方法
技术领域
本发明涉及智能交通技术领域，特别是一种基于图像处理的交通标志检测识别方法。
背景技术
为了提高交通运输效率，保障道路安全，维护社会和谐稳定，世界各国相继投入到智能交通系统ITS(Intelligent Transportation System,ITS)，智能交通系统包括了各种车辆的管理系统、机动车控制系统、交通信息监管系统等多个子系统，涵盖了如今多个领域的先进技术，例如环境感知技术、数字通信技术、以及图像方面和汽车制造领域的各项尖端技术等，实现了任何角度、精确、实时的交通管理。其中，交通标志的检测与识别系统是现代智能车辆环境感知系统至关重要的部分，不仅可以有效地规范各种交通参与人员的行为，而且可以减小驾驶员的驾驶压力，从而降低交通事故的发生概率，并且交通标志的检测与识别系统也为交通标志的日常维护提供便利。与此同时，人工智能的发展极大的促进了智能驾驶的快速进步，其中无人驾驶汽车的研究获得了重大突破。无人驾驶汽车能够完成自主驾驶，也离不开对交通标志检测与识别。
目前，对于交通标志的检测主要是基于交通标志的形状和颜色提取感兴趣区域，在交通标志的识别方面主要采用传统机器学习方法和深度学习进行分类识别。但是由于光照、环境干扰等影响导致目前的检测效果还不能用于日常生活中，随着人们对行车安全的越来越重视，对交通标志的检测识别的准确和实时性提出了更高的要求。
发明内容
本发明的目的在于提供一种准确、高效的基于图像处理的交通标志检测识别方法。
实现本发明目的的技术解决方案为：一种基于图像处理的交通标志检测识别方法，包括以下步骤：
步骤S1、获取原始的含有交通标志的图像，基于YCrCb彩色空间对图像进行增强，利用HSV颜色空间进行颜色阈值分割获取感兴趣的颜色区域并且将图像二值化，转入步骤S2；
步骤S2、利用圆形和三角形检测算法对二值化图片进行进一步处理，对检测出的圆形和三角形目标进行定位，转入步骤S3；
步骤S3、采用HOG特征与SVM分类器结合的方法对定位出来的目标进行识别，辨别分割到的图像中是否含有交通标志，转入步骤S4；
步骤S4、将经过SVM分类器分类后含有交通标志的感兴趣区域图片输入到训练后的卷积神经网络中，得到交通标志的类别信息。
进一步地，步骤S1所述获取原始的含有交通标志的图像，基于YCrCb彩色空间对图像进行增强，利用HSV颜色空间进行颜色阈值分割获取感兴趣的颜色区域并且将图像二值化，转入步骤S2，具体包括：
步骤1-1)基于YCrCb颜色模型进行图像增强；
将图像从RGB空间转换为YCrCb空间，分离出Y通道得到原图的灰度图后进行自适应直方图均衡，调整图像的全局亮度和对比度，将YCrCb图像中分离的“Cr”通道与“Cb”通道进行合并得到增强处理后的彩色图像；
步骤1-2)将RGB空间转换为HSV颜色空间，根据HSV颜色空间中各个颜色的分布情况，从HSV颜色空间的“H”通道中分离出蓝、黄、红三色分量，以“或”运算制作图像掩膜，与原始图像进行按位“与”运算得到颜色阈值分割后的二值图像。
进一步地，步骤S2所述利用圆形和三角形检测算法对二值化图片进行进一步处理，对检测出的圆形和三角形目标进行定位，转入步骤S3，具体包括：步骤2-1)利用圆形度检测圆形目标，圆形度的大小代表了该区域与圆形的相似程度，利用该区域的周长和面积进行计算，圆形度接近于1时越接近圆，圆形度如公式(1)所示：
其中pc表示该区域与圆形的相似程度，Sc表示连通区域的面积Sc＝πr2，Cc为连通区域像素点连接的长度，Cc＝2πr；
步骤2-2)利用正三角形的特征检测三角形的交通标志，正三角形具有对称性，根据标志的几何特性计算感兴趣连通区域的周长、面积及其三角形度pt，当三角形度接近于1时图形接近于圆。
进一步地，步骤S3所述采用HOG特征与SVM分类器结合的方法对定位出来的目标进行识别，辨别分割到的图像中是否含有交通标志，转入步骤S4，具体包括：
步骤3-1)提取目标图像的HOG特征；
首先对图像的像素大小作归一化处理，缓解图像局部的质量问题，然后计算图像的梯度，像素梯度的大小和方向如式(2)和(3)所示：
式中Gx(x,y)、Gy(x,y)分别表示图像中(x,y)像素位置的水平梯度、垂直梯度，α(x,y)代表(x,y)像素位置梯度的方向；
将原始图像划分为多个相同单元区域，整理获得每个单元上的梯度直方图，最后将细胞单元的梯度合并，在空间上形成一个连接空间，得到由所有单元区域直方图组成的HOG特征向量；
步骤3-2)训练SVM分类器；
采用GTSRB数据集作为训练分类器的正样本数据，利用平移、旋转、仿射变换对数据集进行扩充加强，其他图像作为负样本，训练过程为：
将训练样本的图片尺寸大小变为统一的32×32，计算所有样本的HOG的特征向量；将图像中每8×8个像素点作为一个细胞单元，相邻的四个细胞单元作为一个块，统计每个细胞单元9个方向上的梯度信息，采用L2归一化函数，以此获得样本图片的HOG特征向量；将HOG特征输入到支持向量机进行训练，支持向量机的训练过程看作是一个优化问题，即最小化函数
其中ω为样本分隔面的法向量，ζ为松弛参量，l为样本的数目，i为样本的编号，C为惩罚因子，惩罚因子C决定了训练过程中对于离群样本数据的在意与否。
进一步地，步骤S4所述将经过SVM分类器分类后含有交通标志的感兴趣区域图片输入到训练后的卷积神经网络中，得到交通标志的类别信息，具体包括：
步骤4-1)经典神经网络LeNet-5是卷积神经网络模型，由卷积层、池化层、全连接层、激活函数和目标函数这些部分组成，基于LeNet-5网络结构，在卷积操作形成的特征层后添加局部响应归一化函数，归一化函数公式为：
式中，表示卷积层处理后的输出结果，这个输出结果是一个四维数据结构[a,b,c,d]，即第a张图的第d个通道下，高度为b宽度为c的点，N表示总通道数，k、α、β均为自定义参数；/>为归一化后的值；
步骤4-2)使用两个3×3的卷积核代替5×5的卷积核。
本发明与现有技术相比，其显著优点为：(1)利用自适应直方图均衡化的方法在Ycrcb颜色空间上作彩色图像増强，在HSV颜色空间上利用图像“掩膜”方法分割出三类主要交通标志对应的颜色区域；(2)利用HOG+SVM结合方法提取图像的特征，通过训练好的SVM分类器判断是否使交通标志；(3)改进传统的LeNet-5模型，设置局部响应归化函数，选择较小的卷积核，提高了该模型对交通标志识别的准确率。
附图说明
图1为本发明基于图像处理的交通标志检测识别方法的流程图
图2为改进后LeNet-5网络结构的示意图。
具体实施方式
本发明基于图像处理的交通标志检测识别方法，步骤如下：首先获取需要检测的交通图像，针对图像模糊不清、受不良光照等因素影响产生的质量问题，利用YCrCb颜色空间，在局部范围内对标志区域颜色进行加强，然后采用图像掩膜的方法分割出蓝、红、黄颜色区域，再结合标志的几何形状提取出可能存在交通标志的感兴趣区域，在此基础上通过HOG+SVM分类器对目标是否为交通标志进行检测，最后基于传统的LeNet-5卷积神经网络，进一步改进它的结构，对模型中的参数和算法进行调整优化，将其用于交通标志的分类。
结合图1，本发明基于图像处理的交通标志检测识别方法，包括以下步骤：
步骤S1、获取原始的含有交通标志的图像，基于YCrCb彩色空间对图像进行增强，利用HSV颜色空间进行颜色阈值分割获取感兴趣的颜色区域并且将图像二值化，转入步骤S2；
步骤S2、利用圆形和三角形检测算法对二值化图片进行进一步处理，对检测出的圆形和三角形目标进行定位，转入步骤S3；
步骤S3、采用HOG特征与SVM分类器结合的方法对定位出来的目标进行识别，辨别分割到的图像中是否含有交通标志，转入步骤S4；
步骤S4、将经过SVM分类器分类后含有交通标志的感兴趣区域图片输入到训练后的卷积神经网络中，得到交通标志的类别信息。
进一步地，步骤S1所述获取原始的含有交通标志的图像，基于YCrCb彩色空间对图像进行增强，利用HSV颜色空间进行颜色阈值分割获取感兴趣的颜色区域并且将图像二值化，转入步骤S2，具体包括：
步骤1-1)基于YCrCb颜色模型进行图像增强；
将图像从RGB空间转换为YCrCb空间，分离出Y通道得到原图的灰度图后进行自适应直方图均衡，调整图像的全局亮度和对比度，将YCrCb图像中分离的“Cr”通道与“Cb”通道进行合并得到增强处理后的彩色图像；
步骤1-2)将RGB空间转换为HSV颜色空间，根据HSV颜色空间中各个颜色的分布情况，从HSV颜色空间的“H”通道中分离出蓝、黄、红三色分量，以“或”运算制作图像掩膜，与原始图像进行按位“与”运算得到颜色阈值分割后的二值图像。
进一步地，步骤S2所述利用圆形和三角形检测算法对二值化图片进行进一步处理，对检测出的圆形和三角形目标进行定位，转入步骤S3，具体包括：步骤2-1)利用圆形度检测圆形目标，圆形度的大小代表了该区域与圆形的相似程度，利用该区域的周长和面积进行计算，圆形度接近于1时越接近圆，圆形度如公式(1)所示：
其中pc表示该区域与圆形的相似程度，Sc表示连通区域的面积Sc＝πr2，Cc为连通区域像素点连接的长度，Cc＝2πr；
步骤2-2)利用正三角形的特征检测三角形的交通标志，正三角形具有对称性，根据标志的几何特性计算感兴趣连通区域的周长、面积及其三角形度pt，当三角形度接近于1时图形接近于圆。
进一步地，步骤S3所述采用HOG特征与SVM分类器结合的方法对定位出来的目标进行识别，辨别分割到的图像中是否含有交通标志，转入步骤S4，具体包括：
步骤3-1)提取目标图像的HOG特征；
首先对图像的像素大小作归一化处理，缓解图像局部的质量问题，然后计算图像的梯度，像素梯度的大小和方向如式(2)和(3)所示：
式中Gx(x,y)、Gy(x,y)分别表示图像中(x,y)像素位置的水平梯度、垂直梯度，α(x,y)代表(x,y)像素位置梯度的方向；
将原始图像划分为多个相同单元区域，整理获得每个单元上的梯度直方图，最后将细胞单元的梯度合并，在空间上形成一个连接空间，得到由所有单元区域直方图组成的HOG特征向量；
步骤3-2)训练SVM分类器；
采用GTSRB数据集作为训练分类器的正样本数据，利用平移、旋转、仿射变换对数据集进行扩充加强，其他图像作为负样本，训练过程为：
将训练样本的图片尺寸大小变为统一的32×32，计算所有样本的HOG的特征向量；将图像中每8×8个像素点作为一个细胞单元，相邻的四个细胞单元作为一个块，统计每个细胞单元9个方向上的梯度信息，采用L2归一化函数，以此获得样本图片的HOG特征向量；将HOG特征输入到支持向量机进行训练，支持向量机的训练过程看作是一个优化问题，即最小化函数
其中ω为样本分隔面的法向量，ζ为松弛参量，l为样本的数目，i为样本的编号，C为惩罚因子，惩罚因子C决定了训练过程中对于离群样本数据的在意与否，当松弛参量固定不变时，C值越大，对目标的损失函数影响就越大，而对训练样本中特点的获取能力越好，准确度越高，在训练样本中准确率越高，但有可能在新样本中的表现一般，即对测试数据的分类准确率降低。相反，适当减小C值，允许分类器对训练样本中有一些误分类样本，分类器的泛化能力增强。
进一步地，步骤S4所述将经过SVM分类器分类后含有交通标志的感兴趣区域图片输入到训练后的卷积神经网络中，得到交通标志的类别信息，具体包括：
步骤4-1)经典神经网络LeNet-5是卷积神经网络模型，由卷积层、池化层、全连接层、激活函数和目标函数这些部分组成，基于LeNet-5网络结构，在卷积操作形成的特征层后添加局部响应归一化函数，归一化函数公式为：
式中，表示卷积层处理后的输出结果，这个输出结果是一个四维数据结构[a,b,c,d]，即第a张图的第d个通道下，高度为b宽度为c的点，N表示总通道数，k、α、β均为自定义参数；/>为归一化后的值；
步骤4-2)使用两个3×3的卷积核代替5×5的卷积核。
Alexnet网络结构中设定了一些视野较大的卷积核，使用这种尺寸的卷积核会使网络拥有较大的视野，可以看到更多的图像内容，但会导致模型参数量的陡然增长，不利于模型深度的增加，结构的整体计算性能也会降低；在使用的卷积神经网络中添加两组大小为3×3的卷积核作为卷积层，两个3×3卷积核的组合比一组5×5卷积核的效果更佳，参数的数量得到降低。
下面结合附图及具体实施例对本发明做进一步详细说明。
实施例
结合图1，本发明基于图像处理的交通标志检测识别方法，步骤如下：
步骤S1：获取原始的含有交通标志的图像，基于YCrCb彩色空间对图像
进行增强，利用HSV颜色空间进行颜色阈值分割获取感兴趣的颜色区域并且将图像二值化，所述步骤S1包括两个步骤
步骤1-1)：基于YCrCb颜色模型进行图像增强；
YCrCb颜色模型中，“Y”表示明暗，“Cr”与“Cb”表示红色与蓝色的色度信息大小。将图像从RGB空间转换为YCrCb空间，分离出Y通道得到原图的灰度图进行自适应直方图均衡，可以改善图像的全局亮度和对比度，然后将YCrCb图像中分离的“Cr”通道与“Cb”通道进行合并可得到增强处理后的彩色图像。直方图均衡化的变换函数如下式所示：
其中nj是灰度级rj的像素数目，N代表该分辨率下图像的总像素数，sk是输入图像中灰度级为rk的像素通过函数的映射值。
步骤1-2)：将RGB空间转换为HSV颜色空间，根据HSV颜色空间中各个颜色的分布情况，从HSV颜色空间的“H”通道中分离出蓝、黄、红三色分量，以“或”运算制作图像掩膜，与原始图像进行按位“与”运算得到颜色阈值分割后的二值图像。
步骤S2:利用圆形和方形检测算法对二值化图片进行进一步处理，对检测出的圆形和三角形目标进行定位，所述步骤S2包含两个步骤：
步骤2-1)：利用圆形度检测圆形目标，圆形度的大小代表了该区域与圆形的相似程度，利用该区域的周长和面积进行计算，圆形度接近于1时越接近圆，公式如下：
其中pc代表了该区域与圆形的相似程度，Sc表示连通区域的面积Sc＝πr2,Cc为连通区域像素点连接的长度，Cc＝2πr；
经过实验，圆形连通域圆形度一般分布在0.7和1.1范围内。
步骤2-2)：利用正三角形的特征检测三角形的交通标志，正三角形具有较好的对称性，根据标志的几何特性计算感兴趣连通区域的周长、面积及其三角形度pt，当三角形度接近于1时图形接近于正三角形。三角形度公式为
其中St为三角形区域的区域面积，Lmax和Lmin为顶点到对边的最大和最小距离。
步骤S3:采用HOG特征与SVM分类器结合的方法对定位出来的目标进行识别，辨别分割到的图像中是否含有交通标志，所述S3包含两个步骤；
步骤3-1)：提取目标图像的HOG特征；
首先对图像的像素大小作归一化处理，缓解图像局部的质量问题，然后计算图像的梯度，像素梯度的大小和方向如下式所示：
式中Gx(x,y)、Gy(x,y)分别表示图像中(x,y)像素位置的水平梯度、垂直梯度，α(x,y)代表(x,y)像素位置梯度的方向。
将原始图像划分为多个相同单元区域，整理获得每个单元上的梯度直方图，最后将细胞单元的梯度合并，在空间上形成一个大的连接空间，得到由所有单元区域直方图组成的HOG特征向量。
步骤3-2):训练SVM分类器；
支持向量机分类的基本思想是在训练集样本中形成的多为空间找到一个划分平面，将不同属性的数据区分开来。
首先采用GTSRB数据集作为训练分类器的正样本数据，利用平移、旋转、仿射变换对数据集进行扩充加强，其他图像作为负样本。训练过程为：
将训练样本的图片尺寸大小变为统一的32×32，计算所有样本的HOG的特征向量。将图像中每8x8个像素点作为一个细胞单元，相邻的四个细胞单元作为一个块，统计细胞单元9个方向上的梯度信息，采用L2归一化函数，以此获得样本图片的HOG特征向量。将HOG特征输入到支持向量机进行训练。支持向量机的训练过程可看作是一个优化问题，即最小化函数
其中ω为样本分隔面的法向量，ζ为松弛参量，l为样本的数目，C为惩罚因子，惩罚因子C决定了训练过程中对于离群样本数据的在意与否，当松弛参量固定不变时，C值越大，对目标的损失函数影响就越大，而对训练样本中特点的获取能力越好，准确度越高，在训练样本中准确率越高，但有可能在新样本中的表现一般，即对测试数据的分类准确率降低。相反，适当减小C值，允许分类器对训练样本中有一些误分类样本，分类器的泛化能力增强。
步骤S4:将经过SVM分类器分类后含有交通标志的感兴趣区域图片输入到训练后的卷积神经网络中，得到交通标志的类别信息。所述S4包含两个步骤：
步骤4-1):经典神经网络LeNet-5是一种典型的卷积神经网络模型，卷积神经网络在处理网格状结构的数据时有着其他神经网络达不到的效果，它由卷积层它由卷积层、池化层、全连接层、激活函数和目标函数等部分组成，图2为本方法的神经网络的模型图，通过将原始的数据映射到高层语义，利用图片高层特征的组合分析，达到对样本的预测目的。
在传统LeNet5网络结构上，本方法在卷积操作形成的特征层后添加局部响应归一化函数，在局部神经元的活动中建立竞争机制，结果是响应剧烈的神经元的变得更加剧烈，并约束了其他响应较小的神经元，从而提高模型的鲁棒性，在新样本上有更好的表现。局部响应归一化函数公式为：
式中，表示卷积层处理后的输出结果，这个输出结果是一个四维数据结构[a,b,c,d],即第a张图的第d个通道下,高度为b宽度为c的点,N表示总通道数，k、α、β均为自定义参数。/>为归一化后的值。
步骤4-2):使用两个3×3的卷积核代替5×5的卷积核；
Alexnet网络结构中设定了一些视野较大的卷积核,使用这种尺寸的卷积核会使网络拥有较大的视野，可以看到更多的图像内容，但会导致模型参数量的陡然增长，在使用的卷积神经网络中添加两组大小为3x3的卷积核作为卷积层，两个3×3卷积核的组合比一组5×5卷积核的效果更佳，参数的数量得到降低。表1为改进后的网络模型参数。
表1改进后的网络模型参数
采用GTSRB交通标志训练集对模型进行训练，首先将数据集划分为训练样本、测试样本和验证样本，其中训练样本数为34799张，测试样本数为12630张，验证样本数为4410张，训练样本图片的主要作用是让网络学习样本的特征，验证样本图片可以在训练的过程中实时验证网络对训练样本中未出现的数据的处理能力，即模型的泛化能力，根据网络对测试样本数据上的表现情况，调整模型的结构或训练过程的时间，验证集用于在网络确定后能更好地测试和衡量网络的性能。在对训练样本进行充分学习后，分别在GTSRB训练集、验证集和测试集上对模型进行评估，结果如表2所示。
表2 GTSRB识别正确率
综上可知，本发明利用自适应直方图均衡化的方法在Ycrcb颜色空间上作彩色图像増强，在HSV颜色空间上利用图像“掩膜”方法分割出三类主要交通标志对应的颜色区域；利用HOG+SVM结合方法提取图像的特征，通过训练好的SVM分类器判断是否使交通标志；改进传统的LeNet-5模型，设置局部响应归化函数，选择较小的卷积核，提高了该模型对交通标志识别的准确率。

Claims (1)

1.一种基于图像处理的交通标志检测识别方法，其特征在于，包括以下步骤：
步骤S1、获取原始的含有交通标志的图像，基于YCrCb彩色空间对图像进行增强，利用HSV颜色空间进行颜色阈值分割获取感兴趣的颜色区域并且将图像二值化，转入步骤S2；
步骤S2、利用圆形和三角形检测算法对二值化图片进行进一步处理，对检测出的圆形和三角形目标进行定位，转入步骤S3；
步骤S3、采用HOG特征与SVM分类器结合的方法对定位出来的目标进行识别，辨别分割到的图像中是否含有交通标志，转入步骤S4；
步骤S4、将经过SVM分类器分类后含有交通标志的感兴趣区域图片输入到训练后的卷积神经网络中，得到交通标志的类别信息；
步骤S1所述获取原始的含有交通标志的图像，基于YCrCb彩色空间对图像进行增强，利用HSV颜色空间进行颜色阈值分割获取感兴趣的颜色区域并且将图像二值化，转入步骤S2，具体包括：
步骤1-1)基于YCrCb颜色模型进行图像增强；
将图像从RGB空间转换为YCrCb空间，分离出Y通道得到原图的灰度图后进行自适应直方图均衡，调整图像的全局亮度和对比度，将YCrCb图像中分离的“Cr”通道与“Cb”通道进行合并得到增强处理后的彩色图像；
步骤1-2)将RGB空间转换为HSV颜色空间，根据HSV颜色空间中各个颜色的分布情况，从HSV颜色空间的“H”通道中分离出蓝、黄、红三色分量，以“或”运算制作图像掩膜，与原始图像进行按位“与”运算得到颜色阈值分割后的二值图像；
步骤S2所述利用圆形和三角形检测算法对二值化图片进行进一步处理，对检测出的圆形和三角形目标进行定位，转入步骤S3，具体包括：
步骤2-1)利用圆形度检测圆形目标，圆形度的大小代表了该区域与圆形的相似程度，利用该区域的周长和面积进行计算，圆形度接近于1时越接近圆，圆形度如公式(1)所示：
其中pc表示该区域与圆形的相似程度，Sc表示连通区域的面积Sc＝πr2，Cc为连通区域像素点连接的长度，Cc＝2πr；
步骤2-2)利用正三角形的特征检测三角形的交通标志，正三角形具有对称性，根据标志的几何特性计算感兴趣连通区域的周长、面积及其三角形度pt，当三角形度接近于1时图形接近于圆；
步骤S3所述采用HOG特征与SVM分类器结合的方法对定位出来的目标进行识别，辨别分割到的图像中是否含有交通标志，转入步骤S4，具体包括：
步骤3-1)提取目标图像的HOG特征；
首先对图像的像素大小作归一化处理，缓解图像局部的质量问题，然后计算图像的梯度，像素梯度的大小和方向如式(2)和(3)所示：
式中Gx(x,y)、Gy(x,y)分别表示图像中(x,y)像素位置的水平梯度、垂直梯度，α(x,y)代表(x,y)像素位置梯度的方向；
将原始图像划分为多个相同单元区域，整理获得每个单元上的梯度直方图，最后将细胞单元的梯度合并，在空间上形成一个连接空间，得到由所有单元区域直方图组成的HOG特征向量；
步骤3-2)训练SVM分类器；
采用GTSRB数据集作为训练分类器的正样本数据，利用平移、旋转、仿射变换对数据集进行扩充加强，其他图像作为负样本，训练过程为：
将训练样本的图片尺寸大小变为统一的32×32，计算所有样本的HOG的特征向量；将图像中每8×8个像素点作为一个细胞单元，相邻的四个细胞单元作为一个块，统计每个细胞单元9个方向上的梯度信息，采用L2归一化函数，以此获得样本图片的HOG特征向量；将HOG特征输入到支持向量机进行训练，支持向量机的训练过程看作是一个优化问题，即最小化函数
其中ω为样本分隔面的法向量，ζ为松弛参量，l为样本的数目，i为样本的编号，C为惩罚因子，惩罚因子C决定了训练过程中对于离群样本数据的在意与否；
步骤S4所述将经过SVM分类器分类后含有交通标志的感兴趣区域图片输入到训练后的卷积神经网络中，得到交通标志的类别信息，具体包括：
步骤4-1)经典神经网络LeNet-5是卷积神经网络模型，由卷积层、池化层、全连接层、激活函数和目标函数这些部分组成，基于LeNet-5网络结构，在卷积操作形成的特征层后添加局部响应归一化函数，归一化函数公式为：
式中，表示卷积层处理后的输出结果，这个输出结果是一个四维数据结构[a,b,c,d]，即第a张图的第d个通道下，高度为b宽度为c的点，N表示总通道数，k、α、β均为自定义参数；/>为归一化后的值；
步骤4-2)使用两个3×3的卷积核代替5×5的卷积核。
CN202011211981.6A 2020-11-03 2020-11-03 一种基于图像处理的交通标志检测识别方法 Active CN112464731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011211981.6A CN112464731B (zh) 2020-11-03 2020-11-03 一种基于图像处理的交通标志检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011211981.6A CN112464731B (zh) 2020-11-03 2020-11-03 一种基于图像处理的交通标志检测识别方法

Publications (2)

Publication Number Publication Date
CN112464731A CN112464731A (zh) 2021-03-09
CN112464731B true CN112464731B (zh) 2023-07-21

Family

ID=74835030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011211981.6A Active CN112464731B (zh) 2020-11-03 2020-11-03 一种基于图像处理的交通标志检测识别方法

Country Status (1)

Country Link
CN (1) CN112464731B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792611A (zh) * 2021-08-20 2021-12-14 昆明理工大学 一种运行在辅助驾驶边缘设备上的道路限速标志识别方法
CN116563311B (zh) * 2023-07-04 2023-09-08 新乡市食品药品检验所 一种基于图像分割的肉制品检测方法及装置
CN117197006A (zh) * 2023-09-27 2023-12-08 上海世禹精密设备股份有限公司 区域过滤方法、装置、电子设备及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509526B2 (en) * 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
CN108304785A (zh) * 2018-01-16 2018-07-20 桂林电子科技大学 基于自建神经网络的交通标志检测与识别方法
CN109389167A (zh) * 2018-09-29 2019-02-26 武汉中海庭数据技术有限公司 交通标志识别方法及系统

Also Published As

Publication number Publication date
CN112464731A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN108108761B (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN112464731B (zh) 一种基于图像处理的交通标志检测识别方法
Rachmadi et al. Vehicle color recognition using convolutional neural network
Rotaru et al. Color image segmentation in HSI space for automotive applications
CN108154160B (zh) 车牌颜色识别方法及系统
CN107122776A (zh) 一种基于卷积神经网络的交通标志检测与识别方法
CN107729812B (zh) 一种适用于监控场景中的车辆颜色识别的方法
CN108664969B (zh) 基于条件随机场的路标识别方法
CN107292933B (zh) 一种基于bp神经网络的车辆颜色识别方法
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
Chourasia et al. Centroid based detection algorithm for hybrid traffic sign recognition system
Hossain et al. Automatic detection and recognition of traffic signs
CN111428556A (zh) 一种基于胶囊神经网络的交通标志识别方法
Yang et al. Real-time traffic sign detection via color probability model and integral channel features
CN111860509A (zh) 一种由粗到精的两阶段非约束车牌区域精准提取方法
Do et al. Speed limit traffic sign detection and recognition based on support vector machines
Mammeri et al. North-American speed limit sign detection and recognition for smart cars
Li et al. Yolo-based traffic sign recognition algorithm
Chiang et al. Road speed sign recognition using edge-voting principle and learning vector quantization network
Zhang et al. Spatial contextual superpixel model for natural roadside vegetation classification
Deshmukh et al. Real-time traffic sign recognition system based on colour image segmentation
Tilakaratna et al. Image analysis algorithms for vehicle color recognition
CN109271905B (zh) 一种基于单帧图像的黑烟车检测方法
Huang et al. Chinese license plate detection based on deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant