CN107346413A - 一种街景影像中的交通标志识别方法和系统 - Google Patents
一种街景影像中的交通标志识别方法和系统 Download PDFInfo
- Publication number
- CN107346413A CN107346413A CN201710344812.1A CN201710344812A CN107346413A CN 107346413 A CN107346413 A CN 107346413A CN 201710344812 A CN201710344812 A CN 201710344812A CN 107346413 A CN107346413 A CN 107346413A
- Authority
- CN
- China
- Prior art keywords
- mrow
- traffic sign
- image
- mfrac
- mtd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种街景影像中的交通标志识别方法及系统，包括：接收街景图像，对所述街景图像进行预处理，增强所述街景图像中的交通标志兴趣特征；利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣特征；利用形状特征对基于颜色特征提取的所述交通标志兴趣特征进行优化筛选，去除掉所述街景图像中的虚假区域；将所述交通标志兴趣特征发送至多层神经网络中，对所述兴趣特征进行识别，并输出识别结果。本发明通过对街景图像进行处理，提取交通标示兴趣特征，再利用训练好的多卷集神经网络对交通标志进行识别，提升了识别率，降低了街景图像自身因素对识别的影响。
Description
技术领域
本发明涉及信息处理领域，更具体地，涉及一种街景影像中的交通标志识别方法和系统。
背景技术
随着社会的进步和经济的发展，我国的公路交通行业得到了飞速的发展，汽车的流通量也逐渐增大，同时，交通标志牌的类型也繁多且分布范围广泛，交通标志牌的信息收集工作为无人驾驶与智能导航技术提供关键信息，通过智能识别这些标志指示的道路状况，速度限制，驾驶行为等信息来使车辆或辅助驾驶员做出决策。人工外业提取与更新交通标志信息耗费大量的时间和人力资源。
交通标志识别技术是目标识别的一个分支，但是它又不同于传统的大类的目标识别，而是针对某一特定领域的目标识别。目前主要使用的识别方法为：以特征提取为基础，再利用分类器进行分类的方法。这种方法的特征，包括颜色、形状、HoG(梯度直方图)、SIFT、Haar等特征。提取到图像的特征后，在分类时一般的处理方案为，基于概率的生成模型(参见Mrinal Haloi.A novel pLSA based Traffic Signs Classification System.arXiv,2015.)，该方法将标志的检测和识别过程建立一个话题模型，发掘图片中的隐含的相似话题形成分类算法，利用词袋模型以及SIFT特征表示待检测和识别的图片；以及利用特征样本进行训练的判别模型，例如线性判别分析、支持向量机、K-d树等(参见Wang G,Ren G,WuZ,et al.:A hierarchical method for traffic sign classification with supportvector machines.The 2013International Joint Conference on Neural Networks(IJCNN),pp.1–6.IEEE,Texas(2013))。这种方法的优点在于实现简单对机器性能要求低，但需要对特征进行特殊的设计，且无法适应交通标志的复杂多样的变化形式和角度光线等环境影响的背景，因此这类方法陷入了提升识别率的瓶颈。
另一方面，在街景影像中的交通标志识别过程中，街景影像受采集环境、光照强度、内容庞杂等客观因素的影响，目前基于街景影像的交通标志标牌信息提取仍存在诸多困难，具体因素主要包括：1、光照，户外不同的光照强度，使图像的颜色特征发生较大变化；2、遮挡，交通标志在图像中经常会被其他物体遮挡，相邻或者组合的交通标志之间也会相互遮挡；3、自身因素，交通标志长期暴露在户外，会有不同程度的褪色、污损和变形；4、图像方位，拍摄距离和角度会影响图像中交通标志区域的大小并产生投影变形。
发明内容
针对现有技术中，对交通标志识别的识别率不高，且无法适应交通标志的复杂多样的变化形式和角度光线等环境影响的背景，同时在街景影像中交通标志识别受到街景影像的采集环境、光照强度、内容庞杂等客观因素的影响的问题，提供一种街景影像中的交通标志识别方法和系统。
根据本发明的一个方面，提供一种街景影像中的交通标志识别方法，包括：
接收街景图像，对所述街景图像进行预处理，增强所述街景图像中的交通标志兴趣特征；
利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣特征；
利用形状特征对基于颜色特征提取的所述交通标志兴趣特征进行优化筛选，去除掉所述街景图像中的虚假区域。
将所述交通标志兴趣特征发送至多层神经网络中，对所述兴趣特征进行识别，并输出识别结果。
其中，还包括采集并建立交通标志训练样本数据集，利用所述交通标志训练样本数据集对所述多层神经网络进行训练。
其中，所述利用利用HIS彩色空间阈值提取出图像中的交通标志兴趣区域具体为：通过公式
H＝H+2πif H＜0
S＝Max-Min
将RGB颜色空间转化为HSI颜色空间利用色度和饱和度阈值分割图像；
其中，R为红色分量值，G为绿色分量值，B为蓝色分量值，Max为RGB颜色值最大的通道值，Min为RGB颜色值中最小的通道值，H为色度，S为饱和度，I为亮度。
其中，所述利用非彩色区域阈值提取出图像中的交通标志兴趣区域具体为：通过公式：
利用RGB颜色通道中的颜色值提取出图像中的非彩色的交通标志，当A的值小于1时，为非彩色；
其中，R为红色分量值，G为绿色分量值，B为蓝色分量值，D为非彩色提取参数。
其中，所述利用形状特征对基于颜色特征提取的所述交通标志兴趣区域进行优化筛选包括：
采用二次扫描法对所述交通标志兴趣区域做连通区分析，找到图像中的连通区域；
提取所述交通标志兴趣区域的边缘特征；
对所述交通标志兴趣区域采用Harris角点检测方法进行角点特征检测。
其中，所述多层神经网络为多层卷积神经网络AlexNet和Siamese采用并行策略搭建的识别体系架构。
其中，所述多层卷积神经网络Siamese包含4个卷积层。
根据本发明的另一方面，提供一种街景影像中的交通标志识别系统，包括：
图像预处理模块：用于接收街景图像，对所述街景图像进行预处理，增强所述街景图像中的交通标志兴趣特征；
颜色特征提取模块，用于利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣区域；
形状特征优化模块，用于利用形状特征对基于颜色特征提取的所述交通标志兴趣区域进行优化筛选，去除掉其中的虚假区域；
特征识别模块，用于将所述兴趣特征发送至多层神经网络中，对所述兴趣特征进行识别，并输出识别结果。
其中，所述特征识别模块为多层卷积神经网络AlexNet与Siamese采用并行策略搭建的识别体系架构。
其中，所述形状特征优化模块包括：
连通区域分析单元，用于采用二次扫描法对所述交通标志兴趣区域做连通区分析，找到图像中的连通区域；
边缘特征提取单元，用于提取所述交通标志兴趣区域的边缘特征；
角点特征检测单元，用于对所述交通标志兴趣区域采用Harris角点检测方法进行角点特征检测。
本发明提出的一种街景影像中的交通标志识别方法和系统，通过对街景图像中的交通标志兴趣区域进行检测，再通过基于深度学习的多层卷积神经网络对兴趣区域进行识别，降低了街景图片的客观因素对识别的影响，提升了交通标志的识别率。
附图说明
图1为本发明一实施例提供的一种街景影像中的交通标志识别方法流程图；
图2为本发明一实施例提供的一种街景影像中的交通标志识别方法的Alexnet神经网络结构图；
图3为本发明一实施例提供的一种街景影像中的交通标志识别方法的Siamese神经网络结构图；
图4为本发明又一实施例提供的一种街景影像中的交通标志识别方法中利用形状特征对基于颜色特征提取的所述交通标志兴趣区域进行优化筛选的方法流程图；
图5为本发明又一实施例提供的一种街景影像中的交通标志识别系统结构图；
图6为本发明又一实施例提供的一种街景影像中的交通标志识别系统中形状特征优化模块的结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，图1为本发明一实施例提供的一种街景影像中的交通标志识别方法流程图，所述方法包括：
S1：接收街景图像，对所述街景图像进行预处理，增强所述街景图像中的交通标志兴趣特征；
S2：利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣特征；
S3：利用形状特征对基于颜色特征提取的所述交通标志兴趣特征进行优化筛选，去除掉所述街景图像中的虚假区域。
S4：将所述交通标志兴趣特征发送至多层神经网络中，对所述兴趣特征进行识别，并输出识别结果。
具体实施中，在接收到街影像后，会对图像进行预处理，处理方法包括对图像进行直方图均衡化、均值漂移滤波、双边滤波、各向异性扩散滤波以及归一化等预处理，使得图像的兴趣特征得以增强，同时减弱噪声对后续检测与识别过程的影响。
其中，对图像进行直方图均衡化处理，可以使得图像的对比度大大增强，交通标志的颜色特征更为突出。在图像质量不同的条件下，直方图均衡化的预处理方法针对光照过强或过弱的图像具有很好的处理效果，处理过的交通标志区域的颜色特征明显增强，可以提高颜色特征检测的准确度。对于大部分噪声严重的图像也具有很好的效果，部分图像经处理后会出现图像噪声对比度增强的问题。而在图像特征不同的条件下，直方图均衡化的方法针对于黄色、蓝色和红色有较好的效果。
均值漂移滤波处理中，处理后的图像中的一些纹理或噪声被去掉了，交通标志的边缘保留的很完整。均值漂移滤波对于图像中的纹理以及噪声具有很好的去除效果，并且可以做到在去除噪声的同时较好保留图像中的边缘特征。
双边滤波处理中，在去除噪声方面可以达到较好的图像预处理效果，与均值漂移滤波相比对图像的去噪处理更有优势，但在保留边缘特征方面处理效果稍逊于均值漂移滤波。
各项异性扩散滤波处理中，可以处理图像中的噪声，同时达到平滑图像且保留细节信息和边缘信息的效果。对比均值漂移滤波和双边滤波，各向异性扩散滤波在边界处理部分稍显优势，整体的图像处理效果和双边滤波相似。
在归一化处理后，会将图片格式变为1024*1224的统一格式，随后利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣特征，再利用形状特征对基于颜色特征提取的所述交通标志兴趣特征进行优化筛选，去除掉所述街景图像中的虚假区域，通过上述步骤以后，会将图中的交通标志的形状和颜色以及交通标志区域图像灯兴趣特征数据作为输出内容。
在获取到交通标志的区域图像、形状和颜色这类兴趣特征数据以后，将所述兴趣特征数据发送至多层神经网络中，对所述兴趣特征进行识别，随后输出识别结果。
通过此方法，可以通过街景图像收集指定区域的交通标志牌信息，提升了街景图像中的交通标志识别率。
在上述实施例的基础上，还包括采集并建立交通标志训练样本数据集，利用所述交通标志训练样本数据集对所述多层神经网络进行训练。
其中，所述多层神经网络为多层卷积神经网络AlexNet与Siamese采用并行策略搭建的识别体系架构。
其中，所述多层卷积神经网络Siamese包含4个卷积层。
具体的，针对不同的识别应用需求，本实施例提出采用并行策略搭建基于深度学习多层卷积神经网络AlexNet与Siamese的识别体系架构，进行交通标志兴趣区域的识别。其中，AlexNet神经网络应用场景：针对训练样本数据质量好，各类别特征明显，类别数量众多的情况。Siamese神经网络应用场景：针对训练样本总体数据量少，每种类别训练样本数量少，类别精度要求较高的情况。
参考图2，图2为本发明一实施例提供的一种街景影像中的交通标志识别方法的Alexnet神经网络结构图，如图2所示，AlexNet深度学习神经网络模型由650,000个神经元组成，有6000万个参数，5个卷积层，2个全连接层，还有1个1000个节点的输出层组成，最终可以将输入的图像分为1000个不同的类别。第一个卷积层利用96个大小为11×11×3、步长为4个像素的核来对大小为224×224×3的输入图像进行滤波。第二个卷积层的输入为27×27×96，利用256个5×5×48的卷积核做卷积运算。前两个卷积层后均连接池化层，而后三个卷积层并没有连接池化层。第三个卷积层有384个大小为3×3×256的卷积核，第四个卷积层有384个大小为3×3×192的卷积核。第五个卷积层有256个大小为3×3×192的卷积核。两个全连接层都为4096个神经元。其中，Convi表示卷积运算，Pooli表示池化过程，fci表示全连接层，神经网络中的relui表示：
参考图3，图3为本发明一实施例提供的一种街景影像中的交通标志识别方法的Siamese神经网络结构图，如图3所示，Siamese网络模型的左右两个分支的网络结构完全相同，两个分支共享权值W，输入的数据为一个图像对(pair data)和图像对是否为同一类别的标签。在本实施例中，对标准Siamese网络进行改进，增加了2个卷积层，使得神经网络的卷积层由2层增加为4层。新增的两个卷积层采用5*5的卷积核。
通过此方法并行识别体系架构具有便于纳入其它类型的深层神经网络进行技术扩展的优势，同时将Siamese神经网络的卷积层由2层增加到4层，达到更好的降维和特征表达效果，新增的卷积核既不会忽略图像的细小特征，同时也具有较强的收敛性。
在上述实施例的基础上，利用HIS彩色空间阈值提取出图像中的交通标志兴趣区域具体为：通过公式
H＝H+2πif H＜0
S＝Max-Min
将RGB颜色空间转化为HSI颜色空间利用色度和饱和度阈值分割图像；
其中，R为红色分量值，G为绿色分量值，B为蓝色分量值，Max为RGB颜色值最大的通道值，Min为RGB颜色值中最小的通道值，H为色度，S为饱和度，I为亮度。
通过此方法，使得颜色空间转换后利用H和S分量阈值来分割图像获取交通标志兴趣区域，提升了彩色交通标志识别的准确率，降低了客观因素的影响。
在上述实施例的基础上，所述利用非彩色区域阈值提取出图像中的交通标志兴趣区域具体为：通过公式：
利用RGB颜色通道中的颜色值提取出图像中的非彩色的交通标志，当A的值小于1时，为非彩色；
其中，R为红色分量值，G为绿色分量值，B为蓝色分量值，D为非彩色提取参数。
具体的，在面对一些黑白的交通标志的时候，利用非彩色区域阈值提取出图像中的交通标志兴趣区域，其中，通过公式：
来判定颜色特征，当A大于1时，为彩色；当A不大于1时，为非彩色。
通过此方法，可以对黑白的交通标志进行特征提取，使得交通标志识别的标志范围更为宽广。
在上述实施例的基础上，参考图4，图4为本发明又一实施例提供的一种街景影像中的交通标志识别方法中利用形状特征对基于颜色特征提取的所述交通标志兴趣区域进行优化筛选的流程图，所述步骤包括：
S41：采用二次扫描法对所述交通标志兴趣区域做连通区分析，找到图像中的连通区域；
S42：提取所述交通标志兴趣区域的边缘特征；
S43：对所述交通标志兴趣区域采用Harris角点检测方法进行角点特征检测。
具体的，图像中的连通区域是由像素光谱值相同并且位置相邻的像素点所组成的图像区域。连通区域分析是指从图像中找到连通区域，将连通区域提取或者标记的方法。本实施例采用二次扫描法对图像做连通区分析。
第一次扫描：记图像为A，连通区域的像素设为1，背景区域的像素设为0，从图像原点开始遍历像素，连通区域的标记(label)从标签2开始计数，采用4领域判断像素的相邻关系。当遍历到连通区域像素时，如果4领域内的像素值都为0，则标记区域为一个新的标记(label)，同时标签的值加1；如果有像素值不为0的像素点，那么将不为0的像素点中最小的标签值赋给此像素点。
第二次扫描：再次遍历图像，如果像素点为连通区域像素，那么取4领域内连通区域像素的最小标签赋给此像素点。由此，图像中标记相同的点就组成了图像的连通区域。
之后，进行边缘特征提取，在输出的二值图像中提取出连通区域的边缘特征。
最后，再通过Harris角点检测方法提取图像中角点特征，去除掉所述街景图像中的虚假区域。
通过此方法，保证了输入图像的质量，通过颜色特征检测可以准确从图像中提取出交通标示特征排除了背景和其他因素干扰，提升了交通标志识别率。
参考图5，图5为本发明又一实施例提供的一种街景影像中的交通标志识别系统结构图，包括：图像预处理模块1、颜色特征提取模块2、形状特征优化模块3和特征识别模块4，其中：
图像预处理模块1用于接收街景图像，对所述街景图像进行预处理，增强所述街景图像中的交通标志兴趣特征。
颜色特征提取模块2用于利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣特征。
形状特征优化模块3用于利用形状特征对基于颜色特征提取的所述交通标志兴趣区域进行优化筛选，去除掉其中的虚假区域。
特征识别模块4用于将所述兴趣特征发送至多层神经网络中，对所述兴趣特征进行识别，并输出识别结果。
具体的，图像预处理模块1在接收到街影像后，会对图像进行预处理，处理方法包括为对图像进行直方图均衡化、均值漂移滤波、双边滤波、各向异性扩散滤波以及归一化等预处理，使得图像的兴趣特征得以增强，同时减弱噪声对后续检测与识别过程的影响。
在归一化处理后，会将图片格式变为1024*1224的统一格式，随后颜色特征提取模块2利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣特征。
形状特征优化模块3利用形状特征对基于颜色特征提取的所述交通标志兴趣特征进行优化筛选，去除掉所述街景图像中的虚假区域，通过上述步骤以后，会将图中的交通标志的形状和颜色以及交通标志区域图像灯兴趣特征数据作为输出内容。
在获取到交通标志的区域图像、形状和颜色这类兴趣特征数据以后，特征识别模块4将所述兴趣特征数据发送至多层神经网络中，对所述兴趣特征进行识别，随后输出识别结果。
通过此系统，可以通过街景图像收集指定区域的交通标志牌信息，提升了街景图像中的交通标志识别率。
在上述实施例的基础上，所述特征识别模块为多层卷积神经网络AlexNet与Siamese采用并行策略搭建的识别体系架构。
具体的，针对不同的识别应用需求，本实施例提出采用并行策略搭建基于深度学习多层卷积神经网络AlexNet与Siamese的识别体系架构，进行交通标志兴趣区域的识别。其中，AlexNet神经网络应用场景：针对训练样本数据质量好，各类别特征明显，类别数量众多的情况。Siamese神经网络应用场景：针对训练样本总体数据量少，每种类别训练样本数量少，类别精度要求较高的情况。
通过此系统，并行识别体系架构具有便于纳入其它类型的深层神经网络进行技术扩展的优势，可以应对不同类别的交通标示识别任务，提升系统的稳定性以及可扩展性。
在上述实施例的基础上，参考图6，图6为本发明又一实施例提供的一种街景影像中的交通标志识别系统中形状特征优化模块结构图，所述颜色特征提取模块包括：连通区域分析单元61、边缘特征提取单元62和角点特征检测单元63。
其中，连通区域分析单元61用于采用二次扫描法对所述交通标志兴趣区域做连通区分析，找到图像中的连通区域。
边缘特征提取单元62用于提取所述交通标志兴趣区域的边缘特征。
角点特征检测单元63用于对所述交通标志兴趣区域采用Harris角点检测方法进行角点特征检测。
具体的，图像中的连通区域是由像素光谱值相同并且位置相邻的像素点所组成的图像区域。连通区域分析是指从图像中找到连通区域，将连通区域提取或者标记的方法。本实施例采用二次扫描法对图像做连通区分析。
第一次扫描：记图像为A，连通区域的像素设为1，背景区域的像素设为0，从图像原点开始遍历像素，连通区域的标记(label)从标签2开始计数，采用4领域判断像素的相邻关系。当遍历到连通区域像素时，如果4领域内的像素值都为0，则标记区域为一个新的标记(label)，同时标签的值加1；如果有像素值不为0的像素点，那么将不为0的像素点中最小的标签值赋给此像素点。
第二次扫描：再次遍历图像，如果像素点为连通区域像素，那么取4领域内连通区域像素的最小标签赋给此像素点。由此，图像中标记相同的点就组成了图像的连通区域。
之后，进行边缘特征提取，在输出的二值图像中提取出连通区域的边缘特征。
最后，再通过Harris角点检测方法提取图像中角点特征，去除掉所述街景图像中的虚假区域。
通过此系统，保证了输入图像的质量，通过颜色特征检测可以准确从图像中提取出交通标示特征排除了背景和其他因素干扰，提升了交通标志识别率。
在本发明的又一实施例中，对北京市石景山区工程项目数据集中的北京市石景山区的城市道路街景影像数据进行交通标志信息识别和收集，其中，石景山工程项目采集的总共包括73个类别25362张交通标志图像作为测试数据集。
首先使用交通标志训练样本数据集对神经网络进行训练，所述交通标志训练样本数据集包含不同时间、不同天气，不同距离以及角度变化条件下所集的73类交通标志训练样本数据为保证数据集的多样性，每一种交通标志应包含不同情况(不同光照、角度等条件)下采集的图像数据。所采集的73种交通标志图像中，每一种都包含这八种情况下的交通标志图像，共计20400个训练样本。
本实施例利用内存为6GB的单个GTX1060GPU，用20400个训练样本对AlexNet神经网络进行训练，在迭代10000次的情况下耗时5小时完成训练。
同样，Siamese神经网络在相同的硬件设备上训练，迭代10000的情况下耗时4小时。
对石景山工程项目采集的总共包括73个类别25362张交通标志图像作为测试数据集进行图像预处理，其中预处理包括直方图均衡化，均值漂移滤波，双边滤波，各向异性扩散滤波四种预处理方法。
在利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣特征步骤中，为了进行交通标志兴趣区域检测效果的质量评价，提出了正确率、假阳性率和漏检率三项评价指标。正确率，表示在街景影像中正确检测出交通标志兴趣区域的概率。假阳性率，表示在街景影像中检测出的疑似交通标志区域中并不包含交通标志的概率。漏检率，表示没有检测出街景影像中存在交通标志的概率。此次试验，得到的三项评价指标为正确率91.58％，假阳性率6.75％，漏检率1.67％；所采用的利用HIS彩色空间阈值和非色彩空间阈值组合的方式可以相对准确的提取出交通标志兴趣区域，其中，漏检率小于3％，可以满足实际工程的基本精度要求。
在利用形状特征对基于颜色特征提取的所述交通标志兴趣特征进行优化筛选，去除掉所述街景图像中的虚假区域步骤中，形状特征检测的输入图像是经过颜色特征检测获取的二值图像，输出的是根据角点特征检测到的形状信息。采集的交通标志数据中主要的形状特征有三角形、矩形和圆形。三角形为3个角点且不共线；矩形为4个角点且两两具有对称性；而大于或等于6个，且3对角点的位置特征具有对称性，判定为圆形交通标志。
基于形状特征的交通标志检测实验评价结果如表1所示。从实施例结果中可以看出利用形状特征对交通标志筛选的正确率可以达到近97％，足以说明这种方式可以很好的完成对经过颜色特征检测到的交通标志区域的进一步筛选工作，去除掉非交通标志区域，提高整体交通标志检测的正确率。
表1形状特征检测实验评价结果
| 三角形交通标志 | 圆形交通标志 | 矩形交通标志 | 总体 | |
| 正确率 | 98.75％ | 92.43％ | 96.03％ | 96.50％ |
随后将图像数据集输入到经过深度学习的多层神经网络中，本实施例用top-1和top-5评定神经网络识别的误差率。top-1误差率是指神经网络输出的相似度最高的标签不是正确标签的百分比。top-5误差率是指神经网络输出的最有可能的5个标签中不包括正确标签的百分比。
对AlexNet神经网络识别结果精度情况统计见表2所示。
表2 AlexNet神经网络实验结果
结果表明，基于AlexNet神经网络模型对交通标志进行识别，对于多数情况下的图像具有良好的识别效果，top-1平均误差率为13.20％，top-5的平均误差率为5.58％；能够有效地学习训练集中交通标志的特征然后对测试集的交通标志进行分类，可以满足实际工程需求。
对Siamese神经网络识别结果精度情况统计见表3所示。
表3 Siamese神经网络实验结果
结果表明，Siamese神经网络对每一个类别的交通标志识别效果比较平均。Siamese神经网络依据图像的特征判定不同类别之间的相似度，从而实现分类效果的。当不同类别之间的相似度较高时，会出现分类误差，这种误差具有合理性。Siamese神经网络对于小样本训练集的分类问题也具有很好的分类效果。
本发明提供的方法，通过对街景图像进行预处理，提取交通标志特征后，使用经过训练的多卷集神经网络进行交通标志的识别，减少了图像因为光照，遮挡，等因素对识别的影响，提升了识别率。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种街景影像中的交通标志识别方法，其特征在于，包括：
接收街景图像，对所述街景图像进行预处理，增强所述街景图像中的交通标志兴趣特征；
利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣特征；
通过形状特征对基于颜色特征提取的所述交通标志兴趣特征进行优化筛选，去除掉所述街景图像中的虚假区域；
将所述交通标志兴趣特征发送至多层神经网络中，对所述兴趣特征进行识别，并输出识别结果。
2.根据权利要求1所述的方法，其特征在于，还包括采集并建立交通标志训练样本数据集，利用所述交通标志训练样本数据集对所述多层神经网络进行训练。
3.根据权利要求1所述的方法，其特征在于，所述利用HIS彩色空间阈值提取出图像中的交通标志兴趣区域具体为：通过公式
<mrow>
<mi>H</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mi>&pi;</mi>
<mn>3</mn>
</mfrac>
<mo>*</mo>
<mfrac>
<mrow>
<mi>G</mi>
<mo>-</mo>
<mi>B</mi>
</mrow>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>-</mo>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>=</mo>
<mi>R</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mi>&pi;</mi>
<mn>3</mn>
</mfrac>
<mo>*</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mo>-</mo>
<mi>R</mi>
</mrow>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>-</mo>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mi>&pi;</mi>
</mrow>
<mn>3</mn>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>=</mo>
<mi>G</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mi>&pi;</mi>
<mn>3</mn>
</mfrac>
<mo>*</mo>
<mfrac>
<mrow>
<mi>R</mi>
<mo>-</mo>
<mi>G</mi>
</mrow>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>-</mo>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<mn>4</mn>
<mi>&pi;</mi>
</mrow>
<mn>3</mn>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>=</mo>
<mi>B</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
H＝H+2π if H＜0
S＝Max-Min
<mrow>
<mi>I</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>-</mo>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
将RGB颜色空间转化为HSI颜色空间，利用色度和饱和度阈值分割图像；
其中，R为红色分量值，G为绿色分量值，B为蓝色分量值，Max为RGB颜色值最大的通道值，Min为RGB颜色值中最小的通道值，H为色度值，S为饱和度值，I为亮度值。
4.根据权利要求1所述的方法，其特征在于，所述利用非彩色区域阈值提取出图像中的交通标志兴趣区域具体为：通过公式：
<mrow>
<mi>A</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mrow>
<mi>R</mi>
<mo>-</mo>
<mi>G</mi>
</mrow>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<mrow>
<mi>G</mi>
<mo>-</mo>
<mi>B</mi>
</mrow>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<mrow>
<mi>B</mi>
<mo>-</mo>
<mi>R</mi>
</mrow>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mrow>
<mn>3</mn>
<mi>D</mi>
</mrow>
</mfrac>
</mrow>
利用RGB颜色通道中的颜色值提取出图像中的非彩色的交通标志，当A的值小于1时，为非彩色；
其中，R为红色分量值，G为绿色分量值，B为蓝色分量值，D为非彩色提取参数。
5.根据权利要求1所述的方法，其特征在于，所述利用形状特征对基于颜色特征提取的所述交通标志兴趣区域进行优化筛选包括：
采用二次扫描法对所述交通标志兴趣区域做连通区分析，找到图像中的连通区域；
提取所述交通标志兴趣区域的边缘特征；
对所述交通标志兴趣区域采用Harris角点检测方法进行角点特征检测。
6.根据权利要求2所述的方法，其特征在于，所述多层神经网络为多层卷积神经网络AlexNet与Siamese采用并行策略搭建的识别体系架构。
7.根据权利要求6所述的方法，其特征在于所述多层卷积神经网络Siamese包含4个卷积层。
8.一种街景影像中的交通标志识别系统，其特征在于，包括：
图像预处理模块：用于接收街景图像，对所述街景图像进行预处理，增强所述街景图像中的交通标志兴趣特征；
颜色特征提取模块，用于利用HIS彩色空间阈值和非彩色区域阈值相组合的方式提取出所述街景图像中的交通标志兴趣区域；
形状特征优化模块，用于利用形状特征对基于颜色特征提取的所述交通标志兴趣区域进行优化筛选，去除掉其中的虚假区域；
特征识别模块，用于将所述兴趣特征发送至多层神经网络中，对所述兴趣特征进行识别，并输出识别结果。
9.根据权利要求8所述的系统，其特征在于，所述特征识别模块为多层卷积神经网络AlexNet与Siamese采用并行策略搭建的识别体系架构。
10.根据权利要求8所述的系统，其特征在于，所述形状特征优化模块包括：
连通区域分析单元，用于采用二次扫描法对所述交通标志兴趣区域做连通区分析，找到图像中的连通区域；
边缘特征提取单元，用于提取所述交通标志兴趣区域的边缘特征；
角点特征检测单元，用于对所述交通标志兴趣区域采用Harris角点检测方法进行角点特征检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710344812.1A CN107346413A (zh) | 2017-05-16 | 2017-05-16 | 一种街景影像中的交通标志识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710344812.1A CN107346413A (zh) | 2017-05-16 | 2017-05-16 | 一种街景影像中的交通标志识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107346413A true CN107346413A (zh) | 2017-11-14 |
Family
ID=60253232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710344812.1A Pending CN107346413A (zh) | 2017-05-16 | 2017-05-16 | 一种街景影像中的交通标志识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107346413A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862695A (zh) * | 2017-12-06 | 2018-03-30 | 电子科技大学 | 一种基于全卷积神经网络的改进型图像分割训练方法 |
| CN108229473A (zh) * | 2017-12-29 | 2018-06-29 | 苏州科达科技股份有限公司 | 车辆年检标签检测方法及装置 |
| CN108446612A (zh) * | 2018-03-07 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 车辆识别方法、装置及存储介质 |
| CN108989745A (zh) * | 2018-06-29 | 2018-12-11 | 长春草莓科技有限公司 | 一种无人机自动巡检系统及方法 |
| CN110287897A (zh) * | 2019-06-27 | 2019-09-27 | 清华大学 | 一种基于深度学习的轨道列车视觉定位系统 |
| CN110345954A (zh) * | 2018-04-03 | 2019-10-18 | 奥迪股份公司 | 导航系统和方法 |
| CN110705634A (zh) * | 2019-09-29 | 2020-01-17 | 五邑大学 | 一种鞋跟型号识别方法、装置及存储介质 |
| CN112334944A (zh) * | 2018-07-03 | 2021-02-05 | 日立汽车系统株式会社 | 摄像机装置的标志识别方法及标志识别装置 |
| CN115661784A (zh) * | 2022-10-12 | 2023-01-31 | 北京惠朗时代科技有限公司 | 一种面向智慧交通的交通标志图像大数据识别方法与系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235937A (zh) * | 2013-04-27 | 2013-08-07 | 武汉大学 | 一种基于脉冲耦合神经网络的交通标志识别方法 |
| CN103824081A (zh) * | 2014-02-24 | 2014-05-28 | 北京工业大学 | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 |
| CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
-
2017
- 2017-05-16 CN CN201710344812.1A patent/CN107346413A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235937A (zh) * | 2013-04-27 | 2013-08-07 | 武汉大学 | 一种基于脉冲耦合神经网络的交通标志识别方法 |
| CN103824081A (zh) * | 2014-02-24 | 2014-05-28 | 北京工业大学 | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 |
| CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| YINGYING ZHU ET.AL: "Traffic sign detection and recognition using fully convolutional network guided proposals", 《NEUROCOMPUTING》 * |
| 刘鹏: "基于景深判断的视频行人检测技术研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 田小林，李骁一，杜文亮编著: "《光学相干层析图像处理及应用》", 31 January 2015 * |
| 蒙昭森: "基于图像的AGV道路交通标志识别技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862695A (zh) * | 2017-12-06 | 2018-03-30 | 电子科技大学 | 一种基于全卷积神经网络的改进型图像分割训练方法 |
| CN108229473A (zh) * | 2017-12-29 | 2018-06-29 | 苏州科达科技股份有限公司 | 车辆年检标签检测方法及装置 |
| CN108446612A (zh) * | 2018-03-07 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 车辆识别方法、装置及存储介质 |
| CN110345954A (zh) * | 2018-04-03 | 2019-10-18 | 奥迪股份公司 | 导航系统和方法 |
| CN108989745A (zh) * | 2018-06-29 | 2018-12-11 | 长春草莓科技有限公司 | 一种无人机自动巡检系统及方法 |
| CN112334944A (zh) * | 2018-07-03 | 2021-02-05 | 日立汽车系统株式会社 | 摄像机装置的标志识别方法及标志识别装置 |
| CN112334944B (zh) * | 2018-07-03 | 2023-09-08 | 日立安斯泰莫株式会社 | 摄像机装置的标志识别方法及标志识别装置 |
| CN110287897A (zh) * | 2019-06-27 | 2019-09-27 | 清华大学 | 一种基于深度学习的轨道列车视觉定位系统 |
| CN110287897B (zh) * | 2019-06-27 | 2021-05-14 | 清华大学 | 一种基于深度学习的轨道列车视觉定位系统 |
| CN110705634A (zh) * | 2019-09-29 | 2020-01-17 | 五邑大学 | 一种鞋跟型号识别方法、装置及存储介质 |
| CN115661784A (zh) * | 2022-10-12 | 2023-01-31 | 北京惠朗时代科技有限公司 | 一种面向智慧交通的交通标志图像大数据识别方法与系统 |
| CN115661784B (zh) * | 2022-10-12 | 2023-08-22 | 北京惠朗时代科技有限公司 | 一种面向智慧交通的交通标志图像大数据识别方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107346413A (zh) | 一种街景影像中的交通标志识别方法和系统 | |
| CN112818862B (zh) | 基于多源线索与混合注意力的人脸篡改检测方法与系统 | |
| CN104966085B (zh) | 一种基于多显著特征融合的遥感图像感兴趣区域检测方法 | |
| CN106651872A (zh) | 基于Prewitt算子的路面裂缝识别方法及系统 | |
| CN108108761A (zh) | 一种基于深度特征学习的快速交通信号灯检测方法 | |
| CN106845408A (zh) | 一种复杂环境下的街道垃圾识别方法 | |
| CN104408449B (zh) | 智能移动终端场景文字处理方法 | |
| CN111428556B (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN105512684A (zh) | 基于主成分分析卷积神经网络的车标自动识别方法 | |
| CN107122777A (zh) | 一种基于视频文件的车辆分析系统及分析方法 | |
| CN110866879B (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| CN105809121A (zh) | 多特征协同的交通标志检测与识别方法 | |
| CN103544484A (zh) | 一种基于surf的交通标志识别方法及系统 | |
| CN107066972B (zh) | 基于多通道极值区域的自然场景文本检测方法 | |
| CN107506765B (zh) | 一种基于神经网络的车牌倾斜校正的方法 | |
| CN105205804A (zh) | 血细胞图像中白细胞的核浆分离方法、分类方法及装置 | |
| CN105205489A (zh) | 基于颜色纹理分析器与机器学习的车牌检测方法 | |
| CN107977677A (zh) | 一种应用于大规模城区重建中的多标签像素分类方法 | |
| CN105760858A (zh) | 一种基于类Haar中间层滤波特征的行人检测方法及装置 | |
| CN107704853A (zh) | 一种基于多分类器的交通信号灯的识别方法 | |
| CN102194108A (zh) | 一种聚类线性鉴别分析特征选择的笑脸表情识别方法 | |
| CN112464731B (zh) | 一种基于图像处理的交通标志检测识别方法 | |
| CN107705254A (zh) | 一种基于街景图的城市环境评估方法 | |
| CN105893971A (zh) | 一种基于Gabor和稀疏表示的交通信号灯识别方法 | |
| CN110728302A (zh) | 一种基于HSV和Lab颜色空间的色纺织物组织识别的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171114 |