CN109446984A - 自然场景中道路交通标志识别方法 - Google Patents

自然场景中道路交通标志识别方法 Download PDF

Info

Publication number
CN109446984A
CN109446984A CN201811257853.8A CN201811257853A CN109446984A CN 109446984 A CN109446984 A CN 109446984A CN 201811257853 A CN201811257853 A CN 201811257853A CN 109446984 A CN109446984 A CN 109446984A
Authority
CN
China
Prior art keywords
image
region
traffic sign
formula
blue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811257853.8A
Other languages
English (en)
Inventor
刘慧君
王俊杰
肖亚斌
朱庆生
张程
滕智飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201811257853.8A priority Critical patent/CN109446984A/zh
Publication of CN109446984A publication Critical patent/CN109446984A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种自然场景中道路交通标志识别方法，包括以下步骤：S1、数据集收集；S2、图像预处理：S21、使用限制对比度的自适应直方图均衡化技术(CLAHE)对道路图像进行对比度增强；S22、确定GTSDB中的红色和蓝色的禁令、指示和警告标志为研究对象，对道路图像中的红色和蓝色区域进行增强，可以让交通标志区域凸显；S23、使用顶底帽联合变换使灰度图中的交通标志变得更加明亮和稳定；S3、基于MSER的感兴趣区域的提取与筛选；S4、基于卷积神经网络(CNN)的感兴趣区域的二次判别，即交通标志牌所在的区域。自然场景中道路交通标志识别方法解决现有技术中因没有对数据进行预处理而导致识别误差较大的问题。

Description

自然场景中道路交通标志识别方法
技术领域
本发明涉及图像识别技术，具体涉及一种自然场景中道路交通标志识别方法。
背景技术
中国专利公开了一种申请号为CN201310319615.6的识别交通标志的方法，该方法步骤如下：S1：生成识别交通标志所需的颜色分割模型，形状检测模型和内容识别模型；S2：使用颜色分割模型对应的颜色分割模板对原始图像进行分割，得到分割后的图像；使用滑动窗口在原始图像上滑动，判断窗口中各颜色的比例关系是否满足预设条件；如果不满足预设条件，则判定图像中不存在交通标志，如果满足预设条件，则判定图像中存在交通标志，则调用形状检测模型；如果形状检测模型的检测结果满足预设的交通标志形状条件，则判定图像中存在交通标志，否则判定图像中不存在交通标志；S3：对存在交通标志的图像，根据检测时的颜色和形状信息调用对应的内容识别模型对交通标志的类别进行判断。该方法虽然一定程度上实现了对交通标志的识别，但是该方法存在的缺点为：
由于该方法中没有对数据进行预处理，图像中交通标志的图案不强、不明亮也不稳定，导致识别结果误差较大的问题出现，降低了识别的准确率，不方便使用。
发明内容
本发明要提供一种自然场景中道路交通标志识别方法，解决现有技术中因没有对数据进行预处理而导致识别误差较大的问题。
为实现上述目的，本发明采用了如下的技术方案：
一种自然场景中道路交通标志识别方法，包括以下步骤：
S1、数据集收集；
S2、图像预处理：
S21、使用限制对比度的自适应直方图均衡化技术(CLAHE)对道路图像进行对比度增强；
S22、确定GTSDB中的红色和蓝色的禁令、指示和警告标志为研究对象，对道路图像中的红色和蓝色区域进行增强，可以让交通标志区域凸显；
S23、使用顶底帽联合变换使灰度图中的交通标志变得更加明亮和稳定；
S3、基于MSER的感兴趣区域的提取与筛选：
S31、在步骤S2的基础上得到的红色、蓝色增强的灰度图上使用MSER-算法，提取出最大稳定极值区域；
S32、使用开运算用来分离相邻的交通标志或者交通标志与背景区域；
S33、在步骤S32的基础上选择原矩形框的中心作为新的ROI矩形框的中心，对原ROI的宽度和高度放大1.2倍作为新的ROI的宽度和高度，并选择放大后的ROI矩形框作为感兴趣区域；
S4、基于卷积神经网络(CNN)的感兴趣区域的二次判别：
S41、使用Selective Search算法来生成负样本；
S42、使用CNN，并去掉了倒数第二个全连接层，对正负样本进行训练，然后生成一个分类器；使用该分类器可以进一步对ROI矩形框作为感兴趣区域进一步分期，提取出更加准确的ROI区域，即交通标志牌所在的区域。
相比于现有技术，本发明具有如下有益效果：
第一通过自适应直方图均衡化技术，对道路图像对比进行了增强处理；第二、通过标志颜色增强，使得交通标志在背景中更加凸显，有利于后期交通标志图像数据的提取；第三通过形态学滤波提升对比度，使得标志更加明亮和稳定，进一步利于后期交通标志图像数据的提取。通过上述三个预处理步骤，提高了后续识别结果的精度，更加方便使用，降低了误判现象出现的几率。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为在进行步骤S42时用的神经网络结构。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与作用更加清楚及易于了解，下面结合附图和具体实施方式对本发明作进一步阐述：
本发明提出了一种自然场景中道路交通标志识别方法，包括以下步骤：
S1、数据集收集：
对于交通标志的检测与识别的研究需要可靠的交通标志数据集，一个样本充足、场景和类别丰富的交通标志数据集对于提升检测和识别的准确度和算法的鲁棒性至关重要。由于各个国家交通标志制定标准不同，不同国家的交通标志在颜色、形状上存在一些差异。因此，国际上还没有一个统一的标准数据集用于交通标志检测与识别的结果评估；所以数据集的收集建议使用者收集产品使用所在的国家的标准的交通标志牌，且每张交通标志牌的图片除了交通标志的内容外尽量不能含有其他内容；为了更够尽可能识别各个种类的交通标志牌，建议每个种类的交通标志牌不低于5000张；为了方便后续数据处理，可以将每个种类的交通标志牌图片单独存放在一个文件夹里面；
S2、图像预处理：
S21、使用限制对比度的自适应直方图均衡化技术(CLAHE)对道路图像进行对比度增强；
S22、确定GTSDB中的红色和蓝色的禁令、指示和警告标志为研究对象，对道路图像中的红色和蓝色区域进行增强，可以让交通标志区域凸显；
S23、经过顶底帽联合变换后，灰度图像中受光照影响较大，在颜色增强后的灰度图中不太明亮的交通标志区域变得明亮，原本明亮的交通标志区域变得更加明亮，从而使灰度图中的交通标志变得更加明亮和稳定；
S3、基于MSER的感兴趣区域的提取与筛选：
S31、在步骤S2的基础上得到的红色、蓝色增强的灰度图上使用MSER-算法，提取出最大稳定极值区域；
S32、使用开运算用来分离相邻的交通标志或者交通标志与背景区域；
S33、在步骤S32的基础上选择原矩形框的中心作为新的ROI矩形框的中心，对原ROI的宽度和高度放大1.2倍作为新的ROI的宽度和高度，并选择放大后的ROI矩形框作为感兴趣区域；
S4、基于卷积神经网络(CNN)的感兴趣区域的二次判别：
S41、使用Selective Search算法来生成负样本；
S42、使用CNN，并去掉了倒数第二个全连接层，对正负样本进行训练，然后生成一个分类器；使用该分类器可以进一步对ROI矩形框作为感兴趣区域进一步分期，提取出更加准确的ROI区域，即交通标志牌所在的区域。
步骤S21的具体步骤包括：
S211、一个灰度级范围在[0,L-1]的数字图像，它的归一化的直方图是一个离散函数，如式(1.1)所示：
P(rk)＝nk,/n,k＝0,1,...L-1 (1.1)
其中rk表示第k级灰度，nk表示第k级灰度的像素点数，n表示图像总像素数；
S212、设连续函数，对图像进行灰度增强的灰度级变换函数为式：
s＝T(r),0≤r≤1 (1.2)
其中，r表示待增强图像的灰度级，s表示增强后的灰度级；r已被归一化到[0,1]区间；当r＝0时，表示黑色，r＝1时表示白色；T(r)要满足下面两个条件：T(r)在区间0≤r≤1中单调递增，0≤r≤1时，0≤T(r)≤1，公式(1.2)的逆函数为公式(1.3)：
r＝T-1(s)，0≤s≤1 (1.3)
S213、设P_r(r)是r的概率密度函数，Ps(s)是s的概率密度函数，如果P_r(r)和T(r)已知，且T-1(s)满足上面的两个条件，则可以得到下式(1.4)：
S214、定义图像处理中一个很重要的变换函数，公式(1.5)：
其中，等式的右边是r的累积分布函数；
S215、根据公式(1.4)和(1.5)，可以得到：
显然Ps(s)是一个均匀概率密度函数，即由公式(1.5)的变换函数得到的增强图像的灰度级是等概率的；
S216、由于数字图像的灰度级一般都是离散的，对于离散情况，结合公式(1.1)和(1.5)的变换成：
式(1.6)的变换即为直方图均衡化，通过此变换可以将输入图像中灰度级是rk的像素映射到输出图像中灰度级为sk的对应像素。变换后的输出图像的灰度级均匀分布。自适应直方图均衡化(AHE)与普通的直方图均衡化不同，AHE会计算图像的局部直方图，并重新分布亮度来增强图像对比度。但是，AHE会过度放大图像相同区域的噪声，因此实际中很少使用。限制对比度的自适应直方图均衡化(CLAHE)则会限制图像局部区域的对比度，从而解决了AHE过度放大噪声的问题，实际应用较为广泛。本发明使用限制对比度的自适应直方图均衡化技术对道路图像进行对比度增强。
步骤S22(本发明以GTSDB中的红色和蓝色的禁令、指示和警告标志为研究对象，因此，对道路图像中的红色和蓝色区域进行增强，可以让交通标志区域凸显，更方便下面使用MSER算法提取交通标志。)具体包括：
S221、需要在RGB颜色空间下进行颜色增强，增强公式如下所示：
其中，xR,xG,xB分别代表在图像的x像素点处，R、G、B三个颜色通道的分量值，s＝xR+xG+xB，fR(x)，fB(x)，fY(x)分别代表原始图像的红色、蓝色和黄色增强图像，由于本发明的研究对象是红色和蓝色的交通标志，所以本文只对红色和蓝色区域进行增强；
S222、由于在光照较暗或者较亮的情况下，RGB图像的蓝色分量和绿色分量有相近的值，所以将公式(1.7)中蓝色通道的增强公式修改为：
S223、合并公式(1.7)和(1.8)，得到原始图像的红蓝色区域的增强公式(1.9)：
fRB(x)＝max(fR(x),fB(x)) (1.9)
原始图像中的红色和蓝色的交通标志区域在经过颜色增强之后在灰度图中表现为较为明亮且稳定的区域，而背景区域则比较暗，从而交通标志被很好的凸显出来。
对红色和蓝色增强后的灰度图像进行研究，发现有些图像受光照、褪色影响比较严重，增强之后的交通标志区域的亮度仍然不够。故为了更好地将背景和交通标志区域分开，本发明使用顶帽变换和底帽变换结合的方式提升灰度图像的对比度，步骤S23具体包括以下步骤：
S231、顶帽变换为从原图像中减去开运算的图像，其计算公式如式(1.10)所示，它可以让较亮的像素更加明亮：
TopHat(f)＝f-(fOb)
(1.10)
其中，f为原始图像，b为结构元素；
S232、底帽变换是闭运算的结果减去原图像，计算公式如式(1.11)所示，它可以让较暗的像素更加暗淡：
BlackHat(f)＝(f·b)-f
(1.11)
其中，f为原始图像，b为结构元素；
S233、将顶帽变换和底帽变换联合使用，即将源图像加上顶帽变换的结果减去底帽变换的结果，如公式(1.12)所示：
Enhance(f)＝f+TopHat(f)-BlackHat(f) (1.12)
就可以进一步增强灰度图像的对比度，使交通标志和背景区域区分得更加明显。
本发明使用最大稳定极值区域(MSER)算法从预处理后的图像中提取可能的交通标志区域。MSER算法具有很强的仿射不变性，能够很好地应对光照变化的影响，具有较强的稳定性和鲁棒性，因而在图像分割等领域被广泛地使用。步骤S31的具体步骤为：
S311、对于一幅灰度图像，确定一系列灰度阈值，灰度阈值范围是0～255，根据每个阈值对图像进行二值化；
S312、(在阈值递增的过程中，不同阈值得到的二值图像中的某些连通区域的面积变化很小或没有变化，那么该区域被称为最大稳定极值区域)。定义最大稳定极值区域如公式(1.13)：
其中Rt表示阈值设为t时图像中的某一个连通区域，Δ表示阈值的微小变化量，ch(t)表示阈值设为t时Rt的变化率；
S313、使得ch(t)为局部极小值，得到最大稳定极值区域Rt。
通过上述的方法可以检测出一幅灰度图像中的黑色最大稳定极值区域。对灰度图像进行反转之后再执行上述过程，就可以检测出图像中的白色最大稳定极值区域。这两种检测方式分别叫做MSER+和MSER-。经过步骤S2的预处理之后，道路图像中的红色和蓝色区域比背景区域更加明亮且稳定。在得到的红色、蓝色增强的灰度图上使用MSER-算法，提取出最大稳定极值区域。
我们对MSER算法提取到的最大稳定极值区域进行研究，发现有些离得很近的交通标志或者交通标志附近背景与交通标志颜色相近的区域经过MSER提取之后可能出现微弱的粘连现象；对于这种情况如果不做处理，粘连的区域会被当成一个感兴趣区域进行后续处理，可能会在后续的筛选中被过滤掉，从而把真正的交通标志区域也随之去除，增加了交通标志漏检的情况。为了解决这个问题，故设置了步骤S32。步骤S32中开运算(OpeningOperation)是对图像先做腐蚀操作，然后做膨胀操作的过程，计算公式如下：
dst＝open(src,element)＝dilate(erode(src,element)) (1.14)
开运算可以消除图像中的小噪点，并且可以使物体的边界变得平滑，从而将粘连的物体分离开。使用开运算可以用来很好的分离相邻的交通标志或者交通标志与背景区域。
经过步骤S31和步骤S32的处理之后，我们得到了稳定、分离的二值图像。接下来只需要寻找图像中的连通区域，并获取其外接矩形框，就可以得到交通标志感兴趣区域(ROI)了。
对提取到的ROI进行研究，发现矩形框的边界很贴近交通标志的实际位置。而有些交通标志受光照、天气、褪色、拍摄距离等影响较大，其颜色增强后的灰度图中的交通标志区域不够明亮，导致提取的矩形框ROI不能完全覆盖整个交通标志区域，从而影响后续的筛选过程。
本发明选择对矩形ROI区域进行适当的放大来解决上面的问题。本发明选择原矩形框的中心作为新的ROI矩形框的中心，对原ROI的宽度和高度放大1.2倍作为新的ROI的宽度和高度，并选择放大后的ROI矩形框作为感兴趣区域。
放大后的感兴趣区域更好地覆盖了整个交通标志区域，这有利于后续的筛选。但这种做法同时也会产生一个问题，那些本身色彩比较鲜明、受环境影响较小的交通标志区域，经放大之后的感兴趣区域会包含一些背景区域。在接下来，二次筛选时我们选择的正样本GTSRB中的交通标志本身就包含10％左右的背景区域，所以只要我们二次筛选的模型能很好地分辨出GTSRB中的交通标志和背景，这个问题就能很好地解决。
由于自然环境中存在较多与交通标志颜色相近的物体，经过MSER-提取到的ROI可能包含一定的噪声区域。通过分析交通标志的形状、面积、宽高比等形状特征，可以对提取到的ROI进行初步的筛选，从而有效地过滤掉很多噪声区域，同时也能大幅减少后续进行二次判别的时间。
通过对GTSDB道路图像中的交通标志的宽度、高度、宽高比、面积等特征进行统计，本发明步骤S33中最终选择的筛选条件如下表所示：
表ROI筛选条件
Table 3.1 ROI filter conditions
这样，就可以使得大量的噪声区域被过滤掉，而交通标志区域被很好地保留下来。
如果需要训练一个分类器模型，首先需要生成正负样本。其中正样本就是图片中的交通标志区域，而负样本则是背景区域。要使我们的模型取得较好的准确性和鲁棒性，正负样本的选择就极为重要。
对于正样本而言，其选择较为简单，只需提取训练集中的交通标志区域即可。对于负样本而言，常用的提取交通标志负样本的方法是从背景图像中随机剪裁一定宽度和高度的图像若干张作为负样本。但是，考虑到MSER算法的特性，图像中的最大稳定极值区域大概率会是图像中的某些物体或者颜色稳定的区域。随机剪裁的背景区域不具备较强的泛化能力。因此，本文最终选择使用Selective Search算法来生成负样本。下面对SelectiveSearch算法作简单的介绍。
Selective Search算法是一种搜索可能的目标区域的方法。不同于穷举搜索(使用不用尺寸的窗口扫描整幅图像)，Selective Search基于同一物体在像素点尺度上具有一定的相似性这个基本原则，不断合并相似性大于预设阈值的相邻像素点，从而将可能属于同一物体的像素点进行合并，形成目标区域框。相比于穷举搜索，Selective Search要高效很多。
步骤S41具体包括以下步骤：
S411、使用基于图的图像分割方法获得初始分割区域R＝{r1,r2,…,rn}；
S412、初始化相似度集合
S413、计算区域集R里相邻区域的相似度，将每个分割区域与和他相邻的分割区域的相似度均添加到相似度集合S中；
S414、从S中找出相似度最大的两个区域ri和rj，将其合并成为一个区域rt；从S中去除与ri和rj相邻区域之间计算的相似度，并计算rt与其相邻区域的相似度，将rt与其相邻区域的相似度结果添加到S中；并将rt添加到R中；
S415、循环S413和S414的过程，直到S为空；(因为每步都会将两个最大相似度的区域合并为一个，也就是每循环一次S中元素的个数至少会少1个，R中的元素会少1个，直到最后R中只剩下一个区域，也就是最后一个区域是没有相邻区域的，也就不存在相似度了，所以S为空)
S416、得到最后一个区域rt，同时输出在整个过程中的所有的变化的区域的集合L；
S417、获得负样本：
S4171、当集合L中区域个数大于等于70时从L中随机选择70个区域对应的区域，当集合L中区域个数小于70时将集合L中区域全部选择出，选择出来的所有区域集合为选择样本X1；
S4172、判断选择样本X1中每个区域面积是否大于设定值S1，若是，则放置放弃面积大于设定值S1的区域；若否，则放入集合剩余样本X2；
S4173、判断剩余样本X2中每个区域高是否大于设定值H1，若是，则放置放弃高大于设定值H1的区域,；若否，则放入集合剩余样本X3；
S4173、判断剩余样本X3中每个区域中是否有大于30％的部分属于实际的交通标志，若是则放弃有大于30％的部分属于实际的交通标志的区域，若否，则放入集合负样本X4中。
Selective Search实际上使用的是图像分割和层次聚类的方法从而有效地解决适应物体不同尺寸的问题。同时，它还使用了多样化策略来应对不同类别的图像，不仅考虑到了颜色空间的多样化，它在多个不同的颜色空间中获取原始分割区域，而且使用了多种相似性度量方法，如颜色相似度、纹理相似度、大小相似度和吻合相似度等。基于以上的两种思想，Selective Search能大幅减少搜索空间，提高程序的效率。
为了获得交通标志负样本，在每张图片上运行Selective Search算法，得到可能的目标区域区域，然后从每张图片中随机选择70个区域(不足70个的全部选择)作为负样本。在选择区域的时候，放弃那些面积和宽高比过大或者过小的区域，以此来获得更好的泛化能力。同时比较区域的位置与实际的交通标志的位置，如果重叠率大于0.3，则放弃这个位置的区域，以此保证选择的负样本不会是交通标志区域。
为了减少误检情况的发生，本文选择训练集图像中所有被正确区分的和被误检的交通信号灯、车尾灯和蓝色的人行道标志作为负样本。
考虑到步骤S42中是一个相对简单的二分类问题，为了尽可能提升交通标志检测的速度，在这里我们去掉了倒数第二个全连接层。具体的网络结构如图1所示。
步骤S42具体步骤为：
S421、首先使用步骤S41中提出的方法生成正负样本，并将所有的正样本标记为1，负样本标记为0；
S422、将正负样本合并成为样本集，然后对样本集进行随机划分得到训练集、验证集和测试集，训练集中图像数量、验证集中图像数量与测试集中图像数量的比为0.6：0.2：0.2；(该划分比例，除了训练模型之外，还起到了验证模型的准确率的效果。如果无需验证模型的准确率，则样本集无需划分比例，全部用于训练模型即可)
S423、对训练集、验证集和测试集的图片进行预处理，预处理的方法为直方图均衡化和图像归一化；(直方图均衡化：公式(1.6)的变换即为直方图均衡化，通过此变换可以将输入图像中灰度级是rk的像素映射到输出图像中灰度级为sk的对应像素。变换后的输出图像的灰度级均匀分布。该方法可以有效地提升图像的对比度，使图像的细节更加清晰。
图像归一化：归一化是指对图像进行一系列的变换，将原始图像转变成标准形式的过程。具体操作就是把图像数据本身是0-255的UNIT型数据所以需要归一化，转换到0-1之间。具体可以写成如下形式：y＝x/255；说明：x、y分别为转换前、后的值。)
S424、使用Keras搭建图如图1中展示的CNN模型，然后在训练集上训练模型。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种自然场景中道路交通标志识别方法，其特征在于，包括以下步骤：
S1、数据集收集；
S2、图像预处理：
S21、使用限制对比度的自适应直方图均衡化技术(CLAHE)对道路图像进行对比度增强；
S22、确定GTSDB中的红色和蓝色的禁令、指示和警告标志为研究对象，对道路图像中的红色和蓝色区域进行增强；
S23、使用顶底帽联合变换使灰度图中的交通标志变得更加明亮和稳定；
S3、基于MSER的感兴趣区域的提取与筛选：
S31、在步骤S2的基础上得到的红色、蓝色增强的灰度图上使用MSER-算法，提取出最大稳定极值区域；
S32、使用开运算用来分离相邻的交通标志或者交通标志与背景区域；
S33、在步骤S32的基础上选择原矩形框的中心作为新的ROI矩形框的中心，对原ROI的宽度和高度放大1.2倍作为新的ROI的宽度和高度，并选择放大后的ROI矩形框作为感兴趣区域；
S4、基于卷积神经网络(CNN)的感兴趣区域的二次判别：
S41、使用Selective Search算法来生成负样本；
S42、使用CNN，并去掉了倒数第二个全连接层，对正负样本进行训练，然后生成一个分类器；使用该分类器可以进一步对ROI矩形框作为感兴趣区域进一步分期，提取出更加准确的ROI区域，即交通标志牌所在的区域。
2.根据权利要求1所述的自然场景中道路交通标志识别方法，其特征在于，步骤S21的具体步骤包括：
S211、一个灰度级范围在[0,L-1]的数字图像，它的归一化的直方图是一个离散函数，如式(1.1)所示：
P(rk)＝nk,/n,k＝0,1,...L-1 (1.1)
其中rk表示第k级灰度，nk表示第k级灰度的像素点数，n表示图像总像素数；
S212、设连续函数，对图像进行灰度增强的灰度级变换函数为式：
s＝T(r),0≤r≤1 (1.2)
其中，r表示待增强图像的灰度级，s表示增强后的灰度级；r已被归一化到[0,1]区间；当r＝0时，表示黑色，r＝1时表示白色；T(r)要满足下面两个条件：T(r)在区间0≤r≤1中单调递增，0≤r≤1时，0≤T(r)≤1，公式(1.2)的逆函数为公式(1.3)：
r＝T-1(s)，0≤s≤1 (1.3)
S213、设P_r(r)是r的概率密度函数，Ps(s)是s的概率密度函数，如果P_r(r)和T(r)已知，且T-1(s)满足上面的两个条件，则可以得到下式(1.4)：
S214、定义图像处理中一个很重要的变换函数，公式(1.5)：
其中，等式的右边是r的累积分布函数；
S215、根据公式(1.4)和(1.5)，可以得到：
显然Ps(s)是一个均匀概率密度函数，即由公式(1.5)的变换函数得到的增强图像的灰度级是等概率的；
S216、由于数字图像的灰度级一般都是离散的，对于离散情况，结合公式(1.1)和(1.5)的变换成：
式(1.6)的变换即为直方图均衡化，通过此变换可以将输入图像中灰度级是rk的像素映射到输出图像中灰度级为sk的对应像素。
3.根据权利要求2所述的自然场景中道路交通标志识别方法，其特征在于，步骤S22具体包括：
S221、需要在RGB颜色空间下进行颜色增强，增强公式如下所示：
其中，xR,xG,xB分别代表在图像的x像素点处，R、G、B三个颜色通道的分量值，s＝xR+xG+xB，fR(x)，fB(x)，fY(x)分别代表原始图像的红色、蓝色和黄色增强图像，由于本发明的研究对象是红色和蓝色的交通标志，所以本文只对红色和蓝色区域进行增强；
S222、由于在光照较暗或者较亮的情况下，RGB图像的蓝色分量和绿色分量有相近的值，所以将公式(1.7)中蓝色通道的增强公式修改为：
S223、合并公式(1.7)和(1.8)，得到原始图像的红蓝色区域的增强公式(1.9)：
fRB(x)＝max(fR(x),fB(x)) (1.9)。
4.根据权利要求3所述的自然场景中道路交通标志识别方法，其特征在于，步骤S23具体包括以下步骤：
S231、顶帽变换为从原图像中减去开运算的图像，其计算公式如式(1.10)所示，它可以让较亮的像素更加明亮：
TopHat(f)＝f-(fOb)
(1.10)
其中，f为原始图像，b为结构元素；
S232、底帽变换是闭运算的结果减去原图像，计算公式如式(1.11)所示，它可以让较暗的像素更加暗淡：
BlackHat(f)＝(f·b)-f
(1.11)
其中，f为原始图像，b为结构元素；
S233、将顶帽变换和底帽变换联合使用，即将源图像加上顶帽变换的结果减去底帽变换的结果，如公式(1.12)所示：
Enhance(f)＝f+TopHat(f)-BlackHat(f) (1.12)
就可以进一步增强灰度图像的对比度，使交通标志和背景区域区分得更加明显。
5.根据权利要求4所述的自然场景中道路交通标志识别方法，其特征在于，步骤S31的具体步骤为：
S311、对于一幅灰度图像，确定一系列灰度阈值，灰度阈值范围是0～255，根据每个阈值对图像进行二值化；
S312、定义最大稳定极值区域如公式(1.13)：
其中Rt表示阈值设为t时图像中的某一个连通区域，Δ表示阈值的微小变化量，ch(t)表示阈值设为t时Rt的变化率；
S313、使得ch(t)为局部极小值，得到最大稳定极值区域Rt。
6.根据权利要求5所述的自然场景中道路交通标志识别方法，其特征在于，步骤S32中开运算(Opening Operation)是对图像先做腐蚀操作，然后做膨胀操作的过程，计算公式如下：
dst＝open(src,element)＝dilate(erode(src,element)) (1.14)。
7.根据权利要求6所述的自然场景中道路交通标志识别方法，其特征在于，步骤S41具体包括以下步骤：
S411、使用基于图的图像分割方法获得初始分割区域R＝{r1,r2,…,rn}；
S412、初始化相似度集合
S413、计算区域集R里相邻区域的相似度，将每个分割区域与和他相邻的分割区域的相似度均添加到相似度集合S中；
S414、从S中找出相似度最大的两个区域ri和rj，将其合并成为一个区域rt；从S中去除与ri和rj相邻区域之间计算的相似度，并计算rt与其相邻区域的相似度，将rt与其相邻区域的相似度结果添加到S中；并将rt添加到R中；
S415、循环S413和S414的过程，直到S为空；
S416、得到最后一个区域rt，同时输出在整个过程中的所有的变化的区域的集合L；
S417、获得负样本：
S4171、当集合L中区域个数大于等于70时从L中随机选择70个区域对应的区域，当集合L中区域个数小于70时将集合L中区域全部选择出，选择出来的所有区域集合为选择样本X1；
S4172、判断选择样本X1中每个区域面积是否大于设定值S1，若是，则放置放弃面积大于设定值S1的区域；若否，则放入集合剩余样本X2；
S4173、判断剩余样本X2中每个区域高是否大于设定值H1，若是，则放置放弃高大于设定值H1的区域,；若否，则放入集合剩余样本X3；
S4173、判断剩余样本X3中每个区域中是否有大于30％的部分属于实际的交通标志，若是则放弃有大于30％的部分属于实际的交通标志的区域，若否，则放入集合负样本X4中。
8.根据权利要求7所述的自然场景中道路交通标志识别方法，其特征在于，步骤S42具体步骤为：
S421、首先使用步骤S41中提出的方法生成正负样本，并将所有的正样本标记为1，负样本标记为0；
S422、将正负样本合并成为样本集，然后对样本集进行随机划分得到训练集、验证集和测试集，训练集中图像数量、验证集中图像数量与测试集中图像数量的比为0.6：0.2：0.2；
S423、对训练集、验证集和测试集的图片进行预处理，预处理的方法为直方图均衡化和图像归一化；
S424、使用Keras搭建图如图1中展示的CNN模型，然后在训练集上训练模型。
CN201811257853.8A 2018-10-26 2018-10-26 自然场景中道路交通标志识别方法 Pending CN109446984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811257853.8A CN109446984A (zh) 2018-10-26 2018-10-26 自然场景中道路交通标志识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811257853.8A CN109446984A (zh) 2018-10-26 2018-10-26 自然场景中道路交通标志识别方法

Publications (1)

Publication Number Publication Date
CN109446984A true CN109446984A (zh) 2019-03-08

Family

ID=65548704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811257853.8A Pending CN109446984A (zh) 2018-10-26 2018-10-26 自然场景中道路交通标志识别方法

Country Status (1)

Country Link
CN (1) CN109446984A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175561A (zh) * 2019-05-24 2019-08-27 上海电机学院 一种道路交通标志检测与识别方法
CN111062309A (zh) * 2019-12-13 2020-04-24 吉林大学 一种雨天交通标志检测方法、存储介质及系统
GB2585633A (en) * 2019-05-14 2021-01-20 Wheelright Ltd Tyre sidewall imaging method
CN112800989A (zh) * 2021-02-02 2021-05-14 上海博泰悦臻电子设备制造有限公司 一种检测斑马线的方法及装置
CN113083724A (zh) * 2021-03-24 2021-07-09 北京霍里思特科技有限公司 矿石识别方法、检测机构、矿产分选机
CN113570808A (zh) * 2021-07-08 2021-10-29 郑州海为电子科技有限公司 一种基于zynq7020的无线烟感探测器
CN113642576A (zh) * 2021-08-24 2021-11-12 凌云光技术股份有限公司 一种目标检测及语义分割任务中训练图像集合的生成方法及装置
CN114612879A (zh) * 2022-03-01 2022-06-10 智道网联科技(北京)有限公司 一种地面交通标志检测方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893960A (zh) * 2016-03-31 2016-08-24 杭州电子科技大学 基于相位对称性的道路交通标志检测方法
CN106156749A (zh) * 2016-07-25 2016-11-23 福建星网锐捷安防科技有限公司 基于选择性搜索的人脸检测方法及装置
CN107122776A (zh) * 2017-04-14 2017-09-01 重庆邮电大学 一种基于卷积神经网络的交通标志检测与识别方法
CN108009518A (zh) * 2017-12-19 2018-05-08 大连理工大学 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN108154102A (zh) * 2017-12-21 2018-06-12 安徽师范大学 一种道路交通标志识别方法
CN108182431A (zh) * 2018-03-15 2018-06-19 大连理工大学 一种基于最大稳定极值区域和遗传优化svm的交通标志识别方法
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法
CN108664970A (zh) * 2018-05-17 2018-10-16 淘然视界(杭州)科技有限公司 一种快速目标检测方法、电子设备、存储介质及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893960A (zh) * 2016-03-31 2016-08-24 杭州电子科技大学 基于相位对称性的道路交通标志检测方法
CN106156749A (zh) * 2016-07-25 2016-11-23 福建星网锐捷安防科技有限公司 基于选择性搜索的人脸检测方法及装置
CN107122776A (zh) * 2017-04-14 2017-09-01 重庆邮电大学 一种基于卷积神经网络的交通标志检测与识别方法
CN108009518A (zh) * 2017-12-19 2018-05-08 大连理工大学 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN108154102A (zh) * 2017-12-21 2018-06-12 安徽师范大学 一种道路交通标志识别方法
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法
CN108182431A (zh) * 2018-03-15 2018-06-19 大连理工大学 一种基于最大稳定极值区域和遗传优化svm的交通标志识别方法
CN108664970A (zh) * 2018-05-17 2018-10-16 淘然视界(杭州)科技有限公司 一种快速目标检测方法、电子设备、存储介质及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANDRZEJ RUTA 等: "Real-time traffic sign recognition from video by class-specific discriminative features", 《PATTERN RECOGNITION》 *
公安部第三研究所: "《多摄像机协同关注目标检测跟踪技术》", 30 June 2017, 《东南大学出版社》 *
杨帆: "《数字图像处理与分析》", 31 May 2015, 《北京航空航天大学出版社》 *
蔡会祥: "基于多特征融合的交通标志检测与识别", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
马增妍: "基于卷积神经网络和上下文模型的目标检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2585633A (en) * 2019-05-14 2021-01-20 Wheelright Ltd Tyre sidewall imaging method
GB2585633B (en) * 2019-05-14 2021-09-22 Wheelright Ltd Tyre sidewall imaging method
US11669952B2 (en) 2019-05-14 2023-06-06 Wheelright Limited Tyre sidewall imaging method
CN110175561A (zh) * 2019-05-24 2019-08-27 上海电机学院 一种道路交通标志检测与识别方法
CN111062309A (zh) * 2019-12-13 2020-04-24 吉林大学 一种雨天交通标志检测方法、存储介质及系统
CN112800989A (zh) * 2021-02-02 2021-05-14 上海博泰悦臻电子设备制造有限公司 一种检测斑马线的方法及装置
CN113083724A (zh) * 2021-03-24 2021-07-09 北京霍里思特科技有限公司 矿石识别方法、检测机构、矿产分选机
CN113570808A (zh) * 2021-07-08 2021-10-29 郑州海为电子科技有限公司 一种基于zynq7020的无线烟感探测器
CN113642576A (zh) * 2021-08-24 2021-11-12 凌云光技术股份有限公司 一种目标检测及语义分割任务中训练图像集合的生成方法及装置
CN113642576B (zh) * 2021-08-24 2024-05-24 凌云光技术股份有限公司 一种目标检测及语义分割任务中训练图像集合的生成方法及装置
CN114612879A (zh) * 2022-03-01 2022-06-10 智道网联科技(北京)有限公司 一种地面交通标志检测方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN109446984A (zh) 自然场景中道路交通标志识别方法
CN105373794B (zh) 一种车牌识别方法
CN106934386B (zh) 一种基于自启发式策略的自然场景文字检测方法及系统
Ghimire et al. A robust face detection method based on skin color and edges
CN106651872A (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN107273896A (zh) 一种基于图像识别的车牌检测识别方法
CN108765443A (zh) 一种自适应颜色阈值分割的标志增强处理方法
CN102194108B (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
CN106650553A (zh) 车牌识别方法及系统
CN104751142A (zh) 一种基于笔划特征的自然场景文本检测算法
CN102968782A (zh) 一种彩色图像中显著对象的自动抠取方法
CN105513053B (zh) 一种用于视频分析中背景建模方法
CN101359365A (zh) 一种基于最大类间方差和灰度信息的虹膜定位方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN104050471A (zh) 一种自然场景文字检测方法及系统
CN106529592A (zh) 一种基于混合特征与灰度投影的车牌识别方法
Duan et al. A WBC segmentation methord based on HSI color space
CN106127817B (zh) 一种基于通道的图像二值化方法
CN102842037A (zh) 一种基于多特征融合的车辆阴影消除方法
CN109215364A (zh) 交通信号识别方法、系统、设备和存储介质
CN105761260A (zh) 一种皮肤图像患处分割方法
CN104636754A (zh) 基于舌体分区颜色特征的智能图像分类方法
CN110310291A (zh) 一种稻瘟病分级系统及其方法
Jiang et al. Skin detection using color, texture and space information
Huang et al. Text detection and recognition in natural scene images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308