CN108918532A - 一种快速道路交通标志破损检测系统及其检测方法 - Google Patents
一种快速道路交通标志破损检测系统及其检测方法 Download PDFInfo
- Publication number
- CN108918532A CN108918532A CN201810619858.4A CN201810619858A CN108918532A CN 108918532 A CN108918532 A CN 108918532A CN 201810619858 A CN201810619858 A CN 201810619858A CN 108918532 A CN108918532 A CN 108918532A
- Authority
- CN
- China
- Prior art keywords
- image
- traffic sign
- camera
- encoder
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 46
- 238000005286 illumination Methods 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000001965 increasing effect Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 5
- 230000009466 transformation Effects 0.000 abstract description 5
- 238000012423 maintenance Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 50
- 230000006870 function Effects 0.000 description 14
- 210000002569 neuron Anatomy 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 229910001374 Invar Inorganic materials 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种快速道路交通标志破损检测系统及其检测方法，系统包括一检测车，在检测车上安装有相机、照明装置、光照传感器、相机支架、鉴相装置、四倍频装置、工控机，计数装置、数据采集卡、编码器和GPS装置；检测方法包括图像采集、模型训练、霍夫变换和图像相似性计算，能够对破损交通标志进行定位。采用结合检测车的自动交通标志破损检测方式，大大降低了人力，同时，对未定时进行交通标志牌检测的区域起到了交通标志维护作用，降低了由于交通标志牌破损造成安全隐患的概率。
Description
技术领域
本发明属于道路检测的技术领域，涉及道路的交通标志牌检测，特别涉及一种快速道路交通标志破损检测系统及其检测方法。
背景技术
近年来，随着经济的快速发展，我国的汽车保有量和驾驶人员的数量也一直在迅速增长中。庞大的汽车数量带来了大量的交通事故，交通事故带来的人员伤亡占所有安全事故伤亡中很大的一部分。其中由于交通标志的错误识别带来的安全问题的数量又在交通事故中占有相当大的比例，由此可见交通标志的识别是十分重要的，但是，交通标志识别都是建立在交通标志完好的情况下进行的，当交通标志牌出现裂缝，起皱，缺损等缺陷时，就给交通标志的识别带来了相当大的困难。
交通标志牌是城市的“眼睛”，也是一个城市的象征，有了它们的忠实守望和殷勤提醒，人流、车流、物流才能各行其道，城市交通才能保持畅通无阻。但是有的地方，交通标志牌破坏损毁严重，起不到提醒和警示的作用，不光给车辆和行人造成了安全隐患，也给交通标志的自动识别带来了相当大的困难。
发明内容
针对以上现有技术存在的缺陷或不足，本发明的目的在于，提供一种快速道路交通标志破损检测系统及其检测方法，以降低由于交通标志牌破损，无法看清造成的交通安全问题发生的概率，在实现道路检测与路旁交通标志牌的同时降低劳动成本。
为了实现上述任务，本发明采用以下技术方案得以实现:
一种快速道路交通标志破损检测系统，包括一检测车，其特征在于，在检测车上安装有相机、照明装置、光照传感器、相机支架、鉴相装置、四倍频装置、工控机，计数装置、数据采集卡、编码器和GPS装置，其中，相机固定在相机支架最顶端，用于对道路右侧交通标志进行拍摄，且相机支架位于检测车右侧车门上方，在相机支架位于相机的下方，依次安装有照明装置和光照传感器，其中照明装置用于在天气阴或者光线不足时，提高相机所拍摄的图片亮度，光照传感器用于光照不足时，触发照明装置打开；所述编码器安装于检测车的车轮轴上，用于触发相机拍照以及对检测车行驶位移进行测量；所述鉴相装置、四倍频装置、工控机、计数装置和数据采集卡位于检测车内部，其中，鉴相装置用于对检测车前进后退的方便鉴别，前进进行正计数，后退则进行负计数；所述四倍频装置用于对将编码器的频率转换为触发相机需要的频率；所述计数装置用于对四倍频后的信号进行计数，并通过数据采集卡将数据传送给工控机，由工控机计算得到检测车的相对位置，所述GPS装置用来进行定位。
根据本发明，所述相机采用普通工业相机。
进一步地，所述工控机用于对相机采集的图像进行保存，对数据采集卡传入的编码器计数进行计算，得到该检测车的相对位置。
所述鉴相装置通过编码器输出的A、B方波的相位关系对编码器的输出脉冲进行鉴相，前进则使计数装置进行正计数，后退则计数装置进行负计数，然后经过数据采集卡传入工控机得到相对角位移量。
所述编码器位于检测车的轮轴上，采用增量式光电编码器，输出A、B、Z三路脉冲信号，编码器每旋转一圈Z信号端仅输出一个脉冲，故将Z信号用于同步或调零，不对其做处理；将A、B信号通过四倍频装置得到相机需要的脉冲频率，进而触发相机对道路右侧交通标志进行拍照，同时经过四倍频装置处理的信号通过计数器进行累计计数，最后转化为车辆的相对位置。
上述快速道路交通标志破损检测系统的检测方法，其特征在于，按下列步骤进行：
1)图像采集
图像采集工作过程中，相机常开，由编码器触发其对道路右侧图像进行拍摄，实时采集道路右侧图像，同时传输并保存至工控机中，当光照较弱时，光照传感器检测到光照不充足，触发照明装置工作，增加相机拍摄的图像亮度，使图像更加清晰；
2)模型训练
步骤S1：样本图像预处理
S11：图像裁剪；
S12：图像增强；
S13：图像尺寸归一化；
步骤S2：卷积神经网络模型构建
S21：输入层的确定
输入的图像尺寸为归一化后的图像尺寸227*227，图像为RGB模式的彩色图像，通道数为3；
S22：卷积层的确定
卷积神经网络模型中包括5个卷积层；
S23：池化层的确定
采用最大池化方法对卷积层得到的结果进行池化，最大池化是在邻域范围内选择最大的灰度值来表示这个区域的特征；
S24：全连接层的确定；
S25：输出层的确定；
S26：另：在每层池化层后引入Batch Normalization正则化来处理数据集，该方法对局部区域的数据进行规范化处理，使输出结果的均值为0，方差为1，保证输出的分布均匀，解决因图片不同而产生的差异影响；所用网络模型在池化层后都加入一层BatchNormalization来进行数据归一化处理；
S27：模型其他参数设置；
3)霍夫变换和图像相似性计算
步骤S1：霍夫变换；
采用霍夫变换的方法对所采集的交通标志图像中的圆形标志，矩形标志，三角形标志进行标记并提取；
步骤S2：图像相似性检测
利用步骤S1中方法过滤掉不含交通标志得图片，并提取出图像中得交通标志区域后，利用之前训练好得神经网络对该交通标志进行识别，识别后，用存储器中预存得完整得交通标志与图像中提取出的交通标志进行相似性检测，在图像相似性检测过程中，采用感知哈希算法；
S21.缩小图片；
S22.转化为灰度图；
S23.计算DCT；
S24.缩小DCT；
S25.计算平均值；
S26.进一步减小DCT；
S27.得到信息指纹。
本发明的快速道路交通标志破损检测系统及其检测方法，通过安装在车辆右上方支架上面的相机采集交通标志图像，采用霍夫变换对交通标志图像进行标志检测及提取，应用卷积神经网络对交通标志进行识别，通过相似性检测对图像破损程度进行判断，通过检测结果和设定阈值相比较，判断交通标志是否破损，若交通标志破损，则对其进行标记，并结合检测车的定位功能，对破损交通标志进行定位。采用结合检测车的自动交通标志破损检测方式，大大降低了人力，同时，对未定时进行交通标志牌检测的区域起到了交通标志维护作用，降低了由于交通标志牌破损造成安全隐患的概率。
附图说明
图1是本发明的快速道路交通标志破损检测系统硬件安装示意图。
图2是相机触发及车辆相对位置测量原理连接图；
图3是本发明的快速道路交通标志破损检测系统的检测方法流程图；
图4是网络模型结构图。
图5是样本图像预处理过程中图像裁剪前后对比图；
图6是训练结果1曲线图；
图7是训练结果2曲线图
图8是交通标志区域提取结果示意图片；
图9：相似度检测结果图片；
为了使本发明实现的技术手段、特征、及其功能易于明白理解，下面结合附图和实施例对本发明作进一步的详细说明。
具体实施方式
参见图1和图2，本实施例给出一种快速道路交通标志破损检测系统，包括一检测车，在检测车上安装有相机1、照明装置2、光照传感器3、相机支架4、鉴相装置5、四倍频装置6、工控机7，计数装置8、数据采集卡9、编码器10和GPS装置11，其中，相机1固定在相机支架4最顶端，用于对道路右侧交通标志进行拍摄，且相机支架4位于检测车右侧车门上方，在相机支架4位于相机1的下方，依次安装有照明装置2和光照传感器3，其中照明装置2用于在天气阴或者光线不足时，提高相机1所拍摄的图片亮度，光照传感器3用于光照不足时，触发照明装置2打开；所述编码器10安装于检测车的车轮轴上，用于触发相机1拍照以及对检测车行驶位移进行测量；所述鉴相装置5、四倍频装置6、工控机7、计数装置8和数据采集卡9位于检测车内部，其中，鉴相装置5用于对检测车前进后退的方便鉴别，前进进行正计数，后退则进行负计数；所述四倍频装置6用于对将编码器10的频率转换为触发相机1需要的频率；所述计数装置8用于对四倍频后的信号进行计数，并通过数据采集卡9将数据传送给工控机7，由工控机7计算得到检测车的相对位置，所述GPS装置11用来进行定位。
本实施例中，所述相机1采用普通工业相机。
所述工控机7用于对相机1采集的图像进行保存，对数据采集卡9传入的编码器10计数进行计算，得到该检测车的相对位置。
所述鉴相装置5通过编码器10输出的A、B方波的相位关系对编码器10的输出脉冲进行鉴相，前进则使计数装置10进行正计数，后退则计数装置8进行负计数，然后经过数据采集卡9传入工控机7得到相对角位移量。
所述编码器10位于检测车的轮轴上，采用增量式光电编码器，输出A、B、Z三路脉冲信号，编码器10每旋转一圈Z信号端仅输出一个脉冲，故将Z信号用于同步或调零，不对其做处理；将A、B信号通过四倍频装置6得到相机需要的脉冲频率，进而触发相机1对道路右侧交通标志进行拍照，同时经过四倍频装置6处理的信号通过计数器8进行累计计数，最后转化为车辆的相对位置。
该方法的实现思路为通过安装于检测车上方的相机1采集道路上的交通标志牌图像，通过霍夫变换对交通标志区域进行检测并提取，通过训练好的卷积神经网络模型对交通标志图像进行识别，进而通过与完整图像对比判断其是否为破损的交通标志。
上述快速道路交通标志破损检测系统的检测方法的检测流程图如图3所示，具体实现过程如下：
启动检测车，快速道路交通标志破损检测系统上电，编码器10开始工作，编码器10连通鉴相装置5，鉴相装置5分别连通计数装置8和四倍频装置6，计数装置8依次连通数据采集卡9，工控机7通过脉冲计数，根据比例关系算出相应位移；
四倍频装置6触发相机1拍照，同时触发GPS装置11将该时刻位置进行记录，相机1送来的拍摄图像由工控机7利用霍夫变换对图像中的圆形、方形、三角形交通标志进行快速检测，滤掉不含交通标志、或者拍摄到不完整交通标志的图像，并将含有交通标志的图像中的交通标志提取出来，进行神经网络模型的复用，对交通标志进行检测，将检测出来的图片与存储器中的完整图片进行相似性检测，相似性在某个阈值邻域范围内，则认为交通标志破损，需要修补，如果小于该阈值邻域的左边界，则判断为异常图像，需要人工检测，如果大于该阈值邻域的右边界，则认为完好交通标志，不需要进行任何处理。
1)图像采集
图像采集部分工作过程中，相机1在检测中常开，由编码器10触发其对道路右侧图像进行拍摄，实时采集道路右侧图像，同时传输并保存至工控机7中，当光照较弱时，光照传感器3检测到光照不充足，触发照明装置2工作，增加相机1拍摄的图像亮度，使拍摄的图像更加清晰。
2)模型训练
具体步骤为：
步骤S1：样本图像预处理
S11：图像裁剪
本实施例所收集的图片库中的图像有10％左右的背景边缘，所采用的分类算法不需要边缘信息，而且边缘信息可能给后续识别带来麻烦，故利用CSV注释文件中所提供的边界框坐标进行了裁剪。裁剪结果如图5所示。
S12：图像增强
图片库中有不少受光照等实际拍摄情况影响而出现曝光不足、过度曝光及模糊等的图像，故需要进行图像增强操作来减小噪声、突出交通标志主题，达到提高图像质量和提高识别准确率的目的。
基于空间域的图像增强方法在计算上更有效并且需要较少的处理资源，故采用空间域图像增强方法，限制对比度的自适应直方图均衡化方法。
关于空间域图像增强的处理均可由下式(1)表示：
g(x,y)＝T[f(x,y)] (1)
其中，g(x,y)是处理后的图像，f(x,y)是输入图像，而T是对输入图像的一种算子。T的作用域为点(x,y)的某邻域，邻域是指中心在点(x,y)处的矩形区域。对于任意位置的像素点(x,y)，灰度输出g是T作用在原始图像f中该点邻域的结果，若邻域大小为最小邻域1*1，则g只取决于f中点(x,y)处的像素值。此时式(1)中的形式则变为：
s＝T(r) (2)
式中，s为变换后g在任意点(x,y)处的灰度值，r为原始图像f上任意点(x,y)处的灰度值。
S13：图像尺寸归一化
图片库中的图像大小是15*15到250*250像素之间变化。大小不同的图像在神经网络训练学习过程中会导致特征维度不同，无法完成后续的分类任务。所以在图像输入之前，必须要进行尺寸归一化操作。本实施例中采用双线性插值法作为尺寸归一化的方法。
令(x,y)为需要的新的灰度值的位置坐标，v(x,y)为该点的像素值，其中4个系数由4个最近邻点所写的未知方程确定。
v(x,y)＝ax+by+cxy+d (3)
步骤S2：卷积神经网络模型构建
卷积神经网络模型构建如图4所示。
S21：输入层的确定：
输入的图像尺寸为归一化后的图像尺寸227*227，图像为RGB模式的彩色图像，通道数为3；
S22：卷积层的确定：
所涉及的卷积神经网络模型中包括5个卷积层。
卷积层是卷积神经网络模型中的核心层。在卷积层中可以与上一层响应图建立不同大小的卷积核，这些卷积核表示为一些权重矩阵。卷积过程中的每个卷积核函数可以当作滤波器，过滤输入图像，向结果响应图添加偏置，并通过非线性激活函数激活它。不同的卷积核可以得到不同的特征响应图，并且该图层的响应图将继续作为下一级输入传播，每个输出特征图可以通过卷积多个输入特征图的组合来获得。卷积层的计算公式如下：
式中，表示第l层的第j个特征响应图，为卷积核函数，是偏置，f为激活函数。
卷积核可以提取一些有意义的特征。例如，第一卷积层的卷积核可以提取简单的梯度信息，例如边缘和角，输入是彩色图像，可以提取明显的颜色信息。第二层的卷积核将可能提取类似于边与角自由组合的信息。
参数设置如下：
卷积层1：卷积核大小为11*11，步长为4，通道数为64；
卷积层2：卷积核大小为5*5，步长为1，通道数为192；
卷积层3：卷积核大小为3*3，步长为1，通道数为384；
卷积层4：卷积核大小为3*3，步长为1，通道数为256；
卷积层5：卷积核大小为3*3，步长为1，通道数为256。
S23：池化层的确定：
对卷积层得到的特征响应图进行池化操作，可以降低维数，简化网络计算的复杂度，降低过拟合的风险，从而节省运算时间，提高训练的效率。
本实施例采用最大池化方法对卷积层得到的结果进行池化，最大池化是在邻域范围内选择最大的灰度值来表示这个区域的特征。
池化操作参数设置：
池化层1：池化区域大小为3*3，步长为2；
池化层2：池化区域大小为3*3，步长为2；
池化层3：池化区域大小为3*3，步长为2；
S24：全连接层的确定：
全连接层用来进行分类和回归，设置在卷积层和池化层之后。在特征输入全连接层之前，将多维的特征向量“拉伸”成一个一维向量，向量中的每一个元素将作为神经元与全连接层中所有的神经元相连，卷积神经网络模型中大多数的参数都来自于这一层。
全连接层参数设置：
全连接层1：神经元数量为4096，也就是通道数为4096；
全连接层2：神经元数量为4096，也就是通道数为4096；
S25：输出层的确定：
记类标y可以取k个不同的值，对于训练集{(x(1),y(1)),…,(x(m),y(m))}，类标签为y(i)∈{1,2,…,k}，也就是说一共有k种类别。
对于给定的输入x(i)，用假设函数hθ(x(i))针对每一个类j估算出概率值p(y(i)＝j∣x(i))，其中j＝1,2,…,k。hθ(x(i))输出一个k维的列向量(和为1)，每行表示当前类的概率。
定义假设函数hθ(x(i))为：
其中，θ1,θ2,…,θk是模型的参数。通过网络模型将训练集的输入x(i)分为类别j的概率为：
在训练网络模型时，还需要定义一个评估模型的好坏的指标，即损失函数，然后通过一些方法来尽可能地最小化这个指标。在SoftMax分类器中，最常用到的损失函数是交叉熵函数，交叉熵函数一开始是由信息压缩编码技术产生而来的，但后来也演变成了其他领域的重要技术，比如博弈论和机器学习等。其定义如下：
S26：另：在每层池化层后引入Batch Normalization正则化来处理数据集，BatchNormalization正则化就是一种新提出的处理输入数据差异的方法，这种方法对局部区域的数据进行规范化处理，使输出结果的均值为0，方差为1，保证了输出的分布均匀，解决了因图片不同而产生的差异影响。本实施例所用网络模型在池化层后都加入一层BatchNormalization来进行数据归一化处理。
在每个Batch Normalization归一化后使用dropout层。这种方法利用了神经元稀疏性，可以提高整个网络的性能。为了保证检测的实时性，这种方法只用于训练时，不用于测试时。
S27：模型其他参数设置
(1)权重初始化：
通常来说小随机数初始化会设w～0.01*N(0,1)，N(0,1)是均值为0，标准差为1的标准正态分布。但是小随机数也存在一定的问题，很小的权重值会导致反向传播时的梯度也很小，在深层网络中可能出现问题；另外数据量越大，神经元输出的数据分布的方差也就越大。
本实施例在验证了random normal、truncated normal、glorot normal、glorotuniform、he normal和he uniform初始化方式在其他参数相同的情况下的准确率影响后，决定采用正确率最高的henormol的初始化方式。
(2)激活函数：
采用ReLU函数，表达式为f(x)＝max(0,x)，也就是经过ReLU函数，小于1的输入都被置为0，大于0的部分输入输出相同。
(3)优化器：
这种算法需要存储和计算指数衰减的梯度均值mt和梯度平方均值vt，其中β1，β2∈[0,1)控制这些移动平均值的指数衰减率。具体的公式如下：
mt＝β1mt-1+(1-β1)gt (8)
其中，是t时刻损失函数的梯度值。然而，这些移动的均值是被初始化为零向量的，在一开始的时间里容易导致矩估计的偏差为0，特别是当衰减因子比较小的时候。不过同时这一初始化偏差也很好抵消，可以引入偏差校正估计值和其表达形式如下：
一阶矩和二阶矩的偏差被修正后，最后得到的Adam法公式形式如下：
经过实验，在实际神经网络学习中的默认设置值为：η＝0.001，β1＝0.9，β2＝0.999，ε＝1e-8。
在对比了SGD、Momentum、Adagrad、Adadelta和Adam在其他参数相同下的准确率后，综合考虑训练率和准确率，选择训练时间适中，准确率较高的Adam(η＝0.001，β1＝0.9，β2＝0.999，ε＝1e-8)优化器。
(4)Dropout参数选择：
Dropout的参数表示在一层已经被激活的神经元经过Dropout层后被保留的比率。通过设置Dropout参数分别为0.5,0.8,1时进行对比，随着Dropout参数的增大，被丢弃的神经元减少，训练时间会明显缩短，而在正确率方面，Dropout参数为0.8时最高。故综合考虑训练率和准确率，应使用Dropout层，参数为0.8。
最后的训练结果如图6、图7所示。最终，对于测试集上的图片，在进行和测试集同等的预处理操作后送入模型测试，获得了99.17％的准确率，每幅图像平均用时0.02秒。
至此，模型训练完成。可采用模型复用的方式，识别实际道路中拍摄的图片。
实际道路的交通标志图片在预处理的过程中，由于相机1拍摄图片很多，将图片传送至工控机5后，这时的图片可能大多数图片中是没有交通标志或者交通标志不完整的，需要采用人工挑选的方式，挑选出包括交通标志的图像。再将模型用于挑选的图片中。
3)霍夫变换和图像相似性计算
具体步骤为：
步骤S1：霍夫变换
采用霍夫变换的方法对所采集的交通标志图像中的圆形标志，矩形标志，三角形标志进行标记并提取。本实施例仅以圆形标志为例。
霍夫变换圆检测的基本思想是将图像空间中的边缘像素点映射到参数空间然后把参数空间的坐标点元素对应的累加值进行累加，最后根据累加值确定圆心和半径。
圆形的一般方程可以写成：
(x-a)2+(y-b)2＝r2 (13)
其中(a,b)为圆心，r为半径。在直角坐标系中，将圆上的点(x,y)转换到极坐标平面中，对应的公式为：
假设图像空间中的一个边缘点(x0,y0)，以半径为r0映射到参数空间。将这个边缘点(x0,y0)代入上式，再进行相应的变换，可以写成：
在图像空间取圆上的任意一点，由于半径可以取任意值，那么映射到参数空间是一个圆锥。若取圆上的3个点映射到参数空间，则为三个相交的圆锥，交点则反应了图像空间中圆心得坐标和圆得半径。之后通过计算得出最大累加值，找到圆心个半径并进行标记。
本实施例所提取结果如图8所示。
步骤S2：图像相似性检测
利用步骤S1中方法过滤掉不含交通标志得图片，并提取出图像中得交通标志区域后，利用之前训练好得神经网络对该交通标志进行识别，识别后，用存储器中预存得完整得交通标志与图像中提取出的交通标志进行相似性检测。
在图像相似性检测过程中，采用感知哈希算法。具体步骤如下：
S21.缩小图片：
32*32是一个较好的大小，这样方便DCT(离散余弦变换)计算；
S22.转化为灰度图：
把缩放后的图片转化为256阶的灰度图。本发明中采用可用Image的对象的方法convert('L')直接转换为灰度图；
S23.计算DCT：DCT把图片分离成分率的集合；
S24.缩小DCT(离散余弦变换)：
DCT是32*32，保留左上角的8*8，这些代表的图片的最低频率；
S25.计算平均值：
计算缩小DCT后的所有像素点的平均值。
S26.进一步减小DCT：
大于平均值记录为1，反之记录为0。
S27.得到信息指纹：
组合64个信息位，顺序随意保持一致性。
最后通过比对比对两张图片的指纹，获得汉明距离。通过将汉明距离与之前的设定的阈值进行比较，判断两个交通标志的相似性达到什么程度，进而判断交通标志是否有识别不清，出现腐蚀、弯折或其他破坏。
情况一：当两张图片得检测相似度在某个阈值邻域范围内，则认为该交通标志破损，需要修补。
情况二：当两张图片得检测相似度小于该设定得阈值得邻域左边界，则认为该图像存在异常，需人工检测。
情况三：当两张图片得检测相似度大于该设定得阈值得邻域右边界，则认为该交通标志完好，无需进行额外处理。
如图9所示为相似度检测结果图。
Claims (6)
1.一种快速道路交通标志破损检测系统，包括一检测车，其特征在于，在检测车上安装有相机(1)、照明装置(2)、光照传感器(3)、相机支架(4)、鉴相装置(5)、四倍频装置(6)、工控机(7)，计数装置(8)、数据采集卡(9)、编码器(10)和GPS装置(11)，其中，相机(1)固定在相机支架(4)最顶端，用于对道路右侧交通标志进行拍摄，且相机支架(4)位于检测车右侧车门上方，在相机支架(4)位于相机(1)的下方，依次安装有照明装置(2)和光照传感器(3)，其中照明装置(2)用于在天气阴或者光线不足时，提高相机(1)所拍摄的图片亮度，光照传感器(3)用于光照不足时，触发照明装置(2)打开；所述编码器(10)安装于检测车的车轮轴上，用于触发相机(1)拍照以及对检测车行驶位移进行测量；所述鉴相装置(5)、四倍频装置(6)、工控机(7)、计数装置(8)和数据采集卡(9)位于检测车内部，其中，鉴相装置(5)用于对检测车前进后退的方便鉴别，前进进行正计数，后退则进行负计数；所述四倍频装置(6)用于对将编码器(10)的频率转换为触发相机(1)需要的频率；所述计数装置(8)用于对四倍频后的信号进行计数，并通过数据采集卡(9)将数据传送给工控机(7)，由工控机(7)计算得到检测车的相对位置，所述GPS装置(11)用来进行定位。
2.如权利要求所述的快速道路交通标志破损检测系统，其特征在于，所述相机(1)采用普通工业相机。
3.如权利要求所述的快速道路交通标志破损检测系统，其特征在于，所述工控机(7)用于对相机(1)采集的图像进行保存，对数据采集卡(9)传入的编码器(10)计数进行计算，得到该检测车的相对位置。
4.如权利要求所述的快速道路交通标志破损检测系统，其特征在于，所述鉴相装置(5)通过编码器(8)输出的A、B方波的相位关系对编码器(8)的输出脉冲进行鉴相，前进则使计数装置(8)进行正计数，后退则计数装置(8)进行负计数，然后经过数据采集卡(9)传入工控机(7)得到相对角位移量。
5.如权利要求所述的快速道路交通标志破损检测系统，其特征在于，所述编码器(10)位于检测车的轮轴上，采用增量式光电编码器，输出A、B、Z三路脉冲信号，编码器(10)每旋转一圈Z信号端仅输出一个脉冲，故将Z信号用于同步或调零，不对其做处理；将A、B信号通过四倍频装置(6)得到相机需要的脉冲频率，进而触发相机(1)对道路右侧交通标志进行拍照，同时经过四倍频装置(6)处理的信号通过计数器(8)进行累计计数，最后转化为车辆的相对位置。
6.实现权利要求1至5其中之一所述的快速道路交通标志破损检测系统的检测方法，其特征在于，按下列步骤进行：
1)图像采集
图像采集工作过程中，相机(1)常开，由编码器(8)触发其对道路右侧图像进行拍摄，实时采集道路右侧图像，同时传输并保存至工控机(7)中，当光照较弱时，光照传感器(3)检测到光照不充足，触发照明装置(2)工作，增加相机(1)拍摄的图像亮度，使图像更加清晰；
2)模型训练
步骤S1：样本图像预处理
S11：图像裁剪；
S12：图像增强；
S13：图像尺寸归一化；
步骤S2：卷积神经网络模型构建
S21：输入层的确定
输入的图像尺寸为归一化后的图像尺寸227*227，图像为RGB模式的彩色图像，通道数为3；
S22：卷积层的确定
卷积神经网络模型中包括5个卷积层；
S23：池化层的确定
采用最大池化方法对卷积层得到的结果进行池化，最大池化是在邻域范围内选择最大的灰度值来表示这个区域的特征；
S24：全连接层的确定；
S25：输出层的确定；
S26：另：在每层池化层后引入Batch Normalization正则化来处理数据集，该方法对局部区域的数据进行规范化处理，使输出结果的均值为0，方差为1，保证输出的分布均匀，解决因图片不同而产生的差异影响；所用网络模型在池化层后都加入一层BatchNormalization来进行数据归一化处理；
S27：模型其他参数设置；
3)霍夫变换和图像相似性计算
步骤S1：霍夫变换；
采用霍夫变换的方法对所采集的交通标志图像中的圆形标志，矩形标志，三角形标志进行标记并提取；
步骤S2：图像相似性检测
利用步骤S1中方法过滤掉不含交通标志得图片，并提取出图像中得交通标志区域后，利用之前训练好得神经网络对该交通标志进行识别，识别后，用存储器中预存得完整得交通标志与图像中提取出的交通标志进行相似性检测，在图像相似性检测过程中，采用感知哈希算法；
S21.缩小图片；
S22.转化为灰度图；
S23.计算DCT；
S24.缩小DCT；
S25.计算平均值；
S26.进一步减小DCT；
S27.得到信息指纹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810619858.4A CN108918532B (zh) | 2018-06-15 | 2018-06-15 | 一种快速道路交通标志破损检测系统及其检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810619858.4A CN108918532B (zh) | 2018-06-15 | 2018-06-15 | 一种快速道路交通标志破损检测系统及其检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108918532A true CN108918532A (zh) | 2018-11-30 |
| CN108918532B CN108918532B (zh) | 2021-06-11 |
Family
ID=64421039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810619858.4A Active CN108918532B (zh) | 2018-06-15 | 2018-06-15 | 一种快速道路交通标志破损检测系统及其检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108918532B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110007177A (zh) * | 2019-04-29 | 2019-07-12 | 南京信息工程大学 | 一种开闭所内智能故障检测设备 |
| CN110967345A (zh) * | 2019-11-28 | 2020-04-07 | 长安大学 | 一种人行道破损检测装置及破损砖块识别定位方法 |
| CN112147573A (zh) * | 2020-09-14 | 2020-12-29 | 山东科技大学 | 一种基于csi的幅值和相位信息的无源定位方法 |
| CN112507902A (zh) * | 2020-12-15 | 2021-03-16 | 深圳市城市交通规划设计研究中心股份有限公司 | 交通标志异常检测方法、计算机设备及存储介质 |
| CN112590719A (zh) * | 2020-12-24 | 2021-04-02 | 青海慧洗智能科技有限公司 | 汽车车窗开闭状态检测装置和方法 |
| CN113029126A (zh) * | 2021-03-05 | 2021-06-25 | 成都国铁电气设备有限公司 | 车载接触网电分相线路标志检测装置和方法 |
| CN113196357A (zh) * | 2018-12-14 | 2021-07-30 | 伟摩有限责任公司 | 检测陌生标志 |
| CN113432644A (zh) * | 2021-06-16 | 2021-09-24 | 苏州艾美睿智能系统有限公司 | 一种无人搬运车异常检测系统及检测方法 |
| CN113780196A (zh) * | 2021-09-15 | 2021-12-10 | 江阴市浩华新型复合材料有限公司 | 异常数据实时上报系统 |
| CN114022923A (zh) * | 2021-09-17 | 2022-02-08 | 云南开屏信息技术有限责任公司 | 智能采编系统 |
| CN114299308A (zh) * | 2021-12-20 | 2022-04-08 | 中用科技有限公司 | 一种损毁道路护栏智能检测系统与方法 |
| CN115188413A (zh) * | 2022-06-17 | 2022-10-14 | 广州智睿医疗科技有限公司 | 一种染色体核型分析模块 |
| GB2615107A (en) * | 2022-01-28 | 2023-08-02 | Continental Autonomous Mobility Germany GmbH | System and apparatus suitable for sign recognition and/or restoration thereof, and processing method in association thereto |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10260141A (ja) * | 1997-03-18 | 1998-09-29 | Hitachi Denshi Ltd | 欠陥検査装置 |
| CN1564190A (zh) * | 2004-04-01 | 2005-01-12 | 上海交通大学 | 利用限制性随机霍夫变换进行椭圆检测的图像处理方法 |
| CN201576001U (zh) * | 2010-01-13 | 2010-09-08 | 长安大学 | 一种采用光电编码器的模型车测速装置 |
| CN102061659A (zh) * | 2010-10-27 | 2011-05-18 | 毛庆洲 | 一种城市道路路面日常巡检设备 |
| CN103020623A (zh) * | 2011-09-23 | 2013-04-03 | 株式会社理光 | 交通标志检测方法和交通标志检测设备 |
| CN203011855U (zh) * | 2013-01-17 | 2013-06-19 | 招商局重庆交通科研设计院有限公司 | 移动式隧道综合检测系统 |
| CN104504904A (zh) * | 2015-01-08 | 2015-04-08 | 杭州智诚惠通科技有限公司 | 一种交通设施移动采集方法 |
| CN106372571A (zh) * | 2016-08-18 | 2017-02-01 | 宁波傲视智绘光电科技有限公司 | 路面交通标志检测与识别方法 |
| CN106529404A (zh) * | 2016-09-30 | 2017-03-22 | 张家港长安大学汽车工程研究院 | 基于摄像原理的无人驾驶汽车对路面标志线的识别方法 |
| CN107220643A (zh) * | 2017-04-12 | 2017-09-29 | 广东工业大学 | 基于紧凑型神经网络的深度学习模型的交通标志识别系统 |
| CN206983831U (zh) * | 2017-07-10 | 2018-02-09 | 山西省交通科学研究院 | 一种隧道智能检测车 |
| CN107703149A (zh) * | 2017-10-13 | 2018-02-16 | 成都精工华耀机械制造有限公司 | 一种基于双目视觉与激光散斑的铁轨扣件异常检测系统 |
| CN108109146A (zh) * | 2018-01-03 | 2018-06-01 | 韦德永 | 一种路面标志线缺陷检测装置 |
-
2018
- 2018-06-15 CN CN201810619858.4A patent/CN108918532B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10260141A (ja) * | 1997-03-18 | 1998-09-29 | Hitachi Denshi Ltd | 欠陥検査装置 |
| CN1564190A (zh) * | 2004-04-01 | 2005-01-12 | 上海交通大学 | 利用限制性随机霍夫变换进行椭圆检测的图像处理方法 |
| CN201576001U (zh) * | 2010-01-13 | 2010-09-08 | 长安大学 | 一种采用光电编码器的模型车测速装置 |
| CN102061659A (zh) * | 2010-10-27 | 2011-05-18 | 毛庆洲 | 一种城市道路路面日常巡检设备 |
| CN103020623A (zh) * | 2011-09-23 | 2013-04-03 | 株式会社理光 | 交通标志检测方法和交通标志检测设备 |
| CN203011855U (zh) * | 2013-01-17 | 2013-06-19 | 招商局重庆交通科研设计院有限公司 | 移动式隧道综合检测系统 |
| CN104504904A (zh) * | 2015-01-08 | 2015-04-08 | 杭州智诚惠通科技有限公司 | 一种交通设施移动采集方法 |
| CN106372571A (zh) * | 2016-08-18 | 2017-02-01 | 宁波傲视智绘光电科技有限公司 | 路面交通标志检测与识别方法 |
| CN106529404A (zh) * | 2016-09-30 | 2017-03-22 | 张家港长安大学汽车工程研究院 | 基于摄像原理的无人驾驶汽车对路面标志线的识别方法 |
| CN107220643A (zh) * | 2017-04-12 | 2017-09-29 | 广东工业大学 | 基于紧凑型神经网络的深度学习模型的交通标志识别系统 |
| CN206983831U (zh) * | 2017-07-10 | 2018-02-09 | 山西省交通科学研究院 | 一种隧道智能检测车 |
| CN107703149A (zh) * | 2017-10-13 | 2018-02-16 | 成都精工华耀机械制造有限公司 | 一种基于双目视觉与激光散斑的铁轨扣件异常检测系统 |
| CN108109146A (zh) * | 2018-01-03 | 2018-06-01 | 韦德永 | 一种路面标志线缺陷检测装置 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113196357B (zh) * | 2018-12-14 | 2022-06-14 | 伟摩有限责任公司 | 响应于检测和分析陌生交通标志来控制自主车辆的方法和系统 |
| US11836955B2 (en) | 2018-12-14 | 2023-12-05 | Waymo Llc | Detecting unfamiliar signs |
| CN113196357A (zh) * | 2018-12-14 | 2021-07-30 | 伟摩有限责任公司 | 检测陌生标志 |
| CN110007177A (zh) * | 2019-04-29 | 2019-07-12 | 南京信息工程大学 | 一种开闭所内智能故障检测设备 |
| CN110967345A (zh) * | 2019-11-28 | 2020-04-07 | 长安大学 | 一种人行道破损检测装置及破损砖块识别定位方法 |
| CN110967345B (zh) * | 2019-11-28 | 2022-08-02 | 长安大学 | 一种人行道破损检测装置及破损砖块识别定位方法 |
| CN112147573A (zh) * | 2020-09-14 | 2020-12-29 | 山东科技大学 | 一种基于csi的幅值和相位信息的无源定位方法 |
| CN112507902A (zh) * | 2020-12-15 | 2021-03-16 | 深圳市城市交通规划设计研究中心股份有限公司 | 交通标志异常检测方法、计算机设备及存储介质 |
| CN112590719A (zh) * | 2020-12-24 | 2021-04-02 | 青海慧洗智能科技有限公司 | 汽车车窗开闭状态检测装置和方法 |
| CN113029126A (zh) * | 2021-03-05 | 2021-06-25 | 成都国铁电气设备有限公司 | 车载接触网电分相线路标志检测装置和方法 |
| CN113432644A (zh) * | 2021-06-16 | 2021-09-24 | 苏州艾美睿智能系统有限公司 | 一种无人搬运车异常检测系统及检测方法 |
| CN113780196A (zh) * | 2021-09-15 | 2021-12-10 | 江阴市浩华新型复合材料有限公司 | 异常数据实时上报系统 |
| CN114022923A (zh) * | 2021-09-17 | 2022-02-08 | 云南开屏信息技术有限责任公司 | 智能采编系统 |
| CN114299308A (zh) * | 2021-12-20 | 2022-04-08 | 中用科技有限公司 | 一种损毁道路护栏智能检测系统与方法 |
| GB2615107A (en) * | 2022-01-28 | 2023-08-02 | Continental Autonomous Mobility Germany GmbH | System and apparatus suitable for sign recognition and/or restoration thereof, and processing method in association thereto |
| CN115188413A (zh) * | 2022-06-17 | 2022-10-14 | 广州智睿医疗科技有限公司 | 一种染色体核型分析模块 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108918532B (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108918532B (zh) | 一种快速道路交通标志破损检测系统及其检测方法 | |
| CN109993056B (zh) | 一种识别车辆违章行为的方法、服务器及存储介质 | |
| CN109740478B (zh) | 车辆检测及识别方法、装置、计算机设备及可读存储介质 | |
| CN107230202B (zh) | 路面病害图像的自动识别方法和系统 | |
| CN107301405A (zh) | 自然场景下的交通标志检测方法 | |
| Zhang et al. | Study on traffic sign recognition by optimized Lenet-5 algorithm | |
| CN109635733B (zh) | 基于视觉显著性和队列修正的停车场和车辆目标检测方法 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| CN109886086B (zh) | 基于hog特征和线性svm级联分类器的行人检测方法 | |
| CN107092876A (zh) | 基于Retinex与S‑SIFT特征结合的低照度车型识别方法 | |
| CN106778742B (zh) | 一种基于Gabor滤波器背景纹理抑制的车标检测方法 | |
| CN109460722B (zh) | 一种车牌智能识别方法 | |
| CN116597432B (zh) | 一种基于改进yolov5算法的车牌识别系统 | |
| Daniel et al. | Automatic road distress detection and analysis | |
| CN105787475A (zh) | 一种复杂环境下的交通标志检测与识别方法 | |
| CN109063669B (zh) | 一种基于图像识别的桥区船舶航行态势分析方法及装置 | |
| CN113537211A (zh) | 一种基于非对称iou的深度学习车牌框定位方法 | |
| CN105512622A (zh) | 一种基于图分割和监督学习的可见光遥感图像海陆分割方法 | |
| CN110321855A (zh) | 一种雾天检测预警装置 | |
| CN108073940A (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
| Triantoro et al. | Image based water gauge reading developed with ANN Kohonen | |
| CN113221603A (zh) | 一种检测监控设备被异物遮挡的方法及装置 | |
| Tsai et al. | Vehicle detection using normalized color and edge map | |
| CN114332781A (zh) | 一种基于深度学习的智能车牌识别方法及系统 | |
| CN117475327A (zh) | 一种城市中基于遥感图像的多目标检测定位方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |