CN108009518A - 一种基于快速二分卷积神经网络的层次化交通标识识别方法 - Google Patents

一种基于快速二分卷积神经网络的层次化交通标识识别方法 Download PDF

Info

Publication number
CN108009518A
CN108009518A CN201711373435.0A CN201711373435A CN108009518A CN 108009518 A CN108009518 A CN 108009518A CN 201711373435 A CN201711373435 A CN 201711373435A CN 108009518 A CN108009518 A CN 108009518A
Authority
CN
China
Prior art keywords
mrow
msub
layer
convolution
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711373435.0A
Other languages
English (en)
Inventor
葛宏伟
赵明德
杨心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201711373435.0A priority Critical patent/CN108009518A/zh
Publication of CN108009518A publication Critical patent/CN108009518A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机应用及计算视觉技术领域,提供了一种基于快速二分卷积神经网络的层次化交通标识识别方法。本发明设计了快速二分卷积神经网络结构以缓解卷积过程的计算量大与耗时问题,并提出了基于快速卷积神经网络的层次化分类算法。具体应用上,在粗分类阶段,首先对交通标识图像进行预处理得到感兴趣区域,然后将感兴趣区域输入到快速二分卷积神经网络粗分为若干大类;在细分类阶段,针对各类的特点对交通标识进行再次预处理,对处理后的标识进一步利用快速二分卷积网络进行细分类得出最终结果。结果表明,提出的算法不仅具有较高的分类正确率,同时具有较快的处理速度,更加适用于实时性要求较高的交通标识识别系统。

Description

一种基于快速二分卷积神经网络的层次化交通标识识别方法
技术领域
本发明属于计算机应用及计算视觉技术领域,涉及一种卷积神经网络的改进结构及其在交通标识识别问题的应用。本发明提出了一种基于快速二分卷积神经网络的层次化交通标识识别方法。主要创新在于设计了快速二分卷积神经网络结构以缓解卷积过程的计算量大与耗时问题。进而基于该网络结构提出了层次化交通标识识别方法,该方法不仅具有较高的分类正确率,同时具有较快的处理速度,更加适用于实时性要求较高的交通标识识别系统。
背景技术
交通标识是一种具有显著的颜色和形状特征的公共标识,对驾驶员起到指示、提示和警示等作用,是智能交通系统的一个重要组成部分。在实际驾驶中,及时准确地识别交通标识对减轻驾驶员行车压力、提高道路交通安全有着重要的作用。尤其在复杂道路环境下,比如,十字路口、闹市区、道路施工等,忽视交通标识就很可能造成交通事故。而对于无人驾驶车辆,能否准确及时地检测和识别交通信息,是直接衡量整个系统是否能够实现自动控制的重要指标。此外,交通标识检测与识别的相关技术还可以应用到其他领域,比如自动巡航控制、智能机器人等。然而,真实环境下的交通情况复杂多变,光照强度、天气因素、局部遮挡、视角倾斜等问题使得交通标识识别系统的研究面临许多困难。本发明在调研国内外相关研究的基础上,提出了一种基于快速二分卷积神经网络的层次化交通标识识别方法。
目前,交通标识识别(Traffic Sign Recognition,TSR)系统主要是通过安装在车辆上的摄像机采集道路上的交通标识信息,传送到图像处理模块进行标识检测和识别,之后系统将根据识别的结果做出不同的应对措施。交通标识检测与识别往往是在复杂的室外交通环境,且在汽车行驶的过程中进行,属于运动目标识别问题,它比一般的非自然场景下的目标识别更具挑战性,需要应对更多可能出现的不利情况,其困难主要表现在以下几个方面:(1)复杂多变的光照条件给交通标识的检测和识别带来困难;(2)背景环境干扰使得在标识检测过程中不易发现标识区域;(3)多交通标识的连续排列增加了标识的定位分割难度;(4)交通标识遮挡增加了检测和识别的难度;(5)交通标识位置倾斜导致收集到的图像会出现形变影响识别;(6)实时性要求高,要求设计的算法在提高检测和识别准确率的同时具有较高的实时性。
受制于在移动设备端或者嵌入式设备端的有限的软硬件环境,交通标识检测和识别技术还有很多难点和困难需要克服。目前,交通标识的检测和识别算法在准确率和实时性方面很难同时达到有效的突破。识别精度比较高的算法,往往训练时间和识别时间比较长,很难满足实际应用的实时性需求;而运行速度较快的算法,通常识别准确率有所不足,或者需要经过大量的前期人工处理,或者检测和识别的标识范围有限,同样影响算法的实用性。卷积神经网络具有对二维图像位置平移、比例缩放、倾斜或者共他形式变形的高度不变性的优点,在图像识别、语音识别以及交通标识识别等领域已经取得成功。但是卷积神经网络由于具有深层的结构,模型训练和模式识别过程都比较耗时,这对实时性要求较高的交通标识识别系统来说是一个严重的缺陷。
因此,本发明提出了一种快速二分卷积神经网络的层次化交通标识识别方法,与传统的卷积神经网络相比,该方法在提取同等数量特征的情况下,具有较高的识别精度的同时,能够显著降低运行时间。
发明内容
本发明要解决的技术问题是如何利用卷积神经网络解决交通标识识别问题,其关键点在于对卷积神经网络进行改进以克服卷积过程的计算量大与耗时问题,从而提高实时性,难点在于如何在提高实时性的同时仍保证高的识别精度。
本发明的技术方案:
一种基于快速二分卷积神经网络的层次化交通标识识别方法,步骤如下:
对卷积神经网络进行改进,设计了一种快速二分卷积神经网络以便加快卷积过程,并通过多采样方式,以弥补二分卷积层提取的特征图较少的不足。进而,针对交通标识识别问题,提出了一种基于快速卷积神经网络的层次化分类算法。在层次化分类算法的粗分类阶段,首先对交通标识图像进行预处理得到感兴趣区域,随后将感兴趣区域输入到提出的快速二分卷积神经网络粗分为若干大类。细分类阶段,针对各类的特点对标识再次预处理,对处理后的标识进一步利用快速二分卷积网络进行细分类得出最终结果。结果表明,该算法不仅具有较高的分类正确率,同时具有较快的处理速度,更加适用于实时性要求较高的交通标识识别系统,具体步骤如下:
第一步,快速二分卷积神经网络
本发明提出的快速卷积神经网络在结构上与传统卷积神经网络(ConvolutinalNeural Networks,CNN)相似,但卷积和采样的过程不同。在卷积过程中,采用二分卷积模式,即一张特征图只卷积生成两张映射图,这样可以加快卷积过程。由于卷积过程在整个算法运行中占用的资源相对较多,因此,加快卷积过程能够大幅提高算法的运行速度。在采样过程中,本发明使用多种采样方法,包括最大值采样和平均值采样,从而使采样得到的特征图具有更丰富的特征表达。
(1)二分卷积层
传统卷积神经网络的卷积层包含很多卷积核,尤其是在大规模的应用中,卷积层的结构更加复杂,甚至包含成千上万个卷积核。因而需要庞大的计算机集群进行训练,这对实时性要求高的交通标识识别问题,在应用中是不可行的。本发明为克服卷积过程的计算量大与耗时问题,提出精简卷积层结构。在卷积层采用二分结构,一张特征图只卷积生成两张映射图,这在很大程度上提高了算法的运行速度。
(2)多采样层
采样层一般和卷积层交替连接,通常在特征提取后采用某一特定方式来采样局部邻近像素。本发明在采样过程中增加少量的高斯噪声以提高局部区域的采样稳定性。采样层对特征图片的处理方式如下:
O=(∑∑I(i,j)P×G(i,j))1/P,(1)
其中I表示输入图像,G代表高斯核,O为输出图像。当P=1,为均值采样;当P→∞时,为最大值采样。由于采样层的体系结构和计算过程较为简单,占CNN的运行时间比例很少,本发明同时采用最大值采样和均值采样,通过增加采样的多样性,来提取更多的图像特征,从而可以弥补二分卷积层提取的特征图较少的不足。
(3)加速分析
由于子采样层在整个CNN的计算时间中占的比例小于1%,而卷积层占用了CNN计算时间的绝大部分。因此,分析快速二分卷积网络相对于传统卷积网络的加速情况,只分析卷积层的情况。采用浮点操作次数(Floating-Point Operations,FLOPS)来衡量CNN的计算量,对于CNN计算第l卷积层的计算量,公式如下:
其中S2是输入图片的像素个数,对于卷积层l,|Pl|表示特征图个数,表示每个特征图的像素个数,是卷积核的总像素数。
二分卷积层不需要选择输入图像,每张输入图像直接卷积生成两个特征图(使用两个不同的卷积核),同样,每张图经过多采样层生成k(采样核个数)个特征图。本发明采用最大值和均值采样,k值为2。因此,提出的快速二分卷积网络每层产生的特征图个数为F0×2l,其中F0为输入层的图像个数,l表示层数。针对一个卷积层和采样层交替的7层卷积网络,则在第7层产生的特征图个数为384,可见通过这种方式能够在网络的高层产生和传统卷积网络相当的特征图个数。而所用的卷积核个数和在所有层的总的特征图个数都大大降低了。因而产生了良好的加速比。
根据上面的分析可以发现,快速卷积神经网络不仅在结构设计上更加简单,而且运算时间也大幅减少,相比于传统卷积网络,快速二分卷积网络更加适用于实时性要求较高的应用环境。
第二步,基于快速卷积神经网络的交通标识层次化分类算法
(1)粗分类阶段图像预处理
在对交通标识进行识别前,需要增强与复原高价值区域,为接下来的处理过程提供高质量的输入图像,使得交通标识的定位分割、特征提取以及匹配识别的复杂度和难度减少,从而有效地提升系统的准确率和处理速度。首先将原始RGB图像映射到灰度图像,以降低对不同光照条件引起的色差的敏感度,进而通过多尺度模板匹配在灰度图像上提取包含交通标识的感兴趣的区域(Region Of Interest,ROI)。在模板匹配过程中,模板将被缩放22次。模板的初始大小为16×16,当一个模板匹配完整张图像后,将模板缩放k×k倍,k=1.1。当匹配的图像区域的相关系数值大于给定阈值时,就将该区域提取出来作为感兴趣区域。将重叠区域的ROIs进行合并,最后将得到的ROIs区域大小处理为48×48像素尺寸,进而采用直方图均衡化的方法,通过转化像素的亮度来增强模糊图像的对比度。随后,将得到的ROIs输入到快速二分卷积神经网络进行特征提取,并基于Softmax分类器进行分类。
(2)快速二分卷积神经网络对ROIs进行特征提取
将得到的ROIs输入到快速二分卷积神经网络进行粗分类。在卷积过程中,一张特征图只卷积生成两张映射图,以加快卷积过程。设计的卷积网络为8层网络。第1层为卷积核大小7×7的卷积层;第2层为卷积核大小2×2的子采样层;第3层为卷积核大小4×4的卷积层;第4层为卷积核大小2×2的子采样层;第5层为卷积核大小4×4的卷积层;第6层为卷积核大小2×2的子采样层;第7层为384个神经元的全连接层;第8层为6个神经元的全连接层(粗分类共6大类)。
采样层和二分卷积层交替连接,在采样过程中增加少量的高斯噪声以提高局部区域的采样稳定性。通常在特征提取后采用某一特定方式来采样局部邻近像素。由于采样层的体系结构和计算过程较为简单,占CNN的运行时间比例很少,本发明通过增加采样方法的多样性,同时采用最大值采样和均值采样,来提取更多的图像特征,以弥补二分卷积层提取的特征图较少的不足。
(3)基于Softmax分类器进行分类
交通标识分类为多分类问题,类标签可以取多个不同的值。对于训练集{(x1,y1),(x2,y2),…,(xm,ym)},xi为特征图,yi∈{1,2,…,k}为标签。在粗分类中有6大类,即限速标识、其他禁令标识、解除禁令标识、指示标识、警告标识、其它标识。在细分类中有43小类。
对于给定的测试输入数据x,用假设函数hθ(x)针对每一个类别j估算出概率值p(y=j|x)。函数hθ(x)形式如下:
中θ12,…θk是模型的参数。是为了归一化概率分布,使得所有概率之和为1。Softmax回归算法的代价函数表示为:
其中m为样本个数,1{·}是指示性函数,其取值规则为1{表达式值为真}=1,1{表达式值为假}=0。
对于J(θ)的最小化问题,使用梯度下降法进行优化:
其中本身是一个向量,它的第l个元素是J(θ)对θj的第l个分量的偏导数。每一次迭代需要进行如下更新:
其中α为步长。
(4)细分类预处理
在粗分类后,由于同一大类之中的交通标识在边框形状和颜色上都非常相似,比如禁令标识,通常是红色的圆形边框,警告标识的边框则为红色三角形,而指示标识多半是圆形边框,蓝色背景,这些信息对交通标识的细分类并未提供一些区分度,反而增加了区分的难度,而真正有区分度的部分是交通标识的中间部分。因此,在细分类阶段,首先对交通标识进行细分类之前的预处理,主要进行了对比度归一化,直方图均衡化,切割交通标识,然后输入到细分类阶段的快速二分卷积网络中提取特征,以提高细分类的准确率。
(5)基于快速二分卷积网络进行细分类
细分类过程与粗分类相似,针对处理后的图像使用快速二分卷积网络进行特征提取并采用softmax进行分类得出最终识别结果。细分类阶段使用的快速二分卷积网络,在结构上只有最后分类层的神经元数目与粗分类不同,数目为每一个粗分类对应的细分类数目,共有43个细类。由于在粗分类阶段分类结果包含一定数量的错分图像,用这些包含错分图像的数据集训练细分类网络,会导致最终分类的误差增大。为更好训练细分类阶段的二分卷积网络,粗分类和细分类两个阶段的卷积神经网络在训练阶段是独立训练的。
本发明的有益效果:本发明首先提出了快速二分卷积神经网络,不仅在结构设计上更加简单,而且运算时间也大幅减少。相比于传统卷积网络,更加适用于实时性要求较高的应用环境。进而,针对交通标识识别问题,本发明提出了基于快速卷积神经网络的层次化分类算法。该算法不仅具有较高的分类正确率,同时具有较快的处理速度,更加适用于实时性要求较高的交通标识识别问题。
附图说明
图1是快速二分卷积神经网络的卷积层和子采样层。
图2是基于快速二分卷积神经网络的层次化分类算法流程。
图3是快速二分卷积网络在不同类别标志测试集上的精度-召回率曲线。
图4是层次化分类算法训练数据集上的的平方误差率收敛曲线;图4(a)是12000batches条件下的,图4(b)是120000batches条件下的。
具体实施方式
所论述的具体实施例仅用于说明本发明的实现方式,而不限制本发明的范围。以下结合技术方案和附图详细说明本发明的实施例。
本发明在基准实例德国交通标识识别标准(GTSRB)数据集的实施例如下:
1、粗分类图像预处理
首先将原始RGB图像映射到灰度图像,以降低对不同光照条件引起的色差敏感度,进而通过多尺度模板匹配在灰度图像上提取包含交通标识的感兴趣区域ROIs。在模板匹配过程中,模板的初始大小为16×16,模板将被缩放22次。当一个模板匹配完整张图像后,将模板缩放k×k倍,k=1.1。当匹配的图像区域的相关系数值大于给定阈值时,则将该区域提取出来作为感兴趣区域。
在不同尺度的模板中,将提取所有相关系数值大于阈值的图片区域。为将重叠区域的ROIs进行合并,对于每张图片,将所产生的ROIs按其相关系数值的大小降序排列,然后从中选出值最大的ROI作为正区域,并将其相邻区域的其他ROIs全部删除。重复此步骤,直到没有区域可选为止。相邻区域是指左上点在x-轴和y-轴方向都小于16像素的区域。最后将得到的ROIs区域大小处理为48×48像素尺寸,进而采用直方图均衡化的方法,通过转化像素的亮度来增强模糊图像的对比度。
2、实施二分卷积
将得到的ROIs输入到快速卷积神经网络进行粗分类。采用提出的快速二分卷积网络(如图1),对感兴趣区域ROIs实施二分卷积。在卷积过程中,一张特征图只卷积生成两张映射图,二分卷积在很大程度上提高了算法的运行速度。
3、多方式采样
采样层和二分卷积层交替连接,在采样过程中通过公式(1)增加了少量的高斯噪声以提高局部区域的采样稳定性。由于采样层的体系结构和计算过程较为简单,占CNN的运行时间比例很少,通过同时采用最大值采样和均值采样,来提取更多的图像特征,以弥补二分卷积层提取的特征图较少的不足。实验表明快速二分卷积网络在获得高精度的同时,也产生了良好的加速比。
4、基于Softmax分类器进行分类
在粗分类中有6大类,即限速标识、其他禁令标识、解除禁令标识、指示标识、警告标识、其它标识。在细分类中有43小类。通过公式(3)可得到样本属于每个类别的概率,从而获得粗分类。基于公式(4)-(6)可以通过梯度下降法获得Softmax分类器的参数。
5、细分类预处理
在粗分类后,由于同一大类之中的交通标识在边框形状和颜色上都非常相似,比如禁令标识,通常是红色的圆形边框,警告标识的边框则为红色三角形,而指示标识多半是圆形边框,蓝色背景,这些信息对交通标识的细分类并未提供一些区分度,反而增加了区分的难度,而真正有区分度的部分是交通标识的中间部分。在细分类阶段,首先对交通标识进行细分类之前的预处理,主要进行了对比度归一化,直方图均衡化,切割交通标识,然后输入到细分类阶段的快速二分卷积网络中提取特征。
6、基于快速二分卷积网络进行细分类
细分类过程与粗分类相似,针对处理后的图像使用快速二分卷积网络进行特征提取并采用softmax进行分类得出最终识别结果。细分类阶段使用的快速二分卷积网络,在结构上只有最后分类层的神经元数目与粗分类不同,数目为每一粗分类对应的细分类数目,共有43个细分类。由于在粗分类阶段分类结果包含一定数量的错分图像,用这些包含错分图像的数据集训练细分类网络,会导致最终分类的误差增大。为更好训练细分类阶段的二分卷积网络,粗分类和细分类两个阶段的卷积神经网络在训练阶段是独立训练的。整个算法流程如图2所示。图3显示了快速二分卷积网络在不同类别标志测试集上的精度-召回率曲线。图4显示了层次化分类算法训练数据集上的平方误差率收敛曲线。

Claims (1)

1.一种基于快速二分卷积神经网络的层次化交通标识识别方法,其特征在于,步骤如下:
第一步,快速二分卷积神经网络
本方法提出的快速二分卷积神经网络在结构上与传统卷积神经网络CNN相似,但卷积和采样的过程不同;在卷积过程中,采用二分卷积模式,即一张特征图只卷积生成两张映射图;在采样过程中,本方法使用多种采样方法,包括最大值采样和平均值采样,从而使采样得到的特征图具有更丰富的特征表达;
(1)二分卷积层
在卷积层采用二分结构,一张特征图只卷积生成两张映射图;
(2)多采样层
在采样过程中,增加少量的高斯噪声以提高局部区域的采样稳定性,采样层对特征图的处理方式如下:
O=(∑∑I(i,j)P×G(i,j))1/P, (1)
其中,I表示输入图像,G代表高斯核,O为输出图像;当P=1,为均值采样;当P→∞时,为最大值采样;本方法同时采用最大值采样和均值采样;
(3)加速分析
采用浮点操作次数FLOPS来衡量CNN的计算量,对于CNN计算第l卷积层的计算量,公式如下:
<mrow> <msub> <mi>FLOPS</mi> <mi>l</mi> </msub> <mo>=</mo> <msup> <mi>S</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mo>|</mo> <msub> <mi>P</mi> <mrow> <mi>l</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> <mo>&amp;CenterDot;</mo> <mo>|</mo> <msub> <mi>P</mi> <mi>l</mi> </msub> <mo>|</mo> <mo>&amp;CenterDot;</mo> <msubsup> <mi>w</mi> <mi>l</mi> <mn>2</mn> </msubsup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>k</mi> <mi>l</mi> <mn>2</mn> </msubsup> <mo>&amp;CenterDot;</mo> <mn>2</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中,S2是输入图片的像素个数,对于卷积层l,|Pl|表示特征图个数,表示每个特征图的像素个数,是卷积核的总像素数;
二分卷积层不需要选择输入图像,每张输入图像直接卷积生成两个特征图,使用两个不同的卷积核,同样,每张输入图像经过多采样层生成k个特征图,k表示采样核个数;本方法采用最大值和均值采样,k值为2;因此,提出的快速二分卷积网络每层产生的特征图个数为F0×2l,其中,F0为输入层的图像个数,l表示层数;
第二步,基于快速卷积神经网络的交通标识层次化分类算法
(1)粗分类阶段图像预处理
在对交通标识进行识别前,需增强与复原高价值区域,为接下来的处理过程提供高质量的输入图像,使得交通标识的定位分割、特征提取以及匹配识别的复杂度和难度减少,从而有效地提升系统的准确率和处理速度;首先将原始RGB图像映射到灰度图像,以降低对不同光照条件引起的色差的敏感度,进而通过多尺度模板匹配在灰度图像上提取包含交通标识的感兴趣的区域ROI;
(2)快速二分卷积神经网络对ROIs进行特征提取
将得到的ROIs输入到快速二分卷积神经网络进行粗分类;在卷积过程中,一张特征图只卷积生成两张映射图;设计的卷积网络为8层网络:第1层为卷积核大小7×7的卷积层;第2层为卷积核大小2×2的子采样层;第3层为卷积核大小4×4的卷积层;第4层为卷积核大小2×2的子采样层;第5层为卷积核大小4×4的卷积层;第6层为卷积核大小2×2的子采样层;第7层为384个神经元的全连接层;第8层为6个神经元的全连接层,粗分类共6大类;
(3)基于Softmax分类器进行分类
交通标识分类为多分类问题,类标签取多个不同的值;对于训练集{(x1,y1),(x2,y2),…,(xm,ym)},xi为特征图,yi∈{1,2,…,k}为标签;在粗分类中有6大类,即限速标识、其他禁令标识、解除禁令标识、指示标识、警告标识、其它标识,在细分类中有43小类;
对于给定的测试输入数据x,用假设函数hθ(x)针对每一个类别j估算出概率值p(y=j|x),函数hθ(x)形式如下:
<mrow> <msub> <mi>h</mi> <mi>&amp;theta;</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>1</mn> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>;</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>2</mn> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>;</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>k</mi> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>;</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <msup> <mi>e</mi> <mrow> <msubsup> <mi>&amp;theta;</mi> <mi>j</mi> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> </msup> </mrow> </mfrac> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>e</mi> <mrow> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>e</mi> <mrow> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> </msup> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <msup> <mi>e</mi> <mrow> <msubsup> <mi>&amp;theta;</mi> <mi>k</mi> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中,θ12,…θk是模型的参数;是为了归一化概率分布,使得所有概率之和为1;Softmax回归算法的代价函数表示为:
<mrow> <mi>J</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <msup> <mi>e</mi> <mrow> <msubsup> <mi>&amp;theta;</mi> <mi>l</mi> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> </msup> <mrow> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <msup> <mi>e</mi> <mrow> <msubsup> <mi>&amp;theta;</mi> <mi>l</mi> <mi>T</mi> </msubsup> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> </msup> </mrow> </mfrac> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中,m为样本个数,1{·}是指示性函数,其取值规则为1{表达式值为真}=1,1{表达式值为假}=0;
对于J(θ)的最小化问题,使用梯度下降法进行优化:
<mrow> <msub> <mo>&amp;dtri;</mo> <msub> <mi>&amp;theta;</mi> <mi>j</mi> </msub> </msub> <mi>J</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <mo>&amp;lsqb;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>{</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <mo>-</mo> <mi>p</mi> <mo>(</mo> <mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>;</mo> <mi>&amp;theta;</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中,本身是一个向量,它的第l个元素是J(θ)对θj的第l个分量的偏导数;每一次迭代需要进行如下更新:
<mrow> <msub> <mi>&amp;theta;</mi> <mi>j</mi> </msub> <mo>=</mo> <msub> <mi>&amp;theta;</mi> <mi>j</mi> </msub> <mo>-</mo> <mi>&amp;alpha;</mi> <msub> <mo>&amp;dtri;</mo> <msub> <mi>&amp;theta;</mi> <mi>j</mi> </msub> </msub> <mi>J</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中,α为步长;
(4)细分类预处理
在细分类阶段,首先对交通标识进行细分类之前的预处理,主要进行了对比度归一化、直方图均衡化和切割交通标识,然后输入到细分类阶段的快速二分卷积网络中提取特征,以提高细分类的准确率;
(5)基于快速二分卷积网络进行细分类
细分类过程与粗分类相似,针对处理后的图像使用快速二分卷积网络进行特征提取并采用softmax进行分类得出最终识别结果;细分类阶段使用的快速二分卷积网络,在结构上只有最后分类层的神经元数目与粗分类不同,数目为每一个粗分类对应的细分类数目,共有43个细类;粗分类和细分类两个阶段的卷积神经网络在训练阶段是独立训练的。
CN201711373435.0A 2017-12-19 2017-12-19 一种基于快速二分卷积神经网络的层次化交通标识识别方法 Pending CN108009518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711373435.0A CN108009518A (zh) 2017-12-19 2017-12-19 一种基于快速二分卷积神经网络的层次化交通标识识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711373435.0A CN108009518A (zh) 2017-12-19 2017-12-19 一种基于快速二分卷积神经网络的层次化交通标识识别方法

Publications (1)

Publication Number Publication Date
CN108009518A true CN108009518A (zh) 2018-05-08

Family

ID=62059809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711373435.0A Pending CN108009518A (zh) 2017-12-19 2017-12-19 一种基于快速二分卷积神经网络的层次化交通标识识别方法

Country Status (1)

Country Link
CN (1) CN108009518A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647718A (zh) * 2018-05-10 2018-10-12 江苏大学 一种不同材料金相组织自动分类评级的方法
CN108875803A (zh) * 2018-05-30 2018-11-23 长安大学 一种基于视频图像的危化品运输车辆检测与识别方法
CN109063667A (zh) * 2018-08-14 2018-12-21 视云融聚(广州)科技有限公司 一种基于场景的视频识别方式优化及推送方法
CN109190643A (zh) * 2018-09-14 2019-01-11 华东交通大学 基于卷积神经网络中药识别方法及电子设备
CN109406118A (zh) * 2018-10-15 2019-03-01 华中科技大学 一种基于层次卷积神经网络的机械故障预测方法
CN109446984A (zh) * 2018-10-26 2019-03-08 重庆大学 自然场景中道路交通标志识别方法
CN109919177A (zh) * 2019-01-23 2019-06-21 西北工业大学 基于层次化深度网络的特征选择方法
CN110472655A (zh) * 2019-07-03 2019-11-19 特斯联(北京)科技有限公司 一种用于跨境旅游的标志物机器学习识别系统及方法
WO2019218410A1 (zh) * 2018-05-15 2019-11-21 深圳大学 图像分类方法、计算机设备和存储介质
CN110647990A (zh) * 2019-09-18 2020-01-03 无锡信捷电气股份有限公司 基于灰色关联分析的深度卷积神经网络模型的裁剪方法
CN111053529A (zh) * 2018-10-16 2020-04-24 中国移动通信有限公司研究院 睡眠障碍自动分析方法及装置、处理设备及存储介质
WO2020083103A1 (zh) * 2018-10-24 2020-04-30 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
CN111325240A (zh) * 2020-01-23 2020-06-23 杭州睿琪软件有限公司 与杂草相关的计算机可执行的方法和计算机系统
CN111507388A (zh) * 2020-04-10 2020-08-07 上海眼控科技股份有限公司 一种天气图像分类方法及设备
CN111738300A (zh) * 2020-05-27 2020-10-02 复旦大学 一种交通标志及信号灯检测和识别的优化算法
US20210150313A1 (en) * 2019-11-15 2021-05-20 Samsung Electronics Co., Ltd. Electronic device and method for inference binary and ternary neural networks
CN112990147A (zh) * 2021-05-06 2021-06-18 北京远鉴信息技术有限公司 一种涉政图像的识别方法、装置、电子设备及存储介质
CN113109666A (zh) * 2021-04-09 2021-07-13 河南省博海大数据科技有限公司 一种基于深度卷积神经网络的轨道电路故障诊断方法
CN113255555A (zh) * 2021-06-04 2021-08-13 清华大学 中国交通标志牌识别方法、系统、处理设备及存储介质
CN113366496A (zh) * 2018-12-21 2021-09-07 伟摩有限责任公司 用于粗略和精细对象分类的神经网络

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
CN106650786A (zh) * 2016-11-14 2017-05-10 沈阳工业大学 基于多列卷积神经网络模糊评判的图像识别方法
CN106909886A (zh) * 2017-01-20 2017-06-30 中国石油大学(华东) 一种基于深度学习的高精度交通标志检测方法及系统
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
CN106650786A (zh) * 2016-11-14 2017-05-10 沈阳工业大学 基于多列卷积神经网络模糊评判的图像识别方法
CN106909886A (zh) * 2017-01-20 2017-06-30 中国石油大学(华东) 一种基于深度学习的高精度交通标志检测方法及系统
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨心: "基于卷积神经网络的交通标识识别研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647718B (zh) * 2018-05-10 2020-11-20 江苏大学 一种不同材料金相组织自动分类评级的方法
CN108647718A (zh) * 2018-05-10 2018-10-12 江苏大学 一种不同材料金相组织自动分类评级的方法
US11238311B2 (en) 2018-05-15 2022-02-01 Shenzhen University Method for image classification, computer device, and storage medium
WO2019218410A1 (zh) * 2018-05-15 2019-11-21 深圳大学 图像分类方法、计算机设备和存储介质
CN108875803B (zh) * 2018-05-30 2022-06-17 长安大学 一种基于视频图像的危化品运输车辆检测与识别方法
CN108875803A (zh) * 2018-05-30 2018-11-23 长安大学 一种基于视频图像的危化品运输车辆检测与识别方法
CN109063667A (zh) * 2018-08-14 2018-12-21 视云融聚(广州)科技有限公司 一种基于场景的视频识别方式优化及推送方法
CN109063667B (zh) * 2018-08-14 2021-02-19 视云融聚(广州)科技有限公司 一种基于场景的视频识别方式优化及推送方法
CN109190643A (zh) * 2018-09-14 2019-01-11 华东交通大学 基于卷积神经网络中药识别方法及电子设备
CN109406118A (zh) * 2018-10-15 2019-03-01 华中科技大学 一种基于层次卷积神经网络的机械故障预测方法
CN111053529A (zh) * 2018-10-16 2020-04-24 中国移动通信有限公司研究院 睡眠障碍自动分析方法及装置、处理设备及存储介质
CN111053529B (zh) * 2018-10-16 2022-07-15 中国移动通信有限公司研究院 睡眠障碍自动分析方法及装置、处理设备及存储介质
WO2020083103A1 (zh) * 2018-10-24 2020-04-30 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
CN109446984A (zh) * 2018-10-26 2019-03-08 重庆大学 自然场景中道路交通标志识别方法
CN113366496B (zh) * 2018-12-21 2024-03-15 伟摩有限责任公司 用于粗略和精细对象分类的神经网络
CN113366496A (zh) * 2018-12-21 2021-09-07 伟摩有限责任公司 用于粗略和精细对象分类的神经网络
CN109919177B (zh) * 2019-01-23 2022-03-29 西北工业大学 基于层次化深度网络的特征选择方法
CN109919177A (zh) * 2019-01-23 2019-06-21 西北工业大学 基于层次化深度网络的特征选择方法
CN110472655A (zh) * 2019-07-03 2019-11-19 特斯联(北京)科技有限公司 一种用于跨境旅游的标志物机器学习识别系统及方法
CN110647990A (zh) * 2019-09-18 2020-01-03 无锡信捷电气股份有限公司 基于灰色关联分析的深度卷积神经网络模型的裁剪方法
US20210150313A1 (en) * 2019-11-15 2021-05-20 Samsung Electronics Co., Ltd. Electronic device and method for inference binary and ternary neural networks
US12039430B2 (en) * 2019-11-15 2024-07-16 Samsung Electronics Co., Ltd. Electronic device and method for inference binary and ternary neural networks
CN111325240A (zh) * 2020-01-23 2020-06-23 杭州睿琪软件有限公司 与杂草相关的计算机可执行的方法和计算机系统
CN111507388A (zh) * 2020-04-10 2020-08-07 上海眼控科技股份有限公司 一种天气图像分类方法及设备
CN111738300A (zh) * 2020-05-27 2020-10-02 复旦大学 一种交通标志及信号灯检测和识别的优化算法
CN113109666A (zh) * 2021-04-09 2021-07-13 河南省博海大数据科技有限公司 一种基于深度卷积神经网络的轨道电路故障诊断方法
CN113109666B (zh) * 2021-04-09 2024-03-15 河南省博海大数据科技有限公司 一种基于深度卷积神经网络的轨道电路故障诊断方法
CN112990147A (zh) * 2021-05-06 2021-06-18 北京远鉴信息技术有限公司 一种涉政图像的识别方法、装置、电子设备及存储介质
CN113255555A (zh) * 2021-06-04 2021-08-13 清华大学 中国交通标志牌识别方法、系统、处理设备及存储介质

Similar Documents

Publication Publication Date Title
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
KR102030628B1 (ko) Cnn 기반 차량 번호판 인식 방법 및 시스템
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN105373794B (zh) 一种车牌识别方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN101398894B (zh) 机动车车牌自动识别方法及其实现装置
CN102509091B (zh) 一种飞机尾号识别方法
CN107103317A (zh) 基于图像融合和盲反卷积的模糊车牌图像识别算法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
CN106651872A (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
Zang et al. Traffic sign detection based on cascaded convolutional neural networks
CN108009548A (zh) 一种智能路牌识别方法及系统
CN111753787A (zh) 一种分离式的交通标志检测与识别方法
CN113837094A (zh) 基于全色高分遥感图像的路况快捷分析方法
CN107704833A (zh) 一种基于机器学习的前方车辆检测与跟踪方法
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法
CN105893970A (zh) 基于亮度方差特征的夜间道路车辆检测方法
Shi et al. Weather recognition based on edge deterioration and convolutional neural networks
CN116259032A (zh) 基于改进YOLOv5的道路交通标志检测与识别算法
CN114550134A (zh) 基于深度学习的交通标志检测与识别方法
CN111626186A (zh) 一种司机分心检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180508