CN108664969B - 基于条件随机场的路标识别方法 - Google Patents

基于条件随机场的路标识别方法 Download PDF

Info

Publication number
CN108664969B
CN108664969B CN201810399451.5A CN201810399451A CN108664969B CN 108664969 B CN108664969 B CN 108664969B CN 201810399451 A CN201810399451 A CN 201810399451A CN 108664969 B CN108664969 B CN 108664969B
Authority
CN
China
Prior art keywords
road sign
image
color
road
conditional random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810399451.5A
Other languages
English (en)
Other versions
CN108664969A (zh
Inventor
韩冰
杨铮
张景滔
吕涛
高新波
王云浩
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zejing Automobile Electronic Co ltd
Xidian University
Original Assignee
Jiangsu Zejing Automobile Electronic Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zejing Automobile Electronic Co ltd, Xidian University filed Critical Jiangsu Zejing Automobile Electronic Co ltd
Priority to CN201810399451.5A priority Critical patent/CN108664969B/zh
Publication of CN108664969A publication Critical patent/CN108664969A/zh
Application granted granted Critical
Publication of CN108664969B publication Critical patent/CN108664969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于条件随机场的路标识别方法，主要解决现有路标识别准确率低的问题。其实现方案是：1.根据纯路标图像数据建立路标颜色种子点集合；2.根据路标颜色种子点集合计算含有路标的图像的先验颜色特征图集合；3.通过贝叶斯决策理论计算含有路标的图像的颜色概率分布图集合；4.用马尔科夫条件随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像；5.提取融合图像中的感兴趣区域。6.通过多尺度卷积神经网络对感兴趣区域进行分类识别。本发明提高了路标的检测率和路标的识别准确率，可用于交通领域的场景感知。

Description

基于条件随机场的路标识别方法
技术领域
本发明属于图像处理技术领域，更进一步涉及路标的识别方法，可用于交通领域的场景感知。
背景技术
随着社会经济的发展和进步，车辆已经普及到国内大部分家庭，但是在汽车给人们的生活带来方便的同时，交通事故的发生频率也越来越高，交通安全问题受到了政府、科研机构以及汽车生产厂家的高度重视。而解决这一问题的有效途径之一是准确、有效地设立道路交通标志，为驾驶员提供禁止、警告、指示等行车信息，从而减少交通事故的发生。因此，路标检测识别系统受到了学者们的广泛关注，在过去的十几年中，学者们在交通标志的检测与识别应用领域展开了广泛的研究。
在路标检测方面，Y.Nguwi等人先基于HIS颜色空间对图像做阈值化处理，使用YcbCr图像块为特征训练出神经网络分类器，检测图像中的标志候选区域。P.Wanitchai等人基于HSV颜色空间的Hue通道值对图像做阈值化处理，检测图像中的红色交通标志。F.Ren等人首先基于HSV颜色空间对图像基于Hue通道进行阈值化分割，之后根据简化的标志形状的目标函数与模板目标函数间距离实现交通标志的检测。X.Qingsong等使用图像HIS颜色空间阈值化后得到边缘图像，通过径向对称投票检测出交通标志区域。D.Deguchi等人针对七种具体类型的交通标志，使用基于局部等级模式特征的嵌套级联分类器对图像RGB像素值进行分类并得到一幅边缘图像，然后采用RANSAC圆形拟合来检测圆形交通标志。
在路标识别方面，Ruta.A等人使用最近领域方法，通过各类别之间的最近距离，对待识别的交通图像进行识别。J.Greenhalgh等人通过提取路标数据的HoG特征，通过二叉树的方式训练多层级联svm分类器，达到识别的效果。
上述几种路标检测方法，由于对路标颜色与形状特性考虑不够充分，提取特征较为简单，所以路标提取效率较低，对于上述的路标识别方法，由于传统特征表征能力有限，导致识别的准确率比较低。因此如何更有效的提取路标区域以及如何提升路标区域的识别准确率是路标检测与识别方法的重要研究内容。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于条件随机场的路标识别方法，以提高路标检测的效率和路标识别的准确率。
为实现上述目的，本发明采取的技术方案包括如下：
(1)根据纯路标图像数据建立路标颜色种子点集合；
(2)在路标数据检测库GTSDB中取出600张含有路标的图像作为图像集data，对于图像集data中的每一张含有路标的图像I，计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，得到含有路标的图像I的先验颜色特征图集合TI，将图像集data中所有图像的先验颜色特征图集合作为训练数据集D1；
(3)对于图像集data中的每一张含有路标的图像I，通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像I的颜色概率分布图集合PI，将data中所有图像的颜色概率分布图集合作为训练数据集D2；
(4)用(2)中的训练数据集D1与(3)中的训练数据集D2训练马尔科夫条件随机场模型，用训练好的马尔科夫随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像H；
(5)通过最大稳定极值区域MSER方法提取融合图像H中的连通区域作为感兴趣区域ROI；
(6)通过多尺度卷积神经网络对感兴趣区域ROI进行分类识别。
本发明与现有技术相比，具有以下优点：
1)本发明相对于传统的路标检测方法，利用贝叶斯原理生成颜色概率特征图，结合条件随机场的特征图融合方法，充分用了路标颜色特性，在减少提取到的冗余的感兴趣区域数量的同时，提高了区域提取的召回率。
2)本发明运用多尺度卷积神经网络进行特征的提取和分类，能更好地提取到图像的深层信息，使得分类效果得到提升。
附图说明
图1是本发明的实施例流程图；
图2是本发明与现有不同方法在警告类路标下的召回率与平均区域提取数对比图；
图3是本发明与现有不同方法在指示类路标下的召回率与平均区域提取数对比图；
图4是本发明与现有不同方法在禁止类路标下的召回率与平均区域提取数对比图。
具体实施方式
以下结合附图和具体实施例，对本发明的技术方案作进一步详细描述：
参照图1，本发明的实现步骤如下：
步骤1，根据纯路标图像数据建立路标颜色种子点集合。
(1a)根据路标的颜色将路标数据分为J类；
(1b)通过简单线性聚类方法SLIC对每一类路标数据进行超像素分割，得到超像素块集合，并用超像素块上像素的色彩空间CIELAB平均颜色特征描述该超像素块，得到该类路标数据的一个超像素种子点集合；
(1c)用J类路标数据的超像素种子点集合组成路标颜色种子点集合。
步骤2，计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，获得所有图像的先验颜色特征图集合作为训练数据集D1。
(2a)在路标数据检测库GTSDB中取出600张图像组成图像集data；
(2b)对于每一张含有路标的图像I∈data，通过简单线性迭代聚类方法SLIC对含有路标的图像I进行超像素分割，得到M个超像素块，并用超像素块的色彩空间CIELAB平均颜色特征和平均坐标来描述每一个超像素块；
(2c)计算(2b)中得到的含有路标的图像I的超像素块与(1)中得到的路标颜色种子点集合的颜色相似度sk,m：
Figure BDA0001645359010000031
其中Pk表示第k类颜色路标中种子点的个数，J为路标的类别数，cm表示图像I上第m个超像素块的颜色特征，
Figure BDA0001645359010000032
表示第k类种子点集合中第n个超像素块的颜色特征，
Figure BDA0001645359010000033
为cm与
Figure BDA0001645359010000034
二范数的平方，表示它们在颜色空间上的距离，σ为权重值；
(2d)将颜色相似度值sk,m映射到超像素块在含有路标的图像I的对应位置上，得到含有路标的图像I对于第k类路标数据的先验颜色特征图；
(2e)用J个先验颜色特征图组成含有路标的图像I的先验颜色特征图集合TI，用所有的先验颜色特征图集合TI组成训练数据集D1。
步骤3，通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像I的颜色概率分布图集合PI，获得所有图像的颜色概率分布图集合作为训练数据集D2。
(3a)对于对每一张含有路标的图像I∈data，根据贝叶斯理论计算图像I中像素点属于第i类颜色路标的概率P(Classi|x)：
P(Classi|x)＝P(x|Classi)·P(Classi)i＝1,2,...,J，
其中，x表示图像I的像素点，Classi表示第i类颜色路标，P(Classi)为先验概率，J为路标的类别数，P(x|Classi)为似然函数；
(3b)计算(3a)贝叶斯公式中的先验概率P(Classi)：
Figure BDA0001645359010000041
其中
Figure BDA0001645359010000042
代表第i类颜色路标的样本数量；
(3c)根据高斯模型模拟第i类颜色路标在含有路标的图像I中的分布，计算(3a)贝叶斯公式中的似然函数P(x|Classi)：
Figure BDA0001645359010000043
其中μi为像素点x的颜色特征均值，C为所有像素点的协方差矩阵，d代表像素点x的维数；
(3d)将(3b)中的P(Classi)与(3c)中的P(x|Classi)带入(3a)贝叶斯公式得到像素点x属于第i类路标的概率P(Classi|x)，将每个像素点x的P(Classi|x)对应到含有路标的图像I中x的位置，得到像素点对于第i类颜色路标的颜色概率特征图；
(3e)用J个颜色概率分布图组成颜色概率分布图集合PI，用所有的颜色概率分布图集合PI组成训练数据集D2。
步骤4，训练马尔科夫条件随机场模型，用训练好的马尔科夫随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像H。
(4a)构造马尔科夫条件随机场的图模型X：将含有路标的图像I的每一个超像素块分别设定为图模型中的一个节点，第m个节点用该超像素块的特征向量
Figure BDA0001645359010000051
表示，其中Fsk(m)为训练数据集D1中含有路标的图像I的第m个先验颜色特征图上超像素块的特征值，Fbi(m)为训练数据集D2中含有路标的图像I的第m个颜色概率分布图中超像素块对应位置的像素点集合特征值的平均值，将每一个超像素块与其相邻的超像素块相连接；
(4b)根据(4a)中的图模型，构造马尔科夫条件随机场的能量函数：
Figure BDA0001645359010000052
其中，X为(4a)中的图模型，Y为含有路标的图像I的标签图，θ为能量函数的模型参数，ym为节点m在Y中对应位置的标签值，Am为与节点m相邻节点的集合，
Figure BDA0001645359010000053
为Am中第a个节点的特征向量，ya为节点a在Y中对应位置的标签值，Z(x)为归一化因子，用来保证p(Y|X；θ)的取值范围在[0,1]内，
Figure BDA0001645359010000054
为能量函数中的一元项，
Figure BDA0001645359010000055
其中，
Figure BDA0001645359010000056
与
Figure BDA0001645359010000057
均为模型参数θ的子集，Fsk(m)和Fbi(m)第m个节点特征向量的特征值，
Figure BDA0001645359010000058
为能量函数中的二元项，代表相邻超像素块之间的相互影响，
Figure BDA0001645359010000059
其中，
Figure BDA00016453590100000510
和
Figure BDA00016453590100000511
均为模型参数θ的子集，Fsk(a)和Fbi(a)第a个节点特征向量的特征值；
(4c)对每一张含有路标的图像I∈data，构造一个马尔科夫条件随机场图模型，输入到能量函数中，对(4b)能量函数中的参数θ进行迭代优化使能量函数的输出越来越逼近含有路标的图像I的标签图，最终得到训练好的马尔科夫条件随机场模型；
(4d)输入一张路标数据检测库GTSDB的图像G，
Figure BDA0001645359010000061
计算含有路标的图像G的先验颜色特征图集合TG和颜色概率分布图集合PG；
(4e)构造图像G的马尔科夫条件随机场图模型，输入到训练好的马尔科夫条件随机场模型中，计算马尔科夫条件随机场模型的能量函数，该能量函数的输出为融合图像H。
步骤5，通过最大稳定极值区域MSER方法提取融合图像H中的连通区域作为感兴趣区域ROI。
(5a)输入融合图像H，从0到255按间隔1等间隔取值作为阈值th，对融合图像H进行二值化处理，将融合图像H中灰度值高于阈值的像素设为白色，低于阈值的像素设为黑色，得到一系列二值化图像{BWth}；
(5b)计算在这些二值化图像{BWth}中连通区域Qth的大小变化率：
Figure BDA0001645359010000062
其中，q(th)表示Qth的大小变化率，Δ表示微小的阈值变化，|Qth+Δ-Qth-Δ|表示在阈值微小变动后Qth大小变化的值；
(5c)计算不同阈值下的q(th)，当q(th)取到局部最小值时，提取对应的连通区域Qth，用所有这样的连通区域组成最大稳定极值区域集合R，将集合R作为感兴趣区域ROI。
步骤6，通过多尺度卷积神经网络对感兴趣区域ROI进行分类识别。
(6a)根据图像尺寸大小及路标数据数量优先的特点，构建用三条通路和一个全连接层组成的卷积神经网络框架，三条通路中的每条单路用三个卷积层C1，C2，C3组成，其中第一卷积层C1有32个卷积核，卷积核大小为5×5×3，第二卷积层C2有32个卷积核，卷积核大小为5×5，第三卷积层C3，有64个卷积核，卷积核大小为5×5，三条通路输出的特征用全连接层合并得到特征向量；
(6b)对于所有的感兴趣区域r∈ROI，通过改变感兴趣区域r的尺寸大小得到三个新的图像patchL，patchm和patchs，并把这三个新的图像输入到卷积神经网络对应的三条通路，得到感兴趣区域r的特征向量，其中ROI为(5)中得到的感兴趣区域；patchL，patchm和patchs的尺寸分别为感兴趣区域r尺寸的64％、48％、32％；
(6c)将(6b)中所有感兴趣区域r∈ROI的特征向量输入到softmax分类器中，对感兴趣区域r进行路标分类，得到路标的识别结果。
本发明的效果可以通过以下实验进一步说明：
1.实验条件
实验硬件设备：PHILIPS台式机，CPU为i7-6700k，显卡为英伟达GTX Titan。
实验软件平台：Windows7操作系统下的MATLAB R2015B+Linux操作系统下的caffe架构。
2.实验内容
实验1，用本发明和已有的两种交通标志检测算法，即颜色标准化算法RGBN和支持向量机方法SVM配合最大稳定极值区域MSER方法对路标数据检测库GTSDB的图像数据进行感兴趣区域的提取，按照路标外观与功能，在警告路标图像数据上进行试验，结果如图2，其中横坐标表示对数据库中图像的平均提取的感兴趣区域数目，纵坐标表示提取到感兴趣区域区域的召回率，即正确检测到的感兴趣区域与标签图中感兴趣区域数目的比值。
实验2，用本发明和已有的两种交通标志检测算法，即颜色标准化算法RGBN和支持向量机方法SVM配合最大稳定极值区域MSER方法对路标数据检测库GTSDB的图像数据进行感兴趣区域的提取，按照路标外观与功能，在指示路标图像数据上进行试验，结果如图3，其中横坐标表示对数据库中图像的平均提取的感兴趣区域数目，纵坐标表示提取到感兴趣区域区域的召回率，即正确检测到的感兴趣区域与标签图中感兴趣区域数目的比值。
实验3，用本发明和已有的两种交通标志检测算法，即颜色标准化算法RGBN和支持向量机方法SVM配合最大稳定极值区域MSER方法对路标数据检测库GTSDB的图像数据进行感兴趣区域的提取，按照路标外观与功能，在禁止路标图像数据上进行试验，结果如图4，其中横坐标表示对数据库中图像的平均提取的感兴趣区域数目，纵坐标表示提取到感兴趣区域区域的召回率，即正确检测到的感兴趣区域与标签图中感兴趣区域数目的比值。
实验4，用本发明对路标的分类识别算法和已有的分类算法在路标数据库GTSCB上进行路标分类准确率测试对比，结果如表1：
表1.GTSCB上各方法分类结果
算法 分类准确率％ 算法 分类准确率
Raw pixel+RBFSVM 61.3 Raw pixel+NN 66.5
HOG+RBFSVM 77.6 HOG+NN 79.4
LBP+RBFSVM 71.1 LBP+NN 75.6
PI+RBFSVM 73.7 PI+NN 76.1
PI+LDA+RBFSVM 82.5 PI+LDA+NN 81.3
Raw pixel+RF 60.1 HOG+RF 74.8
LBP+RF 69.7 PI+RF 73.5
PI+LDA+RF 82.3 OURS 94.7
表1中图像特征提取方法分别为：原始像素法Raw pixel，方向梯度直方图法HOG，局部二值模式法LBP，方向梯度直方图金字塔法PI，其中方向梯度直方图金字塔法PI用到了不降维与特征降维两种模式，特征降维时所用的方法为方法为线性降维方法LDA；分类器算法分别为：基于RBF核的支持向量机法RBFSVM，近邻分类器法NN，随机森林算法RF。
3.实验结果分析
图2，3，4直观的表示出了不同方法提取含有路标的图像中感兴趣区域的效果的不同，本发明的方法可以在提取更少区域的情况下，得到更高的召回率，所以本发明中ROI的提取方法比其他两种方法更高效，能够正确检测到更多的路标区域。
从表1可直观的表示出本发明中对路标的分类识别方法具有更好的分类能力，可以为路标的识别带来更高的准确率。

Claims (7)

1.一种基于条件随机场的路标识别方法，包括：
(1)根据纯路标图像数据建立路标颜色种子点集合；
(2)在路标数据检测库GTSDB中取出600张含有路标的图像作为图像集data，对于图像集data中的每一张含有路标的图像I，计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，得到含有路标的图像I的先验颜色特征图集合TI，将图像集data中所有图像的先验颜色特征图集合作为训练数据集D1；
(3)对于图像集data中的每一张含有路标的图像I，通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像I的颜色概率分布图集合PI，将data中所有图像的颜色概率分布图集合作为训练数据集D2；
(4)用(2)中的训练数据集D1与(3)中的训练数据集D2训练马尔科夫条件随机场模型，用训练好的马尔科夫条件随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像H；按如下步骤进行：
(4a)输入一张路标数据检测库GTSDB中含有路标的图像G，
Figure FDA0003524842520000011
(4b)计算含有路标的图像G的先验颜色特征图集合TG和颜色概率分布图集合PG；
(4c)构造含有路标的图像G的马尔科夫条件随机场图模型，输入到训练好的马尔科夫条件随机场模型中，计算马尔科夫条件随机场模型的能量函数，能量函数的输出为融合图像H；
(5)通过最大稳定极值区域MSER方法提取融合图像H中的连通区域作为感兴趣区域ROI；
(6)通过多尺度卷积神经网络对感兴趣区域ROI进行分类识别。
2.根据权利要求1所述的方法，其特征在于，步骤(1)中根据纯路标图像数据建立路标颜色种子点集合按如下步骤进行：
(1a)根据路标的颜色将路标数据分为J类；
(1b)通过简单线性聚类方法SLIC对每一类路标数据进行超像素分割，得到超像素块集合，并用超像素块上像素的色彩空间CIELAB平均颜色特征描述该超像素块，得到该类路标数据的一个超像素种子点集合；
(1c)用J类路标数据的超像素种子点集合组成路标颜色种子点集合。
3.根据权利要求1所述的方法，其特征在于，步骤(2)中计算含有路标的图像I中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，得到先验颜色特征图集合TI按如下步骤进行：
(2a)输入含有路标的图像I，通过简单线性迭代聚类方法SLIC对含有路标的图像I进行超像素分割，得到M个超像素块，并用超像素块的色彩空间CIELAB平均颜色特征和平均坐标来描述每一个超像素块；
(2b)计算(2a)中得到的超像素块与(1)中得到的路标种子点集合的颜色相似度sk,m：
Figure FDA0003524842520000021
其中Pk表示第k类颜色路标中种子点的个数，J为路标的类别数，cm表示图像I上第m个超像素块的颜色特征，
Figure FDA0003524842520000022
表示第k类种子点集合中第n个超像素块的颜色特征，
Figure FDA0003524842520000023
为cm与
Figure FDA0003524842520000024
二范数的平方，表示它们在颜色空间上的距离，σ为权重值；
(2c)将颜色相似度值sk,m映射到超像素块在含有路标的图像I的对应位置上，得到含有路标的图像I对于第k类路标数据的先验颜色特征图；
(2d)用J个先验颜色特征图组成先验颜色特征图集合TI。
4.根据权利要求1所述的方法，其特征在于，步骤(3)中通过贝叶斯决策理论计算含有路标的图像I中每个像素点属于不同类别颜色路标的概率，得到颜色概率分布图集合PI按如下步骤进行：
(3a)根据贝叶斯理论计算含有路标的图像I中像素点属于第i类颜色路标的概率P(Classi|x)：
P(Classi|x)＝P(x|Classi)·P(Classi)i＝1,2,...,J，
其中，x表示图像I的像素点，Classi表示第i类颜色路标，J为路标的类别数，P(Classi)为先验概率，P(x|Classi)为似然函数；
(3b)计算(3a)贝叶斯公式中的先验概率P(Classi)：
Figure FDA0003524842520000031
其中
Figure FDA0003524842520000034
代表第i类颜色路标的样本数量；
(3c)根据高斯模型模拟第i类颜色路标在含有路标的图像I中的分布，计算(3a)贝叶斯公式中的似然函数P(x|Classi)：
Figure FDA0003524842520000032
其中μi为像素点x的颜色特征均值，C为所有像素点的协方差矩阵，d代表像素点x的维数；
(3d)将(3b)中的P(Classi)与(3c)中的P(x|Classi)带入(3a)贝叶斯公式得到像素点x属于第i类路标的概率P(Classi|x)，将每个像素点x的P(Classi|x)对应到含有路标的图像I中x的位置得到像素点对于第i类颜色路标的颜色概率特征图；
(3e)用J个颜色概率分布图组成颜色概率分布图集合PI。
5.根据权利要求1所述的方法，其特征在于，步骤(4)中训练马尔科夫条件随机场模型，按如下步骤进行：
(4a)构造马尔科夫条件随机场的图模型X：将含有路标的图像I的每一个超像素块分别设定为图模型中的一个节点，第m个节点用该超像素块的特征向量
Figure FDA0003524842520000033
表示，其中Fsk(m)为训练数据集D1中含有路标的图像I的第m个先验颜色特征图上超像素块的特征值，Fbi(m)为训练数据集D2中含有路标的图像I的第m个颜色概率分布图中超像素块对应位置的像素点集合特征值的平均值，将每一个超像素块与其相邻的超像素块相连接；
(4b)根据(4a)中的图模型，构造马尔科夫条件随机场的能量函数：
Figure FDA0003524842520000041
其中，X为(4a)中的图模型，Y为含有路标的图像I的标签图label image，θ为能量函数的模型参数，ym为节点m在Y中对应位置的标签值h，Am为与节点m相邻节点的集合，
Figure FDA0003524842520000042
为Am中第a个节点的特征向量，ya为节点a在Y中对应位置的标签值，Z(x)为归一化因子，用来保证p(Y|X；θ)的取值范围在[0,1]内，
Figure FDA0003524842520000043
为能量函数中的一元项，
Figure FDA0003524842520000044
为能量函数中的二元项，代表相邻超像素块之间的相互影响；
(4c)对每一张含有路标的图像I∈data，构造一个马尔科夫条件随机场图模型输入到能量函数中，对(4b)能量函数中的参数θ进行迭代优化使能量函数的输出越来越逼近含有路标的图像I的标签图，最终得到训练好的马尔科夫条件随机场模型。
6.根据权利要求1所述的方法，其特征在于，步骤(5)中通过最大稳定极值区域MSER方法提取融合图像H中的连通区域作为感兴趣区域ROI，按如下步骤进行：
(5a)输入融合图像H，从0到255按间隔1等间隔取值作为阈值th，对融合图像H进行二值化处理，将融合图像H中灰度值高于阈值的像素设为白色，低于阈值的像素设为黑色，得到一系列二值化图像{BWth}；
(5b)计算在这些二值化图像{BWth}中连通区域Qth的大小变化率：
Figure FDA0003524842520000045
其中，q(th)表示Qth的大小变化率，Δ表示微小的阈值变化，|Qth+Δ-Qth-Δ|表示在阈值微小变动后Qth大小变化的值；
(5c)计算不同阈值下的q(th)，当q(th)取到局部最小值时，提取对应的连通区域Qth，用所有这样的连通区域组成最大稳定极值区域集合R，将集合R作为感兴趣区域ROI。
7.根据权利要求1所述的方法，其特征在于，所述步骤(6)按如下步骤进行：
(6a)根据图像尺寸大小及路标数据数量优先的特点，构建用三条通路和一个全连接层组成的卷积神经网络框架，三条通路中的每条单路用三个卷积层C1，C2，C3组成，其中第一卷积层C1有32个卷积核，卷积核大小为5×5×3，第二卷积层C2有32个卷积核，卷积核大小为5×5，第三卷积层C3，有64个卷积核，卷积核大小为5×5，三条通路输出的特征用全连接层合并得到特征向量；
(6b)对于所有的感兴趣区域r∈ROI，通过改变感兴趣区域r的尺寸大小得到三个新的图像patchL，patchm和patchs，并把这三个新的图像输入到卷积神经网络对应的三条通路，得到感兴趣区域r的特征向量，其中ROI为(5)中得到的感兴趣区域；patchL，patchm和patchs的尺寸分别为感兴趣区域r尺寸的64％、48％、32％；
(6c)将(6b)中所有感兴趣区域r∈ROI的特征向量输入到softmax分类器中，对感兴趣区域r进行路标分类，得到路标的识别结果。
CN201810399451.5A 2018-04-28 2018-04-28 基于条件随机场的路标识别方法 Active CN108664969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810399451.5A CN108664969B (zh) 2018-04-28 2018-04-28 基于条件随机场的路标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810399451.5A CN108664969B (zh) 2018-04-28 2018-04-28 基于条件随机场的路标识别方法

Publications (2)

Publication Number Publication Date
CN108664969A CN108664969A (zh) 2018-10-16
CN108664969B true CN108664969B (zh) 2022-04-19

Family

ID=63781305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810399451.5A Active CN108664969B (zh) 2018-04-28 2018-04-28 基于条件随机场的路标识别方法

Country Status (1)

Country Link
CN (1) CN108664969B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670455A (zh) * 2018-12-21 2019-04-23 联创汽车电子有限公司 计算机视觉车道线检测系统及其检测方法
CN111461039B (zh) * 2020-04-07 2022-03-25 电子科技大学 基于多尺度特征融合的地标识别方法
CN113743586B (zh) * 2021-09-07 2024-04-26 中国人民解放军空军工程大学 一种基于海马空间认知机理的运行体自主定位方法
CN115082703B (zh) * 2022-07-19 2022-11-11 深圳大学 概念关联颜色提取方法、装置、计算机设备和存储介质
CN114973207B (zh) * 2022-08-01 2022-10-21 成都航空职业技术学院 一种基于目标检测的路标识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514157A (zh) * 2013-10-21 2014-01-15 东南大学 一种面向室内智能机器人导航的路径自然语言处理方法
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法
CN105678218A (zh) * 2015-12-29 2016-06-15 电子科技大学 一种移动物体分类的方法
WO2016106383A2 (en) * 2014-12-22 2016-06-30 Robert Bosch Gmbh First-person camera based visual context aware system
CN106228134A (zh) * 2016-07-21 2016-12-14 北京奇虎科技有限公司 基于路面图像的可行驶区域检测方法、装置及系统
CN106295607A (zh) * 2016-08-19 2017-01-04 北京奇虎科技有限公司 道路识别方法及装置
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测
CN106570874A (zh) * 2016-11-10 2017-04-19 宁波大学 一种结合图像局部约束与对象全局约束的图像标记方法
CN106709463A (zh) * 2016-12-29 2017-05-24 武汉大学 基于分层语义的sar图像分类方法
CN107808140A (zh) * 2017-11-07 2018-03-16 浙江大学 一种基于图像融合的单目视觉道路识别算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916522B2 (en) * 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514157A (zh) * 2013-10-21 2014-01-15 东南大学 一种面向室内智能机器人导航的路径自然语言处理方法
WO2016106383A2 (en) * 2014-12-22 2016-06-30 Robert Bosch Gmbh First-person camera based visual context aware system
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法
CN105678218A (zh) * 2015-12-29 2016-06-15 电子科技大学 一种移动物体分类的方法
CN106228134A (zh) * 2016-07-21 2016-12-14 北京奇虎科技有限公司 基于路面图像的可行驶区域检测方法、装置及系统
CN106295607A (zh) * 2016-08-19 2017-01-04 北京奇虎科技有限公司 道路识别方法及装置
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测
CN106570874A (zh) * 2016-11-10 2017-04-19 宁波大学 一种结合图像局部约束与对象全局约束的图像标记方法
CN106709463A (zh) * 2016-12-29 2017-05-24 武汉大学 基于分层语义的sar图像分类方法
CN107808140A (zh) * 2017-11-07 2018-03-16 浙江大学 一种基于图像融合的单目视觉道路识别算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A superpixel-based CRF saliency detection approach;Wenliang Qiu等;《Neurocomputing》;20170312;第244卷;第1-118页 *
Salient Region Detection Methods with Application to Traffic Sign Recognition from Street View Images;KEREN FU;《ProQuest Dissertations Publishing》;20161231;第19-32页 *
结合深度学习与条件随机场的遥感图像分类;夏梦等;《中国图象图形学报》;20170915;第22卷(第09期);第1289-1301页 *

Also Published As

Publication number Publication date
CN108664969A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN108664969B (zh) 基于条件随机场的路标识别方法
CN108108761B (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN109117826B (zh) 一种多特征融合的车辆识别方法
CN109583482B (zh) 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
Briggman et al. Maximin affinity learning of image segmentation
CN106650731B (zh) 一种鲁棒的车牌、车标识别方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN103514456B (zh) 基于压缩感知多核学习的图像分类方法及其装置
CN108537239B (zh) 一种图像显著性目标检测的方法
CN105868774A (zh) 基于选择性搜索和卷积神经网络的车标识别方法
CN104408469A (zh) 基于图像深度学习的烟火识别方法及系统
CN105321176A (zh) 一种基于分层高阶条件随机场的图像分割方法
Zhang et al. Road recognition from remote sensing imagery using incremental learning
CN101140623A (zh) 一种基于支持向量机的视频对象识别方法及系统
CN115170805A (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
CN112464731B (zh) 一种基于图像处理的交通标志检测识别方法
CN112200186B (zh) 基于改进yolo_v3模型的车标识别方法
CN104392459A (zh) 基于改进的fcm和均值漂移的红外图像分割方法
CN111428735B (zh) 一种基于迁移学习深层网络融合模型的货车品牌分类方法
Tareef et al. Automated three-stage nucleus and cytoplasm segmentation of overlapping cells
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN110738672A (zh) 一种基于分层高阶条件随机场的图像分割方法
CN114359632A (zh) 一种基于改进PointNet++神经网络的点云目标分类方法
CN105426924A (zh) 一种基于图像中层特征的场景分类方法
Barodi et al. An enhanced artificial intelligence-based approach applied to vehicular traffic signs detection and road safety enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant