CN105956524A - 一种交通标识识别方法及装置 - Google Patents

一种交通标识识别方法及装置 Download PDF

Info

Publication number
CN105956524A
CN105956524A CN201610256273.1A CN201610256273A CN105956524A CN 105956524 A CN105956524 A CN 105956524A CN 201610256273 A CN201610256273 A CN 201610256273A CN 105956524 A CN105956524 A CN 105956524A
Authority
CN
China
Prior art keywords
image
integer
training
traffic mark
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610256273.1A
Other languages
English (en)
Inventor
谢静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Icetech Science & Technology Co ltd
Original Assignee
Beijing Icetech Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Icetech Science & Technology Co ltd filed Critical Beijing Icetech Science & Technology Co ltd
Priority to CN201610256273.1A priority Critical patent/CN105956524A/zh
Publication of CN105956524A publication Critical patent/CN105956524A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种交通标识识别方法，该方法首先利用卷积神经网络对标签的交通标识图像进行特征训练，获得深度学习模型，然后对图像进行SVF颜色分割，获得候选区域，最后使用深度学习模型对候选区域进行交通标识识别并输出结果。与现有技术相比，本发明的交通标识识别方法识别率较高，实用性较强。

Description

一种交通标识识别方法及装置
技术领域
本发明涉及图像处理、视频监控以及安防，特别涉及交通标识识别方法及装置。
背景技术
近年来，由于交通标识识别可以帮助驾驶员判断路面交通状况，从而能有效地增加行车的安全性。所以，交通标识识别的研究具有重要的理论意义和实用价值。
公开号为CN104361350A的中国发明专利申请公开了一种交通标识识别系统，该系统通过安装高动态相机，采集交通标识信息，识别交通标线、交通信号灯、交通标志并建立相应的时空关联模型，识别多种交通标识。公开号为CN104332065A的中国发明专利申请公开了一种交通信号图像信息识别与提醒系统及其方法，包含：视频信号采集系统、视频信号处理系统、提醒信号输出系统；完成将识别到的交通信号转换成拟人语音和清晰的信号再现。然而，上述交通标识识别技术在复杂场景中识别率较低。
综上所述，目前迫切需要提出一种能在复杂场景中有效地识别交通标识的方法及装置。
发明内容
有鉴于此，本发明的主要目的在于实现在复杂场景中有效地识别交通标识。
为达到上述目的，按照本发明的第一个方面，提供了一种交通标识识别方法，该方法包括：
第一步骤，采集现实场景中的交通标识图像；
第二步骤，对交通标识图像进行标签，利用卷积神经网络对标签的交通标识图像进行特征训练，并对训练到的特征进行分类，获得深度学习模型；
第三步骤，采集视频图像；
第四步骤，对图像进行SVF颜色分割，获得候选区域；
第五步骤，使用深度学习模型对候选区域进行交通标识识别；
第六步骤，输出识别的交通标识。
其中，所述第二步骤包括：
样本选取步骤，选取Th_Re个标签的交通标识图像作为正样本图像，选取Th_Simi个标签的非交通标识图像作为负样本图像；
初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤，选取Th_Test个测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出步骤，将收敛的模型作为深度学习模型并输出。
所述二次训练步骤进一步包括：
训练特征提取步骤，根据初步训练的模型提取测试图像的特征；
训练分类判定步骤，计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该测试图像属于该候选类别，否则判定该测试图像无交通标识；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛。
所述第四步骤进一步包括：
阴影滤除步骤，计算每个图像中每个像素点(x,y)的result(x,y)，若result(x,y)＜1，则将该像素点滤除；
颜色空间分割步骤，根据SVF算法分割出红色图像、蓝色图像、黄色图像；
连通区域获取步骤，对红色图像、蓝色图像、黄色图像分别进行灰度化处理、二值化处理、中值滤波处理、连通区域处理，获得一系列连通区域；
候选区域获取步骤，滤除连通区域内像素点的数量小于Th_Area的连通区域，剩余的连通区域即为候选区域。
颜色空间分割步骤进一步包括：
若R(x,y)-G(x,y)＞Th_Div1且R(x,y)-B(x,y)＞Th_Div2，则将该像素点标为红色点，分割出所有红色点获得红色图像；
若B(x,y)-R(x,y)＞Th_Div3且B(x,y)＞Th_Div4，则将该像素点标为蓝色点，分割出所有蓝色点获得蓝色图像；
若R(x,y)-B(x,y)＞Th_Div5且G(x,y)-B(x,y)＞Th_Div6，则将该像素点标为黄色点，分割出所有黄色点获得黄色图像。
所述第五步骤进一步包括：
识别特征提取步骤，根据深度学习模型提取图像的特征；
识别分类判定步骤，计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该图像属于该候选类别，否则判定该图像无交通标识。
按照本发明的另一个方面，提供了一种交通标识识别装置，该装置包括：
交通标识图像采集模块，用于采集现实场景中的交通标识图像；
深度学习模型获取模块，用于对交通标识图像进行标签，利用卷积神经网络对标签的交通标识图像进行特征训练，并对训练到的特征进行分类，获得深度学习模型；
图像采集模块，用于采集视频图像；
SVF颜色分割模块，用于对图像进行SVF颜色分割，获得候选区域；
深度学习识别模块，用于使用深度学习模型对候选区域进行交通标识识别；
识别结果输出模块，用于输出识别的交通标识。
所述深度学习模型获取模块包括：
样本选取模块，用于选取Th_Re个标签的交通标识图像作为正样本图像，选取Th_Simi个标签的非交通标识图像作为负样本图像；
初步训练模块，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块，用于选取Th_Test个测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出模块，用于将收敛的模型作为深度学习模型并输出。
所述二次训练模块进一步包括：
训练特征提取模块，用于根据初步训练的模型提取测试图像的特征；
训练分类判定模块，用于计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该测试图像属于该候选类别，否则判定该测试图像无交通标识；
反复训练模块，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复特征提取模块和分类判定模块，直至该模型收敛。
所述SVF颜色分割模块进一步包括：
阴影滤除模块，用于计算每个图像中每个像素点(x,y)的result(x,y)，若result(x,y)＜1，则将该像素点滤除；
颜色空间分割模块，用于根据SVF算法分割出红色图像、蓝色图像、黄色图像；
连通区域获取模块，用于对红色图像、蓝色图像、黄色图像分别进行灰度化处理、二值化处理、中值滤波处理、连通区域处理，获得一系列连通区域；
候选区域获取模块，用于滤除连通区域内像素点的数量小于Th_Area的连通区域，剩余的连通区域即为候选区域。
颜色空间分割模块进一步包括：
若R(x,y)-G(x,y)＞Th_Div1且R(x,y)-B(x,y)＞Th_Div2，则将该像素点标为红色点，分割出所有红色点获得红色图像；
若B(x,y)-R(x,y)＞Th_Div3且B(x,y)＞Th_Div4，则将该像素点标为蓝色点，分割出所有蓝色点获得蓝色图像；
若R(x,y)-B(x,y)＞Th_Div5且G(x,y)-B(x,y)＞Th_Div6，则将该像素点标为黄色点，分割出所有黄色点获得黄色图像。
所述深度学习识别模块进一步包括：
识别特征提取模块，用于根据深度学习模型提取图像的特征；
识别分类判定模块，用于计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该图像属于该候选类别，否则判定该图像无交通标识。
与现有的交通标识识别技术相比，本发明的交通标识识别方法及装置一方面采用卷积神经网络通过对交通标识图像进行特征训练，从而根据训练特征建立深度学习模型，提高了交通标识识别率；另一方面首先对采集的图像进行SVF颜色分割，已获得候选区域，再对候选区域进行深度学习识别，从而降低了运算量。因此，本发明的交通标识识别方法及装置识别率较高，实用性较强。
附图说明
图1示出了按照本发明的交通标识识别方法的流程图。
图2示出了按照本发明的第二步骤的流程图。
图3示出了按照本发明的交通标识识别装置的框架图。
图4示出了按照本发明的深度学习模型获取模块的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的交通标识识别方法的流程图。如图1所示，按照本发明的交通标识识别方法包括：
第一步骤S1，采集现实场景中的交通标识图像；
第二步骤S2，对交通标识图像进行标签，利用卷积神经网络对标签的交通标识图像进行特征训练，并对训练到的特征进行分类，获得深度学习模型；
第三步骤S3，采集视频图像；
第四步骤S4，对图像进行SVF颜色分割，获得候选区域；
第五步骤S5，使用深度学习模型对候选区域进行交通标识识别；
第六步骤S6，输出识别的交通标识。
图2给出了按照本发明的第二步骤的流程图。如图2所示，所述第二步骤S2包括：
样本选取步骤S21，选取Th_Re个标签的交通标识图像作为正样本图像，选取Th_Simi个标签的非交通标识图像作为负样本图像；
初步训练步骤S22，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤S23，选取Th_Test个测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出步骤S24，将收敛的模型作为深度学习模型并输出。
所述样本选取步骤S21中Th_Re≥100且为整数，Th_Simi≥0且为整数。当Th_Simi＝0时，只选取了正样本图像进行训练，没有选取负样本图像进行训练。
进一步地，Th_Re≥800且为整数，Th_Simi≥400且为整数。
优选地，Th_Re∈[1000,1000000]，Th_Simi∈[500,1000000]。
所述初步训练步骤S22中卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层、分类层、输出层。其中，每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CK。每层池化层的核的大小为KSi*KSi、步长为Th_K。所述全连接层的最后一层全连接层输出的神经元的数量CNum即为交通标识的类别数。
所述Th_Con∈[2,12]且为整数，Th_Pool∈[2,12]且为整数。
Th_Full∈[1,4]且为整数。Th_CK∈[Th_CKmin,Th_CKmax]，
Th_CKmin∈[4,18]且为整数，Th_CKmax∈[20,100]且为整数。CKSi∈[3,9]且为奇数，Th_CK∈[1,3]且为整数，KSi∈[2,4]且为整数，Th_K∈[1,3]且为整数。CNum∈[10,100]。
进一步地，所述Th_Con∈[2,8]且为整数，Th_Pool∈[2,8]且为整数。
Th_Full∈[1,3]且为整数。Th_CK∈[Th_CKmin,Th_CKmax]，
Th_CKmin∈[6,16]且为整数，Th_CKmax∈[30,80]且为整数。CKSi∈[3,7]且为奇数，Th_CK设为1，KSi设为2，Th_K设为2。CNum∈[40,80]。
所述池化层采用最大池化法或者平均池化法。
所述分类层为softmax分类层。
优选地，卷积神经网络采用LeNet的改进网络，该网络包括：
输入层，输入56*56的图像；
第一层卷积层C1，输出16个5*5的卷积核，步长为1；
第一层池化层S2，采用最大池化法输出2*2的核，步长为2；
第二层卷积层C3，输出60个5*5的卷积核，步长为1；
第二层池化层S4，采用最大池化法输出2*2的核，步长为2；
第一层全连接层F1，输出512个神经元；
第二层全连接层F2，输出43个神经元，即43种分类类别；
softmax分类层，采用softmax激活函数计算43个类别的输出概率；
输出层，输出概率最大的类别。
所述二次训练步骤S23进一步包括：
训练特征提取步骤S231，根据初步训练的模型提取测试图像的特征；
训练分类判定步骤S232，计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该测试图像属于该候选类别，否则判定该测试图像无交通标识；
反复训练步骤S233，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤S231和训练分类判定步骤S232，直至该模型收敛。
其中，Th_Test≥100且为整数。进一步地，Th_Test≥400且为整数。优选地，Th_Test∈[1000,1000000]且为整数。反向传播算法通过现有的技术实现。Th_Si∈[0.5,0.8]。
所述第四步骤S4进一步包括：
阴影滤除步骤S41，计算每个图像中每个像素点(x,y)的result(x,y)，若result(x,y)＜1，则将该像素点滤除；
颜色空间分割步骤S42，根据SVF算法分割出红色图像、蓝色图像、黄色图像；
连通区域获取步骤S43，对红色图像、蓝色图像、黄色图像分别进行灰度化处理、二值化处理、中值滤波处理、连通区域处理，获得一系列连通区域；
候选区域获取步骤S44，滤除连通区域内像素点的数量小于Th_Area的连通区域，剩余的连通区域即为候选区域。
所述
其中，R(x,y)、G(x,y)、B(x,y)分别表示像素点(x,y)在颜色空间中红、绿、蓝的分量值。将像素点滤除，即将该像素点的红、绿、蓝的分量值设为0。
D∈[13,25]且为整数。
颜色空间分割步骤S42进一步包括：
若R(x,y)-G(x,y)＞Th_Div1且R(x,y)-B(x,y)＞Th_Div2，则将该像素点标为红色点，分割出所有红色点获得红色图像；
若B(x,y)-R(x,y)＞Th_Div3且B(x,y)＞Th_Div4，则将该像素点标为蓝色点，分割出所有蓝色点获得蓝色图像；
若R(x,y)-B(x,y)＞Th_Div5且G(x,y)-B(x,y)＞Th_Div6，则将该像素点标为黄色点，分割出所有黄色点获得黄色图像。
其中，所述Th_Div1∈[35,45]，Th_Div2∈[45,55]，Th_Div3∈[30,40]，Th_Div4∈[12,17]，Th_Div5∈[55,65]，Th_Div6∈[35,45]。
优选地，Th_Div1设置为40，Th_Div2设置为50，Th_Div3设置为35，Th_Div4设置为15，Th_Div5设置为60，Th_Div6设置为40。
所述连通区域获取步骤S43中的灰度化处理、二值化处理、中值滤波处理、连通区域处理都通过现有的技术实现。
所述候选区域获取步骤S44中Th_Area∈[15,40]。
所述第五步骤S5进一步包括：
识别特征提取步骤S51，利用深度学习模型提取图像的特征；
识别分类判定步骤S52，计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该图像属于该候选类别，否则判定该图像无交通标识。
其中，所述Th_Si∈[0.5,0.8]。
图3给出了按照本发明的交通标识识别装置的框架图。如图3所示，按照本发明的交通标识识别装置包括：
交通标识图像采集模块1，用于采集现实场景中的交通标识图像；
深度学习模型获取模块2，用于对交通标识图像进行标签，利用卷积神经网络对标签的交通标识图像进行特征训练，并对训练到的特征进行分类，获得深度学习模型；
图像采集模块3，用于采集视频图像；
SVF颜色分割模块4，用于对图像进行SVF颜色分割，获得候选区域；
深度学习识别模块5，用于使用深度学习模型对候选区域进行交通标识识别；
识别结果输出模块6，用于输出识别的交通标识。
图4给出了按照本发明的深度学习模型获取模块的流程图。如图2所示，所述深度学习模型获取模块2包括：
样本选取模块21，用于选取Th_Re个标签的交通标识图像作为正样本图像，选取Th_Simi个标签的非交通标识图像作为负样本图像；
初步训练模块22，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块23，用于选取Th_Test个测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出模块24，用于将收敛的模型作为深度学习模型并输出。
所述样本选取模块21中Th_Re≥100且为整数，Th_Simi≥0且为整数。
当Th_Simi＝0时，只选取了正样本图像进行训练，没有选取负样本图像进行训练。
进一步地，Th_Re≥800且为整数，Th_Simi≥400且为整数。
优选地，Th_Re∈[1000,1000000]，Th_Simi∈[500,1000000]。
所述初步训练模块22中卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层、分类层、输出层。其中，每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CK。每层池化层的核的大小为KSi*KSi、步长为Th_K。所述全连接层的最后一层全连接层输出的神经元的数量CNum即为交通标识的类别数。
所述Th_Con∈[2,12]且为整数，Th_Pool∈[2,12]且为整数。
Th_Full∈[1,4]且为整数。Th_CK∈[Th_CKmin,Th_CKmax]，
Th_CKmin∈[4,18]且为整数，Th_CKmax∈[20,100]且为整数。CKSi∈[3,9]且为奇数，Th_CK∈[1,3]且为整数，KSi∈[2,4]且为整数，Th_K∈[1,3]且为整数。CNum∈[10,100]。
进一步地，所述Th_Con∈[2,8]且为整数，Th_Pool∈[2,8]且为整数。
Th_Full∈[1,3]且为整数。Th_CK∈[Th_CKmin,Th_CKmax]，
Th_CKmin∈[6,16]且为整数，Th_CKmax∈[30,80]且为整数。CKSi∈[3,7]且为奇数，Th_CK设为1，KSi设为2，Th_K设为2。CNum∈[40,80]。
所述池化层采用最大池化法或者平均池化法。
所述分类层为softmax分类层。
优选地，卷积神经网络采用LeNet的改进网络，该网络包括：
输入层，输入56*56的图像；
第一层卷积层C1，输出16个5*5的卷积核，步长为1；
第一层池化层S2，采用最大池化法输出2*2的核，步长为2；
第二层卷积层C3，输出60个5*5的卷积核，步长为1；
第二层池化层S4，采用最大池化法输出2*2的核，步长为2；
第一层全连接层F1，输出512个神经元；
第二层全连接层F2，输出43个神经元，即43种分类类别；
softmax分类层，采用softmax激活函数计算43个类别的输出概率；
输出层，输出概率最大的类别。
所述二次训练模块23进一步包括：
训练特征提取模块231，用于根据初步训练的模型提取测试图像的特征；
训练分类判定模块232，用于计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该测试图像属于该候选类别，否则判定该测试图像无交通标识；
反复训练模块233，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复特征提取模块231和分类判定模块232，直至该模型收敛。
其中，Th_Test≥100且为整数。进一步地，Th_Test≥400且为整数。优选地，Th_Test∈[1000,1000000]且为整数。反向传播算法通过现有的技术实现。Th_Si∈[0.5,0.8]。
所述SVF颜色分割模块4进一步包括：
阴影滤除模块41，用于计算每个图像中每个像素点(x,y)的result(x,y)，若result(x,y)＜1，则将该像素点滤除；
颜色空间分割模块42，用于根据SVF算法分割出红色图像、蓝色图像、黄色图像；
连通区域获取模块43，用于对红色图像、蓝色图像、黄色图像分别进行灰度化处理、二值化处理、中值滤波处理、连通区域处理，获得一系列连通区域；
候选区域获取模块44，用于滤除连通区域内像素点的数量小于Th_Area的连通区域，剩余的连通区域即为候选区域。
所述
其中，R(x,y)、G(x,y)、B(x,y)分别表示像素点(x,y)在颜色空间中红、绿、蓝的分量值。将像素点滤除，即将该像素点的红、绿、蓝的分量值设为0。
D∈[13,25]且为整数。
颜色空间分割模块42进一步包括：
若R(x,y)-G(x,y)＞Th_Div1且R(x,y)-B(x,y)＞Th_Div2，则将该像素点标为红色点，分割出所有红色点获得红色图像；
若B(x,y)-R(x,y)＞Th_Div3且B(x,y)＞Th_Div4，则将该像素点标为蓝色点，分割出所有蓝色点获得蓝色图像；
若R(x,y)-B(x,y)＞Th_Div5且G(x,y)-B(x,y)＞Th_Div6，则将该像素点标为黄色点，分割出所有黄色点获得黄色图像。
其中，所述Th_Div1∈[35,45]，Th_Div2∈[45,55]，Th_Div3∈[30,40]，Th_Div4∈[12,17]，Th_Div5∈[55,65]，Th_Div6∈[35,45]。
优选地，Th_Div1设置为40，Th_Div2设置为50，Th_Div3设置为35，Th_Div4设置为15，Th_Div5设置为60，Th_Div6设置为40。
所述连通区域获取模块43中的灰度化处理、二值化处理、中值滤波处理、连通区域处理都通过现有的技术实现。
所述候选区域获取模块44中Th_Area∈[15,40]。
所述深度学习识别模块5进一步包括：
识别特征提取模块51，用于根据深度学习模型提取图像的特征；
识别分类判定模块52，用于计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该图像属于该候选类别，否则判定该图像无交通标识。
其中，所述Th_Si∈[0.5,0.8]。
与现有的交通标识识别技术相比，本发明的交通标识识别方法及装置一方面采用卷积神经网络通过对交通标识图像进行特征训练，从而根据训练特征建立深度学习模型，提高了交通标识识别率；另一方面首先对采集的图像进行SVF颜色分割，已获得候选区域，再对候选区域进行深度学习识别，从而降低了运算量。因此，本发明的交通标识识别方法及装置识别率较高，实用性较强。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (14)

1.一种交通标识识别方法，其特征在于，该方法包括：
第一步骤，采集现实场景中的交通标识图像；
第二步骤，对交通标识图像进行标签，利用卷积神经网络对标签的交通标识图像进行特征训练，并对训练到的特征进行分类，获得深度学习模型；
第三步骤，采集视频图像；
第四步骤，对图像进行SVF颜色分割，获得候选区域；
第五步骤，使用深度学习模型对候选区域进行交通标识识别；
第六步骤，输出识别的交通标识。
2.如权利要求1所述的方法，所述第二步骤包括：
样本选取步骤，选取Th_Re个标签的交通标识图像作为正样本图像，选取Th_Simi个标签的非交通标识图像作为负样本图像；
初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤，选取Th_Test个测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出步骤，将收敛的模型作为深度学习模型并输出；
其中，Th_Re≥100且为整数，Th_Simi≥0且为整数，Th_Test≥100且为整数。
3.如权利要求1～2所述的方法，所述卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层、分类层、输出层；每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CK；每层池化层的核的大小为KSi*KSi、步长为Th_K；所述全连接层的最后一层全连接层输出的神经元的数量CNum即为交通标识的类别数；
其中，Th_Con∈[2,12]且为整数，Th_Pool∈[2,12]且为整数，Th_Full∈[1,4]且为整数，Th_CK∈[Th_CKmin,Th_CKmax]，Th_CKmin∈[4,18]且为整数，Th_CKmax∈[20,100]且为整数，CKSi∈[3,9]且为奇数，Th_CK∈[1,3]且为整数，KSi∈[2,4]且为整数，Th_K∈[1,3]且为整数，CNum∈[10,100]。
4.如权利要求2所述的方法，所述二次训练步骤进一步包括：
训练特征提取步骤，根据初步训练的模型提取测试图像的特征；
训练分类判定步骤，计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该测试图像属于该候选类别，否则判定该测试图像无交通标识；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛；
其中，Th_Si∈[0.5,0.8]。
5.如权利要求1所述的方法，其特征在于，所述第四步骤进一步包括：
阴影滤除步骤，计算每个图像中每个像素点(x,y)的result(x,y)，若
result(x,y)＜1，则将该像素点滤除；
颜色空间分割步骤，根据SVF算法分割出红色图像、蓝色图像、黄色图像；
连通区域获取步骤，对红色图像、蓝色图像、黄色图像分别进行灰度化处理、二值化处理、中值滤波处理、连通区域处理，获得一系列连通区域；
候选区域获取步骤，滤除连通区域内像素点的数量小于Th_Area的连通区域，剩余的连通区域即为候选区域；
其中，
R(x,y)、G(x,y)、B(x,y)分别表示像素点(x,y)在颜色空间中红、绿、蓝的分量值，D∈[13,25]且为整数，Th_Area∈[15,40]。
6.如权利要求5所述的方法，其特征在于，所述颜色空间分割步骤进一步包括：
若R(x,y)-G(x,y)＞Th_Div1且R(x,y)-B(x,y)＞Th_Div2，则将该像素点标为红色点，分割出所有红色点获得红色图像；
若B(x,y)-R(x,y)＞Th_Div3且B(x,y)＞Th_Div4，则将该像素点标为蓝色点，分割出所有蓝色点获得蓝色图像；
若R(x,y)-B(x,y)＞Th_Div5且G(x,y)-B(x,y)＞Th_Div6，则将该像素点标为黄色点，分割出所有黄色点获得黄色图像；
其中，所述Th_Div1∈[35,45]，Th_Div2∈[45,55]，Th_Div3∈[30,40]，Th_Div4∈[12,17]，Th_Div5∈[55,65]，Th_Div6∈[35,45]。
7.如权利要求1所述的方法，所述第五步骤进一步包括：
识别特征提取步骤，根据深度学习模型提取图像的特征；
识别分类判定步骤，计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该图像属于该候选类别，否则判定该图像无交通标识；
其中，Th_Si∈[0.5,0.8]。
8.一种交通标识识别装置，其特征在于，该装置包括：
交通标识图像采集模块，用于采集现实场景中的交通标识图像；
深度学习模型获取模块，用于对交通标识图像进行标签，利用卷积神经网络对标签的交通标识图像进行特征训练，并对训练到的特征进行分类，获得深度学习模型；
图像采集模块，用于采集视频图像；
SVF颜色分割模块，用于对图像进行SVF颜色分割，获得候选区域；
深度学习识别模块，用于使用深度学习模型对候选区域进行交通标识识别；
识别结果输出模块，用于输出识别的交通标识。
9.如权利要求8所述的装置，所述深度学习模型获取模块包括：
样本选取模块，用于选取Th_Re个标签的交通标识图像作为正样本图像，选取Th_Simi个标签的非交通标识图像作为负样本图像；
初步训练模块，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块，用于选取Th_Test个测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出模块，用于将收敛的模型作为深度学习模型并输出；
其中，Th_Re≥100且为整数，Th_Simi≥0且为整数，Th_Test≥100且为整数。
10.如权利要求8～9所述的装置，所述卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层、分类层、输出层；每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CK；每层池化层的核的大小为KSi*KSi、步长为Th_K；所述全连接层的最后一层全连接层输出的神经元的数量CNum即为交通标识的类别数；
其中，Th_Con∈[2,12]且为整数，
Th_Pool∈[2,12]且为整数，Th_Full∈[1,4]且为整数，
Th_CK∈[Th_CKmin,Th_CKmax]，Th_CKmin∈[4,18]且为整数，
Th_CKmax∈[20,100]且为整数，CKSi∈[3,9]且为奇数，Th_CK∈[1,3]且为整数，KSi∈[2,4]且为整数，Th_K∈[1,3]且为整数，CNum∈[10,100]。
11.如权利要求9所述的装置，所述二次训练模块进一步包括：
训练特征提取模块，用于根据初步训练的模型提取测试图像的特征；
训练分类判定模块，用于计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该测试图像属于该候选类别，否则判定该测试图像无交通标识；
反复训练模块，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复特征提取模块和分类判定模块，直至该模型收敛。
12.如权利要求8所述的装置，其特征在于，所述SVF颜色分割模块进一步包括：
阴影滤除模块，用于计算每个图像中每个像素点(x,y)的result(x,y)，若
result(x,y)＜1，则将该像素点滤除；
颜色空间分割模块，用于根据SVF算法分割出红色图像、蓝色图像、黄色图像；
连通区域获取模块，用于对红色图像、蓝色图像、黄色图像分别进行灰度化处理、二值化处理、中值滤波处理、连通区域处理，获得一系列连通区域；
候选区域获取模块，用于滤除连通区域内像素点的数量小于Th_Area的连通区域，剩余的连通区域即为候选区域；
其中，
R(x,y)、G(x,y)、B(x,y)分别表示像素点(x,y)在颜色空间中红、绿、蓝的分量值，D∈[13,25]且为整数，Th_Area∈[15,40]。
13.如权利要求12所述的装置，其特征在于，所述颜色空间分割步骤进一步包括：
若R(x,y)-G(x,y)＞Th_Div1且R(x,y)-B(x,y)＞Th_Div2，则将该像素点标为红色点，分割出所有红色点获得红色图像；
若B(x,y)-R(x,y)＞Th_Div3且B(x,y)＞Th_Div4，则将该像素点标为蓝色点，分割出所有蓝色点获得蓝色图像；
若R(x,y)-B(x,y)＞Th_Div5且G(x,y)-B(x,y)＞Th_Div6，则将该像素点标为黄色点，分割出所有黄色点获得黄色图像；
其中，Th_Div1∈[35,45]，Th_Div2∈[45,55]，Th_Div3∈[30,40]，Th_Div4∈[12,17]，Th_Div5∈[55,65]，Th_Div6∈[35,45]。
14.如权利要求8所述的装置，所述深度学习识别模块进一步包括：
识别特征提取模块，用于根据深度学习模型提取图像的特征；
识别分类判定模块，用于计算该特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1,2,L,CNum}，选取Simik值最大的类别作为候选类别，若候选类别的Simik＞Th_Si，则判定该图像属于该候选类别，否则判定该图像无交通标识；
其中，Th_Si∈[0.5,0.8]。
CN201610256273.1A 2016-04-22 2016-04-22 一种交通标识识别方法及装置 Pending CN105956524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610256273.1A CN105956524A (zh) 2016-04-22 2016-04-22 一种交通标识识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610256273.1A CN105956524A (zh) 2016-04-22 2016-04-22 一种交通标识识别方法及装置

Publications (1)

Publication Number Publication Date
CN105956524A true CN105956524A (zh) 2016-09-21

Family

ID=56915159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610256273.1A Pending CN105956524A (zh) 2016-04-22 2016-04-22 一种交通标识识别方法及装置

Country Status (1)

Country Link
CN (1) CN105956524A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503663A (zh) * 2016-11-01 2017-03-15 江苏大学 一种基于深度学习的信号灯时长检测方法
CN106570494A (zh) * 2016-11-21 2017-04-19 北京智芯原动科技有限公司 基于卷积神经网络的交通信号灯识别方法及装置
CN106709453A (zh) * 2016-12-24 2017-05-24 北京工业大学 一种基于深度学习的体育视频关键姿态提取方法
CN106845458A (zh) * 2017-03-05 2017-06-13 北京工业大学 一种基于核超限学习机的快速交通标识检测方法
CN107066965A (zh) * 2017-04-11 2017-08-18 北京汽车集团有限公司 检测交通标识的方法及装置
CN107808358A (zh) * 2017-11-13 2018-03-16 携程计算机技术（上海）有限公司 图像水印自动检测方法
CN108275524A (zh) * 2018-01-12 2018-07-13 东北大学 一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置
CN108416270A (zh) * 2018-02-06 2018-08-17 南京信息工程大学 一种基于多属性联合特征的交通标志识别方法
CN108693441A (zh) * 2018-04-16 2018-10-23 华北电力大学（保定） 一种输电线路绝缘子识别方法及系统
CN108960232A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
CN109325438A (zh) * 2018-09-18 2019-02-12 桂林电子科技大学 实况全景交通标志的实时识别方法
CN109426824A (zh) * 2017-08-28 2019-03-05 高德软件有限公司 道路交通标线的识别方法和装置
CN109993058A (zh) * 2019-02-27 2019-07-09 北京大学 基于多标签分类的道路交通标志的识别方法
CN110096981A (zh) * 2019-04-22 2019-08-06 长沙千视通智能科技有限公司 一种基于深度学习的视频大数据交通场景分析方法
CN112036421A (zh) * 2019-05-16 2020-12-04 搜狗（杭州）智能科技有限公司 一种图像处理方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN105354568A (zh) * 2015-08-24 2016-02-24 西安电子科技大学 基于卷积神经网络的车标识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN105354568A (zh) * 2015-08-24 2016-02-24 西安电子科技大学 基于卷积神经网络的车标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈维馨 等: "基于颜色和形状的道路交通标志检测", 《厦门大学学报》 *
黄志勇 等: "基于RGB视觉模型的交通标志分割", 《微电子学与计算机》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503663A (zh) * 2016-11-01 2017-03-15 江苏大学 一种基于深度学习的信号灯时长检测方法
CN106570494A (zh) * 2016-11-21 2017-04-19 北京智芯原动科技有限公司 基于卷积神经网络的交通信号灯识别方法及装置
CN106709453A (zh) * 2016-12-24 2017-05-24 北京工业大学 一种基于深度学习的体育视频关键姿态提取方法
CN106845458A (zh) * 2017-03-05 2017-06-13 北京工业大学 一种基于核超限学习机的快速交通标识检测方法
CN106845458B (zh) * 2017-03-05 2020-11-27 北京工业大学 一种基于核超限学习机的快速交通标识检测方法
CN107066965A (zh) * 2017-04-11 2017-08-18 北京汽车集团有限公司 检测交通标识的方法及装置
CN109426824B (zh) * 2017-08-28 2021-05-25 阿里巴巴（中国）有限公司 道路交通标线的识别方法和装置
CN109426824A (zh) * 2017-08-28 2019-03-05 高德软件有限公司 道路交通标线的识别方法和装置
CN107808358B (zh) * 2017-11-13 2021-11-05 携程计算机技术（上海）有限公司 图像水印自动检测方法
CN107808358A (zh) * 2017-11-13 2018-03-16 携程计算机技术（上海）有限公司 图像水印自动检测方法
CN108275524A (zh) * 2018-01-12 2018-07-13 东北大学 一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置
CN108416270A (zh) * 2018-02-06 2018-08-17 南京信息工程大学 一种基于多属性联合特征的交通标志识别方法
CN108416270B (zh) * 2018-02-06 2021-07-06 南京信息工程大学 一种基于多属性联合特征的交通标志识别方法
CN108693441A (zh) * 2018-04-16 2018-10-23 华北电力大学（保定） 一种输电线路绝缘子识别方法及系统
CN108693441B (zh) * 2018-04-16 2021-01-22 华北电力大学（保定） 一种输电线路绝缘子识别方法及系统
CN108960232A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
CN109325438A (zh) * 2018-09-18 2019-02-12 桂林电子科技大学 实况全景交通标志的实时识别方法
CN109325438B (zh) * 2018-09-18 2021-06-15 桂林电子科技大学 实况全景交通标志的实时识别方法
CN109993058A (zh) * 2019-02-27 2019-07-09 北京大学 基于多标签分类的道路交通标志的识别方法
CN110096981A (zh) * 2019-04-22 2019-08-06 长沙千视通智能科技有限公司 一种基于深度学习的视频大数据交通场景分析方法
CN112036421A (zh) * 2019-05-16 2020-12-04 搜狗（杭州）智能科技有限公司 一种图像处理方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN105956524A (zh) 一种交通标识识别方法及装置
CN108446700B (zh) 一种基于对抗攻击的车牌攻击生成方法
CN103605977B (zh) 一种车道线的提取方法及装置
CN102043945B (zh) 基于车辆实时跟踪和二进指数分类车牌字符识别的方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN106570494A (zh) 基于卷积神经网络的交通信号灯识别方法及装置
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN109800736A (zh) 一种基于遥感影像和深度学习的道路提取方法
CN103902968B (zh) 一种基于AdaBoost分类器的行人检测模型训练方法
CN109255284B (zh) 一种基于运动轨迹的3d卷积神经网络的行为识别方法
CN106845487A (zh) 一种端到端的车牌识别方法
CN107657257A (zh) 一种基于多通道卷积神经网络的语义图像分割方法
CN108154102A (zh) 一种道路交通标志识别方法
CN106778646A (zh) 基于卷积神经网络的车型识别方法及装置
CN105335716A (zh) 一种基于改进udn提取联合特征的行人检测方法
CN105718889A (zh) 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN107316036A (zh) 一种基于级联分类器的害虫识别方法
CN109754002A (zh) 一种基于深度学习的隐写分析混合集成方法
CN104331688A (zh) 一种雷管外壳点阵字符识别方法
CN107346413A (zh) 一种街景影像中的交通标志识别方法和系统
CN103020965A (zh) 一种基于显著性检测的前景分割方法
CN110503613A (zh) 基于级联空洞卷积神经网络的面向单幅图像去雨方法
CN111160194B (zh) 一种基于多特征融合的静态手势图像识别方法
CN107908752A (zh) 一种试卷成绩智能采集与分析系统及方法
CN107590500A (zh) 一种基于色彩投影分类的车牌颜色识别方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921

RJ01 Rejection of invention patent application after publication