CN111832388B - 一种车辆行驶中交通标志检测与识别方法及系统 - Google Patents

一种车辆行驶中交通标志检测与识别方法及系统 Download PDF

Info

Publication number
CN111832388B
CN111832388B CN202010441677.4A CN202010441677A CN111832388B CN 111832388 B CN111832388 B CN 111832388B CN 202010441677 A CN202010441677 A CN 202010441677A CN 111832388 B CN111832388 B CN 111832388B
Authority
CN
China
Prior art keywords
traffic sign
image
frame
bounding box
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010441677.4A
Other languages
English (en)
Other versions
CN111832388A (zh
Inventor
宋建新
吴浩民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010441677.4A priority Critical patent/CN111832388B/zh
Publication of CN111832388A publication Critical patent/CN111832388A/zh
Application granted granted Critical
Publication of CN111832388B publication Critical patent/CN111832388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆行驶中交通标志检测与识别方法及系统，其中检测与识别方法包括：1、构建第一图像数据集、第二图像数据集和第三样本集；建立交通标志检测模型，用第一图像数据集进行训练与测试；建立基于标准VGG 19的交通标志特征提取与识别网络，用第二图像数据集和第三样本集进行分部训练与测试；2、逐帧检测车辆行驶中采集的视频图像中的交通标志，当检测到时，记该帧为k帧；3、获取k+1帧和k+2帧，分别计算其中交通标志矩形外包围盒内的图像和和外包围盒位置信息；4、提取k帧、k+1帧、k+2帧中交通标志矩形外包围盒内图像的特征；5、进行特征融合，得到融合特征；6、将融合特征输入交通标志识别子网进行识别。该方法能够获得较精确的检测识别效果。

Description

一种车辆行驶中交通标志检测与识别方法及系统
技术领域
本发明属于图像处理技术领域及计算机视觉领域，具体涉及一种用于车辆行驶中检测与识别交通标志的方法和系统。
背景技术
道路交通标志的检测和识别是汽车辅助驾驶系统中的一项重要内容，实现交通标志的高效准确识别，可以为安全驾驶系统提供保证，同时也为未来全面实现无人驾驶汽车系统提供了必要条件。
目前国内外提出的关于交通标志检测和识别的方法其大致可以分为传统方法和基于深度学习方法两类。
传统的道路交通标志识别算法主要抓住图像中交通标志所具有的独特的形状和颜色特性来进行检测与识别，这种方法一方面由于对光照等因素十分敏感，在对交通标志候选区域分割时，颜色阈值难以确定，另一方面，由于色彩丰富的背景环境，在确定交通标志候选区域时会造成较大干扰，因而妨碍正确识别；基于形状特征的交通标志识别与检测方法，其基本思想是检测图像中的边缘形状，确定图像中是否包含交通标志常见的形状，如圆形，三角形等。但是在实际情况中，图像中的交通标志由于图像采集设备拍摄角度不同而产生较大的形状畸变，另外，背景环境中也存在着许多圆形，三角形等形状的物体，会造成大量错误检测。还有的研究者将基于颜色特性与形状特征的识别与检测方法相结合，使交通标志检测和识别的精度有所提高，但这些方法都是针对指定的形状与特征，缺乏普适性。
近几年，基于深度学习的方法在图像处理领域展现出强大优势，许多研究者也将深度学习方法中的卷积神经网络的结构应用在交通标志检测和识别的任务中。目前很多以深度学习为核心的检测与识别算法，在满足特定条件的应用场景下，已经超越了传统算法的识别或分类性能，但是，现有的这些检测和识别交通标志的方法都是针对单张图像进行的，当某张图像中的交通标志存在的运动模糊、视频失焦、部分遮挡以及奇异姿势，就比较难以检测和识别出图像中的交通标志。
发明内容
发明目的：针对现有技术中存在的问题，本发明公开了一种车辆行驶中交通标志检测与识别方法，该方法能够解决在车辆行驶中因运动模糊、视频失焦、部分遮挡以及奇异姿势导致交通标志检测与识别准确度下降的问题，获得较精确的检测识别效果。
技术方案：本发明一方面公开了一种车辆行驶中交通标志检测与识别方法，包括训练阶段和识别阶段，所述训练阶段包括：
(1)车辆上设置可以拍摄道路旁交通标志的摄像头，获取所述摄像头在车辆行驶中采集的视频数据，选择视频中包含交通标志的图像并统一图像尺寸，对图像中的交通标志标注矩形外包围盒并添加类别标签，构成第一图像数据集；
建立交通标志检测模型，将第一图像数据集中的图像分为训练样本和测试样本，对交通标志检测模型进行训练与测试；
对第一图像数据集中的图像沿矩形外包围盒进行裁剪，采用双线性内插法将剪裁后的图像尺寸调整，构成第二图像数据集；
将第二图像数据集中连续采集的三帧图像作为一个样本，构成第三样本集；
建立基于标准VGG 19的交通标志特征提取与识别网络，所述交通标志特征提取与识别网络的卷积层部分为交通标志特征提取子网，所述交通标志特征提取与识别网络的全连接层和softmax部分为交通标志识别子网；
将第二图像数据集中的图像分为训练样本和测试样本，对交通标志特征提取与识别网络进行第一次训练与测试；
保持交通标志特征提取子网的参数不变，将第三样本集中的样本分为训练样本和测试样本，对交通标志识别子网进行第二次训练与测试；
所述识别阶段包括：
(2)对车辆行驶中采集的视频数据采用训练好的交通标志检测模型逐帧检测图像中的交通标志，当检测到交通标志时，记该帧为k帧，获取交通标志矩形外包围盒内的图像Ik(x，y)、外包围盒的中心坐标
Figure BDA0002504410360000021
高
Figure BDA0002504410360000026
宽
Figure BDA0002504410360000022
(3)获取视频数据中的k+1帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和外包围盒的位置信息，计算k+1帧的交通标志矩形外包围盒的中心坐标
Figure BDA0002504410360000023
高
Figure BDA0002504410360000024
宽
Figure BDA0002504410360000025
获取所述外包围盒内的图像Ik+1(x，y)；
(4)获取视频数据中的k+2帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和k+1帧外包围盒的位置信息，计算k+2帧的交通标志矩形外包围盒的中心坐标
Figure BDA0002504410360000031
高
Figure BDA0002504410360000032
宽
Figure BDA0002504410360000033
获取所述外包围盒内的图像Ik+2(x，y)；
(5)采用训练好的交通标志特征提取子网分别提取Ik(x，y)、Ik+1(x，y)、Ik+2(x，y)的特征Fk，Fk+1，Fk+2；
(6)采用相加融合方法，得到融合特征F：F＝(Fk+Fk+1+Fk+2)/3；
(7)将特征F输入到训练好的交通标志识别子网进行交通标志识别。
作为优选，所述交通标志检测模型为标准YOLO v3网络。
所述采用第三样本集对交通标志识别子网进行第二次训练与测试的具体步骤为：
(A1)将第三样本集中一个样本所包含的三帧图像依次输入交通标志特征提取子网，得到同一交通标志连续三帧图像的特征f1，f2和f3；
(A2)将特征相加融合得到融合特征f＝(f1+f2+f3)/3，将融合特征f作为输入、f对应样本的类别作为输出，对交通标志识别子网进行再次训练与测试。
所述步骤(3)中计算k+1帧的交通标志矩形外包围盒内的中心坐标
Figure BDA0002504410360000034
高
Figure BDA0002504410360000035
宽
Figure BDA0002504410360000036
获取所述外包围盒内的图像Ik+1(x，y)，具体包括：
(3-1)：采用SURF算法提取Ik(x，y)的特征点，记特征点坐标为
Figure BDA0002504410360000037
特征点的特征描述子
Figure BDA0002504410360000038
i＝1，2，...，K，K为特征点数量；
(32)：在k+1帧图像中，构建以
Figure BDA0002504410360000039
为中心、
Figure BDA00025044103600000310
为高、
Figure BDA00025044103600000311
为宽的候选区域Ic；其中W＞1，为第一放大系数；对Ic内的图像，采用SURF算法提取特征点，记特征点坐标为
Figure BDA00025044103600000312
特征点的特征描述子
Figure BDA00025044103600000313
j＝1，2，...，M，M为特征点数量；
(33)采用SURF特征点匹配方法，计算Ik(x，y)中的特征点与Ic内图像的特征点相匹配的特征点数P；如果P≤T，跳转至步骤(2)重新检测视频数据中的交通标志，T为预设的匹配特征点数阈值；如果P＞T，计算k+1帧的交通标志矩形外包围盒的中心坐标
Figure BDA00025044103600000314
高
Figure BDA00025044103600000315
宽
Figure BDA00025044103600000316
获取所述外包围盒内的图像Ik+1(x，y)；方法如下：
(a)计算k帧与k+1帧矩形外包围盒中心点偏移量：
Figure BDA0002504410360000041
其中
Figure BDA0002504410360000042
和
Figure BDA0002504410360000043
为k帧与k+1帧中相匹配的一对特征点坐标；
计算k+1帧矩形外包围盒区域中心点位置坐标
Figure BDA0002504410360000044
Figure BDA0002504410360000045
(b)计算外包围盒矩形区域高
Figure BDA0002504410360000046
和宽
Figure BDA0002504410360000047
Figure BDA0002504410360000048
式中，M1为第二放大系数，W＞M1＞1；
(c)k+1帧中矩形外包围盒区域内的图像即为Ik+1(x，y)。
所述步骤(4)计算k+2帧的交通标志矩形外包围盒的中心坐标
Figure BDA0002504410360000049
高
Figure BDA00025044103600000410
宽
Figure BDA00025044103600000411
获取所述外包围盒内的图像Ik+2(x，y)，具体包括：
(41)在k+2帧图像中，构建以
Figure BDA00025044103600000412
为中心、
Figure BDA00025044103600000413
为高、
Figure BDA00025044103600000414
为宽的候选区域Ic′；其中W＞1，为第一放大系数；对Ic′内的图像，采用SURF算法提取特征点，记特征点坐标为
Figure BDA00025044103600000415
特征点的特征描述子
Figure BDA00025044103600000416
l＝1，2，...，N，N为特征点数量；
(42)采用SURF算法的特征点匹配方法，计算Ik(x，y)中的特征点与Ic′内图像的特征点相匹配的特征点数Q；如果Q≤T，跳转至步骤2重新检测视频数据中的交通标志；如果Q＞T，计算k+2帧的交通标志矩形外包围盒的中心坐标
Figure BDA00025044103600000417
高
Figure BDA00025044103600000418
宽
Figure BDA00025044103600000419
获取所述外包围盒内的图像Ik+2(x，y)的具体方法如下：
(a’)计算k帧与k+2帧矩形外包围盒中心点偏移量：
Figure BDA00025044103600000420
其中
Figure BDA00025044103600000421
和
Figure BDA00025044103600000422
为k帧与k+2帧中相匹配的一对特征点坐标；
计算k+2帧矩形外包围盒区域中心点位置坐标
Figure BDA00025044103600000423
Figure BDA0002504410360000051
(b’)计算外包围盒矩形区域高
Figure BDA0002504410360000052
和宽
Figure BDA0002504410360000053
Figure BDA0002504410360000054
式中，M2为第三放大系数；
(c’)k+2帧中矩形外包围盒区域内的图像即为Ik+2(x，y)。
本发明中，所述交通标志类别包括：
禁止类别：为圆形、浅色底、深色图案；如果是彩色图像，为白底、红圈、黑图案；
警告类别：为三角形、浅色底、深色图案；如果是彩色图像，为黄底、黑边、黑图案；
提示类别：为圆形、深色底、浅色图案；如果是彩色图像，为蓝底、白图案。
另一方面，本发明还公开了实现上述方法的车辆行驶中交通标志检测与识别系统，包括：视频数据获取模块，用于获取车辆行驶中采集的视频数据；
交通标志检测模块，用于对视频数据获取模块获取到的视频数据检测图像中的交通标志；
交通标志特征提取与识别网络，由交通标志特征提取子网和交通标志识别子网组成，所述交通标志特征提取子网用于提取交通标志矩形外包围盒区域内的图像特征；所述交通标志识别子网用于根据交通标志特征提取子网所提取的图像特征进行识别交通标志的类型；
交通标志矩形外包围盒估计模块，用于根据给定的交通标志矩形外包围盒的位置信息和交通标志图像信息估计当前帧中交通标志矩形外包围盒的位置信息，获取当前帧中交通标志图像信息；
特征融合模块，用于融合连续三帧图像的特征。
所述交通标志检测模块为标准YOLO v3网络。
交通标志特征提取与识别网络为标准VGG 19结构的网络，所述交通标志特征提取与识别网络的卷积层部分为交通标志特征提取子网，所述交通标志特征提取与识别网络的全连接层和softmax部分为交通标志识别子网。
特征融合模块采用相加融合方法，得到融合特征采用相加融合方法，得到融合特征F：F＝(Fk+，k+1+Fk+2)/3；
其中，Fk，Fk+1，Fk+2是连续三帧同一交通标志图像的特征。
有益效果：本发明公开的车辆行驶中交通标志检测与识别方法，基于交通标志局部特征具有局部不变性及良好的可区分性的特点，对交通标志连续采集三帧图像、通过融合特征来识别交通标志，有效解决了在车辆行驶中因运动模糊、视频失焦、部分遮挡以及奇异姿势导致交通标志检测与识别准确度下降的问题，获得较精确的检测识别效果，提高了识别的鲁棒性。
附图说明
图1为本发明公开的车辆行驶中交通标志检测与识别方法的流程图；
图2为车辆行驶中采集的视频图像示意图；
图3为交通标志分类示意图；
图4为VGG 19网络结构示意图；
图5为特征融合识别的流程图；
图6为车辆行驶中交通标志检测与识别系统组成示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明公开了一种车辆行驶中交通标志检测与识别方法，包括训练阶段和识别阶段，所述训练阶段包括：
步骤1、车辆上设置可以拍摄道路旁交通标志的摄像头，获取所述摄像头在车辆行驶中采集的视频数据；本实施例采用安装于车辆前玻璃处的行车记录仪来获取车辆行驶中的视频，如图2所示，为视频中相邻两帧图像示意图。
选择视频中包含交通标志的图像并统一图像尺寸，对图像中的交通标志标注矩形外包围盒并添加类别标签，构成第一图像数据集；
本实施例中交通标志分为三个类别，如图3所示，包括：
禁止类别：为圆形、浅色底、深色图案；如果是彩色图像，为白底、红圈、黑图案；
警告类别：为三角形、浅色底、深色图案；如果是彩色图像，为黄底、黑边、黑图案；
提示类别：为圆形、深色底、浅色图案；如果是彩色图像，为蓝底、白图案。
建立交通标志检测模型，本发明中采用标准YOLO v3网络作为交通标志检测模型，将第一图像数据集中的图像分为训练样本和测试样本，对交通标志检测模型进行训练与测试。YOLO v3是一种检测速度快、精度高的目标检测算法，非常适用于视频数据的目标检测。
对第一图像数据集中的图像沿矩形外包围盒进行裁剪，采用双线性内插法将剪裁后的图像尺寸调整为224×224，构成第二图像数据集；
将第二图像数据集中连续采集的三帧图像作为一个样本，构成第三样本集；
建立基于标准VGG 19的交通标志特征提取与识别网络，VGG 19网络结构如图4所示，其中卷积层部分，即图4中的PartA为交通标志特征提取子网，全连接层和softmax部分，即图4中的Part B为交通标志识别子网。将第二图像数据集中的图像分为训练样本和测试样本，对交通标志特征提取与识别网络进行第一次训练与测试；
保持交通标志特征提取子网的参数不变，将第三样本集中的样本分为训练样本和测试样本，对交通标志识别子网进行第二次训练与测试，具体步骤为：
(A1)将第三样本集中一个样本所包含的三帧图像依次输入交通标志特征提取子网，得到同一交通标志连续三帧图像的特征f1，f2和f3；
(A2)将特征相加融合得到融合特征f＝(f1+f2+f3)/3，将融合特征f作为输入、f对应样本的类别作为输出，对交通标志识别子网进行再次训练与测试。
所述识别阶段包括：
步骤2、对车辆行驶中采集的视频数据采用训练好的交通标志检测模型逐帧检测图像中的交通标志，当检测到交通标志时，记该帧为k帧，获取交通标志矩形外包围盒内的图像Ik(x，y)、外包围盒的中心坐标
Figure BDA0002504410360000071
高
Figure BDA0002504410360000072
宽
Figure BDA0002504410360000073
步骤3、获取视频数据中的k+1帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和外包围盒的位置信息，计算k+1帧的交通标志矩形外包围盒的中心坐标
Figure BDA0002504410360000074
高
Figure BDA0002504410360000075
宽
Figure BDA0002504410360000076
获取所述外包围盒内的图像Ik+1(x，y)；具体包括：
(3-1)：采用SURF算法提取Ik(x，y)的特征点，记特征点坐标为
Figure BDA0002504410360000077
特征点的特征描述子
Figure BDA0002504410360000081
i＝1，2，...，K，K为特征点数量，特征点的特征描述子是一个64维的矢量；
SURF算法是一种图像局部特征点检测和描述算法，包括局部特征点的提取、特征点的描述、特征点的匹配。
(3-2)：在k+1帧图像中，构建以
Figure BDA0002504410360000082
为中心、
Figure BDA0002504410360000083
为高、
Figure BDA0002504410360000084
为宽的候选区域Ic；其中W＞1，为第一放大系数；对Ic内的图像，采用SURF算法提取特征点，记特征点坐标为
Figure BDA0002504410360000085
特征点的特征描述子
Figure BDA0002504410360000086
j＝1，2，...，M，M为特征点数量；
(3-3)采用SURF算法的特征点匹配方法，计算Ik(x，y)中的特征点与Ic内图像的特征点相匹配的特征点数P；如果P≤T，跳转至步骤2重新检测视频数据中的交通标志，T为预设的匹配特征点数阈值，本实施例中T＝8；如果P＞T，计算k+1帧的交通标志矩形外包围盒的中心坐标
Figure BDA0002504410360000087
高
Figure BDA0002504410360000088
宽
Figure BDA0002504410360000089
获取所述外包围盒内的图像Ik+1(x，y)的具体方法如下：
(a)计算k帧与k+1帧矩形外包围盒中心点偏移量：
Figure BDA00025044103600000810
其中
Figure BDA00025044103600000811
和
Figure BDA00025044103600000812
为k帧与k+1帧中相匹配的一对特征点坐标；
计算k+1帧矩形外包围盒区域中心点位置坐标
Figure BDA00025044103600000813
Figure BDA00025044103600000814
(b)计算外包围盒矩形区域高
Figure BDA00025044103600000815
和宽
Figure BDA00025044103600000816
Figure BDA00025044103600000817
式中，M1为第二放大系数，W＞M1＞1；
(c)k+1帧中矩形外包围盒区域内的图像即为Ik+1(x，y)。
本实施例中，第一放大系数W＝2，第二放大系数M1＝1.1。
步骤4、获取视频数据中的k+2帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和k+1帧外包围盒的位置信息，计算k+2帧的交通标志矩形外包围盒的中心坐标
Figure BDA0002504410360000091
高
Figure BDA0002504410360000092
宽
Figure BDA0002504410360000093
获取所述外包围盒内的图像Ik+2(x，y)；具体包括：
(4-1)在k+2帧图像中，构建以
Figure BDA0002504410360000094
为中心、
Figure BDA0002504410360000095
为高、
Figure BDA0002504410360000096
为宽的候选区域Ic′；其中W＞1，为第一放大系数；对Ic′内的图像，采用SURF算法提取特征点，记特征点坐标为
Figure BDA0002504410360000097
特征点的特征描述了
Figure BDA0002504410360000098
l＝1，2，...，N，N为特征点数量；
(4-2)采用SURF算法的特征点匹配方法，计算Ik(x，y)中的特征点与Ic′内图像的特征点相匹配的特征点数Q；如果Q≤T，跳转至步骤2重新检测视频数据中的交通标志；如果Q＞T，计算k+2帧的交通标志矩形外包围盒的中心坐标
Figure BDA0002504410360000099
高
Figure BDA00025044103600000910
宽
Figure BDA00025044103600000911
获取所述外包围盒内的图像Ik+2(x，y)的具体方法如下：
(a′)计算k帧与k+2帧矩形外包围盒中心点偏移量：
Figure BDA00025044103600000912
其中
Figure BDA00025044103600000913
和
Figure BDA00025044103600000914
为k帧与k+2帧中相匹配的一对特征点坐标；
计算k+2帧矩形外包围盒区域中心点位置坐标
Figure BDA00025044103600000915
Figure BDA00025044103600000916
(b′)计算外包围盒矩形区域高
Figure BDA00025044103600000917
和宽
Figure BDA00025044103600000918
Figure BDA00025044103600000919
式中，M2＝M1×M1，为第三放大系数；
(c′)k+2帧中矩形外包围盒区域内的图像即为Ik+2(x，y)。
步骤5、采用训练好的交通标志特征提取子网分别提取Ik(x，y)、Ik+1(x，y)、Ik+2(x，y)的特征Fk，Fk+1，Fk+2；
步骤6、采用相加融合方法，得到融合特征F：F＝(Fk+Fk+1+Fk+2)/3；
步骤7、将特征F输入到训练好的交通标志识别子网进行交通标志识别。
特征融合识别的大致流程如图5所示。
本发明还公开了实现上述方法的车辆行驶中交通标志检测与识别系统，如图6所示，包括：
视频数据获取模块1，用于获取车辆行驶中采集的视频数据；
交通标志检测模块2，用于对视频数据获取模块获取到的视频数据检测图像中的交通标志；交通标志检测模块为标准YOLO v3网络；
交通标志特征提取与识别网络3，由交通标志特征提取子网3-1和交通标志识别子网3-2组成，所述交通标志特征提取子网用于提取交通标志矩形外包围盒区域内的图像特征；所述交通标志识别子网用于根据交通标志特征提取子网所提取的图像特征进行识别交通标志的类型；交通标志特征提取与识别网络为标准VGG 19结构的网络，所述交通标志特征提取与识别网络的卷积层部分为交通标志特征提取子网，所述交通标志特征提取与识别网络的全连接层和softmax部分为交通标志识别子网；
交通标志矩形外包围盒估计模块4，用于根据给定的交通标志矩形外包围盒的位置信息和交通标志图像信息估计当前帧中交通标志矩形外包围盒的位置信息，获取当前帧中交通标志图像信息；
特征融合模块5，用于融合连续三帧同一交通标志图像的特征。
特征融合模块采用相加融合方法，得到融合特征采用相加融合方法，得到融合特征F：F＝(Fk+Fk+1+Fk+2)/3；
其中，Fk，Fk+1，Fk+2是连续三帧同一交通标志图像的特征。

Claims (9)

1.一种车辆行驶中交通标志检测与识别方法，包括训练阶段和识别阶段，其特征在于，所述训练阶段包括步骤：
(1)车辆上设置可以拍摄道路旁交通标志的摄像头，获取所述摄像头在车辆行驶中采集的视频数据，选择视频中包含交通标志的图像并统一图像尺寸，对图像中的交通标志标注矩形外包围盒并添加类别标签，构成第一图像数据集；
建立交通标志检测模型，将第一图像数据集中的图像分为训练样本和测试样本，对交通标志检测模型进行训练与测试；
对第一图像数据集中的图像沿矩形外包围盒进行裁剪并调整尺寸，构成第二图像数据集；
将第二图像数据集中连续采集的三帧图像作为一个样本，构成第三样本集；
建立基于标准VGG 19的交通标志特征提取与识别网络，所述交通标志特征提取与识别网络的卷积层部分为交通标志特征提取子网，所述交通标志特征提取与识别网络的全连接层和softmax部分为交通标志识别子网；
将第二图像数据集中的图像分为训练样本和测试样本，对交通标志特征提取与识别网络进行第一次训练与测试；
保持交通标志特征提取子网的参数不变，将第三样本集中的样本分为训练样本和测试样本，对交通标志识别子网进行第二次训练与测试；
所述识别阶段包括步骤：
(2)对车辆行驶中采集的视频数据采用训练好的交通标志检测模型逐帧检测图像中的交通标志，当检测到交通标志时，记该帧为k帧，获取交通标志矩形外包围盒内的图像Ik(x，y)、外包围盒的中心坐标
Figure FDA0003687415790000011
高
Figure FDA0003687415790000012
宽
Figure FDA0003687415790000013
(3)获取视频数据中的k+1帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和外包围盒的位置信息，计算k+1帧的交通标志矩形外包围盒的中心坐标
Figure FDA0003687415790000014
高
Figure FDA0003687415790000015
宽
Figure FDA0003687415790000016
获取所述外包围盒内的图像Ik+1(x，y)；
(4)获取视频数据中的k+2帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和k+1帧外包围盒的位置信息，计算k+2帧的交通标志矩形外包围盒的中心坐标
Figure FDA0003687415790000017
高
Figure FDA0003687415790000018
宽
Figure FDA0003687415790000019
获取所述外包围盒内的图像Ik+2(x，y)；
(5)采用训练好的交通标志特征提取子网分别提取Ik(x，y)、Ik+1(x，y)、Ik+2(x，y)的特征Fk，Fk+1，Fk+2；
(6)采用相加融合方法，得到融合特征F：F＝(Fk+Fk+1+Fk+2)/3；
(7)将特征F输入到训练好的交通标志识别子网进行交通标志识别；
步骤(3)中计算k+1帧的交通标志矩形外包围盒内的中心坐标
Figure FDA0003687415790000021
高
Figure FDA0003687415790000022
宽
Figure FDA0003687415790000023
获取所述外包围盒内的图像Ik+1(x，y)，具体包括：
(3-1)：采用SURF算法提取Ik(x，y)的特征点，记特征点坐标为
Figure FDA0003687415790000024
特征点的特征描述子
Figure FDA0003687415790000025
i＝1，2，...，K，K为特征点数量；
(3-2)：在k+1帧图像中，构建以
Figure FDA0003687415790000026
为中心、
Figure FDA0003687415790000027
为高、
Figure FDA0003687415790000028
为宽的候选区域Ic；其中W＞1，为第一放大系数；对Ic内的图像，采用SURF算法提取特征点，记特征点坐标为
Figure FDA0003687415790000029
特征点的特征描述子
Figure FDA00036874157900000210
j＝1，2，...，M，M为特征点数量；
(3-3)采用SURF特征点匹配方法，计算Ik(x，y)中的特征点与Ic内图像的特征点相匹配的特征点数P；如果P≤T，跳转至步骤(2)重新检测视频数据中的交通标志，T为预设的匹配特征点数阈值；如果P＞T，计算k+1帧的交通标志矩形外包围盒的中心坐标
Figure FDA00036874157900000211
高
Figure FDA00036874157900000212
宽
Figure FDA00036874157900000213
获取所述外包围盒内的图像Ik+1(x，y)；方法如下：
(a)计算k帧与k+1帧矩形外包围盒中心点偏移量：
Figure FDA00036874157900000214
其中
Figure FDA00036874157900000215
和
Figure FDA00036874157900000216
为k帧与k+1帧中相匹配的一对特征点坐标；
计算k+1帧矩形外包围盒区域中心点位置坐标
Figure FDA00036874157900000217
Figure FDA00036874157900000218
(b)计算外包围盒矩形区域高
Figure FDA00036874157900000219
和宽
Figure FDA00036874157900000220
Figure FDA00036874157900000221
式中，M1为第二放大系数，W＞M1＞1；
(c)k+1帧中矩形外包围盒区域内的图像即为Ik+1(x，y)。
2.根据权利要求1所述的车辆行驶中交通标志检测与识别方法，其特征在于，所述交通标志检测模型为标准YOLO v3网络。
3.根据权利要求1所述的车辆行驶中交通标志检测与识别方法，其特征在于，所述采用第三样本集对交通标志识别子网进行第二次训练与测试的具体步骤为：
(A1)将第三样本集中一个样本所包含的三帧图像依次输入交通标志特征提取子网，得到同一交通标志连续三帧图像的特征f1，f2和f3；
(A2)将特征相加融合得到融合特征f＝(f1+f2+f3)/3，将融合特征f作为输入、f对应样本的类别作为输出，对交通标志识别子网进行再次训练与测试。
4.根据权利要求1所述的车辆行驶中交通标志检测与识别方法，其特征在于，所述步骤(4)计算k+2帧的交通标志矩形外包围盒的中心坐标
Figure FDA0003687415790000031
高
Figure FDA0003687415790000032
宽
Figure FDA0003687415790000033
获取所述外包围盒内的图像Ik+2(x，y)，具体包括：
(4-1)在k+2帧图像中，构建以
Figure FDA0003687415790000034
为中心、
Figure FDA0003687415790000035
为高、
Figure FDA0003687415790000036
为宽的候选区域Ic′；其中W＞1，为第一放大系数；对Ic′内的图像，采用SURF算法提取特征点，记特征点坐标为
Figure FDA0003687415790000037
特征点的特征描述子
Figure FDA0003687415790000038
l＝1，2，...，N，N为特征点数量；
(4-2)采用SURF算法的特征点匹配方法，计算Ik(x，y)中的特征点与Ic′内图像的特征点相匹配的特征点数Q；如果Q≤T，跳转至步骤2重新检测视频数据中的交通标志；如果Q>T，计算k+2帧的交通标志矩形外包围盒的中心坐标
Figure FDA0003687415790000039
高
Figure FDA00036874157900000310
宽
Figure FDA00036874157900000311
获取所述外包围盒内的图像Ik+2(x，y)的具体方法如下：
(a')计算k帧与k+2帧矩形外包围盒中心点偏移量：
Figure FDA00036874157900000312
其中
Figure FDA00036874157900000313
和
Figure FDA00036874157900000314
为k帧与k+2帧中相匹配的一对特征点坐标；
计算k+2帧矩形外包围盒区域中心点位置坐标
Figure FDA00036874157900000315
Figure FDA00036874157900000316
(b')计算外包围盒矩形区域高
Figure FDA0003687415790000041
和宽
Figure FDA0003687415790000042
Figure FDA0003687415790000043
式中，M2为第三放大系数；
(c')k+2帧中矩形外包围盒区域内的图像即为Ik+2(x，y)。
5.根据权利要求1所述的车辆行驶中交通标志检测与识别方法，其特征在于，所述交通标志类别包括：
禁止类别：为圆形、浅色底、深色图案；如果是彩色图像，为白底、红圈、黑图案；
警告类别：为三角形、浅色底、深色图案；如果是彩色图像，为黄底、黑边、黑图案；
提示类别：为圆形、深色底、浅色图案；如果是彩色图像，为蓝底、白图案。
6.一种车辆行驶中交通标志检测与识别系统，其特征在于，包括：
视频数据获取模块，用于获取车辆行驶中采集的视频数据；
交通标志检测模块，用于对视频数据获取模块获取到的视频数据检测图像中的交通标志；
交通标志特征提取与识别网络，由交通标志特征提取子网和交通标志识别子网组成，所述交通标志特征提取子网用于提取交通标志矩形外包围盒区域内的图像特征；所述交通标志识别子网用于根据交通标志特征提取子网所提取的图像特征进行识别交通标志的类型；
交通标志矩形外包围盒估计模块，用于根据给定的交通标志矩形外包围盒的位置信息和交通标志图像信息估计当前帧中交通标志矩形外包围盒的位置信息，获取当前帧中交通标志图像信息；
特征融合模块，用于融合连续三帧图像的特征；
所述交通标志矩形外包围盒估计模块获取当前帧中交通标志图像信息的具体步骤为：
设给定的交通标志矩形外包围盒的位置信息为k帧的交通标志矩形外包围盒的中心坐标
Figure FDA0003687415790000044
高
Figure FDA0003687415790000045
宽
Figure FDA0003687415790000046
给定的交通标志图像信息为k帧的交通标志矩形外包围盒内的图像Ik(x，y)；当前帧为k+1帧；计算k+1帧的交通标志矩形外包围盒内的中心坐标
Figure FDA0003687415790000051
高
Figure FDA0003687415790000052
宽
Figure FDA0003687415790000053
获取所述外包围盒内的图像Ik+1(x，y)，具体包括：
(3-1)：采用SURF算法提取Ik(x，y)的特征点,记特征点坐标为
Figure FDA0003687415790000054
特征点的特征描述子
Figure FDA0003687415790000055
i＝1，2，...，K，K为特征点数量；
(3-2)：在k+1帧图像中，构建以
Figure FDA0003687415790000056
为中心、
Figure FDA0003687415790000057
为高、
Figure FDA0003687415790000058
为宽的候选区域Ic；其中W＞1，为第一放大系数；对Ic内的图像，采用SURF算法提取特征点，记特征点坐标为
Figure FDA0003687415790000059
特征点的特征描述子
Figure FDA00036874157900000510
j＝1，2，...，M，M为特征点数量；
(3-3)采用SURF特征点匹配方法，计算Ik(x，y)中的特征点与Ic内图像的特征点相匹配的特征点数P；如果P≤T，跳转至步骤(2)重新检测视频数据中的交通标志，T为预设的匹配特征点数阈值；如果P>T，计算k+1帧的交通标志矩形外包围盒的中心坐标
Figure FDA00036874157900000511
高
Figure FDA00036874157900000512
宽
Figure FDA00036874157900000513
获取所述外包围盒内的图像Ik+1(x，y)；方法如下：
(a)计算k帧与k+1帧矩形外包围盒中心点偏移量：
Figure FDA00036874157900000514
其中
Figure FDA00036874157900000515
和
Figure FDA00036874157900000516
为k帧与k+1帧中相匹配的一对特征点坐标；
计算k+1帧矩形外包围盒区域中心点位置坐标
Figure FDA00036874157900000517
Figure FDA00036874157900000518
(b)计算外包围盒矩形区域高
Figure FDA00036874157900000519
和宽
Figure FDA00036874157900000520
Figure FDA00036874157900000521
式中，M1为第二放大系数，W>M1>1；
(c)k+1帧中矩形外包围盒区域内的图像即为Ik+1(x，y)。
7.根据权利要求6所述的车辆行驶中交通标志检测与识别系统，其特征在于，所述交通标志检测模块为标准YOLO v3网络。
8.根据权利要求6所述的车辆行驶中交通标志检测与识别系统，其特征在于，交通标志特征提取与识别网络为标准VGG 19结构的网络，所述交通标志特征提取与识别网络的卷积层部分为交通标志特征提取子网，所述交通标志特征提取与识别网络的全连接层和softmax部分为交通标志识别子网。
9.根据权利要求6所述的车辆行驶中交通标志检测与识别系统，其特征在于，特征融合模块采用相加融合方法，得到融合特征采用相加融合方法，得到融合特征F：F＝(Fk+Fk+1+Fk +2)/3；
其中，Fk，Fk+1，Fk+2是连续三帧同一交通标志图像的特征。
CN202010441677.4A 2020-05-22 2020-05-22 一种车辆行驶中交通标志检测与识别方法及系统 Active CN111832388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010441677.4A CN111832388B (zh) 2020-05-22 2020-05-22 一种车辆行驶中交通标志检测与识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010441677.4A CN111832388B (zh) 2020-05-22 2020-05-22 一种车辆行驶中交通标志检测与识别方法及系统

Publications (2)

Publication Number Publication Date
CN111832388A CN111832388A (zh) 2020-10-27
CN111832388B true CN111832388B (zh) 2022-07-26

Family

ID=72913943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010441677.4A Active CN111832388B (zh) 2020-05-22 2020-05-22 一种车辆行驶中交通标志检测与识别方法及系统

Country Status (1)

Country Link
CN (1) CN111832388B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991397B (zh) * 2021-04-19 2021-08-13 深圳佑驾创新科技有限公司 交通牌跟踪方法、装置、设备和存储介质
CN113436257B (zh) * 2021-06-09 2023-02-10 同济大学 一种基于道路几何信息的车辆位置实时检测方法
TWI798022B (zh) * 2022-03-10 2023-04-01 台灣智慧駕駛股份有限公司 一種道路指示物件的提醒方法及其系統
WO2024092484A1 (en) * 2022-11-01 2024-05-10 Boe Technology Group Co., Ltd. Computer-implemented object detection method, object detection apparatus, and computer-readable medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
CN110889378A (zh) * 2019-11-28 2020-03-17 湖南率为控制科技有限公司 一种多视图融合交通标志检测识别方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
CN110889378A (zh) * 2019-11-28 2020-03-17 湖南率为控制科技有限公司 一种多视图融合交通标志检测识别方法及其系统

Also Published As

Publication number Publication date
CN111832388A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111832388B (zh) 一种车辆行驶中交通标志检测与识别方法及系统
CN110069986B (zh) 一种基于混合模型的交通信号灯识别方法及系统
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN109657632B (zh) 一种车道线检测识别方法
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
Yuan et al. Robust lane detection for complicated road environment based on normal map
CN107016362B (zh) 基于车辆前挡风玻璃粘贴标志的车辆重识别方法和系统
CN104978746B (zh) 一种行驶车辆的车身颜色识别方法
CN102902957A (zh) 一种基于视频流的自动车牌识别方法
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
Siogkas et al. Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection
CN111860509A (zh) 一种由粗到精的两阶段非约束车牌区域精准提取方法
CN109977862B (zh) 一种车位限位器的识别方法
JP2002175534A (ja) 道路の白線検出方法
CN112528994A (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN110969135A (zh) 自然场景中的车标识别方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
Lim et al. Vision-based recognition of road regulation for intelligent vehicle
CN116206297A (zh) 基于级联神经网络的视频流实时车牌识别系统及方法
Liu et al. Real-time speed limit sign detection and recognition from image sequences
CN114332814A (zh) 一种停车框识别方法、装置、电子设备及存储介质
Said et al. Real-time detection and classification of traffic light signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant