CN110069986A - 一种基于混合模型的交通信号灯识别方法及系统 - Google Patents

一种基于混合模型的交通信号灯识别方法及系统 Download PDF

Info

Publication number
CN110069986A
CN110069986A CN201910188244.XA CN201910188244A CN110069986A CN 110069986 A CN110069986 A CN 110069986A CN 201910188244 A CN201910188244 A CN 201910188244A CN 110069986 A CN110069986 A CN 110069986A
Authority
CN
China
Prior art keywords
model
traffic lights
indicate
resolution
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910188244.XA
Other languages
English (en)
Other versions
CN110069986B (zh
Inventor
潘卫国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Union University
Original Assignee
Beijing Union University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Union University filed Critical Beijing Union University
Priority to CN201910188244.XA priority Critical patent/CN110069986B/zh
Publication of CN110069986A publication Critical patent/CN110069986A/zh
Application granted granted Critical
Publication of CN110069986B publication Critical patent/CN110069986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于混合模型的交通信号灯识别方法及系统，其中方法包括输入交通场景图像，还包括以下步骤：标注数据及模型训练利用“ICNet”获取图像中的语义区域信息，去除掉错检的信号灯位置；训练基于卷积神经网络的交通信号灯细分类模型；输出检测结果。本发明提出一种基于混合模型的交通信号灯识别方法及系统，首先利用交通信号灯定位模型确定交通信号灯在交通场景图像中的位置信息，再利用语义分割模型排除掉一些误判的交通信号灯区域，得到准确的交通信号灯定位信息，利用卷积神经网络对定位得到的图像区域进行识别分类，最后根据信号灯的判别颜色类型(红、黄、绿)细分割出交通信号灯亮灯的区域。

Description

一种基于混合模型的交通信号灯识别方法及系统
技术领域
本发明涉及图像视觉的技术领域，特别是一种基于混合模型的交通信号灯识别方法及系统。
背景技术
道路环境感知是影响车辆驾驶的重要因素，其中交通信号灯能够使车辆在十字路口有序、安全通行，大幅度提高路口的通行效率。因此，准确高效的信号灯识别系统是智能车辆环境感知不可或缺的组成部分。国内外学者已进行了多年交通信号灯识别的研究，取得不少进展及成果。
已有的交通信号灯的识别方法主要分为基于图像处理的方法和基于网络信息传输的方法两类。基于图像处理的方法通常是使用摄像头采集车辆前方的视频图像，然后依靠颜色、形状等信息检测感兴趣区域并提取特征进行类别判定，从而得到交通信号灯的状况。根据交通信号灯的特征属性，信号灯的检测可以分为基于颜色空间的检测方法、基于形状特征的检测方法以及其他一些综合类方法。基于颜色空间检测的算法实时性较好，是目前交通信号灯检测方法中采用较多的方法之一。此种方法对于环境对比强烈、颜色明显的图像能取得比较好的结果，然而单单依靠颜色信息无法应对复杂背景下的信号灯检测。形状检测方法能克服颜色模糊、光照不均匀等问题的影响，但若复杂背景下存在形状相似的干扰物，则会导致信号灯检测的失败。另有一些研究方法将颜色和形状综合考虑。相比于单独利用某种特征，此种方式能进一步减少识别错误率，但在夜晚、恶劣天气等情况下仍无法达到系统的实时性和鲁棒性要求。
公开号为CN108764216A的发明专利公开了一种基于视觉的交通信号灯识别方法及装置，其中，识别方法包括三步，第一步判定交通信号灯类型，第二步图像预处理，第三步深度学习识别模型。该方法提及的交通信号灯识别方法，输入的图像是交通信号灯局部区域图像，再通过阈值判断是什么类型的信号灯(横、竖)，然后经验阈值进行分割，最后再对分割后的图像进行交通信号类别的识别。该方法依赖于经验阈值，很难在实际应用中实施，且该方法没有提及如何对交通信号灯区域进行定位这一关键步骤，更增加了对最后识别结果的不确定性。
发明内容
为了解决上述的技术问题，本发明提出一种基于混合模型的交通信号灯识别方法及系统，首先利用交通信号灯定位模型确定交通信号灯在交通场景图像中的位置信息，再利用语义分割模型排除掉一些误判的交通信号灯区域，得到准确的交通信号灯定位信息，利用卷积神经网络对定位得到的图像区域进行识别分类，最后根据信号灯的判别颜色类型(红、黄、绿)细分割出交通信号灯亮灯的区域。本发明解决交通信号灯识别过程中信号灯的定位问题，通过语义信息解决了周围环境因素的干扰。
本发明的第一目的是提供一种基于混合模型的交通信号灯识别方法，包括输入交通场景图像，还包括以下步骤：
步骤1：标注数据及模型训练；
步骤2：利用“ICNet”获取图像中的语义区域信息，去除掉错检的信号灯位置；
步骤3：训练基于卷积神经网络的交通信号灯细分类模型；
步骤4：输出检测结果。
优选的是，所述模型训练的过程包括以下步骤：
步骤11：用ResNet-50模型初始化RPN网络，然后训练所述RPN网络；
步骤12：用所述ResNet-50模型初始化Fast-rcnn检测网络，再使用训练过的所述RPN网络来计算proposal，将获得的proposal传给Fast-rcnn网络进行训练；
步骤13：使用检测网络模型来初始化所述RPN网络，再次进行模型训练；
步骤14：保持模型的共享卷基层不变，然后微调Fast R-CNN网络的全连接层，得到一个更快的目标检测模型。
在上述任一方案中优选的是，所述RPN网络的损失函数L的公式为
其中，i是anchor索引，pi表示anchor属于某个目标的概率，表示ground-truth标签的概率，ti表示预测的边界框，表示ground-truth的边框，Lcls是对数损失函数用于对前景和背景的分类；Lreg表示回归的损失函数， R是平滑的L1损失函数，Ncls表示批量的数目，Nreg表示定位的所有点的数目。
在上述任一方案中优选的是，在回归阶段，采用以下公式实现对坐标的参数化：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，tw＝log(w/wa)，th＝log(h/ha)，
其中，x、y、w和h分别表示两个框的中心坐标、宽度和高度，变量xa和x*表示预测边框、anchor边框和ground-truth边框，tx和ty表示平移量，tw和th表示尺度因子，和表示ground-truth边框的平移量，表和表示ground-truth边框的尺度因子。
在上述任一方案中优选的是，所述步骤2中的训练过程包括以下步骤：
步骤21：待训练的图像分别在三个分支网络下进行下采样，分别是尺度为1/4的低分辨率分支、尺度为1/2的中分辨分支率和尺度为1的高分辨率分支；
步骤22：在每一分支采用级联标签指导策略，使用1/16、1/8和1/4的正确标签指导所述低分辨率分支、所述中分辨率分支和所述高分辨率分支的特征学习。
在上述任一方案中优选的是，所述低分辨率分支的采样方法为低分辨率图像输入到一个基于FCN的PSPNet结构，网络输出为原始输入1/32的特征图。
在上述任一方案中优选的是，所述中分辨率分支的采样方法为中分辨率图像输入得到1/16大小的特征图，将低分辨率的特征图和中分辨的特征图经过级联特征融合模块融合得到1/16的特征图。
在上述任一方案中优选的是，所述高分辨率分支的采样方法为高分辨率图像输入后得到原始图像1/8的特征图，将所述1/16特征图和所述1/8特征图经过级联特征融合模块计算获得原始图像1/8的特征图。
在上述任一方案中优选的是，最小化的损失函数L定义为：
其中，T表示分支的数量，N表示类别数量，F是t分支在分辨率yt×xt下的特征图，在(n,y,x)处值为 表示相对应ground-truth(x,y)处的标签，对应的值为
在上述任一方案中优选的是，所述ICNet的辅助过程为通过判断检测到的信号灯位置信息是否与语义区域分割后的区域有重叠，所述判断公式为
A_pixel＝L_pixel∩S_pixel
其中，A_pixel表示信号灯定位区域和语义分割模型检测到目标的区域的重叠区域，L_pixel表示检测定位模型检测到的信号灯区域，S_pixel表示语义分割模型检测到的区域，N_pixel表示A_pixel区域中像素的个数，N_L_pixel表示L_pixel区域的像素个数，Final_res表示交通信号定位区域。
在上述任一方案中优选的是，把最后图像中Finalres＝0的区域为最终的交通信号灯定位结果，得到定位结果图。
在上述任一方案中优选的是，所述步骤3包括以下子步骤：
步骤31：提取交通信号灯细分类的数据，并获取交通场景中的交通信号灯局部图；
步骤32：对交通信号区域进行定位，利用卷积神经网络训练得到的模型进行细分类的判别。
在上述任一方案中优选的是，所述检测结果的输出计算方式为：
其中，Light_area表示检测到的信号灯区域，(x1,y1)和(x2,y2)分别是最后确定的交通信号灯区域的左上和右下坐标，prdiction表示为经过VGG-16模型识别后的预测结果，red_circle表示红色圆形信号灯，red_arrow表示红色箭头信号灯，green_circle表示绿色圆形信号灯，green_arrow表示绿色箭头信号灯，yellow_circle表示黄色圆形信号灯，yellow_arrow表示黄色箭头信号灯。
本发明的第二目的是提供一种基于混合模型的交通信号灯识别系统，包括用于输入交通场景图像的获取模块，还包括以下模块：
初始训练模块：用于标注数据及模型训练；
筛选模块：用于利用仿射变换矩阵，对所述待检测图片进行位置旋转；
分类模型训练模块：用于训练基于卷积神经网络的交通信号灯细分类模型；
输出模块：输出检测结果。
优选的是，所述模型训练的过程包括以下步骤：
步骤11：用ResNet-50模型初始化RPN网络，然后训练所述RPN网络；
步骤12：用所述ResNet-50模型初始化Fast-rcnn检测网络，再使用训练过的所述RPN网络来计算proposal，将获得的proposal传给Fast-rcnn网络进行训练；
步骤13：使用检测网络模型来初始化所述RPN网络，再次进行模型训练；
步骤14：保持模型的共享卷基层不变，然后微调Fast R-CNN网络的全连接层，得到一个更快的目标检测模型。
在上述任一方案中优选的是，所述RPN网络的损失函数L的公式为
其中，i是anchor索引，pi表示anchor属于某个目标的概率，表示ground-truth标签的概率，ti表示预测的边界框，表示ground-truth的边框，Lcls是对数损失函数用于对前景和背景的分类；Lreg表示回归的损失函数， R是平滑的L1损失函数，Ncls表示批量的数目，Nreg表示定位的所有点的数目。
在上述任一方案中优选的是，在回归阶段，采用以下公式实现对坐标的参数化：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，tw＝log(w/wa)，th＝log(h/ha)，
其中，x、y、w和h分别表示两个框的中心坐标、宽度和高度，变量xa和x*表示预测边框、anchor边框和ground-truth边框，tx和ty表示平移量，tw和th表示尺度因子，和表示ground-truth边框的平移量，表和表示ground-truth边框的尺度因子。
在上述任一方案中优选的是，所述筛选模块中的训练过程包括以下步骤：
步骤21：待训练的图像分别在三个分支网络下进行下采样，分别是尺度为1/4的低分辨率分支、尺度为1/2的中分辨分支率和尺度为1的高分辨率分支；
步骤22：在每一分支采用级联标签指导策略，使用1/16、1/8和1/4的正确标签指导所述低分辨率分支、所述中分辨率分支和所述高分辨率分支的特征学习。
在上述任一方案中优选的是，所述低分辨率分支的采样方法为低分辨率图像输入到一个基于FCN的PSPNet结构，网络输出为原始输入1/32的特征图。
在上述任一方案中优选的是，所述中分辨率分支的采样方法为中分辨率图像输入得到1/16大小的特征图，将低分辨率的特征图和中分辨的特征图经过级联特征融合模块融合得到1/16的特征图。
在上述任一方案中优选的是，所述高分辨率分支的采样方法为高分辨率图像输入后得到原始图像1/8的特征图，将所述1/16特征图和所述1/8特征图经过级联特征融合模块计算获得原始图像1/8的特征图。
在上述任一方案中优选的是，最小化的损失函数L定义为：
其中，T表示分支的数量，N表示类别数量，F是t分支在分辨率yt×xt下的特征图，在(n,y,x)处值为 表示相对应ground-truth(x,y)处的标签，对应的值为
在上述任一方案中优选的是，所述ICNet的辅助过程为通过判断检测到的信号灯位置信息是否与语义区域分割后的区域有重叠，所述判断公式为
A_pixel＝L_pixel∩S_pixel
其中，A_pixel表示信号灯定位区域和语义分割模型检测到目标的区域的重叠区域，L_pixel表示检测定位模型检测到的信号灯区域，S_pixel表示语义分割模型检测到的区域，N_pixel表示A_pixel区域中像素的个数，N_L_oixel表示L_pixel区域的像素个数，Final_res表示交通信号定位区域。
在上述任一方案中优选的是，把最后图像中Finalres＝0的区域为最终的交通信号灯定位结果，得到定位结果图。
在上述任一方案中优选的是，所述步骤3包括以下子步骤：
步骤31：提取交通信号灯细分类的数据，并获取交通场景中的交通信号灯局部图；
步骤32：对交通信号区域进行定位，利用卷积神经网络训练得到的模型进行细分类的判别。
在上述任一方案中优选的是，所述检测结果的输出计算方式为：
其中，Ligh_area表示检测到的信号灯区域，(x1,y1)和(x2,y2)分别是最后确定的交通信号灯区域的左上和右下坐标，prdiction表示为经过VGG-16模型识别后的预测结果，red_circle表示红色圆形信号灯，red_arrow表示红色箭头信号灯，green_circle表示绿色圆形信号灯，green_arrow表示绿色箭头信号灯，yellow_circle表示黄色圆形信号灯，yellow_arrow表示黄色箭头信号灯。
本发明提出了一种基于混合模型的交通信号灯识别方法及系统，能够快速准确定位出交通场景中交通信号灯区域(去除掉了周围环境因素的干扰)，且定位和识别通过混合模型分步实现，提升了识别速度，同时也利于对各个模型进行训练。
ICNet(Image Cascade Network)是指图像级联网络。
Proposal由一个四维向量表示：(x，y，w，h)，分别表示中心点(x，y)，宽w和高h。
附图说明
图1为按照本发明的基于混合模型的交通信号灯识别方法的一优选实施例的流程图。
图2为按照本发明的基于混合模型的交通信号灯识别系统的一优选实施例的模块图。
图3为按照本发明的基于混合模型的交通信号灯识别方法的另一优选实施例的交通信号灯类别图。
图4为按照本发明的基于混合模型的交通信号灯识别方法的如图3所示实施例的基于级联模型的交通信号灯识别流程图。
图5为按照本发明的基于混合模型的交通信号灯识别方法的如图3所示实施例的图像标注样例图。
图6为按照本发明的基于混合模型的交通信号灯识别方法的如图3所示实施例的细分类样本数据图。
图7为按照本发明的基于混合模型的交通信号灯识别方法的如图3所示实施例的识别效果图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1、2所示，执行步骤100，获取模块200输入交通场景图像。
执行步骤110，初始训练模块210标注数据及模型训练。
模型训练的过程包括以下步骤：步骤11：用ResNet-50模型初始化RPN网络，然后训练所述RPN网络。RPN网络的损失函数L的公式为
其中，i是anchor索引，pi表示anchor属于某个目标的概率，表示ground-truth标签的概率，ti表示预测的边界框，表示ground-truth的边框，Lcls是对数损失函数用于对前景和背景的分类；Lreg表示回归的损失函数， R是平滑的L1损失函数，Ncls表示批量的数目，Nreg表示定位的所有点的数目。在回归阶段，采用以下公式实现对坐标的参数化：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，tw＝log(w/wa)，th＝log(h/ha)，
其中，x、y、w和h分别表示两个框的中心坐标、宽度和高度，变量xa和x*表示预测边框、anchor边框和ground-truth边框，tx和ty表示平移量，tw和th表示尺度因子，和表示ground-truth边框的平移量，表和表示ground-truth边框的尺度因子。步骤12：用所述ResNet-50模型初始化Fast-rcnn检测网络，再使用训练过的所述RPN网络来计算proposal，将获得的proposal传给Fast-rcnn网络进行训练；步骤13：使用检测网络模型来初始化所述RPN网络，再次进行模型训练；步骤14：保持模型的共享卷基层不变，然后微调FastR-CNN网络的全连接层，得到一个更快的目标检测模型。
执行步骤120，筛选模块220利用“ICNet”获取图像中的语义区域信息，去除掉错检的信号灯位置。其中，训练过程包括以下步骤：步骤21：待训练的图像分别在三个分支网络下进行下采样，分别是尺度为1/4的低分辨率分支、尺度为1/2的中分辨分支率和尺度为1的高分辨率分支；步骤22：在每一分支采用级联标签指导策略，使用1/16、1/8和1/4的正确标签指导所述低分辨率分支、所述中分辨率分支和所述高分辨率分支的特征学习。低分辨率分支的采样方法为低分辨率图像输入到一个基于FCN的PSPNet结构，网络输出为原始输入1/32的特征图；中分辨率分支的采样方法为中分辨率图像输入得到1/16大小的特征图，将低分辨率的特征图和中分辨的特征图经过级联特征融合模块融合得到1/16的特征图；高分辨率分支的采样方法为高分辨率图像输入后得到原始图像1/8的特征图，将所述1/16特征图和所述1/8特征图经过级联特征融合模块计算获得原始图像1/8的特征图。最小化的损失函数L定义为：
其中，T表示分支的数量，N表示类别数量，F是t分支在分辨率yt×xt下的特征图，在(n,y,x)处值为 表示相对应ground-truth(x,y)处的标签，对应的值为最小化的损失函数应用于：Faster RCNN模型训练过程中，即交通信号灯位置定位模型训练。
ICNet的辅助过程为通过判断检测到的信号灯位置信息是否与语义区域分割后的区域有重叠，所述判断公式为
A_pixel＝L_pixel∩S_pixel
其中，A_pixel表示信号灯定位区域和语义分割模型检测到目标的区域的重叠区域，L_pixel表示检测定位模型检测到的信号灯区域，S_pixel表示语义分割模型检测到的区域，N_pixel表示A_pixel区域中像素的个数，N_L_pixel表示L_pixel区域的像素个数，Final_res表示交通信号定位区域。把最后图像中Finalres＝0的区域为最终的交通信号灯定位结果，得到定位结果图。
执行步骤130，分类模型训练模块230训练基于卷积神经网络的交通信号灯细分类模型，包括以下子步骤：步骤31：提取交通信号灯细分类的数据，并获取交通场景中的交通信号灯局部图；步骤32：对交通信号区域进行定位，利用卷积神经网络训练得到的模型进行细分类的判别。
执行步骤140，输出模块240输出检测结果。所述检测结果的输出计算方式为：
其中，Ligh_area表示检测到的信号灯区域，(x1,y1)和(x2,y2)分别是最后确定的交通信号灯区域的左上和右下坐标，prdiction表示为经过VGG-16模型识别后的预测结果，red_circle表示红色圆形信号灯，red_arrow表示红色箭头信号灯，green_circle表示绿色圆形信号灯，green_arrow表示绿色箭头信号灯，yellow_circle表示黄色圆形信号灯，yellow_arrow表示黄色箭头信号灯。
实施例二
本发明主要利用深度学习的方法识别交通场景中的交通信号灯问题，首先利用训练的深度学习模型进行交通信号灯位置的定位，再根据语义分割模型识别的图像语义信息对定位信息进行判别，最后获得交通信号灯的位置区域；在此基础上根据训练的交通信号细分类模型，对交通信号灯区域进行类别识别，获取信号灯状态信息。针对现有可用训练数据少的问题，在定位模型训练过程中分成三类(红灯、绿灯、黄灯)，这样每一类的数据量就会增加。细分类的模型在上述大类的基础上再细分为12类(如图3所示)：红灯箭头直行、红灯箭头左转、红灯箭头右转，红灯圆形、黄灯箭头直行、黄灯箭头左转、黄灯箭头右转、黄灯圆形、绿灯箭头直行、绿灯箭头左转、绿灯箭头右转、绿灯圆形。
如图4所示的是基于级联模型的交通信号灯识别流程图。
第一步：标注数据及模型训练
交通场景中的信号灯标注框如图5所示，将整个信号灯的区域进行标注如下图所示，而非只是将信号灯区域中亮的部分标注，这样的标注的优点是便于对图像中的信号灯区域进行定位。在标注阶段没有对信号灯的类型进行细分类，只是标注是信号灯区域(红灯、绿灯、黄灯三种类型的交通信号灯)情况下，训练出有效的模型进行交通信号灯区域的定位。
本发明采用基于Faster RCNN的框架进行训练，卷积神经网络选择ResNet-50。
模型训练过程：
1：用ResNet-50模型初始化RPN网络，然后训练RPN，
RPN损失函数：
式中i是anchor索引，pi表示anchor属于某个目标的概率，表示ground-truth标签的概率，ti表示预测的边界框，表示ground-truth的边框，Lcls是对数损失函数用于对前景和背景的分类；Lreg表示回归的损失函数， R是平滑的L1损失函数；
在回归阶段，采用以下公式实现对坐标的参数化：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，tw＝log(w/wa)，th＝log(h/ha)，
x、y、w和h分别表示两个框的中心坐标、宽度和高度，变量x、xa和x*表示预测边框，anchor边框，和ground-truth边框。过程可以理解为从anchor边框回归到近似ground-truth的边框。
2：用所述ResNet-50模型初始化Fast-rcnn检测网络，再使用训练过的RPN来计算proposal，将获得的proposal传给Fast-rcnn网络进行训练；
3：使用检测网络模型来初始化RPN网络，再进行模型训练，在这一步固定共享卷积层并微调RPN网络中独有的层。
4：保持模型的共享卷基层不变，然后微调Fast R-CNN网络的全连接层，得到一个更快的目标检测模型。
训练定位模型的网络关键参数如下所示：
base_lr:0.001
lr_policy:"step"
gamma:0.95
average_loss:100
momentum:0.9
weight_decay:0.0005
iter_size:2
base_size＝4，
scales＝(8,16,32)
第二步：利用“ICNet”获取图像中的语义区域信息，去除掉错检的信号灯位置；
训练过程：
待训练的图像分别在三个分支网络下进行下采样，尺度分别为：1/4，1/2，1，定义为低分辨率、中分辨率，高分辨率；
低分辨率分支：低分辨率图像输入到一个基于FCN的PSPNet结构，网络输出为原始输入1/32的特征图。
中分辨率分支：中分辨率图像输入得到1/16大小的特征图，将低分辨率的特征图和中分辨的特征图经过级联特征融合模块融合得到1/16的特征图。
高分辨率分支：高分辨率图像输入后得到原始图像1/8的特征图，将上一步得到的1/16特征图和该阶段得到的1/8特征图经过级联特征融合模块计算获得原始图像1/8的特征图。
这里使用了3层卷积层，其中每层都是3*3大小，步长为2的卷积核。
为了加强学习过程，在每一分支采用级联标签指导策略，使用1/16，1/8和1/4的正确标签指导低、中、高分辨率的特征学习。最小化的损失函数定义为：
T表示分支的数量，N表示类别数量，F是t分支在分辨率yt×xt下的特征图，在(n,y,x)处值为 表示相对应ground-truth(x,y)处的标签。
使用数据集：CITYSCAPES DATASET
ICNet辅助过程：通过判断检测到的信号灯位置信息是否与语义区域分割后的“car”“rider”“bus”“motorcycle”“truck”“building”“vegetation”“fence”“road”区域有重叠(重叠区域阈值为交通信号灯区域的50％)，如果超过阈值，则认为舍弃掉检测到的交通信号区域(上述语义区域内比如汽车的尾灯、建筑物上的红色灯、行人衣服颜色等会对交通信号灯的检测造成干扰)。
公式：
A_pixel＝L_pixel∩S_pixel
式子中A_pixel表示信号灯定位区域和语义分割模型检测到目标(“car”“rider”“bus”“motorcycle”“truck”“building”“vegetation”“fence”“road”)的区域的重叠区域。L_pixel表示检测定位模型检测到的信号灯区域，S_pixel表示语义分割模型检测到的区域(“car”“rider”“bus”“motorcycle”“truck”“building”“vegetation”“fence”“road”)，N_pixel表示A_pixel区域中像素的个数，N_L_pixel表示L_pixel区域的像素个数。
最后图像中Finalres＝0的区域为最终的交通信号灯定位结果，将得到的定位结果图像传入第三步。
第三步：训练基于卷积神经网络的交通信号灯细分类模型，训练的方法如下，先准备交通信号灯细分类的数据，在交通场景中扣出的局部图如图6所示分别表示左转箭头红灯和圆形红灯。
在步骤二的基础上，完成了对交通信号区域的定位，根据得到的交通信号的定位再利用卷积神经网络(VGG-16)训练得到的模型进行细分类的判别，VGG-16模型训练的关键参数如下：
test_iter:1000
test_interval:2500
base_lr:0.001
lr_policy:"step"
gamma:0.1
momentum:0.9
weight_decay:0.0005
mirror＝true；
检测结果的输出计算方式如下所示：
两个坐标对(左上，右下)确定一种类型信号灯的区域，(x1,y1)和(x2,y2)分别是最后确定的交通信号灯区域的左上和右下坐标，交通信号灯的颜色顺序为红、黄、绿，各自所占信号灯框的比例为1/3，prdiction为经过VGG-16模型识别后的预测结果。最后的输出结果为检测到的信号灯区域，不包含信号灯的边框区域。
识别效果如图7所示。
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于混合模型的交通信号灯识别方法，包括输入交通场景图像，其特征在于，还包括以下步骤：
步骤1：标注数据及模型训练；
步骤2：利用“ICNet”获取图像中的语义区域信息，去除掉错检的信号灯位置；
步骤3：训练基于卷积神经网络的交通信号灯细分类模型；
步骤4：输出检测结果。
2.如权利要求1所述的基于混合模型的交通信号灯识别方法，其特征在于，所述模型训练的过程包括以下步骤：
步骤11：用ResNet-50模型初始化RPN网络，然后训练所述RPN网络；
步骤12：用所述ResNet-50模型初始化Fast-rcnn检测网络，再使用训练过的所述RPN网络来计算proposal，将获得的proposal传给Fast-rcnn网络进行训练；
步骤13：使用检测网络模型来初始化所述RPN网络，再次进行模型训练；
步骤14：保持模型的共享卷基层不变，然后微调Fast R-CNN网络的全连接层，得到一个更快的目标检测模型。
3.如权利要求2所述的基于混合模型的交通信号灯识别方法，其特征在于，所述RPN网络的损失函数L的公式为
其中，i是anchor索引，pi表示anchor属于某个目标的概率，表示ground-truth标签的概率，ti表示预测的边界框，表示ground-truth的边框，Lcls是对数损失函数用于对前景和背景的分类；Lreg表示回归的损失函数，R是平滑的L1损失函数，Ncls表示批量的数目，Nreg表示定位的所有点的数目。
4.如权利要求3所述的基于混合模型的交通信号灯识别方法，其特征在于，在回归阶段，采用以下公式实现对坐标的参数化：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，tw＝log(w/wa)，th＝log(h/ha)，
其中，x、y、w和h分别表示两个框的中心坐标、宽度和高度，变量xa和x*表示预测边框、anchor边框和ground-truth边框，tx和ty表示平移量，tw和th表示尺度因子，和表示ground-truth边框的平移量，表和表示ground-truth边框的尺度因子。
5.如权利要求1所述的基于混合模型的交通信号灯识别方法，其特征在于，所述步骤2中的训练过程包括以下步骤：
步骤21：待训练的图像分别在三个分支网络下进行下采样，分别是尺度为1/4的低分辨率分支、尺度为1/2的中分辨分支率和尺度为1的高分辨率分支；
步骤22：在每一分支采用级联标签指导策略，使用1/16、1/8和1/4的正确标签指导所述低分辨率分支、所述中分辨率分支和所述高分辨率分支的特征学习。
6.如权利要求5所述的基于混合模型的交通信号灯识别方法，其特征在于，所述低分辨率分支的采样方法为低分辨率图像输入到一个基于FCN的PSPNet结构，网络输出为原始输入1/32的特征图。
7.如权利要求6所述的基于混合模型的交通信号灯识别方法，其特征在于，所述中分辨率分支的采样方法为中分辨率图像输入得到1/16大小的特征图，将低分辨率的特征图和中分辨的特征图经过级联特征融合模块融合得到1/16的特征图。
8.如权利要求7所述的基于混合模型的交通信号灯识别方法，其特征在于，所述高分辨率分支的采样方法为高分辨率图像输入后得到原始图像1/8的特征图，将所述1/16特征图和所述1/8特征图经过级联特征融合模块计算获得原始图像1/8的特征图。
9.如权利要求8所述的基于混合模型的交通信号灯识别方法，其特征在于，最小化的损失函数L定义为：
其中，T表示分支的数量，N表示类别数量，F是t分支在分辨率yt×xt下的特征图，在(n,y,x)处值为 表示相对应ground-truth(x,y)处的标签，对应的值为
10.一种基于混合模型的交通信号灯识别系统，包括用于输入交通场景图像的获取模块，其特征在于，还包括以下模块：
初始训练模块：用于标注数据及模型训练；
筛选模块：用于利用仿射变换矩阵，对所述待检测图片进行位置旋转；分类模型训练模块：用于训练基于卷积神经网络的交通信号灯细分类模型；
输出模块：输出检测结果。
CN201910188244.XA 2019-03-13 2019-03-13 一种基于混合模型的交通信号灯识别方法及系统 Active CN110069986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910188244.XA CN110069986B (zh) 2019-03-13 2019-03-13 一种基于混合模型的交通信号灯识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910188244.XA CN110069986B (zh) 2019-03-13 2019-03-13 一种基于混合模型的交通信号灯识别方法及系统

Publications (2)

Publication Number Publication Date
CN110069986A true CN110069986A (zh) 2019-07-30
CN110069986B CN110069986B (zh) 2021-11-02

Family

ID=67366199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910188244.XA Active CN110069986B (zh) 2019-03-13 2019-03-13 一种基于混合模型的交通信号灯识别方法及系统

Country Status (1)

Country Link
CN (1) CN110069986B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532961A (zh) * 2019-08-30 2019-12-03 西安交通大学 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN110532903A (zh) * 2019-08-12 2019-12-03 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN111507210A (zh) * 2020-03-31 2020-08-07 华为技术有限公司 交通信号灯的识别方法、系统、计算设备和智能车
CN111738212A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 基于人工智能的交通信号灯识别方法、装置、设备及介质
CN112016510A (zh) * 2020-09-07 2020-12-01 平安国际智慧城市科技股份有限公司 基于深度学习的信号灯识别方法和装置、设备及存储介质
CN112133088A (zh) * 2020-08-25 2020-12-25 浙江零跑科技有限公司 一种车辆交通辅助指示方法及系统
CN112288031A (zh) * 2020-11-18 2021-01-29 北京航空航天大学杭州创新研究院 交通信号灯检测方法、装置、电子设备和存储介质
CN112307840A (zh) * 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 指示灯检测方法、装置、设备及计算机可读存储介质
CN112364780A (zh) * 2020-11-11 2021-02-12 许继集团有限公司 一种指示灯状态识别方法
CN112488083A (zh) * 2020-12-24 2021-03-12 杭州电子科技大学 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质
CN112700448A (zh) * 2021-03-24 2021-04-23 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法
CN112818853A (zh) * 2021-02-01 2021-05-18 中国第一汽车股份有限公司 一种交通要素识别方法、装置、设备及储存介质
CN113065466A (zh) * 2021-04-01 2021-07-02 安徽嘻哈网络技术有限公司 一种基于深度学习的驾培用红绿灯检测系统
CN113506244A (zh) * 2021-06-05 2021-10-15 北京超维世纪科技有限公司 基于深度学习指示灯检测及颜色识别泛化能力提升算法
CN114821451A (zh) * 2022-06-28 2022-07-29 南开大学 一种交通信号灯视频的离线目标检测方法及系统
CN114821194A (zh) * 2022-05-30 2022-07-29 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置
CN113065466B (zh) * 2021-04-01 2024-06-04 安徽嘻哈网络技术有限公司 一种基于深度学习的驾培用红绿灯检测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361350A (zh) * 2014-10-28 2015-02-18 奇瑞汽车股份有限公司 一种交通标识识别系统
CN106295605A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 红绿灯检测与识别方法
CN106650641A (zh) * 2016-12-05 2017-05-10 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及系统
CN107506760A (zh) * 2017-08-04 2017-12-22 西南大学 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN108399361A (zh) * 2018-01-23 2018-08-14 南京邮电大学 一种基于卷积神经网络cnn和语义分割的行人检测方法
CN108416284A (zh) * 2018-03-02 2018-08-17 北京航空航天大学 一种交通信号灯的分割方法
CN108446662A (zh) * 2018-04-02 2018-08-24 电子科技大学 一种基于语义分割信息的行人检测方法
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361350A (zh) * 2014-10-28 2015-02-18 奇瑞汽车股份有限公司 一种交通标识识别系统
CN106295605A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 红绿灯检测与识别方法
CN106650641A (zh) * 2016-12-05 2017-05-10 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及系统
CN107506760A (zh) * 2017-08-04 2017-12-22 西南大学 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN108399361A (zh) * 2018-01-23 2018-08-14 南京邮电大学 一种基于卷积神经网络cnn和语义分割的行人检测方法
CN108416284A (zh) * 2018-03-02 2018-08-17 北京航空航天大学 一种交通信号灯的分割方法
CN108446662A (zh) * 2018-04-02 2018-08-24 电子科技大学 一种基于语义分割信息的行人检测方法
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HENGSHUANG ZHAO ET AL: "ICNet for Real-Time Semantic Segmentation on High-Resolution Images", 《COMPUTER VISION - ECCV 2018》 *
YIFAN LU ET AL: "Traffic signal detection and classification in street views using an attention model", 《COMPUTATIONAL VISUAL MEDIA》 *
贾瑞明 等: "基于卷积神经网络的交通灯识别", 《北方工业大学学报》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307840A (zh) * 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 指示灯检测方法、装置、设备及计算机可读存储介质
CN110532903A (zh) * 2019-08-12 2019-12-03 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN110532903B (zh) * 2019-08-12 2022-02-22 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN110532961A (zh) * 2019-08-30 2019-12-03 西安交通大学 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN110532961B (zh) * 2019-08-30 2022-07-12 西安交通大学 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN111507210A (zh) * 2020-03-31 2020-08-07 华为技术有限公司 交通信号灯的识别方法、系统、计算设备和智能车
CN111507210B (zh) * 2020-03-31 2023-11-21 华为技术有限公司 交通信号灯的识别方法、系统、计算设备和智能车
CN111738212A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 基于人工智能的交通信号灯识别方法、装置、设备及介质
CN112133088A (zh) * 2020-08-25 2020-12-25 浙江零跑科技有限公司 一种车辆交通辅助指示方法及系统
CN112016510A (zh) * 2020-09-07 2020-12-01 平安国际智慧城市科技股份有限公司 基于深度学习的信号灯识别方法和装置、设备及存储介质
CN112016510B (zh) * 2020-09-07 2024-04-16 平安国际智慧城市科技股份有限公司 基于深度学习的信号灯识别方法和装置、设备及存储介质
CN112364780A (zh) * 2020-11-11 2021-02-12 许继集团有限公司 一种指示灯状态识别方法
CN112288031A (zh) * 2020-11-18 2021-01-29 北京航空航天大学杭州创新研究院 交通信号灯检测方法、装置、电子设备和存储介质
CN112488083A (zh) * 2020-12-24 2021-03-12 杭州电子科技大学 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质
CN112488083B (zh) * 2020-12-24 2024-04-05 杭州电子科技大学 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质
CN112818853A (zh) * 2021-02-01 2021-05-18 中国第一汽车股份有限公司 一种交通要素识别方法、装置、设备及储存介质
CN112818853B (zh) * 2021-02-01 2022-07-19 中国第一汽车股份有限公司 一种交通要素识别方法、装置、设备及储存介质
CN112700448B (zh) * 2021-03-24 2021-06-08 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法
CN112700448A (zh) * 2021-03-24 2021-04-23 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法
CN113065466A (zh) * 2021-04-01 2021-07-02 安徽嘻哈网络技术有限公司 一种基于深度学习的驾培用红绿灯检测系统
CN113065466B (zh) * 2021-04-01 2024-06-04 安徽嘻哈网络技术有限公司 一种基于深度学习的驾培用红绿灯检测系统
CN113506244A (zh) * 2021-06-05 2021-10-15 北京超维世纪科技有限公司 基于深度学习指示灯检测及颜色识别泛化能力提升算法
CN114821194A (zh) * 2022-05-30 2022-07-29 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置
CN114821451A (zh) * 2022-06-28 2022-07-29 南开大学 一种交通信号灯视频的离线目标检测方法及系统

Also Published As

Publication number Publication date
CN110069986B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN110069986A (zh) 一种基于混合模型的交通信号灯识别方法及系统
Fang et al. Road-sign detection and tracking
CN110178167B (zh) 基于摄像机协同接力的路口违章视频识别方法
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
CN109190444B (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN105512720A (zh) 一种公交车辆客流统计方法和系统
CN101739827B (zh) 一种车辆检测跟踪方法和装置
CN109753949B (zh) 一种基于深度学习的多视窗交通标志检测方法
CN110060508B (zh) 一种用于内河桥区的船舶自动检测方法
CN111553201A (zh) 一种基于YOLOv3优化算法的交通灯检测方法
CN107066968A (zh) 基于目标识别和跟踪的融合策略的车载行人检测方法
CN107985189A (zh) 面向高速驾驶环境下的驾驶员变道深度预警方法
CN103198300A (zh) 基于双层背景的停车事件检测方法
CN116403396A (zh) 一种基于大数据和视频技术的隧道车辆检测方法
CN115546763A (zh) 基于视觉测距的交通信号灯识别网络训练方法及测试方法
Shangzheng A traffic sign image recognition and classification approach based on convolutional neural network
CN113888754A (zh) 一种基于雷达视觉融合的车辆多属性识别方法
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
Sayeed et al. Bangladeshi Traffic Sign Recognition and Classification using CNN with Different Kinds of Transfer Learning through a new (BTSRB) Dataset
Gan et al. Traffic sign recognition based on improved YOLOv4
Phu et al. Traffic sign recognition system using feature points
CN116486359A (zh) 一种面向全天候的智能车环境感知网络自适应选择方法
Fang et al. A ViTDet based dual-source fusion object detection method of UAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant