CN109299704A - 基于深度学习的信号灯检测方法 - Google Patents

基于深度学习的信号灯检测方法 Download PDF

Info

Publication number
CN109299704A
CN109299704A CN201811222953.7A CN201811222953A CN109299704A CN 109299704 A CN109299704 A CN 109299704A CN 201811222953 A CN201811222953 A CN 201811222953A CN 109299704 A CN109299704 A CN 109299704A
Authority
CN
China
Prior art keywords
layer
avg
signal lamp
detection
lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811222953.7A
Other languages
English (en)
Inventor
朱健立
于宏志
王景彬
张龙龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tiandi Renhe Enterprise Management Consulting Co ltd
Original Assignee
Tianjin Tiandi Renhe Enterprise Management Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiandi Renhe Enterprise Management Consulting Co ltd filed Critical Tianjin Tiandi Renhe Enterprise Management Consulting Co ltd
Priority to CN201811222953.7A priority Critical patent/CN109299704A/zh
Publication of CN109299704A publication Critical patent/CN109299704A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于深度学习的信号灯检测方法，包括建立模型、建立训练样本集、信号灯检测、检测结果校验，所述模型为包含了5个线性融合层，每个线性融合层分别位于VGG16中池化层与位于池化层前一层的卷积层之间，每个线性融合层的输入为，上一层卷积层的输出和上一池化层的输出，其中第一个线性融合层的输入为上一层卷积层的输出的模型的输入，线性融合时两个输入的融合比例为1：1。训练样本集包括全时段红、黄、绿三种颜色信号灯的真实照片，信号灯的形状包括数字灯、箭头灯、圆形灯、条带灯。模型训练过程中，检测区域通过人工设定，检测区域的高、宽为3W*4H，其中W、H为指定类型信号灯的宽和高。

Description

基于深度学习的信号灯检测方法
技术领域
本发明属于信号检测领域，尤其是一种基于深度学习的信号灯检测方法。
背景技术
交通信号灯检测是智慧城市智能交通体系内重要的一个指标环节。
申请号为201711143943.X的专利提出一种使用计算机视觉和深度学习进行交通信号灯检测和分类的系统和方法，该系统包括车载处理设备，车载处理设备包括计算机视觉模块和神经网络模块，计算机视觉模块被编程用于接收前视摄像机捕获的RGB帧，将RGB帧与设定的强度阈值进行比较，将符合要求的图像帧进行处理；神经网络模块被编程用于鉴别非交通信号灯类、红色交通信号灯类、绿色交通信号灯类和黄色交通信号灯类。
申请号为201710763154.X的专利提出一种基于深度学习的交通路口可通行道路规划方法，该方法基于深度学习首先检测处图中信号灯的位置和颜色，再利用信号灯的颜色信息与图像中的斑马线规划出可通行的道路。
传统的识别算法，受限于场景光线的变化剧烈，相机晃动等因素，导致对信号灯的定位和识别检测效果不理想，进而影响相机的整体使用。
发明内容
本发明提出一种基于深度学习的信号灯检测方法，采用的技术方案如下：
一种基于深度学习的信号灯检测方法，包括建立模型、建立训练样本集、信号灯检测、检测结果校验，所述模型为包含了5个线性融合层，每个线性融合层分别位于VGG16中池化层与位于池化层前一层的卷积层之间，每个线性融合层的输入为，上一层卷积层的输出和上一池化层的输出，其中第一个线性融合层的输入为上一层卷积层的输出的模型的输入，线性融合时两个输入的融合比例为1：1。
进一步的，训练样本集包括全时段红、黄、绿三种颜色信号灯的真实照片，信号灯的形状包括数字灯、箭头灯、圆形灯、条带灯。
进一步的，模型训练过程中，通过人工设定，检测区域的高、宽为3W*4H，其中W、H为原始图像中，指定类型信号灯的宽和高。
进一步的，检测结果校验包括步骤：
步骤1：计算检测区域内R、G、B三个通道平均值，avg_R，avg_G，avg_B；
步骤2：若检出结果为绿灯，检测区域内avg_R>avg_B，则认为检出错误，过滤此条结果；
若检出结果为红灯或黄灯，检测区域内avg_B>avg_R，则认为检出错误，过滤此条结果；
步骤3：计算检测区域内所有像素点的平均灰度值avg_Y以及送检图像平均灰度值avg_L，若avg_Y<avg_L，则认为检出位置不准确，过滤此条结果。
与现有技术相比，本发明的有益效果在于：检测模型中包括线性融合层，线性融合层将卷积前后的信息重新按照比例线性融合，使得网络对目标位置的检测更加准确。
附图说明
图1是检测模型结构图；
图2是检测方法示意图。
具体实施方式
本发明基于深度学习设计了一种交通相机信号灯检测算法，对指定图像区域内的交通信号灯进行实时定位与类型识别。
本实施例中，采用的模型如图1所示，检测模型为包含了5个线性融合层，每个线性融合层分别位于VGG16中池化层与位于池化层前一层的卷积层之间，每个线性融合层的输入为，上一层卷积层的输出和上一池化层的输出，其中第一个线性融合层的输入为上一层卷积层的输出的模型的输入。
ZContact层的融合计算方式为：
LMi(Lpi,Lci)＝ZCPi*LPi+ZCCi*LCi
其中，其中LPi，LCi分别是第i个ZContact层的池化层特征图与卷积特征图，ZCPi，ZCCi分别是两个输入特征图的融合系数，ZCPi+ZCCi＝1。
训练检测模型时，使用样本集利用真实交通路口相机采集的图片。选取包含红灯、黄灯、绿灯、无灯的图片；选取包含早、中、晚三个时间段全天候的图片；选取包含数字灯、箭头灯、圆形灯、条带灯等各种形状的信号灯图片，按照灯所在位置，做外接矩形框标注。训练时，随机打乱样本顺序生成训练集，防止训练样本的分布不均衡导致训练长时间无法收敛。
初始的检测区域由人工设定，后续的检测区域位置由检出结果中置信度最高的目标位置偏移来决定，检测区域的高、宽为3W*4H，其中W、H为原始图像中指定类型信号灯的宽和高。
如图2所示，检测时步骤包括：
步骤1：色彩空间变换：将图像由YUV色彩空间变换到BGR色彩空间，具体方法为：
R＝Y+1.4075*(V-128)
G＝Y-0.3455*(U-128)-0.7169*(V-128)
B＝Y+1.779*(U-128)
为了加快运算速度，采用整型计算：
u＝U-128；
v＝V-128；
rdif＝v+((v*103)>>8)；
invgdif＝((u*88)>>8)+((v*183)>>8)；
bdif＝u+((u*198)>>8)；
R＝Y+rdif；
G＝Y–invgdif；
B＝Y+bdif；
步骤2：利用线性插值法将指定区域的BGR格式图像缩放到目标尺寸，即训练网络输入尺寸300*300；
步骤3：输出结果校验，统计深度学习检出信号灯的目标框内R、G、B三通道的平均值avg_R、avg_G、avg_B。若检出结果为绿灯，目标框内avg_R>avg_B，则认为检出错误，过滤此条结果。若检出结果为红灯或黄灯，目标框内avg_B>avg_R，则认为检出错误，过滤此条结果。计算检测区域内所有像素点的平均灰度值avg_Y以及送检图像平均灰度值avg_L，若avg_Y<avg_L，则认为检出位置不准确，过滤此条结果。
步骤4：输出检测结果。
以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (4)

1.一种基于深度学习的信号灯检测方法，包括建立模型、建立训练样本集、信号灯检测、检测结果校验，其特征在于，所述模型为包含了5个线性融合层，每个线性融合层分别位于VGG16中池化层与位于池化层前一层的卷积层之间，每个线性融合层的输入为，上一层卷积层的输出和上一池化层的输出，其中第一个线性融合层的输入为上一层卷积层的输出的模型的输入，线性融合时两个输入的融合比例为1：1。
2.如权利要求1所述一种基于深度学习的信号灯检测方法，其特征在于，训练样本集包括全时段红、黄、绿三种颜色信号灯的真实照片，信号灯的形状包括数字灯、箭头灯、圆形灯、条带灯。
3.如权利要求1所述一种基于深度学习的信号灯检测方法，其特征在于，模型训练过程中，检测区域通过人工设定，检测区域的高、宽为3W*4H，其中W、H为指定类型信号灯的宽和高。
4.如权利要求1所述一种基于深度学习的信号灯检测方法，其特征在于，检测结果校验包括步骤：
步骤1：计算检测区域内R、G、B三个通道平均值，avg_R，avg_G，avg_B；
步骤2：若检出结果为绿灯，检测区域内avg_R>avg_B，则认为检出错误，过滤此条结果；
若检出结果为红灯或黄灯，检测区域内avg_B>avg_R，则认为检出错误，过滤此条结果；
步骤3：计算检测区域内所有像素点的平均灰度值avg_Y以及送检图像平均灰度值avg_L，若avg_Y<avg_L，则认为检出位置不准确，过滤此条结果。
CN201811222953.7A 2018-10-19 2018-10-19 基于深度学习的信号灯检测方法 Withdrawn CN109299704A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811222953.7A CN109299704A (zh) 2018-10-19 2018-10-19 基于深度学习的信号灯检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811222953.7A CN109299704A (zh) 2018-10-19 2018-10-19 基于深度学习的信号灯检测方法

Publications (1)

Publication Number Publication Date
CN109299704A true CN109299704A (zh) 2019-02-01

Family

ID=65158292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811222953.7A Withdrawn CN109299704A (zh) 2018-10-19 2018-10-19 基于深度学习的信号灯检测方法

Country Status (1)

Country Link
CN (1) CN109299704A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967368A (zh) * 2020-08-12 2020-11-20 广州小鹏车联网科技有限公司 一种交通灯识别的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967368A (zh) * 2020-08-12 2020-11-20 广州小鹏车联网科技有限公司 一种交通灯识别的方法和装置
CN111967368B (zh) * 2020-08-12 2022-03-11 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置

Similar Documents

Publication Publication Date Title
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
O'Malley et al. Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions
Diaz-Cabrera et al. Suspended traffic lights detection and distance estimation using color features
CN103093203B (zh) 一种人体再识别方法以及人体再识别系统
CN106384117B (zh) 一种车辆颜色识别方法及装置
CN102314602B (zh) 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影
CN106485199A (zh) 一种车身颜色识别的方法及装置
CN107480676B (zh) 一种车辆颜色识别方法、装置和电子设备
CN107103606A (zh) 一种图像识别方法及装置
CN103345766A (zh) 一种信号灯识别方法及装置
CN105812674A (zh) 一种信号灯的颜色修正方法、监控方法及装置
CN104318266B (zh) 一种图像智能分析处理预警方法
CN103488987A (zh) 一种基于视频检测交通信号灯的方法及装置
Shopa et al. Traffic sign detection and recognition using OpenCV
CN102314601A (zh) 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影
CN102867295A (zh) 一种彩色图像颜色校正方法
CN111723805B (zh) 一种信号灯的前景区域识别方法及相关装置
CN107704853A (zh) 一种基于多分类器的交通信号灯的识别方法
CN104766071A (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
CN104766307A (zh) 一种图像处理的方法及设备
Zhang et al. Application research of YOLO v2 combined with color identification
CN112668426B (zh) 一种基于三种色彩模式的火灾图像偏色度量化方法
CN105279511A (zh) 基于颜色时变特征的交通信号灯重定位方法及装置
CN109427041A (zh) 一种图像白平衡方法及系统、存储介质及终端设备
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190201