CN113177522A - 一种用于自动驾驶场景下的红绿灯检测与识别方法 - Google Patents

一种用于自动驾驶场景下的红绿灯检测与识别方法 Download PDF

Info

Publication number
CN113177522A
CN113177522A CN202110581812.XA CN202110581812A CN113177522A CN 113177522 A CN113177522 A CN 113177522A CN 202110581812 A CN202110581812 A CN 202110581812A CN 113177522 A CN113177522 A CN 113177522A
Authority
CN
China
Prior art keywords
traffic light
region
light region
image
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110581812.XA
Other languages
English (en)
Inventor
汪全伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN202110581812.XA priority Critical patent/CN113177522A/zh
Publication of CN113177522A publication Critical patent/CN113177522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于自动驾驶场景下的红绿灯检测与识别方法，包括以下步骤：(1)处理红绿灯图像数据；(2)将高精地图上的红绿灯区域坐标映射到红绿灯图像上并获取红路灯区域的ROI；(3)对红绿灯区域以及单个红绿灯进行检测；(4)判断检测到的红绿灯是否正确并对单个红绿灯区域进行裁剪；(5)对裁剪出来的单个红绿灯进行分类；(6)融合检测结果与分类结果，通过高精地图获取各红绿灯对应的车道信息；(7)输出所有车道的红绿灯状态。本发明结合了高精地图，添加了分类模型，解决了自动驾驶场景下的车道与红绿灯的匹配问题，降低了误检率，提高了鲁棒性。

Description

一种用于自动驾驶场景下的红绿灯检测与识别方法
技术领域
本发明涉及自动驾驶，特别是一种用于自动驾驶场景下的红绿灯检测与识别方法。
背景技术
随着科技的发展，自动驾驶技术已经成为众多科技公司争相竞技的领域，除了一众传统的汽车制造商，谷歌、Uber、特斯拉这些大的科技公司也纷纷涉足这一领域。对城市道路来说，红绿灯的识别一向是保证自动驾驶车辆安全高效地行驶的难点。红绿灯检测其实包含有两个任务：红绿灯检测与红绿灯识别。现有很多红绿灯检测技术是采用摄像头看到的全景图像进行检测，这种方式的误检测率很高，鲁棒性很差，并且也无法与实际的车道进行一一匹配，可能会给自动驾驶带来致命的危险。
发明内容
发明目的：本发明的目的是提供一种低误检率、高鲁棒性的用于自动驾驶场景下的红绿灯检测与识别方法。
技术方案：本发明所述的一种用于自动驾驶场景下的红绿灯检测与识别方法，包括以下步骤：
(1)红绿灯图像数据的处理；
(2)将高精地图上的红绿灯区域坐标映射到红绿灯图像上，并在图像上获取红路灯区域的ROI；
(3)对红绿灯区域进行检测以及对单个红绿灯进行检测；
(4)判断检测到的红绿灯是否检测正确，如果正确，将单个红绿灯区域进行裁剪；
(5)对裁剪出来的单个红绿灯进行分类；
(6)融合检测的结果与分类的结果，并通过高精地图获取各红绿灯对应的车道信息；
(7)输出所有车道的红绿灯状态。
所述步骤(1)具体为：对摄像头获取到的rgb图像进行预处理，其中包括图像的清洗。
所述步骤(2)包括以下步骤：
(2.1)根据已有的高精地图来查询车辆当前位置前方最近的红绿灯的世界坐标系下的红绿灯区域的坐标；
(2.2)将步骤(2.1)中获取得到的坐标根据地图与相机之间的标定关系来映射到步骤(1)中2D图像上成为图像坐标系下的坐标；
(2.3)截取步骤(2.2)得到的图像坐标区域作为红绿灯的ROI区域。
所述步骤(3)包括以下步骤：
(3.1)对步骤(2)中获取得到的ROI区域进行标注；
(3.2)采用目标检测算法yolov5对步骤(3.1)中的标注得到的数据集进行目标训练；
(3.3)用步骤(3.2)中得到的模型对整个红绿灯区域与单个红绿灯区域检测，得到整个红绿灯区域的坐标以及当个红绿灯区域的坐标。
所述步骤(4)包括以下步骤：
(4.1)将单个红绿灯区域与整个红绿灯区域进行对比，判断是否有重叠区域，如果有重叠区域，标识检测到的单个红绿灯为真实的红绿灯，如果没有重叠，认为是误检的红绿灯区域；
(4.2)将步骤(4.1)得到的真实红绿灯区域进行裁剪。
所述步骤(5)包括以下步骤：
(5.1)对步骤(4)中获取得到的红绿灯区域进行标注；
(5.2)用步骤(5.1)中标注后的数据集进行分类模型的训练；
(5.3)对步骤(4)中得到的单个红绿灯进行分类。
所述步骤(6)具体为：结合高精地图，将步骤(4)中检测得到的当个红绿灯坐标映射到世界坐标系中，从而获取该红绿灯对应的车道。
所述步骤(7)具体为：结合步骤(5)，输出步骤(6)中的车道对应的红绿灯的状态。
有益效果：与现有技术相比，本发明具有如下优点：结合了高精地图，添加了分类模型，解决了自动驾驶场景下的车道与红绿灯的匹配问题，降低了误检率，提高了鲁棒性。
附图说明
图1为本发明的步骤流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明所述的一种用于自动驾驶场景下的红绿灯检测与识别方法，包括以下步骤：
(1)红绿灯图像数据的处理，具体为：对摄像头获取到的rgb图像进行预处理，其中包括图像的清洗；
(2)将高精地图上的红绿灯区域坐标映射到红绿灯图像上，并在图像上获取红路灯区域的ROI，步骤(2)包括以下步骤：
(2.1)根据已有的高精地图来查询车辆当前位置前方最近的红绿灯的世界坐标系下的红绿灯区域的坐标；
(2.2)将步骤(2.1)中获取得到的坐标根据地图与相机之间的标定关系来映射到步骤(1)中2D图像上成为图像坐标系下的坐标；
(2.3)截取步骤(2.2)得到的图像坐标区域作为红绿灯的ROI区域；
(3)对红绿灯区域进行检测以及对单个红绿灯进行检测，步骤(3)包括以下步骤：
(3.1)对步骤(2)中获取得到的ROI区域进行标注；
(3.2)采用目标检测算法yolov5对步骤(3.1)中的标注得到的数据集进行目标训练；
(3.3)用步骤(3.2)中得到的模型对整个红绿灯区域与单个红绿灯区域检测，得到整个红绿灯区域的坐标以及当个红绿灯区域的坐标；
(4)判断检测到的红绿灯是否检测正确，如果正确，将单个红绿灯区域进行裁剪，步骤(4)包括以下步骤：
(4.1)将单个红绿灯区域与整个红绿灯区域进行对比，判断是否有重叠区域，如果有重叠区域，标识检测到的单个红绿灯为真实的红绿灯，如果没有重叠，认为是误检的红绿灯区域；
(4.2)将步骤(4.1)得到的真实红绿灯区域进行裁剪；
(5)对裁剪出来的单个红绿灯进行分类，步骤(5)包括以下步骤：
(5.1)对步骤(4)中获取得到的红绿灯区域进行标注；
(5.2)用步骤(5.1)中标注后的数据集进行分类模型的训练；
(5.3)对步骤(4)中得到的单个红绿灯进行分类；
(6)融合检测的结果与分类的结果，并通过高精地图获取各红绿灯对应的车道信息，具体为：结合高精地图，将步骤(4)中检测得到的当个红绿灯坐标映射到世界坐标系中，从而获取该红绿灯对应的车道；
(7)输出所有车道的红绿灯状态，具体为：结合步骤(5)，输出步骤(6) 中的车道对应的红绿灯的状态。

Claims (8)

1.一种用于自动驾驶场景下的红绿灯检测与识别方法，其特征在于，包括以下步骤：
(1)红绿灯图像数据的处理；
(2)将高精地图上的红绿灯区域坐标映射到红绿灯图像上，并在图像上获取红路灯区域的ROI；
(3)对红绿灯区域进行检测以及对单个红绿灯进行检测；
(4)判断检测到的红绿灯是否检测正确，如果正确，将单个红绿灯区域进行裁剪；
(5)对裁剪出来的单个红绿灯进行分类；
(6)融合检测的结果与分类的结果，并通过高精地图获取各红绿灯对应的车道信息；
(7)输出所有车道的红绿灯状态。
2.根据权利要求1所述的方法，其特征在于，所述步骤(1)具体为：对摄像头获取到的rgb图像进行预处理，其中包括图像的清洗。
3.根据权利要求1所述的方法，其特征在于，所述步骤(2)包括以下步骤：
(2.1)根据已有的高精地图来查询车辆当前位置前方最近的红绿灯的世界坐标系下的红绿灯区域的坐标；
(2.2)将步骤(2.1)中获取得到的坐标根据地图与相机之间的标定关系来映射到步骤(1)中2D图像上成为图像坐标系下的坐标；
(2.3)截取步骤(2.2)得到的图像坐标区域作为红绿灯的ROI区域。
4.根据权利要求1所述的方法，其特征在于，所述步骤(3)包括以下步骤：
(3.1)对步骤(2)中获取得到的ROI区域进行标注；
(3.2)采用目标检测算法yolov5对步骤(3.1)中的标注得到的数据集进行目标训练，从而的得到目标检测模型；
(3.3)用步骤(3.2)中得到的模型对整个红绿灯区域与单个红绿灯区域检测，得到整个红绿灯区域的坐标以及当个红绿灯区域的坐标。
5.根据权利要求1所述的方法，其特征在于，所述步骤(4)包括以下步骤：
(4.1)将单个红绿灯区域与整个红绿灯区域进行对比，判断是否有重叠区域，如果有重叠区域，标识检测到的单个红绿灯为真实的红绿灯，如果没有重叠，认为是误检的红绿灯区域；
(4.2)将步骤(4.1)得到的真实红绿灯区域进行裁剪。
6.根据权利要求1所述的方法，其特征在于，所述步骤(5)包括以下步骤：
(5.1)对步骤(4)中获取得到的红绿灯区域进行标注；
(5.2)用步骤(5.1)中标注后的数据集进行分类模型的训练；
(5.3)对步骤(4)中得到的单个红绿灯进行分类。
7.根据权利要求1所述的方法，其特征在于，所述步骤(6)具体为：结合高精地图，将步骤(4)中检测得到的当个红绿灯坐标映射到世界坐标系中，从而获取该红绿灯对应的车道。
8.根据权利要求1所述的方法，其特征在于，所述步骤(7)具体为：结合步骤(5)，输出步骤(6)中的车道对应的红绿灯的状态。
CN202110581812.XA 2021-05-24 2021-05-24 一种用于自动驾驶场景下的红绿灯检测与识别方法 Pending CN113177522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110581812.XA CN113177522A (zh) 2021-05-24 2021-05-24 一种用于自动驾驶场景下的红绿灯检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110581812.XA CN113177522A (zh) 2021-05-24 2021-05-24 一种用于自动驾驶场景下的红绿灯检测与识别方法

Publications (1)

Publication Number Publication Date
CN113177522A true CN113177522A (zh) 2021-07-27

Family

ID=76927170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110581812.XA Pending CN113177522A (zh) 2021-05-24 2021-05-24 一种用于自动驾驶场景下的红绿灯检测与识别方法

Country Status (1)

Country Link
CN (1) CN113177522A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743145A (zh) * 2022-04-21 2022-07-12 阿波罗智联(北京)科技有限公司 交通灯检测方法、装置以及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506760A (zh) * 2017-08-04 2017-12-22 西南大学 基于gps定位与视觉图像处理的交通信号检测方法及系统
US20180204077A1 (en) * 2015-07-13 2018-07-19 Nissan Motor Co., Ltd. Traffic Light Recognition Device and Traffic Light Recognition Method
CN108734979A (zh) * 2017-04-20 2018-11-02 通用汽车环球科技运作有限责任公司 交通信号灯检测系统及方法
CN109949594A (zh) * 2019-04-29 2019-06-28 北京智行者科技有限公司 实时的交通灯识别方法
CN110688992A (zh) * 2019-12-09 2020-01-14 中智行科技有限公司 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
CN112183382A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 无人驾驶交通灯检测分类方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204077A1 (en) * 2015-07-13 2018-07-19 Nissan Motor Co., Ltd. Traffic Light Recognition Device and Traffic Light Recognition Method
CN108734979A (zh) * 2017-04-20 2018-11-02 通用汽车环球科技运作有限责任公司 交通信号灯检测系统及方法
CN107506760A (zh) * 2017-08-04 2017-12-22 西南大学 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN109949594A (zh) * 2019-04-29 2019-06-28 北京智行者科技有限公司 实时的交通灯识别方法
CN110688992A (zh) * 2019-12-09 2020-01-14 中智行科技有限公司 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
CN112183382A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 无人驾驶交通灯检测分类方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743145A (zh) * 2022-04-21 2022-07-12 阿波罗智联(北京)科技有限公司 交通灯检测方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
CN109949594B (zh) 实时的交通灯识别方法
CN110689761B (zh) 一种自动泊车方法
US11688183B2 (en) System and method of determining a curve
CN111081064B (zh) 一种车载以太网的自动泊车系统及自动代客泊车方法
CN110443225B (zh) 一种基于特征像素统计的虚实车道线识别方法及其装置
US8611585B2 (en) Clear path detection using patch approach
US8699754B2 (en) Clear path detection through road modeling
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
CN108388641B (zh) 一种基于深度学习的交通设施地图生成方法与系统
US20210229280A1 (en) Positioning method and device, path determination method and device, robot and storage medium
US10872246B2 (en) Vehicle lane detection system
CN111695546A (zh) 用于无人车的交通信号灯识别方法和装置
CN104361350A (zh) 一种交通标识识别系统
CN108594244B (zh) 基于立体视觉和激光雷达的障碍物识别迁移学习方法
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
US11900696B2 (en) Method and system for processing a plurality of images so as to detect lanes on a road
CN115320619A (zh) 用于对车辆环境进行场景解读的方法
CN113029187A (zh) 融合adas精细感知数据的车道级导航方法与系统
CN118038409A (zh) 车辆可行驶区域检测方法、装置、电子设备及存储介质
CN113177522A (zh) 一种用于自动驾驶场景下的红绿灯检测与识别方法
D'Cruz et al. Lane detection for driver assistance and intelligent vehicle applications
CN113884090A (zh) 智能平台车环境感知系统及其数据融合方法
US20230266469A1 (en) System and method for detecting road intersection on point cloud height map
Borkar et al. Detecting lane markers in complex urban environments
CN110727269A (zh) 车辆控制方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination