CN109583415B - 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 - Google Patents

一种基于激光雷达与摄像机融合的交通灯检测与识别方法 Download PDF

Info

Publication number
CN109583415B
CN109583415B CN201811512935.2A CN201811512935A CN109583415B CN 109583415 B CN109583415 B CN 109583415B CN 201811512935 A CN201811512935 A CN 201811512935A CN 109583415 B CN109583415 B CN 109583415B
Authority
CN
China
Prior art keywords
traffic light
laser radar
camera
information
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811512935.2A
Other languages
English (en)
Other versions
CN109583415A (zh
Inventor
周庆国
王金强
周睿
黄钢
肖子超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University
Original Assignee
Lanzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University filed Critical Lanzhou University
Priority to CN201811512935.2A priority Critical patent/CN109583415B/zh
Publication of CN109583415A publication Critical patent/CN109583415A/zh
Application granted granted Critical
Publication of CN109583415B publication Critical patent/CN109583415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于激光雷达与摄像机融合的交通灯检测与识别方法，该方法包括：利用激光雷达当前扫描到的点云数据匹配已制作的高精度地图，并结合GPS‑INS定位系统进行定位，从而确定车辆当前的位置及姿态；将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像；利用摄像头采集包含交通灯的视频信息，处理成多帧图片，对图片进行切割；利用经切割处理的图片数据，通过识别系统得到识别内容。本方案实现了利用激光雷达与摄像机进行融合，对交通灯进行快速的检测与识别。

Description

一种基于激光雷达与摄像机融合的交通灯检测与识别方法
技术领域
本发明实施涉及计算机技术，尤其涉及一种基于激光雷达和摄像机融合的交通灯检测与识别方法。
背景技术
随着当今社会科技不断进步，无人驾驶技术取得了巨大的发展，它是一门整合了计算机视觉、车辆控制、传感器与嵌入式开发、物联网等多个学科的系统工程学。无人车上装载了各类传感器，通过利用各类传感器中的感知数据以及制定好的高精度地图，无人车规划模块通过感知的结果来进行综合处理，再将具体的处理方式传入给车辆线控模块，从而控制车辆安全、可靠地在道路上行驶。
在城市道路行驶过程中，交通灯的检测与识别对无人车来说非常重要，具体的识别过程为：
在经过含有交通灯的路段时，利用无人车上装载的长焦摄像机拍摄车辆前上方景象，采集包含交通灯的视频图像。再利用无人车上的交通灯识别系统，识别交通灯的指示数据，最后将处理结果传至车辆规划模块。为了保证无人车能在各类道路上正常行驶，对交通灯的正确检测与识别非常重要，因此需要一种可靠的方法来进行交通灯的检测和识别。由前述内容可知，无人车对交通灯的检测和识别需要借助于长焦摄像机、激光雷达、高精度地图和GPS-INS等设备提供的定位系统。
发明内容
本发明提供了一种基于激光雷达和摄像机融合的交通灯检测与识别方法，实现了对交通灯的快速检测与识别。
本发明提供了一种检测和识别交通灯的方法，包括：
利用激光雷达当前扫描到的点云数据匹配之前生成好的高精度地图以及定位系统进行定位，确定车辆当前的位置及姿态，从高精度地图中获取到当前场景下车道信息以及对应的交通灯的具体位置信息；
将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像；
通过两次坐标转换，从而在摄像机的二维图像中获取到交通灯的具体坐标，有助于后面的图像分割处理；利用摄像头采集包含交通灯的视频信息，处理成多帧图片，根据获取到的交通灯坐标，对图片进行切割处理，保留仅含交通灯的感兴趣区域；
利用采集到的交通灯数据，通过识别系统利用训练好的神经网络模型进行检测与识别，进而得到交通灯指示信息内容。
本方案实现了利用激光雷达与摄像机进行融合，实现了对交通灯进行快速的检测与识别。
附图说明
图1为本发明实施提供的基于激光雷达和摄像机融合的交通灯检测与识别方法的流程图；
图2为本发明实施的高精度地图中交通灯与点云地图、二维图像之间的坐标互相转换关系图。
具体实施方式
下面结合附图和实施对本发明进一步的详细说明。此处所描述的具体实施仅用于解释本发明，而非对本发明的限定。另外还有需要说明的是，附图中仅表示了与本发明相关的部分而非全部结构。
实施例
图1为本发明实施例提供的基于激光雷达和摄像机融合的交通灯检测与识别方法的流程图，本实施例可适用于在限定场景下对道路上交通灯的自动检测与识别。本方法可以应用到具体的无人车项目中，无人车可自动检测并识别道路上的交通灯信息，无人车再根据识别系统所作出的判断，作出继续行驶、减速或者停车行为。
如图1所示具体包括如下步骤：
步骤一，利用激光雷达当前扫描到的点云数据匹配之前生成好的高精度地图以及定位系统进行定位，确定车辆当前的位置及姿态。本方法主要用于无人车对交通灯的检测与识别，因此首先要确定好无人车当前的位置信息及姿态信息。高精度地图是专门为无人车所设计的地图，里面包含车详细的道路信息以及交通灯的精确位置信息。在本步骤中，利用激光雷达所扫描的实时点云数据与高精度地图进行匹配，同时结合全球定位单元、惯性测量单元配合载波相位差分技术构成无人车定位系统。通过无人车定位系统，我们可以获取到车辆的位置信息以及姿态信息。
通常来说交通灯一般都是设定在路口的固定位置，因此知道当前车辆的位置对于交通灯的检测来说是非常重要的，利用激光雷达等定位单元进行准确的定位，保证了摄像头能准确的采集到有包含交通灯的视频信息。
步骤二，将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像。
前述内容可知，无人车进行准确的定位之后，可在高精度地图中获取到世界坐标系下当前车道对应的交通灯位置信息，并计算出世界坐标到激光雷达坐标系的坐标转换。车载摄像头所采集到的视频中有包含交通灯之外的其它物体，比如说建筑物、树木、行人、车辆等等信息，因为相机和激光雷达是固定的，所以可以事先通过相机-激光雷达标定计算出激光雷达坐标系与摄像头所采集视频的二维坐标系的坐标转换。
在图2中展示了世界坐标系统的交通灯映射至激光雷达点云数据坐标系统，再将激光雷达点云数据中的交通灯坐标映射到摄像机拍摄的二维图像中。
步骤三，利用摄像头采集包含交通灯的视频信息，存储采集的数据。
利用车载摄像头来采集视频数据，由前述数据可知，拍摄的视频数据中还包含许多非交通灯数据，利用视频处理，将视频处理为多帧图片，图片中会包含多种信息如建筑物、车辆、地面等等，为保证识别性能，将要对原始图片进行处理，以映射的交通灯坐标为中心进行图片剪切，去除图片中的其它无关信息，仅保留含有交通灯的数据。
步骤四，利用采集到的数据，通过识别系统得到交通灯具体指示信息。
识别系统采用SqueezeNet神经网络分类器进行交通灯识别，SqueezeNet为一种小型CNN架构的神经网络，其优势在于它所需要的参数更少，训练更快，识别精度高，同时其容易在FPGA上实现训练加速与部署应用，符合无人车的具体需求。利用公开的数据集来训练SqueezeNet网络，为提高识别率，采用的是已经分割好的仅包含交通灯的图片数据，训练一个适用于小图像的SqueezeNet分类器。利用训练好的 SqueezeNet网络来进行处理新的图片信息。
在本示例中，利用训练好的SqueezeNet网络来对步骤三中的仅包含交通灯的图片进行处理。在实际应用中，相机拍摄的视频帧速率通常高于10FPS，针对于交通灯识别，可利用融合多帧图片的检测结果来提高交通灯识别的准确率。
本实例在封闭的真实环境中进行测试，在白天及晚上的环境，利用激光雷达和定位系统能准确地进行实时定位，同时识别系统也能快速准确的识别交通灯信息。即使交通灯有部分遮挡，识别系统依旧能很好的识别出交通灯信息，保证了车辆的安全行驶。
上述仅为本发明的较佳实例以及所运用的技术原理。智能驾驶领域人员会理解，同时本发明不限于本具体实例，其它专业人员可以进行各种其它改变、调整和替换而不会脱离本发明的保护范围。

Claims (4)

1.基于激光雷达与摄像机融合的交通灯检测与识别方法，其特征在于，包括：
利用激光雷达当前扫描到的点云数据匹配已制作好的高精度地图以及GPS-INS定位系统进行定位，确定车辆当前的位置及姿态；
将高精度地图中的交通灯坐标映射到激光雷达点云坐标系中，再将点云坐标系中的交通灯坐标映射到摄像机所拍摄的二维视频图像；
通过激光雷达与高精度地图结合定位后，在激光雷达的点云数据中获取到交通灯的坐标信息，利用坐标转换映射到摄像机所采集到的视频信息中；
利用摄像头采集包含交通灯的视频信息，处理成多帧图片，对图片进行切割；
利用经切割处理的图片数据，通过识别系统得到识别内容；
利用经切割处理的图片数据，通过识别系统得到识别内容包括：
利用SqueezeNet神经网络进行训练并测试交通灯类型，并利用训练好的模型来识别融合之后的视频帧交通灯数据。
2.根据权利要求1所述的方法，其特征在于利用激光雷达当前扫描到的点云数据匹配之前生成好的高精度地图以及GPS-INS定位系统进行定位包括：
通过激光雷达扫描到的点云数据与预先生成的高精度地图进行匹配，再配合GPS-INS定位系统进行定位，从而获取到当前车辆的车辆位置信息和姿态信息。
3.根据权利要求1所述的方法，其特征在于，采集交通灯的信息包括：
通过高精度地图获取到交通灯的坐标信息以及激光雷达装置和摄像机装置在指定场景采集包含交通灯的两类信息，并通过对三类信息的融合转换处理得到预设场景下的交通灯信息。
4.根据权利要求1所述的方法，其特征在于，利用摄像头采集包含交通灯的视频信息，处理成多帧图片，对图片进行切割包括：
通过坐标转换之后获取到二维图像中交通灯的坐标信息，将视频处理为多帧图片，再以交通灯为中心进行切割处理。
CN201811512935.2A 2018-12-11 2018-12-11 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 Active CN109583415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811512935.2A CN109583415B (zh) 2018-12-11 2018-12-11 一种基于激光雷达与摄像机融合的交通灯检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811512935.2A CN109583415B (zh) 2018-12-11 2018-12-11 一种基于激光雷达与摄像机融合的交通灯检测与识别方法

Publications (2)

Publication Number Publication Date
CN109583415A CN109583415A (zh) 2019-04-05
CN109583415B true CN109583415B (zh) 2022-09-30

Family

ID=65929005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811512935.2A Active CN109583415B (zh) 2018-12-11 2018-12-11 一种基于激光雷达与摄像机融合的交通灯检测与识别方法

Country Status (1)

Country Link
CN (1) CN109583415B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110118973B (zh) * 2019-05-27 2020-12-18 杭州亚美利嘉科技有限公司 仓库智能感知识别方法、装置及电子设备
CN110414399B (zh) * 2019-07-22 2020-09-04 北京三快在线科技有限公司 信号灯的检测方法、装置及智能驾驶设备
CN110705485A (zh) * 2019-10-08 2020-01-17 东软睿驰汽车技术（沈阳）有限公司 一种交通信号灯识别方法及装置
CN111027401B (zh) * 2019-11-15 2022-05-03 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN112991791B (zh) * 2019-12-13 2022-07-26 上海商汤临港智能科技有限公司 交通信息识别和智能行驶方法、装置、设备及存储介质
CN111079680B (zh) * 2019-12-23 2023-09-19 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
CN111967370B (zh) * 2020-08-12 2021-12-07 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
CN111964673A (zh) * 2020-08-25 2020-11-20 一汽解放汽车有限公司 一种无人车定位系统
CN112132896B (zh) * 2020-09-16 2024-05-10 北京埃福瑞科技有限公司 一种轨旁设备状态检测方法及系统
CN112183382A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 无人驾驶交通灯检测分类方法和装置
CN112580489A (zh) * 2020-12-15 2021-03-30 深兰人工智能(深圳)有限公司 交通灯检测方法、装置、电子设备及存储介质
CN113378694B (zh) * 2021-06-08 2023-04-07 北京百度网讯科技有限公司 生成目标检测和定位系统及目标检测和定位的方法及装置
CN113627569B (zh) * 2021-09-27 2024-10-18 浙江高信技术股份有限公司 一种用于交通大场景的雷达视频一体机的数据融合方法及装置、存储介质
CN114120269A (zh) * 2021-11-02 2022-03-01 北京埃福瑞科技有限公司 轨道限界检测方法及系统
CN114694123B (zh) * 2022-05-30 2022-09-27 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN116630866B (zh) * 2023-07-24 2023-10-13 中电信数字城市科技有限公司 音视频雷达融合的异常事件监控方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105818763A (zh) * 2016-03-09 2016-08-03 乐卡汽车智能科技（北京）有限公司 一种确定车辆周围物体距离的方法、装置及系统
CN106908775A (zh) * 2017-03-08 2017-06-30 同济大学 一种基于激光反射强度的无人车实时定位方法
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007044536A1 (de) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
CN103822625B (zh) * 2013-12-01 2017-05-10 兰州大学 一种智能机器人寻线导航的方法与装置
CN105930819B (zh) * 2016-05-06 2019-04-12 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN107689161A (zh) * 2017-09-13 2018-02-13 南京航空航天大学 人‑车‑交通路况互联的智能汽车实际行驶工况构建系统
CN108196535B (zh) * 2017-12-12 2021-09-07 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108198446A (zh) * 2018-01-20 2018-06-22 温岭市志创网络科技有限公司 一种交通灯路口车辆快速通行方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105818763A (zh) * 2016-03-09 2016-08-03 乐卡汽车智能科技（北京）有限公司 一种确定车辆周围物体距离的方法、装置及系统
CN106908775A (zh) * 2017-03-08 2017-06-30 同济大学 一种基于激光反射强度的无人车实时定位方法
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
交通信号灯检测、跟踪、定位与识别方法研究;张立天;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20150715;C034-224 *

Also Published As

Publication number Publication date
CN109583415A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
JP7020728B2 (ja) システム、方法およびプログラム
US11085775B2 (en) Methods and systems for generating and using localisation reference data
CN107235044B (zh) 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
CN112069643B (zh) 一种自动驾驶仿真场景生成方法及装置
CN110617821B (zh) 定位方法、装置及存储介质
CN106503653A (zh) 区域标注方法、装置和电子设备
WO2019161134A1 (en) Lane marking localization
CN108594244B (zh) 基于立体视觉和激光雷达的障碍物识别迁移学习方法
US10942519B2 (en) System and method for navigating an autonomous driving vehicle
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
CN114898314B (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN113643431A (zh) 一种用于视觉算法迭代优化的系统及方法
KR20230023530A (ko) 신뢰할 수 없는 맵 주석 입력들을 사용하는 센서 데이터의 시맨틱 주석 달기
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法
CN115457084A (zh) 一种多相机目标检测跟踪方法、装置
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
EP3816938A1 (en) Region clipping method and recording medium storing region clipping program
CN112880692A (zh) 地图数据标注方法及装置、存储介质
Thai et al. Application of edge detection algorithm for self-driving vehicles
CN113822932B (zh) 设备定位方法、装置、非易失性存储介质及处理器
US20240144612A1 (en) Vehicle ar display device and ar service platform
Zuev et al. Mobile system for road inspection and 3D modelling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhou Qingguo

Inventor after: Wang Jinqiang

Inventor after: Zhou Rui

Inventor after: Huang Gang

Inventor after: Xiao Zichao

Inventor before: Zhou Qingguo

Inventor before: Huang Gang

Inventor before: Wang Jinqiang

Inventor before: Xiao Zichao

Inventor before: Zhou Rui

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant