CN108305475A - 一种交通灯识别方法及装置 - Google Patents

一种交通灯识别方法及装置 Download PDF

Info

Publication number
CN108305475A
CN108305475A CN201710127705.3A CN201710127705A CN108305475A CN 108305475 A CN108305475 A CN 108305475A CN 201710127705 A CN201710127705 A CN 201710127705A CN 108305475 A CN108305475 A CN 108305475A
Authority
CN
China
Prior art keywords
lamp group
traffic
location information
vehicle
traffic lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710127705.3A
Other languages
English (en)
Other versions
CN108305475B (zh
Inventor
邢腾飞
李宇明
王珏
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710127705.3A priority Critical patent/CN108305475B/zh
Publication of CN108305475A publication Critical patent/CN108305475A/zh
Application granted granted Critical
Publication of CN108305475B publication Critical patent/CN108305475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明实施例提供了一种交通灯识别方法及装置,其中方法包括:获取车辆的定位信息;根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息;对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域;通过解析所述感兴趣区域得到所述交通灯组的亮灯状态,并根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息,所述属性信息用于指示所述目标路口处的通行状态。通过本发明实施例可以快速、准确地对交通灯进行识别。

Description

一种交通灯识别方法及装置
技术领域
本发明涉及智能交通技术领域,尤其涉及一种交通灯识别方法及装置。
背景技术
随着科学技术的进步和发展,智能驾驶技术使得汽车已经基本具备自动操作和行驶能力,智能驾驶技术主要利用车载传感器(如相机、激光雷达等)来感知车辆周围环境,并根据感知所获得的道路、车辆位置、交通标志和障碍物等信息,控制车辆的转向和速度,其中对交通灯及时、准确地识别是车辆能够安全、可靠地在道路上行驶的一个重要前提条件。
目前,智能驾驶技术对交通灯进行识别的方案通常是:利用车载相机获取包含路口处交通灯的视频图像,然后从视频图像中检测并识别交通灯的颜色、指示对象和形状等属性,基于上述属性判断路口处的通行状态,例如,指示机动车直行,指示行人或非机动车等待,等等。然而,一方面,在对交通灯进行检测时通常会截取视频图像的一大块区域甚至是整个视频图像,这会导致检测时的计算量巨大,检测效率较低;另一方面,由于相机的分辨率有限,特别是在外界环境比较差的情况下,例如,雨雪大雾天气或者晚上等,这会导致检测出的交通灯通常呈现为一个亮点,很难识别其颜色及形状等属性。可见,如何提供一种快速而又准确的交通灯识别方案已成为亟待解决的问题。
发明内容
本发明实施例提供了一种交通灯识别方法及装置,可以快速、准确地对交通灯进行识别。
本发明实施例第一方面提供了一种交通灯识别方法,包括:
获取车辆的定位信息。
根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息。
对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域。
通过解析所述感兴趣区域得到所述交通灯组的亮灯状态,并根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息,所述属性信息用于指示所述目标路口处的通行状态。
本发明实施例第二方面提供了一种交通灯识别装置,包括:
获取模块,用于获取车辆的定位信息。
所述获取模块,还用于根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息。
转换模块,用于对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域。
解析模块,用于通过解析所述感兴趣区域得到所述交通灯组的亮灯状态。
查询模块,用于根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息,所述属性信息用于指示所述目标路口处的通行状态。
通过本发明实施例可以获取车辆的定位信息,根据该车辆的定位信息通过查询预先创建的地图数据可以获取目标路口处交通灯组的位置信息,对该交通灯组的位置信息进行坐标转换以将该交通灯组的位置信息映射到该车辆的目标相机坐标系中,从而确定该目标相机捕获的图像中包含该交通灯组的感兴趣区域,再通过解析该感兴趣区域即可得到该交通灯组的亮灯状态,进而从该地图数据中查询当前亮灯的交通灯的属性信息,该属性信息用于指示该目标路口处的通行状态,从而实现了快速、准确地对交通灯进行识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种交通灯识别的数据构建及识别流程示意图;
图2是本发明实施例提供的一种交通灯识别方法的流程示意图;
图3是本发明实施例提供的一种交通灯识别场景的示意图;
图4是本发明实施例提供的一种交通灯识别装置的结构示意图;
图5是本发明实施例提供的一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中所描述的车辆可以是指无人驾驶汽车,也可以是指常规的需要驾驶员驾驶的汽车,具体可以配备有激光雷达、相机、惯导设备等仪器。即本发明实施例中所描述的交通灯识别方法可以用于无人驾驶汽车的交通灯自主识别,也可以用于驾驶员驾驶汽车时的辅助驾驶。
请参阅图1,为本发明实施例提供的一种交通灯识别的数据构建及识别流程示意图。主要包括离线数据的构建和在线识别,其中:
离线数据的构建是指高精度地图的创建,以及激光坐标系、车辆坐标系和相机坐标系的标定。对于高精度地图的创建,例如可以利用激光雷达等对各个路口处的交通灯组的位置信息和交通灯组包括的各个交通灯的属性信息进行采集,利用采集到的交通灯组精确的位置信息和交通灯组包括的各个交通灯的属性信息创建高精度地图。其中,交通灯的属性信息可以包括但不限于安装方式(如横装,竖装等)、安装位置(如坐标、高度、宽度等)、所在交通灯组包含的灯体的个数、灯体朝向、灯体指示行驶方向(如左转、直行、右转、掉头等)、灯体颜色、指示目标类别(如机动车、行人、非机动车等)、灯体图案(如箭头、叉、圆形、自行车、人等)、所关联道路(如与每个车道的关联关系)等。对于激光坐标系、车辆坐标系和相机坐标系的标定,通过标定可以获取两两坐标系之间的坐标转换关系,根据坐标转换关系可以计算一坐标系下的点在另一坐标系下的坐标。创建好的高精度地图和坐标转换关系可用于下一步的在线识别。
在线识别主要包括实时获取车辆的定位信息,根据定位信息通过查询高精度地图确定出前方路口处与车辆行驶道路相关联的交通灯组的位置信息,利用上述坐标转换关系将交通灯组的位置信息转换到相机坐标系下,计算出交通灯组在相机捕获的图像中的成像位置,根据成像位置即可确定出图像中的感兴趣区域(即包含交通灯组的图像区域),进而在感兴趣区域中识别交通灯组的亮灯状态(即各个交通灯当前是亮还是灭),再查询高精度地图中亮灯的交通灯的属性信息,根据亮灯的交通灯的属性信息即可确定前方路口处的通行状态,至此完成一次在线识别过程。
此外,车辆可以配备多个相机,根据车辆的定位信息、交通灯组的位置信息和相机的标定参数(如相机的焦距、畸变、安装角度、安装高度等)计算交通灯组在各个相机中的成像位置和成像尺寸,结合成像位置和成像尺寸启动当前状态最佳(如成像位置居中、成像尺寸最大)的相机捕获包含交通灯组的图像,并在当前状态最佳的相机捕获的图像中确定出上述感兴趣区域,可以避免同时开启多个相机捕获图像而引起的计算量和功耗增加,以及交通灯的识别速度变慢等。
需要说明的是,激光雷达、相机、惯导设备等仪器可以作为车辆的组成部分,也可以作为车载终端的组成部分,当然也可以是部分仪器作为车辆的组成部分,另一部分仪器作为车载终端的组成部分,本发明实施例不做限定。如果激光雷达、相机、惯导设备等仪器作为车辆的组成部分,则车载终端可以与激光雷达、相机、惯导设备等建立有线或无线通信连接,以获取激光雷达采集的各个路口处交通灯组的位置信息和交通灯组包括的各个交通灯的属性信息,相机捕获的图像,惯导设备测量的车辆定位信息,等等。如果激光雷达、相机、惯导设备等仪器作为车载终端的组成部分,则车载终端可以直接采集各个路口处交通灯组的位置信息和交通灯组包括的各个交通灯的属性信息,捕获图像,测量车辆定位信息,等等。
请参阅图2,为本发明实施例提供的一种交通灯识别方法的流程示意图。本实施例中所描述的交通灯识别方法,包括以下步骤:
201、车载终端获取车辆的定位信息。
具体实现中,车载终端可以通过惯导设备实时获取车辆的定位信息,定位信息具体可以包括经纬度、海拔高度以及车辆的姿态信息(如车头朝向)等。
202、所述车载终端根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息。
其中,预先创建的地图数据即为上述高精度地图,地图数据中记录有各个路口处设置的交通灯组的位置信息,交通灯组的位置信息具体可以包括经纬度、海拔高度等。
具体实现中,车载终端根据车辆的定位信息通过查询地图数据可以确定出车辆前方将要到达的目标路口,再通过查询地图数据即可获取到该目标路口处设置的与车辆行驶道路相关联的交通灯组的位置信息。
203、所述车载终端对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域。
具体实现中,车载终端利用车辆的目标相机对交通灯组进行图像捕获,根据车辆的定位信息,利用上述离线数据中的坐标转换关系对交通灯组的位置信息进行坐标转换,坐标转换关系可以是指两个坐标系之间的旋转矩阵R和平移矩阵T,即将交通灯组的位置信息对应坐标点乘以旋转矩阵R,然后再加上平移矩阵T即可得到交通灯组在车辆的目标相机捕获到的图像中的成像位置,再将成像位置处的像素尺寸向外扩大预设尺寸(如2~3倍的像素尺寸)后得到的区域确定为目标相机捕获的图像中包含交通灯组的感兴趣区域。
在一些可行的实施方式中,车辆可以配备多个相机,为避免同时开启多个相机捕获图像而引起的计算量和功耗增加,以及交通灯的识别速度变慢等,可以首先根据交通灯组的位置信息和车辆的定位信息确定交通灯组与车辆的相对位置关系(如交通灯组与车辆的距离、相对方位、相对角度等),基于交通灯组与车辆的相对位置关系判断交通灯组是否在该多个相机的视场范围内,并确定出交通灯组在视场范围内的相机集合,然后再根据车辆的定位信息、交通灯组的位置信息和相机的标定参数(如相机的焦距、畸变、安装角度、安装高度等)计算交通灯组在该相机集合包括的各个相机中的成像位置和成像尺寸,结合成像位置和成像尺寸确定出该相机集合中当前状态最佳(如成像位置居中、成像尺寸最大)的目标相机,并启动该目标相机捕获包含交通灯组的图像,进而在该目标相机捕获的图像中确定出上述感兴趣区域。
进一步地,该多个相机在车辆上可以是安装位置、安装角度、焦距等中的一项参数或多项参数设为不同,实现不同相机用于捕获不同距离范围内的交通灯组的图像,从而可以尽早地捕获到前方路口处交通灯组的图像并进行识别,有效扩大交通灯的识别覆盖范围,便于进行车辆的提前控制。
204、所述车载终端通过解析所述感兴趣区域得到所述交通灯组的亮灯状态,并根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息,所述属性信息用于指示所述目标路口处的通行状态。
其中,交通灯的属性信息可以包括但不限于安装方式(如横装,竖装等)、安装位置(如坐标、高度、宽度等)、所在交通灯组包含的灯体的个数、灯体朝向、灯体指示行驶方向(如左转、直行、右转、掉头等)、灯体颜色、指示目标类别(如机动车、行人、非机动车等)、灯体图案(如箭头、叉、圆形、自行车、人等)、所关联道路(如与每个车道的关联关系)等。
具体实现中,车载终端对感兴趣区域进行解析,以检测出交通灯组的位置,以及交通灯组中包含的每一个交通灯体的亮灯状态,再查询地图数据即可得到当前亮灯的交通灯的属性信息。
进一步地,车载终端根据当前亮灯的交通灯的属性信息可以确定出当前亮灯的交通灯指示的目标类别、行驶方向、动作(包括通行、等待、慢行等),从而确定出目标路口处的通行状态(如左转通行,直行等待等),车载终端再结合车辆的定位信息确定当前所在车道,进而控制车辆的运动状态,例如,继续行驶通过该目标路口或者停止在该目标路口处等待。
在一些可行的实施方式中,车载终端也可以直接与目标路口处与车辆行驶道路相关联的交通灯组进行通信,例如,可以是车载终端在判断出车辆将要到达某一路口时,向该路口处与车辆行驶道路相关联的交通灯组发送通行状态获取请求,则该交通灯组即可响应该通行状态获取请求,将该路口处的通行状态发送给车载终端,或者,路口处的各个交通灯组实时向外发布路口通行状态,车载终端接收到通行状态后,获取与车辆行驶道路相关联的交通灯组发布的通行状态,从而车载终端根据该路口处的通行状态控制车辆的运动状态。
举例来说,如图3所示,车载终端实时获取车辆的定位信息,在根据定位信息判断出车辆将要到达某一路口处时,查询地图数据中该路口处与车辆行驶道路相关联的交通灯组的位置信息,对应的交通灯组包括交通灯1和交通灯2这两个交通灯,交通灯1用于指示机动车左转的通行状态,交通灯2用于指示机动车直行的通行状态,灯亮为通行,灯灭为等待,假设交通灯1的灯亮,交通灯2的灯灭,利用车辆的相机进行拍照以捕获车辆前方的图像,根据当前车辆的定位信息利用地图数据中的坐标转换关系,将交通灯组的位置信息转换到相机坐标系下,获取相机捕获的图像中包含交通灯1和交通灯2的感兴趣区域,对感兴趣区域进行亮灯区域的检测,再将亮灯区域的位置与地图数据中交通灯组的位置信息进行匹配,即可确定出该交通灯组的亮灯状态为交通灯1的灯亮,交通灯2的灯灭,再查询地图数据即可得到当前亮灯的交通灯(即交通灯1)的属性信息,即当前指示的是机动车左转通行,交通灯2的灯灭指示机动车直行等待,车载终端结合车辆的定位信息确定车辆当前在直行车道,则控制车辆减速,如果到达该路口处时依然是交通灯1的灯亮,交通灯2的灯灭,则控制车辆停止在该路口处等待。
本发明实施例中,车载终端根据车辆的定位信息,通过查询地图数据可以获取前方路口处交通灯组的位置信息,通过对该交通灯组的位置信息进行坐标转换可以将该交通灯组的位置信息映射到该车辆的相机坐标系中,从而确定该相机捕获的图像中包含该交通灯组的感兴趣区域,再通过解析该感兴趣区域即可得到该交通灯组的亮灯状态,进而从该地图数据中查询当前亮灯的交通灯的属性信息,基于该属性信息即可确定该前方路口处的通行状态,一方面通过在地图数据中精确标注交通灯组的位置信息提高了感兴趣区域的检测精度,尽可能地减小感兴趣区域的尺寸,从而降低了计算量和系统开销;另一方面只需识别出交通灯组中交通灯的亮灯状态(即是灯亮还是灯灭),无需对交通灯的颜色、形状等进行识别,可以提高对环境光等因素的抗干扰能力;又一方面采用多个相机相结合的方案可以有效扩大交通灯的识别覆盖范围,便于进行车辆的提前控制,从而实现了快速、准确地对交通灯进行识别。
请参阅图4,为本发明实施例提供的一种交通灯识别装置的结构示意图。本实施例中所描述的交通灯识别装置,包括:
获取模块401,用于获取车辆的定位信息。
所述获取模块401,还用于根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息。
转换模块402,用于对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域。
解析模块403,用于通过解析所述感兴趣区域得到所述交通灯组的亮灯状态。
查询模块404,用于根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息,所述属性信息用于指示所述目标路口处的通行状态。
在一些可行的实施方式中,所述获取模块401,具体用于:
根据所述车辆的定位信息,通过查询预先创建的地图数据确定所述车辆将要到达的目标路口。
从所述地图数据中查询位于所述目标路口处与所述车辆行驶道路相关联的交通灯组的位置信息。
在一些可行的实施方式中,所述转换模块402,具体用于:
利用所述车辆的定位信息对所述交通灯组的位置信息进行坐标转换,以确定所述交通灯组在所述车辆的目标相机捕获的图像中的成像位置。
根据所述成像位置获取所述图像中包含所述交通灯组的感兴趣区域。
在一些可行的实施方式中,所述装置还包括确定模块405和启动模块406,其中:
所述获取模块401,还用于根据所述车辆的定位信息、所述交通灯组的位置信息和相机的标定参数,分别获取所述交通灯组在所述车辆的多个相机中的成像位置和成像尺寸。
所述确定模块405,用于根据所述成像位置和所述成像尺寸,从所述多个相机中确定出目标相机。
所述启动模块406,用于启动所述目标相机捕获图像。
在一些可行的实施方式中,所述装置还包括建立模块407,其中:
所述获取模块401,还用于获取各个路口处交通灯组的位置信息和所述交通灯组包括的各个交通灯的属性信息。
所述建立模块407,用于根据所述各个路口处交通灯组的位置信息和所述交通灯组包括的各个交通灯的属性信息创建地图数据。
在一些可行的实施方式中,所述装置还包括控制模块408,其中:
所述控制模块408,用于根据所述车辆的定位信息和所述当前亮灯的交通灯的属性信息,控制所述车辆的运动状态。
可以理解的是,本实施例的交通灯识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本发明实施例中,获取模块401根据车辆的定位信息,通过查询地图数据可以获取前方路口处交通灯组的位置信息,转换模块402通过对该交通灯组的位置信息进行坐标转换可以将该交通灯组的位置信息映射到该车辆的相机坐标系中,从而确定该相机捕获的图像中包含该交通灯组的感兴趣区域,解析模块403通过解析该感兴趣区域即可得到该交通灯组的亮灯状态,进而查询模块404从该地图数据中查询当前亮灯的交通灯的属性信息,基于该属性信息即可确定该前方路口处的通行状态,一方面通过在地图数据中精确标注交通灯组的位置信息提高了感兴趣区域的检测精度,尽可能地减小感兴趣区域的尺寸,从而降低了计算量和系统开销;另一方面只需识别出交通灯组中交通灯的亮灯状态(即是灯亮还是灯灭),无需对交通灯的颜色、形状等进行识别,可以提高对环境光等因素的抗干扰能力;又一方面采用多个相机相结合的方案可以有效扩大交通灯的识别覆盖范围,便于进行车辆的提前控制,从而实现了快速、准确地对交通灯进行识别。
请参阅图5,为本发明实施例提供的一种车载终端的结构示意图。本实施例中所描述的车载终端,包括:相机501、处理器502、激光雷达503、惯导设备504、通信设备505及存储器506。其中,相机501、处理器502、激光雷达503、惯导设备504、通信设备505及存储器506可通过总线或其他方式连接,本发明实施例以通过总线连接为例。
其中,处理器502(或称中央处理器(Central Processing Unit,CPU))是车载终端的计算核心以及控制核心。激光雷达503用于对各个路口处的交通灯组的位置信息和交通灯组包括的各个交通灯的属性信息进行采集。通信设备505用于受处理器502的控制进行数据的收发。存储器506(Memory)是车载终端的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器506可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器502的存储装置。存储器502提供存储空间,该存储空间存储了车载终端的操作系统和可执行程序代码,可包括但不限于:Windows系统(一种操作系统)、Linux(一种操作系统)系统等等,本发明对此并不作限定。
在本发明实施例中,处理器502通过运行存储器506中的可执行程序代码,执行如下操作:
惯导设备504,用于获取车辆的定位信息。
处理器502,用于根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息。
所述处理器502,还用于对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机501捕获的图像中包含所述交通灯组的感兴趣区域。
所述处理器502,还用于通过解析所述感兴趣区域得到所述交通灯组的亮灯状态。
所述处理器502,还用于根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息,所述属性信息用于指示所述目标路口处的通行状态。
在一些可行的实施方式中,所述处理器502,具体用于:
根据所述车辆的定位信息,通过查询预先创建的地图数据确定所述车辆将要到达的目标路口。
从所述地图数据中查询位于所述目标路口处与所述车辆行驶道路相关联的交通灯组的位置信息。
在一些可行的实施方式中,所述处理器502,具体用于:
利用所述车辆的定位信息对所述交通灯组的位置信息进行坐标转换,以确定所述交通灯组在所述车辆的目标相机501捕获的图像中的成像位置。
根据所述成像位置获取所述图像中包含所述交通灯组的感兴趣区域。
在一些可行的实施方式中,所述处理器502,还用于根据所述车辆的定位信息、所述交通灯组的位置信息和相机501的标定参数,分别获取所述交通灯组在所述车辆的多个相机501中的成像位置和成像尺寸。
所述处理器502,还用于根据所述成像位置和所述成像尺寸,从所述多个相机501中确定出目标相机501。
所述处理器502,还用于启动所述目标相机501捕获图像。
在一些可行的实施方式中,激光雷达503,用于获取各个路口处交通灯组的位置信息和所述交通灯组包括的各个交通灯的属性信息。
所述处理器502,还用于根据所述各个路口处交通灯组的位置信息和所述交通灯组包括的各个交通灯的属性信息创建地图数据。
在一些可行的实施方式中,所述处理器502,还用于根据所述车辆的定位信息和所述当前亮灯的交通灯的属性信息,控制所述车辆的运动状态。
具体实现中,本发明实施例中所描述的相机501、处理器502、激光雷达503、惯导设备504、通信设备505及存储器506可执行本发明实施例提供的一种交通灯识别方法的流程中所描述的实现方式,也可执行本发明实施例提供的一种交通灯识别装置中所描述的实现方式,在此不再赘述。
本发明实施例中,处理器502根据惯导设备504获取的车辆的定位信息,通过查询地图数据可以获取前方路口处交通灯组的位置信息,通过对该交通灯组的位置信息进行坐标转换可以将该交通灯组的位置信息映射到该车辆的相机坐标系中,从而确定该相机501捕获的图像中包含该交通灯组的感兴趣区域,再通过解析该感兴趣区域即可得到该交通灯组的亮灯状态,进而从该地图数据中查询当前亮灯的交通灯的属性信息,基于该属性信息即可确定该前方路口处的通行状态,一方面通过在地图数据中精确标注交通灯组的位置信息提高了感兴趣区域的检测精度,尽可能地减小感兴趣区域的尺寸,从而降低了计算量和系统开销;另一方面只需识别出交通灯组中交通灯的亮灯状态(即是灯亮还是灯灭),无需对交通灯的颜色、形状等进行识别,可以提高对环境光等因素的抗干扰能力;又一方面采用多个相机相结合的方案可以有效扩大交通灯的识别覆盖范围,便于进行车辆的提前控制,从而实现了快速、准确地对交通灯进行识别。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (12)

1.一种交通灯识别方法,其特征在于,包括:
获取车辆的定位信息;
根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息;
对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域;
通过解析所述感兴趣区域得到所述交通灯组的亮灯状态,并根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息,所述属性信息用于指示所述目标路口处的通行状态。
2.根据权利要求1所述的方法,其特征在于,所述根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息,包括:
根据所述车辆的定位信息,通过查询预先创建的地图数据确定所述车辆将要到达的目标路口;
从所述地图数据中查询位于所述目标路口处与所述车辆行驶道路相关联的交通灯组的位置信息。
3.根据权利要求1或2所述的方法,其特征在于,所述对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域,包括:
利用所述车辆的定位信息对所述交通灯组的位置信息进行坐标转换,以确定所述交通灯组在所述车辆的目标相机捕获的图像中的成像位置;
根据所述成像位置获取所述图像中包含所述交通灯组的感兴趣区域。
4.根据权利要求1所述的方法,其特征在于,所述对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域之前,所述方法还包括:
根据所述车辆的定位信息、所述交通灯组的位置信息和相机的标定参数,分别获取所述交通灯组在所述车辆的多个相机中的成像位置和成像尺寸;
根据所述成像位置和所述成像尺寸,从所述多个相机中确定出目标相机,并启动所述目标相机捕获图像。
5.根据权利要求1所述的方法,其特征在于,所述获取车辆的定位信息之前,所述方法还包括:
获取各个路口处交通灯组的位置信息和所述交通灯组包括的各个交通灯的属性信息;
根据所述各个路口处交通灯组的位置信息和所述交通灯组包括的各个交通灯的属性信息创建地图数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息之后,所述方法还包括:
根据所述车辆的定位信息和所述当前亮灯的交通灯的属性信息,控制所述车辆的运动状态。
7.一种交通灯识别装置,其特征在于,包括:
获取模块,用于获取车辆的定位信息;
所述获取模块,还用于根据所述车辆的定位信息,获取预先创建的地图数据中目标路口处交通灯组的位置信息;
转换模块,用于对所述交通灯组的位置信息进行坐标转换,以确定所述车辆的目标相机捕获的图像中包含所述交通灯组的感兴趣区域;
解析模块,用于通过解析所述感兴趣区域得到所述交通灯组的亮灯状态;
查询模块,用于根据所述交通灯组的亮灯状态,从所述地图数据中查询当前亮灯的交通灯的属性信息,所述属性信息用于指示所述目标路口处的通行状态。
8.根据权利要求7所述的装置,其特征在于,所述获取模块,具体用于:
根据所述车辆的定位信息,通过查询预先创建的地图数据确定所述车辆将要到达的目标路口;
从所述地图数据中查询位于所述目标路口处与所述车辆行驶道路相关联的交通灯组的位置信息。
9.根据权利要求7或8所述的装置,其特征在于,所述转换模块,具体用于:
利用所述车辆的定位信息对所述交通灯组的位置信息进行坐标转换,以确定所述交通灯组在所述车辆的目标相机捕获的图像中的成像位置;
根据所述成像位置获取所述图像中包含所述交通灯组的感兴趣区域。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括确定模块和启动模块,其中:
所述获取模块,还用于根据所述车辆的定位信息、所述交通灯组的位置信息和相机的标定参数,分别获取所述交通灯组在所述车辆的多个相机中的成像位置和成像尺寸;
所述确定模块,用于根据所述成像位置和所述成像尺寸,从所述多个相机中确定出目标相机;
所述启动模块,用于启动所述目标相机捕获图像。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括建立模块,其中:
所述获取模块,还用于获取各个路口处交通灯组的位置信息和所述交通灯组包括的各个交通灯的属性信息;
所述建立模块,用于根据所述各个路口处交通灯组的位置信息和所述交通灯组包括的各个交通灯的属性信息创建地图数据。
12.根据权利要求7所述的装置,其特征在于,所述装置还包括控制模块,其中:
所述控制模块,用于根据所述车辆的定位信息和所述当前亮灯的交通灯的属性信息,控制所述车辆的运动状态。
CN201710127705.3A 2017-03-06 2017-03-06 一种交通灯识别方法及装置 Active CN108305475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710127705.3A CN108305475B (zh) 2017-03-06 2017-03-06 一种交通灯识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710127705.3A CN108305475B (zh) 2017-03-06 2017-03-06 一种交通灯识别方法及装置

Publications (2)

Publication Number Publication Date
CN108305475A true CN108305475A (zh) 2018-07-20
CN108305475B CN108305475B (zh) 2020-10-09

Family

ID=62872545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710127705.3A Active CN108305475B (zh) 2017-03-06 2017-03-06 一种交通灯识别方法及装置

Country Status (1)

Country Link
CN (1) CN108305475B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271892A (zh) * 2018-08-30 2019-01-25 百度在线网络技术(北京)有限公司 一种物体识别方法、装置、设备、车辆和介质
CN109284801A (zh) * 2018-10-29 2019-01-29 百度在线网络技术(北京)有限公司 交通指示灯的状态识别方法、装置、电子设备及存储介质
CN109767637A (zh) * 2019-02-28 2019-05-17 杭州飞步科技有限公司 倒计时信号灯识别及处理的方法和装置
CN109949594A (zh) * 2019-04-29 2019-06-28 北京智行者科技有限公司 实时的交通灯识别方法
CN110473414A (zh) * 2019-08-20 2019-11-19 北京经纬恒润科技有限公司 一种车辆行驶路径确定方法、装置及系统
CN110705485A (zh) * 2019-10-08 2020-01-17 东软睿驰汽车技术(沈阳)有限公司 一种交通信号灯识别方法及装置
CN110717438A (zh) * 2019-10-08 2020-01-21 东软睿驰汽车技术(沈阳)有限公司 一种交通信号灯识别方法及装置
CN111292531A (zh) * 2020-02-06 2020-06-16 北京百度网讯科技有限公司 交通信号灯的跟踪方法、装置、设备及存储介质
CN111310708A (zh) * 2020-02-14 2020-06-19 广州文远知行科技有限公司 交通信号灯状态识别方法、装置、设备和存储介质
CN111428663A (zh) * 2020-03-30 2020-07-17 北京百度网讯科技有限公司 红绿灯状态的识别方法、装置、电子设备和存储介质
CN111582189A (zh) * 2020-05-11 2020-08-25 腾讯科技(深圳)有限公司 交通信号灯识别方法、装置、车载控制终端及机动车
CN111639656A (zh) * 2020-05-28 2020-09-08 东软睿驰汽车技术(沈阳)有限公司 交通信号灯识别方法及装置
CN111661054A (zh) * 2020-05-08 2020-09-15 东软睿驰汽车技术(沈阳)有限公司 车辆控制方法、装置、电子设备及存储介质
CN111723614A (zh) * 2019-03-20 2020-09-29 北京四维图新科技股份有限公司 交通信号灯识别方法及装置
CN111797698A (zh) * 2020-06-10 2020-10-20 北京三快在线科技有限公司 目标物的识别方法及识别装置
CN112183382A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 无人驾驶交通灯检测分类方法和装置
CN112232203A (zh) * 2020-10-15 2021-01-15 平安科技(深圳)有限公司 行人识别方法、装置、电子设备及存储介质
CN112327855A (zh) * 2020-11-11 2021-02-05 东软睿驰汽车技术(沈阳)有限公司 自动驾驶车辆的控制方法、装置和电子设备
CN112419768A (zh) * 2019-08-21 2021-02-26 北京国双科技有限公司 车辆控制方法、装置和系统,存储介质及处理器
CN112489466A (zh) * 2020-11-27 2021-03-12 恒大新能源汽车投资控股集团有限公司 交通信号灯识别方法和装置
CN112667837A (zh) * 2019-10-16 2021-04-16 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
CN112699773A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 交通灯识别方法、装置及电子设备
CN112950927A (zh) * 2019-11-26 2021-06-11 通用汽车环球科技运作有限责任公司 使用众感数据进行交通灯定位和映射的方法和设备
CN112991791A (zh) * 2019-12-13 2021-06-18 上海商汤临港智能科技有限公司 交通信息识别和智能行驶方法、装置、设备及存储介质
CN113343872A (zh) * 2021-06-17 2021-09-03 湖北亿咖通科技有限公司 交通灯识别方法、装置、设备、介质及产品
CN113343873A (zh) * 2021-06-17 2021-09-03 湖北亿咖通科技有限公司 信号灯识别方法、装置、设备、介质及产品
CN114708742A (zh) * 2022-05-30 2022-07-05 腾讯科技(深圳)有限公司 信号灯数据生成方法、装置、电子设备及存储介质
US20220222476A1 (en) * 2021-01-08 2022-07-14 Shenzhen Guo Dong Intelligent Drive Technologies Co, Ltd. Method for generating high-precision map and method and system for recognizing traffic lights
CN115346386A (zh) * 2022-07-26 2022-11-15 高德软件有限公司 交通灯数据的生成方法和装置
WO2022247299A1 (zh) * 2021-05-27 2022-12-01 上海仙途智能科技有限公司 指示灯状态识别

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537857A (zh) * 2014-12-11 2015-04-22 广东好帮手电子科技股份有限公司 基于行车录像仪识别交通红绿灯的提醒方法及系统
CN104598912A (zh) * 2015-01-23 2015-05-06 湖南科技大学 一种基于cpu与gpu协同计算的交通灯检测识别方法
CN105489035A (zh) * 2015-12-29 2016-04-13 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法
CN105930819A (zh) * 2016-05-06 2016-09-07 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN106023623A (zh) * 2016-07-28 2016-10-12 南京理工大学 基于机器视觉的车载交通信号与标志的识别及预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537857A (zh) * 2014-12-11 2015-04-22 广东好帮手电子科技股份有限公司 基于行车录像仪识别交通红绿灯的提醒方法及系统
CN104598912A (zh) * 2015-01-23 2015-05-06 湖南科技大学 一种基于cpu与gpu协同计算的交通灯检测识别方法
CN105489035A (zh) * 2015-12-29 2016-04-13 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法
CN105930819A (zh) * 2016-05-06 2016-09-07 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN106023623A (zh) * 2016-07-28 2016-10-12 南京理工大学 基于机器视觉的车载交通信号与标志的识别及预警方法

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990836B2 (en) * 2018-08-30 2021-04-27 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing object, device, vehicle and medium
EP3617944A1 (en) * 2018-08-30 2020-03-04 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing object, device, vehicle and medium
CN109271892A (zh) * 2018-08-30 2019-01-25 百度在线网络技术(北京)有限公司 一种物体识别方法、装置、设备、车辆和介质
CN109284801A (zh) * 2018-10-29 2019-01-29 百度在线网络技术(北京)有限公司 交通指示灯的状态识别方法、装置、电子设备及存储介质
CN109284801B (zh) * 2018-10-29 2022-03-04 百度在线网络技术(北京)有限公司 交通指示灯的状态识别方法、装置、电子设备及存储介质
CN109767637A (zh) * 2019-02-28 2019-05-17 杭州飞步科技有限公司 倒计时信号灯识别及处理的方法和装置
CN109767637B (zh) * 2019-02-28 2021-08-10 杭州飞步科技有限公司 倒计时信号灯识别及处理的方法和装置
CN111723614A (zh) * 2019-03-20 2020-09-29 北京四维图新科技股份有限公司 交通信号灯识别方法及装置
CN109949594A (zh) * 2019-04-29 2019-06-28 北京智行者科技有限公司 实时的交通灯识别方法
CN109949594B (zh) * 2019-04-29 2020-10-27 北京智行者科技有限公司 实时的交通灯识别方法
CN110473414B (zh) * 2019-08-20 2021-03-23 北京经纬恒润科技股份有限公司 一种车辆行驶路径确定方法、装置及系统
CN110473414A (zh) * 2019-08-20 2019-11-19 北京经纬恒润科技有限公司 一种车辆行驶路径确定方法、装置及系统
CN112419768A (zh) * 2019-08-21 2021-02-26 北京国双科技有限公司 车辆控制方法、装置和系统,存储介质及处理器
CN110705485A (zh) * 2019-10-08 2020-01-17 东软睿驰汽车技术(沈阳)有限公司 一种交通信号灯识别方法及装置
CN110717438A (zh) * 2019-10-08 2020-01-21 东软睿驰汽车技术(沈阳)有限公司 一种交通信号灯识别方法及装置
WO2021073656A1 (zh) * 2019-10-16 2021-04-22 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
CN112667837A (zh) * 2019-10-16 2021-04-16 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
CN112950927B (zh) * 2019-11-26 2023-08-18 通用汽车环球科技运作有限责任公司 使用众感数据进行交通灯定位和映射的方法和设备
US11521398B2 (en) 2019-11-26 2022-12-06 GM Global Technology Operations LLC Method and apparatus for traffic light positioning and mapping using crowd-sensed data
CN112950927A (zh) * 2019-11-26 2021-06-11 通用汽车环球科技运作有限责任公司 使用众感数据进行交通灯定位和映射的方法和设备
CN112991791A (zh) * 2019-12-13 2021-06-18 上海商汤临港智能科技有限公司 交通信息识别和智能行驶方法、装置、设备及存储介质
CN111292531A (zh) * 2020-02-06 2020-06-16 北京百度网讯科技有限公司 交通信号灯的跟踪方法、装置、设备及存储介质
CN111310708A (zh) * 2020-02-14 2020-06-19 广州文远知行科技有限公司 交通信号灯状态识别方法、装置、设备和存储介质
CN111310708B (zh) * 2020-02-14 2024-05-14 广州文远知行科技有限公司 交通信号灯状态识别方法、装置、设备和存储介质
CN111428663A (zh) * 2020-03-30 2020-07-17 北京百度网讯科技有限公司 红绿灯状态的识别方法、装置、电子设备和存储介质
CN111428663B (zh) * 2020-03-30 2023-08-29 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法、装置、电子设备和存储介质
CN111661054A (zh) * 2020-05-08 2020-09-15 东软睿驰汽车技术(沈阳)有限公司 车辆控制方法、装置、电子设备及存储介质
CN111661054B (zh) * 2020-05-08 2022-03-04 东软睿驰汽车技术(沈阳)有限公司 车辆控制方法、装置、电子设备及存储介质
CN111582189A (zh) * 2020-05-11 2020-08-25 腾讯科技(深圳)有限公司 交通信号灯识别方法、装置、车载控制终端及机动车
CN111639656A (zh) * 2020-05-28 2020-09-08 东软睿驰汽车技术(沈阳)有限公司 交通信号灯识别方法及装置
CN111797698A (zh) * 2020-06-10 2020-10-20 北京三快在线科技有限公司 目标物的识别方法及识别装置
CN112183382A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 无人驾驶交通灯检测分类方法和装置
CN112232203B (zh) * 2020-10-15 2024-05-28 平安科技(深圳)有限公司 行人识别方法、装置、电子设备及存储介质
CN112232203A (zh) * 2020-10-15 2021-01-15 平安科技(深圳)有限公司 行人识别方法、装置、电子设备及存储介质
CN112327855A (zh) * 2020-11-11 2021-02-05 东软睿驰汽车技术(沈阳)有限公司 自动驾驶车辆的控制方法、装置和电子设备
CN112489466A (zh) * 2020-11-27 2021-03-12 恒大新能源汽车投资控股集团有限公司 交通信号灯识别方法和装置
CN112699773B (zh) * 2020-12-28 2023-09-01 阿波罗智联(北京)科技有限公司 交通灯识别方法、装置及电子设备
CN112699773A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 交通灯识别方法、装置及电子设备
US20220222476A1 (en) * 2021-01-08 2022-07-14 Shenzhen Guo Dong Intelligent Drive Technologies Co, Ltd. Method for generating high-precision map and method and system for recognizing traffic lights
US11875577B2 (en) * 2021-01-08 2024-01-16 Shenzhen Guo Dong Intelligent Drive Technologies Co., Ltd Method and system for recognizing traffic lights using a high-precision map
WO2022247299A1 (zh) * 2021-05-27 2022-12-01 上海仙途智能科技有限公司 指示灯状态识别
CN113343873A (zh) * 2021-06-17 2021-09-03 湖北亿咖通科技有限公司 信号灯识别方法、装置、设备、介质及产品
CN113343872A (zh) * 2021-06-17 2021-09-03 湖北亿咖通科技有限公司 交通灯识别方法、装置、设备、介质及产品
CN114708742A (zh) * 2022-05-30 2022-07-05 腾讯科技(深圳)有限公司 信号灯数据生成方法、装置、电子设备及存储介质
CN115346386A (zh) * 2022-07-26 2022-11-15 高德软件有限公司 交通灯数据的生成方法和装置
CN115346386B (zh) * 2022-07-26 2024-04-09 高德软件有限公司 交通灯数据的生成方法和装置

Also Published As

Publication number Publication date
CN108305475B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN108305475A (zh) 一种交通灯识别方法及装置
CN108732589B (zh) 利用3d lidar和定位自动采集用于对象识别的训练数据
CN109949594B (zh) 实时的交通灯识别方法
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
US10203409B2 (en) Method and device for the localization of a vehicle from a fixed reference map
CN109949439B (zh) 行车实景信息标注方法、装置、电子设备和介质
RU2654502C2 (ru) Система и способ дистанционного наблюдения за транспортными средствами
US10620317B1 (en) Lidar-based high definition map generation
JP2022166185A (ja) 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信
CN104411559B (zh) 用于检测交通信号及其关联状态的鲁棒方法
CN110390240B (zh) 自动驾驶车辆中的车道后处理
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
CN110388925A (zh) 用于与自动导航有关的车辆定位的系统和方法
CN115803781A (zh) 用于生成与对象相关联的鸟瞰图边界框的方法和系统
KR102425735B1 (ko) 로드뷰 또는 항공뷰 맵 정보를 이용한 자율주행 방법 및 그 시스템
KR20120118478A (ko) 교통 신호 맵핑 및 검출
KR20200001471A (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US20230077837A1 (en) Collaborative perception for autonomous vehicles
WO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
CN112461249A (zh) 根据外部源数据进行的传感器定位
US11938945B2 (en) Information processing system, program, and information processing method
JP7321035B2 (ja) 物体位置検出方法及び物体位置検出装置
CN110597275A (zh) 利用无人机来生成地图的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant