CN112489466B - 交通信号灯识别方法和装置 - Google Patents
交通信号灯识别方法和装置 Download PDFInfo
- Publication number
- CN112489466B CN112489466B CN202011359965.1A CN202011359965A CN112489466B CN 112489466 B CN112489466 B CN 112489466B CN 202011359965 A CN202011359965 A CN 202011359965A CN 112489466 B CN112489466 B CN 112489466B
- Authority
- CN
- China
- Prior art keywords
- traffic signal
- signal lamp
- image
- distance
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本说明书实施例提供了一种交通信号灯识别方法和装置,其中,方法包括:对车载摄像头采集的车辆前方图像进行检测,确定所述图像中的斑马线区域;基于所述图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在所述图像中的区域范围;在所述区域范围内进行交通信号灯检测,从而有效解决现有技术在检测交通信号灯区域时,对检测结果验证困难,检测准确性难以保证的问题。
Description
技术领域
本文件涉及自动驾驶技术领域,尤其涉及一种交通信号灯识别方法和装置。
背景技术
目前在自动驾驶技术中,交通信号灯的识别主要依赖于图像的识别。通过车载前视摄像头获得前方图像,利用颜色特征在图像中检测可能的交通信号灯区域,利用先验的信号灯形状/面积等特征对检测出的可能的信号灯区域进行验证/筛选,实现对信号灯的识别。
但是,由于信号灯区域在图像中比例小,不同国家/地区信号灯形状不同,再加上前车尾灯的光斑,造成对于检测出的可能地信号灯区域验证/筛选困难。
发明内容
本说明书提供了一种交通信号灯识别方法和装置,能够有效解决现有技术在检测交通信号灯区域时,对检测结果验证困难,检测准确性难以保证的问题。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本说明书实施例提供了一种交通信号灯识别方法,包括:
对车载摄像头采集的车辆前方图像进行检测,确定所述图像中的斑马线区域;
基于所述图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在所述图像中的区域范围;
在所述区域范围内进行交通信号灯检测。
第二方面,本说明书实施例提供了一种交通信号灯识别装置,包括:
确定模块,用于对车载摄像头采集的车辆前方图像进行检测,确定所述图像中的斑马线区域;
评估模块,用于基于所述图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在所述图像中的区域范围;
检测模块,用于在所述区域范围内进行交通信号灯检测。
本说明书实施例提供的交通信号灯识别方法和装置,通过对车载摄像头采集的车辆前方图像进行检测,确定图像中的斑马线区域;基于图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在图像中的区域范围;在该区域范围内进行交通信号灯检测,以对图像中可能存在的交通信号灯进行准确识别。由于在图像中,斑马线相对于交通信号灯更容易检测,且交通信号灯相对于斑马线的空间位置相对固定,因此本发明先通过图像中已检测出的斑马线区域得到用于检测交通信号灯的重点区域范围,然后在该区域范围内进行交通信号灯检测,有效解决了交通信号灯在图像中所占比例较小,难以检测的问题,有效排除了干扰图像内容;通过评估交通信号灯在图像中的区域范围可以验证图像中交通信号灯的检测结果的正确性,有效解决了各国家/地区交通信号灯形状不同,及意外光斑(如前车尾灯)所带来的检测结果验证困难的问题,提高了交通信号灯的检测准确性。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的交通信号灯识别方法的流程示意图一;
图2为本说明书实施例提供的车辆前方图像的成像原理图;
图3为本说明书实施例提供的交通信号灯识别方法的流程示意图二;
图4为本说明书实施例提供的交通信号灯识别方法装置的模块组成示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书实施例中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
为解决现有技术中基于图像的交通信号灯检测过程中,检测结果验证困难,检测准确性难以保证的缺陷,本说明书实施例提供了一种交通信号灯识别方案,即:通过检测图像中斑马线区域,并利用实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在图像中的区域范围,已从图像中选出交通信号灯所处的可能位置;然后在该区域范围内进行交通信号灯检测。由于在图像中,斑马线相对于交通信号灯更容易检测,且交通信号灯相对于斑马线的空间位置相对固定,因此采用本交通信号灯识别方案可以对检测结果进行验证,提高检测结果的准确性。
图1为本说明书实施例提供的交通信号灯识别方法的流程示意图一,该方法适用于对具有斑马线的路口图像进行交通信号灯识别,具体可通过车辆上的车载系统执行;如图1所示,该方法包括如下步骤:
S102,对车载摄像头采集的车辆前方图像进行检测,确定图像中的斑马线区域。
具体地,可通过车载前视摄像头获得前方道路图像,并在图像中检测斑马线区域。检测方法可使用传统计算机视觉中的边缘检测等方法,也可以使用卷积神经网络搭建检测模型进行检测,本实施例对具体检测方法不做限定。
S104,基于图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在图像中的区域范围。
在实际空间中斑马线与交通信号灯的相对位置是相对固定的,如斑马线与交通信号灯在水平面上的横向距离、纵向距离,以及高度差通常都是在一定范围内,且总体上,交通信号灯大都位于道路右侧,即位于斑马线的右前方。相应地,基于这些相对位置的特征,在采集的车辆前方图像中,交通信号灯所在位置与斑马线区域之间也存在一定相对位置关系。基于对这种相对位置关系进行评估,可以大概率得出交通信号灯在图像中的区域范围。
评估得到的区域范围可以随着参与评估的参数种类、精度,评估方法而有所不同。本实施例对评估采用参数以及评估方法不做限定。例如,可以引入车载摄像头拍摄图像时的位置信息(如位置和姿态)、拍摄参数信息(如摄像头光心到成像平面距离)、斑马线与车辆的距离等参数与图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置进行联合评估,得到交通信号灯在图像中的区域范围。
S106,在区域范围内进行交通信号灯检测。
具体地,可利用颜色特征在评估得到的区域范围内检测可能的交通信号灯区域;和/或进一步地利用先验的信号灯形状/面积等特征对检测出的可能的交通信号灯区域进行验证/筛选。
检测方法可使用传统计算机视觉中的边缘检测等方法,也可以使用卷积神经网络搭建检测模型进行检测,本实施例对具体检测方法不做限定。
本说明书实施例提供的交通信号灯识别方法,通过对车载摄像头采集的车辆前方图像进行检测,确定图像中的斑马线区域;基于图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在图像中的区域范围;在该区域范围内进行交通信号灯检测,以对图像中可能存在的交通信号灯进行准确识别。由于在图像中,斑马线相对于交通信号灯更容易检测,且交通信号灯相对于斑马线的空间位置相对固定,因此本发明先通过图像中已检测出的斑马线区域得到用于检测交通信号灯的重点区域范围,然后在该区域范围内进行交通信号灯检测,有效解决了交通信号灯在图像中所占比例较小,难以检测的问题,有效排除了干扰图像内容;通过评估交通信号灯在图像中的区域范围可以验证图像中交通信号灯的检测结果的正确性,有效解决了各国家/地区交通信号灯形状不同,及意外光斑(如前车尾灯)所带来的检测结果验证困难的问题,提高了交通信号灯的检测准确性。
在一具体实施例中,如图2所示,步骤S104可具体包括如下步骤:
S104-2,基于图像中的斑马线区域和车载摄像头的属性信息,确定实际空间中斑马线与车辆的第一距离;该属性信息至少包括车载摄像头距离地面的高度、拍摄方向俯角和车载摄像头光心距成像平面的距离。
图3为本实施例提供的车辆前方图像的成像原理图,该原理图中包括车载摄像头光心、成像平面、实际空间中斑马线以及交通信号灯。其中,图像中斑马线纵向中心对应为成像平面的P1,图像中交通信号灯对应为成像平面的P2,车载摄像头距离地面的高度为hv,拍摄方向俯角为∠av(当实际为仰角时取负值),车载摄像头光心距成像平面的距离为d2,交成像平面于o点。
从图中可以看出,当上述车载摄像头的属性信息确定后,图像中斑马线纵向中心只与实际空间中斑马线与车辆的第一距离有关,且距离越近对应的斑马线中心越靠近图像下方。因此,通过检测图像中的斑马线区域在图像中的位置,可以确定实际空间中斑马线纵向中心与车辆之间的距离。
在一具体实施例中,可通过如下方法步骤确定上述第一距离:
步骤1,根据∠ac=∠av+arctan(d1/d2)
确定实际空间中以车载摄像头的光心为顶点,斑马线区域的纵向中心相对于水平面的第一夹角,其中参照图3所示,∠ac为第一夹角、∠av为拍摄方向俯角(当实际为仰角时取负值)、d1为图像中斑马线区域的纵向中心到图像的中心点(o点)的纵向距离、d2为车载摄像头光心距成像平面的距离。
步骤2,根据d3=hv*ctan(∠ac)
确定实际空间中斑马线区域的纵向中心与车载摄像头光心的水平距离,并将该水平距离记为第一距离;其中,参照图3所示,d3为该水平距离、hv为车载摄像头距离地面的高度。
S104-4,基于第一距离以及实际空间中斑马线与交通信号灯的相对位置,确定实际空间中交通信号灯距车辆的第二距离。
如图3所示,实际空间中斑马线区域的纵向中心与车载摄像头光心的水平距离,即第一距离为d3,实际空间中斑马线区域的纵向中心与交通信号灯的距离为d4,对这两个距离值求和,可以获取实际空间中交通信号灯距车载摄像头光心的距离,进而就可以获悉交通信号灯距车辆的第二距离,如直接将d3+d4的和值确定为第二距离。
在一具体实施例中,可通过如下方法步骤确定上述第二距离:
步骤1,基于高精地图、导航地图和给定输入中的任一种,确定实际空间中斑马线区域的纵向中心与交通信号灯之间的第三距离。
例如,在确定斑马线为路口靠近车辆一侧的斑马线时,基于高精地图、导航地图和给定输入中的任一种,确定路口包含的车道数;基于车道数、预设车道宽度和交通信号灯距路口的距离,确定实际空间中斑马线区域的纵向中心与交通信号灯之间的水平距离,并将该水平距离记为第三距离。
具体地,当通过图像检测,确定图像中的斑马线为路口靠近车辆一侧的斑马线时,此时可依据数据库中存储的高精地图、导航地图或给输入中的任一种方式,确定出该路口包含的车道数。由于在相关道路建设规范中,标准车道宽度是固定的,交通信号灯距路口的距离也是在一定范围内,因此基于车道数、预设车道宽度和交通信号灯距路口的距离,可以确定实际空间中斑马线区域的纵向中心与交通信号灯之间的水平距离,该水平距离可作为上述实际空间中斑马线区域的纵向中心与交通信号灯之间的第三距离。
进一步地,在上述确定路口包含的车道数时,可以拟定该路口包含多组车道数,并基于每种车道数分别进行区域范围评估,得到多个不同的区域范围;相应地,在执行步骤S106,在所述区域范围内进行交通信号灯检测时,可以对基于多组车道数所确定的多组区域范围进行交通信号灯检测,并基于检测结果中包含交通信号灯的检测结果确定最终检测结果。
例如,可以将多组检测结果中检测结果相似或相同的且占总检测结果比例最大的检测结果确定为最终的检测结果。
进一步地,可以上述最终检测结果对应的车道数作为后续对该路口执行给定输入的车道数,从而方便对后续采集的图像中的交通信号灯进行快速准确的识别。
步骤2,对第一距离和第三距离求和,得到第二距离。
S104-6,基于第二距离、车载摄像头的属性信息以及交通信号灯距离地面的高度,评估交通信号灯在图像中的区域范围。
如图3所示,在确定出实际空间中交通信号灯距车辆的第二距离,即交通信号灯距车载摄像头光心的距离后,结合车载摄像头的属性信息以及交通信号灯距离地面的高度,可以确定交通信号灯在图像中的区域范围。
在一具体实施例中,可通过如下方法步骤评估交通信号灯在图像中的区域范围:
步骤1,根据d5=d2*tan(∠at-∠av)
∠at=arctan((ht-hv)/(d3+d4))
确定交通信号灯在图像中的纵向中心到图像的中心点的纵向距离;
其中,参照图3所示,d5为该纵向距离、ht为交通信号灯距离地面的高度、d4为实际空间中斑马线区域的纵向中心与交通信号灯之间的水平距离;
步骤2,基于交通信号灯在图像中的纵向中心到图像的中心点的纵向距离,确定交通信号灯在图像中的区域范围。
例如,在通过上述方法步骤确定出交通信号灯在图像中的纵向中心到图像的中心点的纵向距离d5后,可以该纵向距离d5作为纵向中心,上下延展一定宽度,并以该宽度对应的区域范围作为评估交通信号灯大概率所在的区域范围。
此外,在上述任一实施例中,车载摄像头采集的车辆前方图像可以为连续帧图像,相应地,在上述区域范围内进行交通信号灯检测之后还可包括如下步骤:
在从当前帧图像中检测出交通信号灯后,基于交通信号灯在当前帧图像中的位置、当前车辆的行驶速度以及所述连续帧图像的帧频,评估交通信号灯在下一帧图像中的区域范围;在所确定的下一帧图像中的区域范围内进行交通信号灯检测。
例如,当车载摄像头采集的车辆前方图像为连续帧图像时,图像中交通信号灯所在的位置也会随着车辆前行的速度以及连续帧图像的帧频,在后续图像帧中发生规律性的变化,基于此可以通过学习这种变化规律,以连续帧图像中前一帧确定的交通信号灯的区域范围来预测后一帧图中交通信号灯的区域范围,以适应对连续帧图像中的交通信号灯进行识别。
本说明书实施例提供的交通信号灯识别方法,通过对车载摄像头采集的车辆前方图像进行检测,确定图像中的斑马线区域;基于图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在图像中的区域范围;在该区域范围内进行交通信号灯检测,以对图像中可能存在的交通信号灯进行准确识别。由于在图像中,斑马线相对于交通信号灯更容易检测,且交通信号灯相对于斑马线的空间位置相对固定,因此本发明先通过图像中已检测出的斑马线区域得到用于检测交通信号灯的重点区域范围,然后在该区域范围内进行交通信号灯检测,有效解决了交通信号灯在图像中所占比例较小,难以检测的问题,有效排除了干扰图像内容;通过评估交通信号灯在图像中的区域范围可以验证图像中交通信号灯的检测结果的正确性,有效解决了各国家/地区交通信号灯形状不同,及意外光斑(如前车尾灯)所带来的检测结果验证困难的问题,提高了交通信号灯的检测准确性。
对应上述图1至图2描述的交通信号灯识别方法,基于相同的技术构思,本说明书实施例还提供一种交通信号灯识别装置。图4为本说明书实施例提供的交通信号灯识别装置的模块组成示意图,该装置适用于包含上述交通信号灯识别系统的前后相邻行驶的车辆,用于执行图1至图2描述的交通信号灯识别方法,如图4所示,该装置包括:
确定模块201,用于对车载摄像头采集的车辆前方图像进行检测,确定所述图像中的斑马线区域;
评估模块202,用于基于所述图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在所述图像中的区域范围;
检测模块203,用于在所述区域范围内进行交通信号灯检测。
在一具体实施例中,上述评估模块202用于:
基于所述图像中的斑马线区域和所述车载摄像头的属性信息,确定实际空间中斑马线与所述车辆的第一距离;所述属性信息至少包括所述车载摄像头距离地面的高度、拍摄方向俯角和所述车载摄像头光心距成像平面的距离;
基于所述第一距离以及实际空间中斑马线与交通信号灯的相对位置,确定实际空间中所述交通信号灯距所述车辆的第二距离;
基于所述第二距离、所述车载摄像头的属性信息以及所述交通信号灯距离地面的高度,评估交通信号灯在所述图像中的区域范围。
在一具体实施例中,上述评估模块202用于:
根据∠ac=∠av+arctan(d1/d2)
确定实际空间中以所述车载摄像头的光心为顶点,斑马线区域的纵向中心相对于水平面的第一夹角,其中∠ac为所述第一夹角、∠av为所述拍摄方向俯角、d1为所述图像中斑马线区域的纵向中心到所述图像的中心点的纵向距离、d2为所述车载摄像头光心距成像平面的距离;
根据d3=hv*ctan(∠ac)
确定实际空间中斑马线区域的纵向中心与所述车载摄像头光心的水平距离,并将该水平距离记为所述第一距离;其中,d3为水平距离、hv为所述车载摄像头距离地面的高度。
在一具体实施例中,上述评估模块202用于:
基于高精地图、导航地图和给定输入中的任一种,确定实际空间中所述斑马线区域的纵向中心与交通信号灯之间的第三距离;
对所述第一距离和所述第三距离求和,得到所述第二距离。
在一具体实施例中,上述评估模块202用于:
在确定所述斑马线为路口靠近所述车辆一侧的斑马线时,基于高精地图、导航地图和给定输入中的任一种,确定所述路口包含的车道数;
基于所述车道数、预设车道宽度和所述交通信号灯距路口的距离,确定实际空间中所述斑马线区域的纵向中心与交通信号灯之间的水平距离,并将该水平距离记为所述第三距离。
在一具体实施例中,所述路口包含多组车道数;上述检测模块203用于:
对基于多组车道数所确定的多组区域范围进行交通信号灯检测,并基于检测结果中包含交通信号灯的检测结果确定最终检测结果。
在一具体实施例中,上述评估模块202用于:
以最终检测结果对应的车道数作为后续对该路口执行给定输入的车道数。
在一具体实施例中,上述评估模块202用于:
根据d5=d2*tan(∠at-∠av)
∠at=arctan((ht-hv)/(d3+d4))
确定交通信号灯在所述图像中的纵向中心到所述图像的中心点的纵向距离;
其中,d5为该纵向距离、ht为交通信号灯距离地面的高度、d4为实际空间中所述斑马线区域的纵向中心与交通信号灯之间的水平距离;
基于交通信号灯在所述图像中的纵向中心到所述图像的中心点的纵向距离,确定交通信号灯在所述图像中的区域范围。
在一具体实施例中,所述车载摄像头采集的车辆前方图像为连续帧图像,上述评估模块202用于:
在从当前帧图像中检测出交通信号灯后,基于交通信号灯在当前帧图像中的位置、当前车辆的行驶速度以及所述连续帧图像的帧频,评估所述交通信号灯在下一帧图像中的区域范围;
上述检测模块203用于:在所确定的所述下一帧图像中的区域范围内进行交通信号灯检测。
本说明书实施例提供的交通信号灯识别装置,通过对车载摄像头采集的车辆前方图像进行检测,确定图像中的斑马线区域;基于图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在图像中的区域范围;在该区域范围内进行交通信号灯检测,以对图像中可能存在的交通信号灯进行准确识别。由于在图像中,斑马线相对于交通信号灯更容易检测,且交通信号灯相对于斑马线的空间位置相对固定,因此本发明先通过图像中已检测出的斑马线区域得到用于检测交通信号灯的重点区域范围,然后在该区域范围内进行交通信号灯检测,有效解决了交通信号灯在图像中所占比例较小,难以检测的问题,有效排除了干扰图像内容;通过评估交通信号灯在图像中的区域范围可以验证图像中交通信号灯的检测结果的正确性,有效解决了各国家/地区交通信号灯形状不同,及意外光斑(如前车尾灯)所带来的检测结果验证困难的问题,提高了交通信号灯的检测准确性。
需要说明的是,本说明书中关于交通信号灯识别装置的实施例与本说明书中关于交通信号灯识别方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的交通信号灯识别方法的实施,重复之处不再赘述。
对应上述图1至图2描述的交通信号灯识别方法,基于相同的技术构思,本说明书实施例还提供一种存储介质,用于存储计算机可执行指令,一个具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现上述方法实施例中任一项所述方法中的步骤。
本说明书实施例提供的存储介质所存储的计算机可执行指令在被处理器执行时,通过对车载摄像头采集的车辆前方图像进行检测,确定图像中的斑马线区域;基于图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在图像中的区域范围;在该区域范围内进行交通信号灯检测,以对图像中可能存在的交通信号灯进行准确识别。由于在图像中,斑马线相对于交通信号灯更容易检测,且交通信号灯相对于斑马线的空间位置相对固定,因此本发明先通过图像中已检测出的斑马线区域得到用于检测交通信号灯的重点区域范围,然后在该区域范围内进行交通信号灯检测,有效解决了交通信号灯在图像中所占比例较小,难以检测的问题,有效排除了干扰图像内容;通过评估交通信号灯在图像中的区域范围可以验证图像中交通信号灯的检测结果的正确性,有效解决了各国家/地区交通信号灯形状不同,及意外光斑(如前车尾灯)所带来的检测结果验证困难的问题,提高了交通信号灯的检测准确性。
需要说明的是,本说明书中关于存储介质的实施例与本说明书中关于交通信号灯识别方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的交通信号灯识别方法的实施,重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已,并不用于限制本文件。对于本领域技术人员来说,本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本文件的权利要求范围之内。
Claims (9)
1.一种交通信号灯识别方法,包括:
对车载摄像头采集的车辆前方图像进行检测,确定所述图像中的斑马线区域;
基于所述图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在所述图像中的区域范围;具体包括,基于所述图像中的斑马线区域和所述车载摄像头的属性信息,确定实际空间中斑马线与所述车辆的第一距离;所述属性信息至少包括所述车载摄像头距离地面的高度、拍摄方向俯角和所述车载摄像头光心距成像平面的距离;
基于所述第一距离以及实际空间中斑马线与交通信号灯的相对位置,确定实际空间中所述交通信号灯距所述车辆的第二距离;
基于所述第二距离、所述车载摄像头的属性信息以及所述交通信号灯距离地面的高度,评估交通信号灯在所述图像中的区域范围;
在所述区域范围内进行交通信号灯检测。
2.根据权利要求1所述的方法,其中,所述基于所述图像中的斑马线区域和所述车载摄像头的属性信息,确定实际空间中斑马线与所述车辆的第一距离包括;
根据∠ac=∠av+arctan(d1/d2)
确定实际空间中以所述车载摄像头的光心为顶点,斑马线区域的纵向中心相对于水平面的第一夹角,其中∠ac为所述第一夹角、∠av为所述拍摄方向俯角、d1为所述图像中斑马线区域的纵向中心到所述图像的中心点的纵向距离、d2为所述车载摄像头光心距成像平面的距离;
根据d3=hv*ctan(∠ac)
确定实际空间中斑马线区域的纵向中心与所述车载摄像头光心的水平距离,并将该水平距离记为所述第一距离;其中,d3为水平距离、hv为所述车载摄像头距离地面的高度。
3.根据权利要求1所述的方法,其中,所述基于所述第一距离以及实际空间中斑马线与交通信号灯的相对位置,确定实际空间中所述交通信号灯距所述车辆的第二距离包括;
基于高精地图、导航地图和给定输入中的任一种,确定实际空间中所述斑马线区域的纵向中心与交通信号灯之间的第三距离;
对所述第一距离和所述第三距离求和,得到所述第二距离。
4.根据权利要求3所述的方法,其中,所述基于高精地图、导航地图和者给定输入中的任一种,确定实际空间中所述斑马线区域的纵向中心与交通信号灯之间的第三距离包括:
在确定所述斑马线为路口靠近所述车辆一侧的斑马线时,基于高精地图、导航地图和给定输入中的任一种,确定所述路口包含的车道数;
基于所述车道数、预设车道宽度和所述交通信号灯距路口的距离,确定实际空间中所述斑马线区域的纵向中心与交通信号灯之间的水平距离,并将该水平距离记为所述第三距离。
5.根据权利要求4所述的方法,其中,所述路口包含多组车道数;
所述在所述区域范围内进行交通信号灯检测包括:
对基于多组车道数所确定的多组区域范围进行交通信号灯检测,并基于检测结果中包含交通信号灯的检测结果确定最终检测结果。
6.根据权利要求5所述的方法,其中,所述方法还包括:
以所述最终检测结果对应的车道数作为后续对该路口执行给定输入的车道数。
7.根据权利要求2所述的方法,其中,所述基于所述第二距离、所述车载摄像头的属性信息以及所述交通信号灯距离地面的高度,评估交通信号灯在所述图像中的区域范围包括:
根据d5=d2*tan(∠at-∠av)
∠at=arctan((ht-hv)/(d3+d4))
确定交通信号灯在所述图像中的纵向中心到所述图像的中心点的纵向距离;
其中,d5为该纵向距离、ht为交通信号灯距离地面的高度、d4为实际空间中所述斑马线区域的纵向中心与交通信号灯之间的水平距离;
基于交通信号灯在所述图像中的纵向中心到所述图像的中心点的纵向距离,确定交通信号灯在所述图像中的区域范围。
8.根据权利要求1所述的方法,其中,所述车载摄像头采集的车辆前方图像为连续帧图像,所述在所述区域范围内进行交通信号灯检测之后包括:
在从当前帧图像中检测出交通信号灯后,基于交通信号灯在当前帧图像中的位置、当前车辆的行驶速度以及所述连续帧图像的帧频,评估所述交通信号灯在下一帧图像中的区域范围;
在所确定的所述下一帧图像中的区域范围内进行交通信号灯检测。
9.一种交通信号灯识别装置,包括:
确定模块,用于对车载摄像头采集的车辆前方图像进行检测,确定所述图像中的斑马线区域;
评估模块,用于基于所述图像中的斑马线区域以及实际空间中斑马线与交通信号灯的相对位置,评估交通信号灯在所述图像中的区域范围;具体包括,基于所述图像中的斑马线区域和所述车载摄像头的属性信息,确定实际空间中斑马线与所述车辆的第一距离;所述属性信息至少包括所述车载摄像头距离地面的高度、拍摄方向俯角和所述车载摄像头光心距成像平面的距离;
基于所述第一距离以及实际空间中斑马线与交通信号灯的相对位置,确定实际空间中所述交通信号灯距所述车辆的第二距离;
基于所述第二距离、所述车载摄像头的属性信息以及所述交通信号灯距离地面的高度,评估交通信号灯在所述图像中的区域范围;检测模块,用于在所述区域范围内进行交通信号灯检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011359965.1A CN112489466B (zh) | 2020-11-27 | 2020-11-27 | 交通信号灯识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011359965.1A CN112489466B (zh) | 2020-11-27 | 2020-11-27 | 交通信号灯识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112489466A CN112489466A (zh) | 2021-03-12 |
CN112489466B true CN112489466B (zh) | 2022-02-22 |
Family
ID=74936111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011359965.1A Active CN112489466B (zh) | 2020-11-27 | 2020-11-27 | 交通信号灯识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112489466B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117690115A (zh) * | 2024-02-04 | 2024-03-12 | 杭州海康威视系统技术有限公司 | 图像处理方法、装置及设备 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2632641C3 (de) * | 1976-07-20 | 1979-10-25 | Hermann 8000 Muenchen Stein | Verfahren und Vorrichtung zum Synchronisieren des Betriebsablaufs von Geräten |
BR9301346A (pt) * | 1993-03-29 | 1994-11-01 | Ribeiro Joao Martins | Forma e cor na luz do semáforo |
JP4631750B2 (ja) * | 2006-03-06 | 2011-02-16 | トヨタ自動車株式会社 | 画像処理システム |
CN201153280Y (zh) * | 2008-01-28 | 2008-11-19 | 中兴通讯股份有限公司 | 一种具有红绿灯识别功能的手机 |
US8559673B2 (en) * | 2010-01-22 | 2013-10-15 | Google Inc. | Traffic signal mapping and detection |
CN103345766B (zh) * | 2013-06-21 | 2016-03-30 | 东软集团股份有限公司 | 一种信号灯识别方法及装置 |
CN104050447A (zh) * | 2014-06-05 | 2014-09-17 | 奇瑞汽车股份有限公司 | 一种交通信号灯识别方法和装置 |
CA2992405A1 (en) * | 2015-07-13 | 2017-01-19 | Nissan Motor Co., Ltd. | Traffic light recognition device and traffic light recognition method |
US10339805B2 (en) * | 2015-07-13 | 2019-07-02 | Nissan Motor Co., Ltd. | Traffic light recognition device and traffic light recognition method |
CN107891808B (zh) * | 2016-09-30 | 2020-06-19 | 比亚迪股份有限公司 | 行车提醒方法、装置及车辆 |
CN108305475B (zh) * | 2017-03-06 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 一种交通灯识别方法及装置 |
CN106960587A (zh) * | 2017-05-23 | 2017-07-18 | 南京云趟信息技术有限公司 | 一种基于摄像装置的红绿灯及斑马线识别与控制系统 |
US10458810B2 (en) * | 2017-12-21 | 2019-10-29 | GM Global Technology Operations LLC | Traffic light state assessment |
CN109472989A (zh) * | 2018-12-05 | 2019-03-15 | 斑马网络技术有限公司 | 交通信号灯的提示方法、装置、设备及可读存储介质 |
CN109902610A (zh) * | 2019-02-22 | 2019-06-18 | 杭州飞步科技有限公司 | 交通标志识别方法和装置 |
CN111310708B (zh) * | 2020-02-14 | 2024-05-14 | 广州文远知行科技有限公司 | 交通信号灯状态识别方法、装置、设备和存储介质 |
-
2020
- 2020-11-27 CN CN202011359965.1A patent/CN112489466B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112489466A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110516514B (zh) | 一种目标检测模型的建模方法和装置 | |
CN110674705A (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
KR102521656B1 (ko) | 객체를 인식하는 방법 및 장치 | |
CN113298050B (zh) | 车道线识别模型训练方法、装置及车道线识别方法、装置 | |
Boumediene et al. | Triangular traffic signs detection based on RSLD algorithm | |
CN111027535A (zh) | 一种车牌识别方法及相关设备 | |
CN112036462A (zh) | 一种模型训练以及目标检测的方法及装置 | |
CN115792945B (zh) | 一种浮空障碍物检测方法、装置和电子设备、存储介质 | |
CN115205803A (zh) | 自动驾驶环境感知方法、介质及车辆 | |
CN110796230A (zh) | 卷积神经网络的训练及使用方法、设备及存储介质 | |
CN114782924B (zh) | 用于自动驾驶的交通灯检测方法、装置及电子设备 | |
CN112489466B (zh) | 交通信号灯识别方法和装置 | |
CN111160132B (zh) | 障碍物所在车道的确定方法、装置、电子设备和存储介质 | |
CN109635701B (zh) | 车道通行属性获取方法、装置和计算机可读存储介质 | |
CN109523570A (zh) | 运动参数计算方法及装置 | |
CN116229420A (zh) | 一种道路物体识别方法及装置 | |
CN111291141B (zh) | 一种轨迹相似度确定方法及装置 | |
CN109740502B (zh) | 道路质量检测方法及装置 | |
CN116740680A (zh) | 一种车辆定位方法、装置及电子设备 | |
CN116503832A (zh) | 一种基于深度学习的信号灯识别方法及装置 | |
CN115050007A (zh) | 牵引车以及拖板车的识别方法、装置及电子设备、存储介质 | |
WO2019039157A1 (ja) | 車両周辺の小物体領域を識別する装置及び方法 | |
CN112163471A (zh) | 一种拥堵检测的方法和装置 | |
CN112597960A (zh) | 图像的处理方法、处理装置与计算机可读存储介质 | |
CN116381698B (zh) | 道路遗撒物的检测方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |