CN117292360A - 交通信号灯识别方法和装置、存储介质及电子设备 - Google Patents
交通信号灯识别方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117292360A CN117292360A CN202311580341.6A CN202311580341A CN117292360A CN 117292360 A CN117292360 A CN 117292360A CN 202311580341 A CN202311580341 A CN 202311580341A CN 117292360 A CN117292360 A CN 117292360A
- Authority
- CN
- China
- Prior art keywords
- signal lamp
- image
- traffic signal
- target
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 18
- 238000010606 normalization Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 230000004456 color vision Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种交通信号灯识别方法和装置、存储介质及电子设备。其中,该方法包括:获取交通信号灯图像;基于交通信号灯图像,获取交通信号灯对象的旋转角参数,并根据旋转角参数对交通信号灯对象进行旋转处理,得到参考信号灯对象,旋转角参数指示交通信号灯对象与目标图像坐标轴之间的偏移角度,目标图像坐标轴为与交通信号灯图像关联的图像坐标系中的坐标轴,参考信号灯对象与目标图像坐标轴之间的偏移角度小于或等于目标角度;在目标识别模型中,根据参考信号灯对象以及旋转角参数进行对象识别,得到对象识别结果。本申请解决了现有技术中的交通信号灯识别方法存在的识别效率低的技术问题。
Description
技术领域
本申请涉及交通安全领域,具体而言,涉及一种交通信号灯识别方法和装置、存储介质及电子设备。
背景技术
近年来,随着智能驾驶技术的不断更新以及国民汽车保有量的持续增加,驾驶安全性备受关注,而其关键点在于是否能够准确感知自车所处的环境。交通信号灯识别作为一个重要的信号在智能驾驶领域起着关键作用。
现有的交通信号灯识别方法一般是采用方向识别和长宽比识别的方法,方向识别是采用多种信号灯识别模型对不同方向(横排、竖排)的交通信号灯进行识别,即,不同方向的交通信号灯采用与交通信号灯方向相同的交通信号灯识别模型进行识别,但此种方式需要训练多种信号灯识别模型,每种信号灯识别模型只能针对性解决特定方向的交通信号灯的识别问题,基于此不仅降低识别效率,还会导致识别成本的增加;长宽比识别是利用信号灯长宽比进行竖排交通信号灯和横排交通信号灯的识别,基于此进行相应的图像预处理对信号灯进行切割,但此种方式在对交通信号灯的识别上,未能考虑图像畸变、遮挡导致的目标长宽比变化的问题,因此会导致信号灯识别准确性低的问题,另外,采用传统的图像处理方法对信号灯进行分割的处理方式还会存在处理效率较低的问题。也就是说,现有的交通信号灯识别方法存在识别效率低的技术问题。
针对现有技术中的交通信号灯识别方法存在的识别效率低的技术问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种交通信号灯识别方法和装置、存储介质及电子设备,以至少解决现有技术中的交通信号灯识别方法存在的识别效率低的技术问题。
根据本申请实施例的一个方面,提供了一种交通信号灯识别方法,包括:获取交通信号灯图像,其中,上述交通信号灯图像中包括待识别的交通信号灯对象,上述交通信号灯对象为上述交通信号灯图像中包括交通信号灯的图像区域;基于上述交通信号灯图像,获取上述交通信号灯对象的旋转角参数,并根据上述旋转角参数对上述交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,上述旋转角参数指示上述交通信号灯对象与目标图像坐标轴之间的偏移角度,上述目标图像坐标轴为与上述交通信号灯图像关联的图像坐标系中的坐标轴,上述参考信号灯对象与上述目标图像坐标轴之间的偏移角度小于或等于目标角度;在目标识别模型中,根据上述参考信号灯对象以及上述旋转角参数进行对象识别,得到对象识别结果,其中,上述对象识别结果指示上述交通信号灯对象中包括的颜色信息和/或方向信息。
根据本申请实施例的另一方面,还提供了一种交通信号灯识别装置,包括:第一获取单元,用于获取交通信号灯图像,其中,上述交通信号灯图像中包括待识别的交通信号灯对象,上述交通信号灯对象为上述交通信号灯图像中包括交通信号灯的图像区域;第二获取单元,用于基于上述交通信号灯图像,获取上述交通信号灯对象的旋转角参数,并根据上述旋转角参数对上述交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,上述旋转角参数指示上述交通信号灯对象与目标图像坐标轴之间的偏移角度,上述目标图像坐标轴为与上述交通信号灯图像关联的图像坐标系中的坐标轴,上述参考信号灯对象与上述目标图像坐标轴之间的偏移角度小于或等于目标角度;识别单元,用于在目标识别模型中,根据上述参考信号灯对象以及上述旋转角参数进行对象识别,得到对象识别结果,其中,上述对象识别结果指示上述交通信号灯对象中包括的颜色信息和/或方向信息。
作为一种可选的方案,上述识别单元包括解析单元,用于获取上述参考信号灯对象的对象特征,并根据上述对象特征进行特征解析,得到参考识别结果,其中,上述参考识别结果指示上述参考信号灯对象中包括的参考颜色信息和/或参考方向信息;校正单元:用于在上述旋转角参数处于目标角度区间,且上述参考识别结果中包括上述参考方向信息的情况下,根据上述旋转角参数对上述参考方向信息进行矫正,得到目标方向信息;确定单元:用于根据上述目标方向信息确定上述对象识别结果。
作为一种可选的方案,上述交通信号灯识别装置还包括第一确定单元,用于在获取上述参考信号灯对象的对象特征,并根据上述对象特征进行特征解析,得到参考识别结果之后,在上述旋转角参数未处于目标角度区间的情况下,根据上述参考识别结果确定上述对象识别结果;第二确定单元,用于上述旋转角参数处于目标角度区间,且上述参考识别结果中不包括上述参考方向信息的情况下,根据上述参考识别结果确定上述对象识别结果。
作为一种可选的方案,上述矫正单元,包括遍历单元,用于重复如下步骤,直至遍历上述参考信号灯对象中的每一个信号灯子对象,其中,上述参考信号灯对象中包括至少一个上述信号灯子对象,上述信号灯子对象用于指示对应车道上的行驶对象的行驶状态:获取一个上述信号灯子对象作为当前子对象;根据上述旋转角参数,获取与上述当前子对象匹配的目标子对象所指示的上述目标方向信息,其中,上述当前子对象为对上述目标子对象根据旋转角参数执行旋转处理得到的信号灯子对象。
作为一种可选的方案,上述解析单元包括解析子单元,用于根据上述对象特征进行特征解析,得到颜色特征对应的颜色特征值以及与亮度特征对应的亮度特征值,其中,上述对象特征中包括上述颜色特征和上述亮度特征;第三确定单元,用于根据上述颜色特征值和上述亮度特征值确定上述参考识别结果。
作为一种可选的方案,上述第二获取单元包括获取子单元,用于获取上述交通信号灯图像的位姿信息以及遮挡信息,其中,上述位姿信息包括位置参数、尺寸参数以及上述旋转角参数,上述位置参数指示上述交通信号灯对象的对象中心点的位置,上述尺寸参数指示上述交通信号灯对象的所占据的图像面积,上述遮挡信息指示上述交通信号灯对象的遮挡状态。
作为一种可选的方案,上述交通信号灯识别装置还包括第三获取子单元,用于在根据上述旋转角参数对上述交通信号灯对象进行旋转处理后,获取根据上述旋转角参数对上述交通信号灯对象进行旋转处理得到的第一信号灯对象;调节单元,用于在上述第一信号灯对象的上述尺寸参数不满足识别条件的情况下,对上述第一信号灯对象进行尺寸调节,得到第二信号灯对象,其中,上述第二信号灯对象的上述尺寸参数满足上述识别条件。
作为一种可选的方案,上述第二获取单元还包括第四确定单元,用于根据上述交通信号灯对象中包括的信号灯子对象的排列方向确定上述交通信号灯对象的对象方向,其中,上述参考信号灯对象中包括至少一个上述信号灯子对象;第五确定单元,用于根据上述对象方向与上述目标图像坐标轴之间的夹角确定上述旋转角参数。
作为一种可选的方案,上述第一获取单元包括第一获取子单元,用于获取当前车辆终端采集的道路图像;处理单元,用于在上述道路图像中包括上述交通信号灯图像的情况下,对上述道路图像进行预处理,得到上述交通信号灯图像,其中,上述交通信号灯图像中,上述交通信号灯对象所占据的第一图像面积与上述交通信号灯图像的第二图像面积之间的比值大于或等于目标比值。
作为一种可选的方案,上述交通信号灯识别装置还包括第三获取单元,用于在目标识别模型中,根据上述参考信号灯对象以及上述旋转角参数进行对象识别,得到对象识别结果之后,获取上述对象识别结果所指示的目标车道上的行驶对象的参考行驶状态,其中,上述目标车道为当前车辆终端所在的车道;生成单元,用于在上述当前车辆终端的当前行驶状态与上述参考行驶状态不匹配的情况下,根据上述对象识别结果生成行驶提示信息,其中,上述行驶提示信息用于提示变更上述当前车辆终端的行驶状态。
根据本申请实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质包括存储的程序,其中,该程序被处理器运行时执行上述交通信号灯识别方法。
根据本申请实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过所述计算机程序执行上述的交通信号灯识别方法。
在本申请实施例中,采用获取交通信号灯图像,其中,上述交通信号灯图像中包括待识别的交通信号灯对象,上述交通信号灯对象为上述交通信号灯图像中包括交通信号灯的图像区域;基于上述交通信号灯图像,获取上述交通信号灯对象的旋转角参数,并根据上述旋转角参数对上述交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,上述旋转角参数指示上述交通信号灯对象与目标图像坐标轴之间的偏移角度,上述目标图像坐标轴为与上述交通信号灯图像关联的图像坐标系中的坐标轴,上述参考信号灯对象与上述目标图像坐标轴之间的偏移角度小于或等于目标角度;在目标识别模型中,根据上述参考信号灯对象以及上述旋转角参数进行对象识别,得到对象识别结果,其中,上述对象识别结果指示上述交通信号灯对象中包括的颜色信息和/或方向信息,上述方法可以通过使用一个交通信号灯识别模型对不同类型的交通信号灯进行识别,而无需在进行交通信号灯识别的过程中更换交通信号灯识别模型,从而实现了提高交通信号灯识别效率的技术效果,解决了现有技术中的交通信号灯识别方法存在的识别效率低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的一种交通信号灯识别方法的应用环境示意图;
图2是根据本发明实施例提供的一种交通信号灯识别方法的流程图;
图3是根据本发明实施例提供的另一种交通信号灯识别方法的应用环境示意图;
图4是根据本发明实施例提供的一种交通信号灯识别方法的示意图;
图5是根据本发明实施例提供的一种常规交通信号灯偏移角度的示意图;
图6是根据本发明实施例提供的一种特殊交通信号灯偏移角度的示意图;
图7是根据本发明实施例提供的一种对交通信号灯图像进行归一化处理的示意图;
图8是根据本发明实施例提供的另一种交通信号灯识别方法的示意图;
图9是根据本发明实施例提供的另一种交通信号灯识别方法的流程图;
图10是根据本发明实施例提供的一种对交通信号灯识别结果进行解析的示意图;
图11是根据本申请实施例的一种可选的交通信号灯识别装置的结构示意图;
图12是根据本申请实施例的一种可选的电子设备的结构示意图。
上述附图不一定是按比例的,并且可呈现本申请的各种优选特征的略微简化的标识,包括具体尺寸、定向、位置和形状等。与上述特征相关联的细节部分由实际应用和实际的使用环境确定。
具体实施方式
为了使本领域技术人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请中所使用的“系统”指的是机械和电气硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置,其单独地或组合地提供所描述的功能性。这可包括但不限于专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)、包含软件或固件指令的存储器、组合逻辑电路和/或其它部件。
根据本申请实施例的一个方面,提供了一种交通信号灯识别方法,可选地,上述交通信号灯识别方法可以但不限于应用于一种车辆终端中,例如,可以通过图1所示的车辆终端进行执行,图1示出了车辆终端101的侧视图,车辆终端101可以在行进表面102上行驶,并且能够横穿行进表面102。车辆终端101包括车载导航系统103、数字化道路地图104的存储器105、HMI(人/机交互界面)装置106、空间监测系统107、GPS(全球定位系统)传感器108、自主控制器109、远程信息处理控制器110、交通工具控制器111。
车辆终端101在行进表面102上行驶的过程中,需要对位于车辆终端101的可视区域112内的交通信号灯119进行识别,从而准确确定车辆终端101的行驶状态,以下以自主控制器109实现上述交通信号灯识别方法为例,自主控制器109在实现上述交通信号灯识别方法的过程中,具体包括如下步骤:
S1,获取交通信号灯图像,其中,交通信号灯图像中包括待识别的交通信号灯对象,交通信号灯对象为交通信号灯图像中包括交通信号灯的图像区域;
S2,基于交通信号灯图像,获取交通信号灯对象的旋转角参数,并根据旋转角参数对交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,旋转角参数指示交通信号灯对象与目标图像坐标轴之间的偏移角度,目标图像坐标轴为与交通信号灯图像关联的图像坐标系中的坐标轴,参考信号灯对象与目标图像坐标轴之间的偏移角度小于或等于目标角度;
S3,在目标识别模型中,根据参考信号灯对象以及旋转角参数进行对象识别,得到对象识别结果,其中,对象识别结果指示交通信号灯对象中包括的颜色信息和/或方向信息。
需要说明的是,上述将本申请的交通信号灯识别方法应用在自主控制器109中仅是本申请中的一个实施例,本申请的交通信号灯识别方法也可以应用于上述非车载服务器118中,在上述交通信号灯识别方法应用在非车载服务器118的过程中,车辆终端101的远程信息处理控制器110可以通过通信网络117与非车载服务器118进行车辆终端外通信,从而达到交通信号灯识别方法实现过程中的数据互通;上述交通信号灯识别方法还可以通过空间监测系统107等其他系统或服务器中实现,本申请在此不做限定。
在一个实施例中,空间监测系统107包括一个或多个空间传感器和系统,空间传感器和系统用于监测车辆终端101前方的可视区域112,空间监测系统107中还包括空间监测控制器113;用于监测可视区域112的空间传感器包括激光雷达传感器114、雷达传感器115、摄像头116等。空间监测控制器113可以用于基于来自空间传感器的数据输入生成与可视区域112相关的数据。空间监测控制器113可以根据来自空间传感器的输入,确定车辆终端101的线性范围、相对速度和轨迹。
摄像头116有利地被安装和定位在车辆终端101上处于允许捕获可视区域112的图像的位置中,其中,可视区域112的至少部分包括在车辆终端101前方并且包括车辆终端101的行进表面102的部分。可视区域112还可包括周围环境。还可采用其它摄像头,例如,包括被设置在车辆终端101的后部分或侧部分上的第二摄像头,以监测车辆终端101的后方以及车辆终端101的右侧或左侧中的一个。
自主控制器109被配置成实施自主驾驶或高级驾驶员辅助系统(ADAS)车辆终端功能性。此类功能性可包括能够提供一定驾驶自动化水平的车辆终端机载控制系统。驾驶自动化可包括一系列动态驾驶和车辆终端操作。驾驶自动化可包括涉及单个车辆终端功能(例如,转向、加速和/或制动)的某种水平的自动控制或干预。
车载导航系统103采用数字化道路地图104,用于向车辆终端操作者提供导航支持和信息的目的。自主控制器109采用数字化道路地图104,用于控制自主车辆终端操作或ADAS车辆终端功能的目的。
作为一种可选的实施方式,如图2所示,上述交通信号灯识别方法具体包括以下步骤:
S202,获取交通信号灯图像,其中,交通信号灯图像中包括待识别的交通信号灯对象,交通信号灯对象为交通信号灯图像中包括的交通信号灯的图像区域;
S204,基于交通信号灯图像,获取交通信号灯对象的旋转角参数,并根据旋转角参数对交通信号灯对象进行旋转处理,得到参考交通信号灯对象,其中,旋转角参数指示交通信号灯对象与目标图像坐标轴之间的偏移角度,目标图像坐标轴为与交通信号灯图像关联的图像坐标系中的坐标轴,参考信号灯对象与目标图像坐标轴之间的偏移角度小于或等于目标角度;
S206,在目标识别模型中,根据参考信号灯对象以及旋转角参数进行对象识别,得到对象识别结果,其中,对象识别结果指示交通信号灯对象中包括的颜色信息和/或方向信息。
需要说明的是,上述S202中的交通信号灯图像可以为包括多个交通信号灯对象的图像,多个交通信号灯对象中包括待识别的交通信号灯对象,以下结合图3对上述交通信号灯图像进行说明,交通信号灯图像为如图3中的(a)图和/或图3中的(b)图所示的交通信号灯图像,图3中的(a)图所示的交通信号灯图像中包括了交通信号灯对象301、交通信号灯对象302以及交通信号灯对象303,图3中的(b)图所示的交通信号灯图像中包括了交通信号灯对象304和交通信号灯对象305。待识别的交通信号灯对象可以为交通信号灯对象301至交通信号灯对象305中的任意一个, 具体的待识别的交通信号灯对象的确定可以是根据目标车辆的行驶车道以及目标车辆的位置确定。
上述获取交通信号灯对象的旋转角参数包括:获取交通信号灯图像的位姿信息以及遮挡信息,其中,位姿信息包括位置参数、尺寸参数以及旋转角参数,位置参数指示交通信号灯对象的对象中心点的位置,尺寸参数指示交通信号灯对象的所占据的图像面积,遮挡信息指示交通信号灯对象的遮挡状态。上述遮挡信息用于指示交通信号灯对象是否被遮挡,上述位置参数用于指示交通信号灯对象所指示的交通信号灯所在的具体位置信息,上述尺寸参数用于指示交通信号灯对象的宽度(如图4中的(a)图至图4中的(e)图中的W)和高度(如图4中的(a)图至图4中的(e)图中的H)所组成的交通信号灯对象的面积。通过对交通信号灯对象的面积的获取,可以在对交通信号灯对象进行尺寸的统一化时,根据交通信号灯原始的尺寸对不同尺寸的交通信号灯对象进行不同的尺寸修改。
交通信号灯的类型可以分为横排交通信号灯和竖排交通信号灯,如图4中的(a)图和图4中的(c)图所示的是横排信号灯,图4中的(b)图所示的是竖排信号灯,交通信号灯中包括的指示灯的个数可以有一个也可以有多个,如图4中的(a)图和图4中的(b)图所示的是包括三个指示灯的交通信号灯,图4中的(c)图所示的是包括两个指示灯的交通信号灯,图4中的(d)图和图4中的(e)图所示的是包括一个指示灯的交通信号灯,交通信号灯中包括的指示灯的样式和颜色也可以有多种,如图4中的(a)图至图4中的(e)图所示的有圆形指示灯、叉型指示灯、箭头型指示灯,颜色有红色、黄色和绿色。可以理解的是,图3和图4所示的指示灯仅仅为本申请所示出的示例,对于指示灯的个数、颜色、样式等还可以包括其他多种不同的情况,本申请在此不再一一列举。
上述S204中的旋转角参数指示交通信号灯对象与目标图像坐标轴之间的偏移角度,目标图像坐标轴为与交通信号灯图像关联的图像坐标系中的坐标轴,上述与交通信号灯图像关联的图像坐标系可以但不限于理解为:在交通信号灯对象的旋转角参数为零时,y轴始终垂直于交通信号灯图像的高度或宽度的坐标系;为准确描述交通信号灯对象与目标图像坐标轴之间的偏移角度,可以根据交通信号灯对象做一个与交通信号灯对象的偏移角度相同的图像坐标系的坐标轴,从而根据与交通信号灯对象对应的图像坐标轴与目标图像坐标轴之间的偏移角度,准确确定交通信号灯对象与目标图像坐标轴之间的偏移角度。如图5中的(a)图至图5中的(d)图和图6中的(a)图至图6中的(e)图由轴和轴组成的坐标系为与交通信号灯图像对应的坐标系,由x轴和y轴组成的坐标系为与交通信号灯对象对应的图像坐标系,在建立与交通信号灯对象对应的图像坐标系时,在交通信号灯对象中包括多个指示灯的情况下,可以但不限于将x轴的方向设定为由红指示灯指向绿指示灯的方向。此设定方式仅仅是本申请中的一种设定方式,但需要保证方案的整个实现过程中,坐标系的设定方式是同一种坐标系,且该坐标系能够准确反映交通信号灯对象的偏移角度即可。具体坐标轴方向的设定方式还可以是其他方式,本申请在此不做限定。
上述S206中的目标识别模型为使用样本数据对初始识别模型进行训练得到的用于进行对象识别的网络模型。
通过本申请的上述实施方式,通过获取交通信号灯图像;交通信号灯图像中包括待识别的交通信号灯对象,交通信号灯对象为交通信号灯图像中包括交通信号灯的图像区域;基于交通信号灯图像,获取交通信号灯对象的旋转角参数,并根据旋转角参数对交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,旋转角参数指示交通信号灯对象与目标图像坐标轴之间的偏移角度,目标图像坐标轴与交通信号灯图像关联的图像坐标系中的坐标轴,参考信号灯对象与目标图像坐标轴之间的偏移角度小于或等于目标角度;在目标识别模型中,根据参考信号灯对象以及旋转角参数进行对象识别,得到对象识别结果,其中,对象识别结果指示交通信号灯对象中包括的颜色信息和/或方向信息。解决了现有技术中的交通信号灯识别方法存在的识别效率低的技术问题。面对不同偏移角度的交通信号灯时,通过一个目标识别模型即可实现对不同偏移角度的交通信号灯的识别,达到了提高对交通信号灯进行识别的识别效率的技术效果。
作为一种可选的实施方式,上述在目标识别模型中,根据参考信号灯对象以及旋转角参数进行对象识别得到对象识别结果,包括:
S1,获取参考信号灯对象的对象特征,并根据对象特征进行特征解析,得到参考识别结果,其中,参考识别结果指示参考信号灯对象中包括的参考颜色信息和/或方向信息;
S2,在旋转角参数处于目标角度区间,且参考识别结果中包括参考方向信息的情况下,根据旋转角参数对参考方向信息进行矫正,得到目标方向信息;
S3,根据目标方向信息确定对象识别结果。
上述S1中的对象特征包括指示灯的个数信息,指示灯的颜色信息。上述颜色信息为参考信号灯对象中包括的指示灯图像区域的颜色对应的颜色值,例如,红色在RGB模式中对应的颜色值为RGB(255,0,0),即当红为255,绿蓝都为0时,该数据指示的颜色为标准的红色,通过改变红R、绿G、蓝B三个颜色通道并相互叠加,可以叠加出人类视觉所能感知的所有颜色。上述参考颜色信息则指示具体的颜色(例如红、黄、绿等),上述参考方向信息为根据对象特征解析出的具体方向(例如:向左、向右等)。
上述S2中的目标角度区间是用于区分是否需要对参考识别结果中的参考方向信息进行矫正的角度参考区间,上述矫正是将与参考信号灯对象对应的参考方向信息校正为与交通信号灯对象对应的目标方向信息;上述根据旋转角参数对参考方向信息进行矫正可以但不限于理解为:将与参考信号灯对象对应的方向信息矫正为与旋转前的交通信号灯对象对应的方向信息。
可以理解的是,上述在目标识别模型中,根据参考信号灯对象以及旋转角参数进行对象识别,得到对象识别结果还包括在旋转角参数未处于目标角度区间的情况下,无需进行矫正,可以直接将参考方向信息确定为对象识别结果;在旋转角参数处于目标角度区间,但参考识别结果中未包括参考方向信息的情况下,也无需进行矫正即可将参考方向信息确定为对象识别结果。
通过本申请的上述实施方式,采用获取参考信号灯对象的对象特征,并根据对象特征进行特征解析,得到参考识别结果,其中,参考识别结果指示参考信号灯对象中包括的参考颜色信息和/或方向信息;在旋转角参数处于目标角度区间,且参考识别结果中包括参考方向信息的情况下,根据旋转角参数对参考方向信息进行矫正,得到目标方向信息;根据目标方向信息确定对象识别结果。通过旋转的方式对偏移角度不同的交通信号灯对象进行识别,无需通过不同的模型对不同偏移角度的交通信号灯对象进行识别,既解决了现有技术中的识别方法存在的识别成本高的问题,节省了成本,又无需在交通信号灯对象识别过程中从多个识别模型(分类模型)中选择与待识别的交通信号灯对象对应的识别模型(分类模型),解决了现有技术中的识别方法存在的识别效率低的问题,提高了交通信号灯的识别效率。
作为一种可选的实施方式,上述获取参考信号灯对象的对象特征,并根据对象特征进行特征解析,得到参考识别结果之后,还包括:
S1,在旋转角参数未处于目标角度区间的情况下,根据参考识别结果确定对象识别结果;
S2,在旋转角参数处于目标角度区间,且参考识别结果中不包括参考方向信息的情况下,根据参考识别结果确定对象识别结果。
可以理解的是,上述S1中,在旋转角参数未处于目标角度区间的情况下,无需对参考识别结果中的参考方向信息进行矫正,可以直接将参考识别结果确定为对象识别结果,例如,目标角度区间为,那么交通信号灯对象的旋转角参数在的情况下,可以直接将参考识别结果确定为对象识别结果。
上述S2中,在旋转角参数处于目标角度区间,但参考识别结果中不包括参考方向信息的情况下,也无需进行矫正操作,可以直接将参考识别结果确定为对象识别结果。例如,交通信号灯对象中仅包括一个指示灯,参考识别结果中该指示灯的颜色为红色(即红灯),例如图4中的(d)图和图4中的(e)图、图5中的(b)图、图6中的(c)图和图6中的(d)图以及图7中的(c)图,那么此时,无论交通信号灯的旋转角参数是否为零,都可以直接将参考识别结果确定为对象识别结果。
通过本申请的上述实施方式,通过在旋转角参数未处于目标角度区间的情况下,根据参考识别结果确定对象识别结果;在旋转角参数处于目标角度区间,且参考识别结果中不包括参考方向信息的情况下,根据参考识别结果确定对象识别结果。充分考虑交通信号灯对象的旋转角参数范围以及参考方向信息与参考识别结果之间的关系,从而根据交通信号灯对象的旋转角参数以及参考识别结果中的参考方向信息,准确确定与交通信号灯对象对应的对象识别结果,解决了现有技术中的交通信号灯识别方法存在的识别准确性低的问题,提高了交通信号灯识别结果的准确性。
作为一种可选的实施方式,上述在旋转角参数处于目标角度区间,且参考识别结果中包括参考方向信息的情况下,根据旋转角参数对参考方向信息进行矫正,得到目标方向信息包括:
重复如下步骤,直至遍历参考信号灯对象中的每一个信号灯子对象,其中,参考信号灯对象中包括至少一个信号灯子对象,信号灯子对象用于指示对应车道上的行驶对象的行驶状态:
S1,获取一个信号灯子对象作为当前子对象;
S2,根据旋转角参数,获取与当前子对象匹配的目标子对象所指示的目标方向信息,其中,当前子对象为对目标子对象根据旋转角参数执行旋转处理得到的信号灯子对象。
上述信号灯子对象即交通信号灯对象中的指示灯,上述交通信号灯对象中可以包括一个信号灯子对象,也可以包括多个信号灯子对象,为了准确确定对应车道上的行驶对象的行驶状态,在交通信号灯对象中包括多个信号灯子对象的情况下,可以对交通信号灯对象中包括的多个信号灯子对象进行遍历,从而确定与对应车道上的形式对象对应的信号灯子对象。例如,在行驶对象行驶在左侧车道时,可以通过遍历的方式确定与左侧车道对应的信号灯子对象;在行驶对象行驶在中间车道时,可以通过遍历的方式确定与中间车道对应的信号灯子对象;在行驶对象行驶在右侧车道时,可以通过遍历的方式确定与右侧车道对应的信号灯子对象。在准确确定与对应车道上的行驶对象对应的信号灯子对象的情况下,可以根据信号灯子对象的旋转角参数等为行驶对象确定准确的行驶方向。
通过本申请的上述实施方式,采用:重复如下步骤,直至遍历参考信号灯对象中的每一个信号灯子对象,其中,参考信号灯对象中包括至少一个信号灯子对象,信号灯子对象用于指示对应车道上的行驶对象的行驶状态;获取一个信号灯子对象作为当前子对象;根据旋转角参数,获取与当前子对象匹配的目标子对象所指示的目标方向信息,其中,当前子对象为对目标子对象根据旋转角参数执行旋转处理得到的信号灯子对象。解决了相关技术中通过对交通信号灯对象中的所有信号灯子对象进行识别得到与所有信号灯子对象各自对应的识别结果之后,再由驾驶人员自主选择与行驶对象对应的识别结果导致的识别结果与对应车道的行驶对象不匹配的问题,提高了确定与对应车道的行驶对象对应的信号灯子对象的识别结果的准确性。
作为一种可选的实施方式,上述获取参考信号灯对象的对象特征,并根据对象特征进行特征解析,得到参考识别结果包括:
S1,根据对象特征进行特征解析,得到颜色特征对应的颜色特征值以及与亮度特征对应的亮度特征值,其中,对象特征中包括颜色特征和亮度特征;
S2,根据颜色特征值和亮度特征值确定参考识别结果。
需要说明的是,上述S1中的颜色特征值用于指示参考信号灯对象的颜色,上述亮度特征值用于指示:参考信号灯对象所指示的信号灯的亮度。上述颜色特征值的确定方式可以是基于彩色视觉(color vision)确定,彩色视觉是一种生物体或机器基于物体反射,所发出或透过的光的波长(或频率)以区分物体的能力。颜色可以以不同的方式被测量和量化例如上述得到的与颜色特征对应的颜色特征值即是将颜色量化为颜色特征值(一个具体的数值)。彩色视觉常用的颜色空间也称为彩色模型(又称彩色空间或彩色系统)描述,彩色视觉的作用是在某些标准下通常可接受的方式对彩色加以说明。彩色模型是坐标系统和子空间的阐述。位于系统的每种颜色都有具体的点表示。
其中,上述所提到的RGB模型是依据人眼识别的颜色定义出的空间,可标识大部分颜色。以R(Red 红)、G(Green 绿)、B(Blue 蓝)三种基本色为基础,进行不同程度的叠加可以叠加出人肉眼可变的多种颜色。在进行交通信号灯识别时,可以通过RGB模式对交通信号灯进行具体的识别,采用RGB模式对交通信号灯进行识别时所需要的特征具体包括亮度、色调和饱和度,其中,亮度是指明暗程度;色调是指光的颜色,饱和度是指颜色的深浅程度。通过对亮度、色调以及饱和度的处理,可以准确确定交通信号灯对象的参考识别结果。
通过本申请的上述实施方式,采用根据对象特征进行特征解析,得到颜色特征对应的颜色特征值以及与亮度特征对应的亮度特征值,其中,对象特征中包括颜色特征和亮度特征;根据颜色特征值和亮度特征值确定参考识别结果。通过获取信号灯对象的颜色特征值和亮度特征值等基本信息的特征值,将需要通过肉眼判别的特征转换为可以进行计算和识别,且便于存储的数值特征,解决了现有技术中的识别方法存在的识别准确率低的问题,提高了对交通信号灯进行识别的准确率。
作为一种可选的实施方式,上述根据旋转角参数对交通信号灯对象进行旋转处理后,还包括:
S1,获取根据旋转角参数对交通信号灯对象进行旋转处理得到的第一信号灯对象;
S2,在第一信号灯对象的尺寸参数不满足识别条件的情况下,对第一信号灯对象进行尺寸调节,得到第二信号灯对象,其中,第二信号灯对象的尺寸参数满足识别条件。
需要说明的是,上述S2中的尺寸调节可以但不限于理解为将第一信号灯对象的尺寸(宽和高)调节为目标尺寸。
以下结合图5至图8对上述S1和S2中的过程进行详细描述:如图5中的(a)图至图5中的(d)图和图6中的(a)图至图6中的(e)图可以看出图中包括两个坐标系,由轴和轴组成的坐标系为上述与交通信号灯图像关联的图像坐标系(下文称为图像级笛卡尔坐标系),图像级笛卡尔坐标系的轴由左向右延伸,轴由下向上延伸;由x轴和y轴组成的坐标系为与交通信号灯对象对应的坐标系(下文称为目标级笛卡尔坐标系),在交通信号灯对象中包括多个指示灯对象(即交通信号灯中包括多个指示灯),且多个指示灯对象为横向排列的情况下,x轴是由红灯向绿灯方向延伸(如图7中的(a)图所示)。在交通信号灯对象中包括多个对象,且多个指示灯对象为竖向排列的情况下,或交通信号灯对象中包括一个指示灯对象的情况下,则保持x轴与宽平行(如图5中的(b)图、图6中的(c)图和图6中的(d)图,以及图7中的(b)图和图7中的(c)图)。
可以理解的是,上述图像级笛卡尔坐标系和目标级笛卡尔坐标系的创建方式仅仅是其中一种,具体坐标系的创建方式还可以是其他可以准确反映交通信号灯对象的偏移角度的创建方式,具体坐标系的创建方式本申请不做具体限定。
上述偏移角度即为图像级笛卡尔坐标系的轴与目标级笛卡尔坐标系的x轴之间的偏移角度。如图5中的(a)图、图5中的(b)图、图5中的(d)图均为交通信号灯对象的偏移角度()为0的交通信号灯对象。如图6中的(a)图至图6中的(e)图均为交通信号灯对象的偏移角度不为0的交通信号灯对象(可以理解为存在图像畸变、旋转等的特殊交通信号灯对象)。
上述S1中的步骤为根据旋转角参数对交通信号灯对象进行旋转的处理操作,如图8中的(a)图为横排的交通信号灯对象存在偏移角度,此时需要将横排的交通信号灯对象进行旋转,旋转的角度即为交通信号灯对象存在的偏移角度,经过旋转可以将交通信号灯对象调整为偏移角度为0的第一信号灯对象;在得到第一信号灯对象之后,执行上述S2,上述S2中进行的尺寸调节包括高度调节和宽度调节,具体如下:
高度调节(或称为高度归一化):将第一信号灯对象的高度调整为目标识别模型(交通信号灯识别(分类)模型)可以进行图像识别的目标高度;例如,目标识别模型在对图像进行识别时,要求图像的高度为30cm,而第一信号灯对象的高度为10cm或50cm,此时则需要进行如图8中的(a)图中的高度归一化操作,将第一信号灯对象的高度归一化为30cm。
宽度调节(或称为宽度归一化):将经过高度调节之后得到的图像(以下称为第一参考信号灯对象)进行宽度调节,具体包括两种情况:情况一:在第一参考信号灯对象的宽度大于目标宽度(目标识别模型可以进行图像识别的标准图像宽度)的情况下,保持高度不变,将第一参考信号灯对象的宽度调整为目标宽度。情况二:在第一参考信号灯对象的宽度小于目标宽度的情况下,执行以下操作:获取第一参考信号灯对象的图像面积以及与目标尺寸(上述目标宽度和目标高度)对应的预设面积,并确定图像面积与预设面积之间的面积差值;获取图像面积与面积差值相同,且图像高度与预设高度相同的填充图像,其中,填充图像的图像数据为预设图像数据(图像数据包括图像颜色以及图像像素等信息);将填充图像拼接到第一参考信号灯对象的结尾,得到第二参考信号灯对象,并将第二参考信号灯对象确定为第二信号灯对象。
如图8中的(b)图所示的是不存在偏移角度的指示灯对象竖向排列的交通信号灯对象,此时,虽然交通信号灯对象不存在偏移角度,但为了使目标识别模型可以准确且快速的识别交通信号灯对象,可以将交通信号灯对象旋转为目标识别模型允许的横排图像,然后再对横排图像进行尺寸调节(高度归一化和宽度归一化)操作,尺寸调节操作与上述图8中的(a)图进行尺寸调节的操作相同,本申请在此不再赘述。
通过本申请的上述实施方式,获取根据旋转角参数对交通信号灯对象进行旋转处理得到的第一信号灯对象;在第一信号灯对象的尺寸参数不满足识别条件的情况下,对第一信号灯对象进行尺寸调节,得到第二信号灯对象,其中,第二信号灯对象的尺寸参数满足识别条件。可以在采用目标识别模型进行图像识别之前,将交通信号灯对象处理为便于目标识别模型进行识别的图像,而无需在进行不同类型的交通信号灯识别时更换识别模型,从而提高了对交通信号灯对象进行识别的效率。
作为一种可选的实施方式,上述基于交通信号灯图像,获取交通信号灯对象的旋转角参数包括:
S1,根据交通信号灯对象中包括的信号灯子对象的排列方向确定交通信号灯对象的对象方向,其中,参考信号灯对象中包括至少一个信号灯子对象;
S2,根据对象方向与目标图像坐标轴之间的夹角确定旋转角参数。
需要说明的是,上述S1中的排列方向可以理解为交通信号灯对象的类型,即:排列方向为横向排列的交通信号灯子对象组成的图像即为横排交通信号灯对象,排列方向为竖向排列的交通信号灯子对象组成的图像即为竖排交通信号灯对象。上述信号灯子对象可以但不限于理解为参考信号灯图像中包括的信号灯图像(即,多个信号灯组成的图像中,与每个信号灯对应的图像区域)。排列方向不同的交通信号灯子对象所组成的交通信号灯对象的旋转角参数会有所不同,例如,竖向排列的交通信号灯子对象组成的交通信号灯对象的偏移角度为(逆时针偏移),横向排列的交通信号灯子对象组成的交通信号灯对象的偏移角度为(顺时针偏移),从图像上看,上述偏移角度不同的交通信号灯对象的偏移角度重叠在同一位置,但在上述两个交通信号灯对象中包括的交通信号灯子对象的排列方式不同的情况下,及时上述两个交通信号灯对象重合,二者的偏移角度也是不同的。
通过本申请的上述实施方式,根据交通信号灯对象中包括的信号灯子对象的排列方向确定交通信号灯对象的对象方向,其中,参考信号灯对象中包括至少一个信号灯子对象;根据对象方向与目标图像坐标轴之间的夹角确定旋转角参数。可以在交通信号灯子对象的排列方式不同的情况下,准确确定交通信号灯对象的旋转角参数。从而在对交通信号灯对象进行旋转时,可以准确确定交通信号灯对象的旋转角参数。
作为一种可选的实施方式,上述获取交通信号灯图像包括:
S1,获取当前车辆终端采集的道路图像;
S2,在道路图像中包括交通信号灯图像的情况下,对道路图像进行预处理,得到交通信号灯图像,其中,交通信号灯图像中,交通信号灯对象所占据的第一图像面积与交通信号灯图像的第二图像面积之间的比值大于或等于目标比值。
需要说明的是,上述道路图像为车辆终端上的采集装置实时采集到的道路图像,该道路图像存在两种情况:情况一:道路图像包括交通信号灯图像(即上述S2),但实时采集到的道路图像会由于运动抖动、自然光、天气条件等各种因素的影响,而引入一定程度的干扰和噪声等不利因素,为了后续准确进行交通信号灯识别,此时需要对道路图像进行预处理,预处理的步骤包括图像均衡、图像增强以及图像去噪等,将图像的光纤均衡,突出关键信息;在对道路图像进行预处理之后,对道路图像进行截取。截取出道路图像中的交通信号灯图像进行后续操作。
情况二:道路图像不包括交通信号灯图像,对道路图像进行图像均衡、图像增强以及图像去噪等操作得到预处理后的道路图像,之后可以对预处理后的道路图像进行识别,判断道路图像中是否包括道路指示牌等标志信息,在道路图像中包括道路指示牌等标志信息的情况下,可以对指示牌上的指示信息进行获取,在指示信息为指示对应车道的行驶方向的情况下,识别指示信息中所指示的具体方向;在指示信息为文字信息的情况下,获取并识别指示牌上的指示信息,并对指示信息进行语义识别,判断指示信息所指示的具体文字含义,根据具体的文字含义进行相应的应对操作;例如:指示信息为“前方100米是学校,请减速慢行”,此时就可以对行驶对象的行驶速度进行控制;又如:指示信息为“前方施工,无法通行”,此时就可以控制行驶对象在允许掉头的情况下(例如:行驶对象附近无其他车辆),控制行驶对象掉头等等。
通过本申请的上述实施方式,获取当前车辆终端采集的道路图像;在道路图像中包括交通信号灯图像的情况下,对道路图像进行预处理,得到交通信号灯图像,其中,交通信号灯图像中,交通信号灯对象所占的第一图像面积与交通信号灯图像的第二面积之间的比值大于或等于目标比值。通过上述方式可以准确且完整的获取道路图像中包括的交通信号灯图像,从而可以准确对交通信号灯图像中包括的交通信号灯对象进行准确识别,得到准确的识别结果。
作为一种可选的实施方式,上述在目标识别模型中,根据参考信号灯对象以及旋转角参数进行对象识别,得到对象识别结果之后,还包括:
S1,获取对象识别结果所指示的目标车道上的行驶对象的参考行驶状态,其中,目标车道为当前车辆终端所在的车道;
S2,在当前车辆终端的当前行驶状态与参考行驶状态不匹配的情况下,根据对象识别结果生成行驶提示信息,其中,行驶提示信息用于提示变更当前车辆终端的行驶状态。
上述对象识别结果用于指示对应车道的行驶对象的参考行驶状态,例如,上述对象识别结果指示右侧车道(上述目标车道)的行驶对象的行驶状态是停车(例如红灯)。然后获取当前车辆终端的真实行驶状态(即上述当前行驶状态),判断当前行驶状态与参考行驶状态是否匹配,在不匹配的情况下(例如,上述参考行驶状态为停车,当前车辆终端的当前行驶状态为未停车的行驶状态),此时可以根据对象识别结果生成行驶提示信息或直接控制当前车辆终端改变当前行驶状态。
通过本申请的上述实施方式,通过获取对象识别结果所指示的目标车道上的行驶对象的参考行驶状态,其中,目标车道为当前车辆终端所在的车道;在当前车辆终端的当前行驶状态与参考行驶状态不匹配的情况下,根据对象识别结果生成行驶提示信息,其中,行驶提示信息用于提示变更当前车辆终端的行驶状态。可以在当前车辆终端车辆未按照与对象识别结果指示的参考行驶状态进行行驶的情况下,即使提示或及时控制当前车辆终端改变当前行驶状态,使当前车辆终端始终按照正确的行驶状态行驶。
以下结合图9对上述交通信号灯识别方法的具体实施步骤进行详细说明:
S902,获取当前道路图像并进行裁剪:获取实时道路图像,并在道路图像中包括交通信号灯图像的情况下,裁剪出交通信号灯图像。
需要说明的是,上述在对道路图像进行裁剪之前,可以对道路图像进行预处理,以增强道路图像中所包括的交通信号灯图像的显示效果,裁剪交通信号灯图像时,可以裁剪成统一尺寸的交通信号灯图像,例如尺寸大小为1280*960pixels。
S904,将裁剪后的图像输入基于深度学习网络的交通信号灯的目标检测模型进行
交通信号灯的检测,并输出相应的位姿信息:将S902中裁剪后的交通信号灯图像输入交通
信号灯目标检测模型,进而获得待识别交通信号灯的位姿信息,其中,位姿信息包括坐标系
的中心点坐标(C_X,C_Y)(上述图像级笛卡尔坐标系与目标级笛卡尔坐标系的中心点坐标
相同)、待识别交通信号灯的宽度(W)信息、高度(H)信息、旋转角信息()以及是否存在遮挡
(occlusion)。
需要说明的是,上述中心点坐标是基于图像坐标系的坐标原点的坐标,宽度(W)和
高度(H)分别为目标物横向、纵向的像素值,如上述图5至图6所示的是偏移角度可以理解
为:基于(C_X,C_Y)为坐标原点,建立的目标笛卡尔坐标系中的目标笛卡尔坐标系的x轴相
对于图像笛卡尔坐标系的轴的偏移角度,其中,规定基于(C_X,C_Y)为坐标原点建立的目
标笛卡尔坐标系中,x轴是由红灯向绿灯方向延伸。特别地,对于单个信号灯的情况,则保持
x轴与交通信号灯对象的宽保持平行,具体如图7所示。基于此,常规交通信号灯对象的偏移
角度如图5所示,特殊交通信号灯对象的偏移角度如图6所示。
S906,通过交通信号灯的位姿信息对待识别的交通信号灯进行归一化处理(包括上述旋转操作和尺寸调整操作),即把图像归一化到固定宽高(W,H)和角度();
通过S904中获得的交通信号灯对象的位姿信息对待识别目标进行归一化处理,其中,归一化处理包括旋转角度归一化和尺寸归一化两个部分,具体地:旋转角度归一化,是根据S904得到的位姿信息,获得交通信号灯对象并将交通信号灯对象旋转至统一角度(例如)得到上述第一信号灯对象;尺寸归一化(包括高度归一化和宽度归一化,高度归一化时将旋转后的交通信号灯对象的高度调整至统一高度;宽度归一化在保持宽高比的情况下进行归一化宽度时存在两种情况。情况一:当宽度不足时,会对图像进行填充;情况二:当宽度超出时,会对目标图像的宽度进行压缩),是将交通信号灯对象通过特定的缩放方式进行缩放,从而得到目标尺寸的目标图像(即上述第二信号灯对象)。具体尺寸归一化方式为:获取目标尺寸(目标宽度W0和目标高度H0)以及交通信号灯对象的尺寸(宽度W1,高度H1),进一步地,根据R=H0/H1计算缩放系数(即交通信号灯对象的尺寸与目标尺寸之间的缩放系数);进一步地,根据缩放系数对第一信号灯对象缩放得到第二信号灯对象,具体缩放公式为:H2=H1×R;W2=W1×R;其中,H2表示尺寸归一化后的交通信号灯对象的高度,且H2=H0,W2表示尺寸归一化后的交通信号灯对象的宽度。
进一步地,若W2≥W0,则将交通信号灯对象的宽度W2压缩至W0,若W2<W0,则对交通信号灯对象缺少的部分(即W0与W2的差值部分)进行填充(padding),以此确保得到尺寸大小为(H0,W0)的交通信号灯图像。
可以理解的是,上述对交通信号灯对象进行尺寸归一化的处理操作是根据交通信号灯对象的原始高度信息和目标尺寸中的高度信息确定缩放系数,然后将交通信号灯对象的原始宽度按照此缩放系数进行缩放得到目标尺寸的交通信号灯对象,在将宽度按照缩放系数进行缩放的过程中,若原始宽度大于目标宽度,则将宽度原始宽度压缩至目标宽度;若原始宽度小于目标宽度,则对缺少的宽度部分进行补充。
S908,将归一化处理后的交通信号灯图像输入交通信号灯识别模型,并获取当前交通信号灯目标的参考识别结果。
需要说明的是,上述S908中的交通信号灯识别模型也称交通信号灯分类模型,(如图10所示的分类模型),上述S908中的步骤是基于S906得到的目标图像输入交通信号灯识别模型进行识别,并得到模型的识别结果,具体地,可以采用如下表1所示的分类方式对信号灯进行分类,其中,表1中的r表示红灯,y表示黄灯,g表示绿灯,n表示未亮起。在识别到如表1所示的多种信号灯中的其中一种信号灯的情况下,为了正确识别出的信号灯的信息,可以给如表1所示的表示信号灯的显示情况的字母设置对应的值,例如:若识别到的是圆形信号灯(如表1所示的圆形(C))且为红灯的情况下,该信号灯可表示为:C1000,其中,C1000中的C表示为圆形信号灯,1表示该信号灯为红灯,第一个0表示该信号灯未亮绿灯,第二个0表示该信号灯未亮黄灯,第三个0表示该信号灯不是未亮起的信号灯;又如:若识别到的是箭头形信号灯(如表1所示的向左箭头(L))且为绿灯的情况下,该信号灯可表示为:L0010,其中,L0010中的L表示为向左箭头信号灯,第一个0表示该信号灯未亮红灯,第二个0表示该信号灯未亮黄灯,1表示该信号灯为绿灯,第三个0表示该信号灯不是未亮起的信号灯。
表1
S910,将模型的识别结果进行后处理(结果映射),输出最终交通信号灯的目标识别结果。
需要说明的是,上述S910的后处理步骤是根据位姿信息中的旋转角信息指示的偏移角度(),将S908中得到的识别结果中部分存在语义变化的交通信号灯识别结果进行解析,得到最终交通信号灯的识别结果,即针对部分交通信号灯对象在旋转后得到的参考识别结果造成语义歧义的,会进一步结合旋转角信息对参考识别结果进行解析,从而得到真实的识别结果。
以下结合下表2(交通信号灯识别结果映射关系示例图)对是否需要对参考识别结果进行解析进行说明,假设定义以旋转角为,表2所示的旋转角即为上述目标角度区间:
表2
由表2可以看出,在旋转角信息指示的偏移角度(原始)在的情况下,在S908中得到的与交通信号灯类别对应的参考识别结果不存在语义歧义,无需对参考识别结果进行解析,在偏移角度在的情况下,在S908中得到的与交通信号灯类别对应的参考识别结果存在语义歧义,需要对参考识别结果进行解析,例如:在S908中的箭头型(向上箭头(U)、向左箭头(L)、向右箭头(R)、向下箭头(D)),在将交通信号灯对象旋转为偏移角度为语义发生变化并造成冲突。因此,需通过解析得到真实的识别结果,例如的绿色向左箭头在旋转后语义与的绿色向下箭头相同,基于此在S908的参考识别结果为绿色向下箭头,同时则会将其识别结果解析为绿色向左箭头。其他情况下的交通信号灯详细的解析关系如表2所示。
上述实施例的整个实现过程如图10所示,在获得交通信号灯对象之后经旋转得到参考信号灯对象,但交通信号灯对象原始对应的绿色向上(绿色的车道可通行信号灯)的信号灯经旋转变为了绿色向左的信号灯,在对交通信号灯进行识别时,识别到的参考识别结果是绿色向左(即左转绿色信号灯),之后需要根据角对参考识别结果进行解析,得到与交通信号灯对象对应的绿色向上的识别结果即为最终的目标识别结果。
通过本申请上述实施例,可以在交通信号灯检测阶段,利用检测模型进行检测获得信号灯目标的位姿信息,即中心点坐标、宽高值、旋转角信息,实现精确获取目标位姿信息,减少多余背景信息引入待识别目标;还可以在交通信号灯识别阶段,利用位姿信息,提取待识别目标并对其进行旋转,通过识别(分类)模型得到最终交通信号灯结果,实现交通信号灯的统一识别。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面,还提供了一种用于实施上述交通信号灯识别方法的交通信号灯识别装置。如图11所示,该装置包括:
第一获取单元1102,用于获取交通信号灯图像,其中,上述交通信号灯图像中包括待识别的交通信号灯对象,上述交通信号灯对象为上述交通信号灯图像中包括交通信号灯的图像区域;
第二获取单元1104,用于基于上述交通信号灯图像,获取上述交通信号灯对象的旋转角参数,并根据上述旋转角参数对上述交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,上述旋转角参数指示上述交通信号灯对象与目标图像坐标轴之间的偏移角度,上述目标图像坐标轴为与上述交通信号灯图像关联的图像坐标系中的坐标轴,上述参考信号灯对象与上述目标图像坐标轴之间的偏移角度小于或等于目标角度;
识别单元1106,用于在目标识别模型中,根据上述参考信号灯对象以及上述旋转角参数进行对象识别,得到对象识别结果,其中,上述对象识别结果指示上述交通信号灯对象中包括的颜色信息和/或方向信息。
根据本申请实施例的又一个方面,还提供了一种用于实施上述交通信号灯识别方法的电子设备,该电子设备可以是图12所示的终端设备或服务器。本实施例以该电子设备为例来说明。如图12所示,该电子设备包括存储器1202和处理器1204,该存储器1202中存储有计算机程序,且该存储器1202中可以但不限于包括上述交通信号灯识别装置中的第一获取单元1102、第二获取单元1104以及识别单元1106,该处理器1204被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,本领域普通技术人员可以理解,图12所示的结构仅为示意,电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图12并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图12中所示更多或者更少的组件(如网络接口等),或者具有与图12所示不同的配置。
其中,存储器1202可用于存储软件程序以及模块,如本申请实施例中的交通信号灯识别方法和装置对应的程序指令/模块,处理器1204通过运行存储在存储器1202内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的交通信号灯识别方法。存储器1202可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1202可进一步包括相对于处理器1204远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1202具体可以但不限于用于存储物品的样本特征与目标虚拟资源账号等信息。
可选地,上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1206包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1206为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1208,用于显示上述待处理的订单信息;和连接总线1210,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
根据本申请的一个方面,提供了一种计算机可读存储介质,计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述交通信号灯识别方面或者智能驾驶方面的各种可选实现方式中提供的交通信号灯识别方法。
可选地,在本实施例中,上述计算机可读存储介质可以被设置为存储用于执行以下步骤:
S1,获取交通信号灯图像,其中,上述交通信号灯图像中包括待识别的交通信号灯对象,上述交通信号灯对象为上述交通信号灯图像中包括交通信号灯的图像区域;
S2,基于上述交通信号灯图像,获取上述交通信号灯对象的旋转角参数,并根据上述旋转角参数对上述交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,上述旋转角参数指示上述交通信号灯对象与目标图像坐标轴之间的偏移角度,上述目标图像坐标轴为与上述交通信号灯图像关联的图像坐标系中的坐标轴,上述参考信号灯对象与上述目标图像坐标轴之间的偏移角度小于或等于目标角度;
S3,在目标识别模型中,根据上述参考信号灯对象以及上述旋转角参数进行对象识别,得到对象识别结果,其中,上述对象识别结果指示上述交通信号灯对象中包括的颜色信息和/或方向信息。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元独立存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (13)
1.一种交通信号灯识别方法,其特征在于,包括:
获取交通信号灯图像,其中,所述交通信号灯图像中包括待识别的交通信号灯对象,所述交通信号灯对象为所述交通信号灯图像中包括交通信号灯的图像区域;
基于所述交通信号灯图像,获取所述交通信号灯对象的旋转角参数,并根据所述旋转角参数对所述交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,所述旋转角参数指示所述交通信号灯对象与目标图像坐标轴之间的偏移角度,所述目标图像坐标轴为与所述交通信号灯图像关联的图像坐标系中的坐标轴,所述参考信号灯对象与所述目标图像坐标轴之间的偏移角度小于或等于目标角度;
在目标识别模型中,根据所述参考信号灯对象以及所述旋转角参数进行对象识别,得到对象识别结果,其中,所述对象识别结果指示所述交通信号灯对象中包括的颜色信息和/或方向信息。
2.根据权利要求1所述的方法,其特征在于,所述在目标识别模型中,根据所述参考信号灯对象以及所述旋转角参数进行对象识别,得到对象识别结果,包括:
获取所述参考信号灯对象的对象特征,并根据所述对象特征进行特征解析,得到参考识别结果,其中,所述参考识别结果指示所述参考信号灯对象中包括的参考颜色信息和/或参考方向信息;
在所述旋转角参数处于目标角度区间,且所述参考识别结果中包括所述参考方向信息的情况下,根据所述旋转角参数对所述参考方向信息进行矫正,得到目标方向信息;
根据所述目标方向信息确定所述对象识别结果。
3.根据权利要求2所述的方法,其特征在于,所述获取所述参考信号灯对象的对象特征,并根据所述对象特征进行特征解析,得到参考识别结果之后,还包括:
在所述旋转角参数未处于目标角度区间的情况下,根据所述参考识别结果确定所述对象识别结果;
在所述旋转角参数处于目标角度区间,且所述参考识别结果中不包括所述参考方向信息的情况下,根据所述参考识别结果确定所述对象识别结果。
4.根据权利要求2所述的方法,其特征在于,所述在所述旋转角参数处于目标角度区间,且所述参考识别结果中包括所述参考方向信息的情况下,根据所述旋转角参数对所述参考方向信息进行矫正,得到目标方向信息包括:
重复如下步骤,直至遍历所述参考信号灯对象中的每一个信号灯子对象,其中,所述参考信号灯对象中包括至少一个所述信号灯子对象,所述信号灯子对象用于指示对应车道上的行驶对象的行驶状态:
获取一个所述信号灯子对象作为当前子对象;
根据所述旋转角参数,获取与所述当前子对象匹配的目标子对象所指示的所述目标方向信息,其中,所述当前子对象为对所述目标子对象根据所述旋转角参数执行所述旋转处理得到的所述信号灯子对象。
5.根据权利要求2所述的方法,其特征在于,所述获取所述参考信号灯对象的对象特征,并根据所述对象特征进行特征解析,得到参考识别结果包括:
根据所述对象特征进行特征解析,得到颜色特征对应的颜色特征值以及与亮度特征对应的亮度特征值,其中,所述对象特征中包括所述颜色特征和所述亮度特征;
根据所述颜色特征值和所述亮度特征值确定所述参考识别结果。
6.根据权利要求1所述的方法,其特征在于,所述基于所述交通信号灯图像,获取所述交通信号灯对象的旋转角参数包括:
获取所述交通信号灯图像的位姿信息以及遮挡信息,其中,所述位姿信息包括位置参数、尺寸参数以及所述旋转角参数,所述位置参数指示所述交通信号灯对象的对象中心点的位置,所述尺寸参数指示所述交通信号灯对象的所占据的图像面积,所述遮挡信息指示所述交通信号灯对象的遮挡状态。
7.根据权利要求6所述的方法,其特征在于,所述根据所述旋转角参数对所述交通信号灯对象进行旋转处理后,还包括:
获取根据所述旋转角参数对所述交通信号灯对象进行旋转处理得到的第一信号灯对象;
在所述第一信号灯对象的所述尺寸参数不满足识别条件的情况下,对所述第一信号灯对象进行尺寸调节,得到第二信号灯对象,其中,所述第二信号灯对象的所述尺寸参数满足所述识别条件。
8.根据权利要求6所述的方法,其特征在于,所述基于所述交通信号灯图像,获取所述交通信号灯对象的旋转角参数包括:
根据所述交通信号灯对象中包括的信号灯子对象的排列方向确定所述交通信号灯对象的对象方向,其中,所述参考信号灯对象中包括至少一个所述信号灯子对象;
根据所述对象方向与所述目标图像坐标轴之间的夹角确定所述旋转角参数。
9.根据权利要求1所述的方法,其特征在于,所述获取交通信号灯图像包括:
获取当前车辆终端采集的道路图像;
在所述道路图像中包括所述交通信号灯图像的情况下,对所述道路图像进行预处理,得到所述交通信号灯图像,其中,所述交通信号灯图像中,所述交通信号灯对象所占据的第一图像面积与所述交通信号灯图像的第二图像面积之间的比值大于或等于目标比值。
10.根据权利要求1所述的方法,其特征在于,所述在目标识别模型中,根据所述参考信号灯对象以及所述旋转角参数进行对象识别,得到对象识别结果之后,还包括:
获取所述对象识别结果所指示的目标车道上的行驶对象的参考行驶状态,其中,所述目标车道为当前车辆终端所在的车道;
在所述当前车辆终端的当前行驶状态与所述参考行驶状态不匹配的情况下,根据所述对象识别结果生成行驶提示信息,其中,所述行驶提示信息用于提示变更所述当前车辆终端的行驶状态。
11.一种交通信号灯识别装置,其特征在于,包括:
第一获取单元,用于获取交通信号灯图像,其中,所述交通信号灯图像中包括待识别的交通信号灯对象,所述交通信号灯对象为所述交通信号灯图像中包括交通信号灯的图像区域;
第二获取单元,用于基于所述交通信号灯图像,获取所述交通信号灯对象的旋转角参数,并根据所述旋转角参数对所述交通信号灯对象进行旋转处理,得到参考信号灯对象,其中,所述旋转角参数指示所述交通信号灯对象与目标图像坐标轴之间的偏移角度,所述目标图像坐标轴为与所述交通信号灯图像关联的图像坐标系中的坐标轴,所述参考信号灯对象与所述目标图像坐标轴之间的偏移角度小于或等于目标角度;
识别单元,用于在目标识别模型中,根据所述参考信号灯对象以及所述旋转角参数进行对象识别,得到对象识别结果,其中,所述对象识别结果指示所述交通信号灯对象中包括的颜色信息和/或方向信息。
12.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序被处理器运行时执行权利要求1至10任一项中所述的方法。
13.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至10任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311580341.6A CN117292360B (zh) | 2023-11-24 | 2023-11-24 | 交通信号灯识别方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311580341.6A CN117292360B (zh) | 2023-11-24 | 2023-11-24 | 交通信号灯识别方法和装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117292360A true CN117292360A (zh) | 2023-12-26 |
CN117292360B CN117292360B (zh) | 2024-02-09 |
Family
ID=89252087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311580341.6A Active CN117292360B (zh) | 2023-11-24 | 2023-11-24 | 交通信号灯识别方法和装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117292360B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020603A (zh) * | 2012-12-14 | 2013-04-03 | 上海交通大学 | 基于颜色空间及选择投票机制夜间信号灯检测与识别方法 |
CN104574960A (zh) * | 2014-12-25 | 2015-04-29 | 宁波中国科学院信息技术应用研究院 | 一种交通灯识别方法 |
CN106023622A (zh) * | 2016-07-22 | 2016-10-12 | 百度在线网络技术(北京)有限公司 | 一种确定红绿灯识别系统识别性能的方法和装置 |
WO2016181519A1 (ja) * | 2015-05-13 | 2016-11-17 | 日産自動車株式会社 | 矢印信号機検出装置及び矢印信号機検出方法 |
KR20160148850A (ko) * | 2015-06-17 | 2016-12-27 | 한밭대학교 산학협력단 | 교통신호등의 특징점 추출에 기초한 교통신호등의 검출과 인식 방법 |
CN107891808A (zh) * | 2016-09-30 | 2018-04-10 | 比亚迪股份有限公司 | 行车提醒方法、装置及车辆 |
CN110619307A (zh) * | 2019-09-18 | 2019-12-27 | 广州文远知行科技有限公司 | 交通灯状态确定方法、装置、设备和存储介质 |
CN112327855A (zh) * | 2020-11-11 | 2021-02-05 | 东软睿驰汽车技术(沈阳)有限公司 | 自动驾驶车辆的控制方法、装置和电子设备 |
CN113343873A (zh) * | 2021-06-17 | 2021-09-03 | 湖北亿咖通科技有限公司 | 信号灯识别方法、装置、设备、介质及产品 |
CN114241438A (zh) * | 2021-11-26 | 2022-03-25 | 电子科技大学 | 一种基于先验信息的交通信号灯快速精确的识别方法 |
CN114604268A (zh) * | 2022-02-24 | 2022-06-10 | 福思(杭州)智能科技有限公司 | 一种车辆行驶意图预测方法、装置、电子设备和车辆 |
CN114639085A (zh) * | 2022-02-28 | 2022-06-17 | 广州赛特智能科技有限公司 | 交通信号灯识别方法、装置、计算机设备和存储介质 |
KR20220111608A (ko) * | 2021-02-02 | 2022-08-09 | 현대모비스 주식회사 | 최근접 신호등을 감지하여 차량을 제어하는 방법 및 시스템 |
CN115273032A (zh) * | 2022-07-29 | 2022-11-01 | 腾讯科技(深圳)有限公司 | 交通标志识别方法、装置、设备及介质 |
CN115393827A (zh) * | 2022-08-30 | 2022-11-25 | 重庆长安汽车股份有限公司 | 交通信号灯状态识别方法、系统、电子设备及存储介质 |
CN115601730A (zh) * | 2022-11-02 | 2023-01-13 | 智道网联科技(北京)有限公司(Cn) | 识别交通灯的方法、装置和电子设备 |
-
2023
- 2023-11-24 CN CN202311580341.6A patent/CN117292360B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020603A (zh) * | 2012-12-14 | 2013-04-03 | 上海交通大学 | 基于颜色空间及选择投票机制夜间信号灯检测与识别方法 |
CN104574960A (zh) * | 2014-12-25 | 2015-04-29 | 宁波中国科学院信息技术应用研究院 | 一种交通灯识别方法 |
WO2016181519A1 (ja) * | 2015-05-13 | 2016-11-17 | 日産自動車株式会社 | 矢印信号機検出装置及び矢印信号機検出方法 |
KR20160148850A (ko) * | 2015-06-17 | 2016-12-27 | 한밭대학교 산학협력단 | 교통신호등의 특징점 추출에 기초한 교통신호등의 검출과 인식 방법 |
CN106023622A (zh) * | 2016-07-22 | 2016-10-12 | 百度在线网络技术(北京)有限公司 | 一种确定红绿灯识别系统识别性能的方法和装置 |
CN107891808A (zh) * | 2016-09-30 | 2018-04-10 | 比亚迪股份有限公司 | 行车提醒方法、装置及车辆 |
CN110619307A (zh) * | 2019-09-18 | 2019-12-27 | 广州文远知行科技有限公司 | 交通灯状态确定方法、装置、设备和存储介质 |
CN112327855A (zh) * | 2020-11-11 | 2021-02-05 | 东软睿驰汽车技术(沈阳)有限公司 | 自动驾驶车辆的控制方法、装置和电子设备 |
KR20220111608A (ko) * | 2021-02-02 | 2022-08-09 | 현대모비스 주식회사 | 최근접 신호등을 감지하여 차량을 제어하는 방법 및 시스템 |
CN113343873A (zh) * | 2021-06-17 | 2021-09-03 | 湖北亿咖通科技有限公司 | 信号灯识别方法、装置、设备、介质及产品 |
CN114241438A (zh) * | 2021-11-26 | 2022-03-25 | 电子科技大学 | 一种基于先验信息的交通信号灯快速精确的识别方法 |
CN114604268A (zh) * | 2022-02-24 | 2022-06-10 | 福思(杭州)智能科技有限公司 | 一种车辆行驶意图预测方法、装置、电子设备和车辆 |
CN114639085A (zh) * | 2022-02-28 | 2022-06-17 | 广州赛特智能科技有限公司 | 交通信号灯识别方法、装置、计算机设备和存储介质 |
CN115273032A (zh) * | 2022-07-29 | 2022-11-01 | 腾讯科技(深圳)有限公司 | 交通标志识别方法、装置、设备及介质 |
CN115393827A (zh) * | 2022-08-30 | 2022-11-25 | 重庆长安汽车股份有限公司 | 交通信号灯状态识别方法、系统、电子设备及存储介质 |
CN115601730A (zh) * | 2022-11-02 | 2023-01-13 | 智道网联科技(北京)有限公司(Cn) | 识别交通灯的方法、装置和电子设备 |
Non-Patent Citations (5)
Title |
---|
HOANG TRAN NGOC 等: "Optimizing YOLO Performance for Traffic Light Detection and End-to-End Steering Control for Autonomous Vehicles in Gazebo-ROS2", INTERNATIONAL JOURNAL OF ADVANCED COMPUTER SCIENCE AND APPLICATIONS, vol. 14, no. 7, pages 475 - 484 * |
ZUMRA MALIK 等: "Detection and Recognition of Traffic Signs from Road Scene Images", 2014 12TH INTERNATIONAL CONFERENCE ON FRONTIERS OF INFORMATION TECHNOLOGY, pages 330 - 335 * |
曾杨帆 等: "基于先验信息的交通信号灯识别方法", 汽车实用技术, vol. 47, no. 21, pages 37 - 42 * |
朱梦超: "视频交通信号灯识别算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, vol. 2016, no. 4, pages 138 - 1301 * |
范波: "智能车载监控系统关键技术研究", 中国优秀硕士学位论文全文数据库 信息科技辑, vol. 2013, no. 7, pages 140 - 588 * |
Also Published As
Publication number | Publication date |
---|---|
CN117292360B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112912920B (zh) | 用于2d卷积神经网络的点云数据转换方法和系统 | |
CN109948661B (zh) | 一种基于多传感器融合的3d车辆检测方法 | |
CN108229366B (zh) | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 | |
US9122948B1 (en) | System and method for evaluating the perception system of an autonomous vehicle | |
CN110147706A (zh) | 障碍物的识别方法和装置、存储介质、电子装置 | |
CN110678872A (zh) | 通过使用神经网络图像处理的、作为3d限界框的直接载具检测 | |
JP2019096072A (ja) | 物体検出装置、物体検出方法およびプログラム | |
US10824885B2 (en) | Method and apparatus for detecting braking behavior of front vehicle of autonomous vehicle | |
CN112097732A (zh) | 一种基于双目相机的三维测距方法、系统、设备及可读存储介质 | |
CN112365549B (zh) | 车载相机的姿态校正方法、装置和存储介质及电子装置 | |
WO2014027478A1 (ja) | 道路環境認識装置 | |
CN112654998B (zh) | 一种车道线检测方法和装置 | |
CN112802092B (zh) | 一种障碍物感知方法、装置以及电子设备 | |
CN114995414A (zh) | 一种墙面质量检测机器人及方法、电子设备、存储介质 | |
CN109583312A (zh) | 车道线识别方法、装置、设备及存储介质 | |
CN109523570B (zh) | 运动参数计算方法及装置 | |
CN111950428A (zh) | 目标障碍物识别方法、装置及运载工具 | |
CN116968758B (zh) | 一种基于三维场景表示的车辆控制方法及装置 | |
KR101651061B1 (ko) | 차선인식 방법 및 장치 | |
CN117292360B (zh) | 交通信号灯识别方法和装置、存储介质及电子设备 | |
US20210407117A1 (en) | System and method for self-supervised monocular ground-plane extraction | |
US20220414917A1 (en) | Method and apparatus for obtaining 3d information of vehicle | |
US20220309693A1 (en) | Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation | |
CN112364693B (zh) | 基于双目视觉的障碍识别方法、装置、设备及存储介质 | |
CN115236696A (zh) | 确定障碍物的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |