CN114972731A - 交通灯检测识别方法及装置、移动工具、存储介质 - Google Patents

交通灯检测识别方法及装置、移动工具、存储介质 Download PDF

Info

Publication number
CN114972731A
CN114972731A CN202210530117.5A CN202210530117A CN114972731A CN 114972731 A CN114972731 A CN 114972731A CN 202210530117 A CN202210530117 A CN 202210530117A CN 114972731 A CN114972731 A CN 114972731A
Authority
CN
China
Prior art keywords
lamp panel
panel position
traffic light
frame
frame information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210530117.5A
Other languages
English (en)
Inventor
刘涛
张放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhixing Technology Co ltd
Original Assignee
Wuhan Zhixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhixing Technology Co ltd filed Critical Wuhan Zhixing Technology Co ltd
Priority to CN202210530117.5A priority Critical patent/CN114972731A/zh
Publication of CN114972731A publication Critical patent/CN114972731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开一种交通灯检测识别方法及装置，方法包括将待识别的采集图像输入预先训练好的目标检测模型，以获取对所述采集图像的预测信息；根据所述预测信息确定对所述采集图像中的交通灯的识别结果，其中所述识别结果包括交通灯对应的灯盘位置框信息及其颜色状态。本发明的方案采用区域特征组合方式进行交通灯检测识别方法的设计和优化，能够在基于图像检测识别交通信号灯的算法基础上，兼顾高召回和交通信号灯的检测识别准确度，降低误检和漏检。

Description

交通灯检测识别方法及装置、移动工具、存储介质
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种交通灯检测识别方法、交通灯检测识别装置、以及移动工具和存储介质。
背景技术
在自动或半自动驾驶领域，行驶车辆的感知能力是实现安全可靠的自动或半自动驾驶决策的重要基础和依据。目前，车辆一般通过配备包括激光雷达、超声波雷达、摄像头等在内的多个传感器，来为自车提供道路感知能力。其中，摄像头为自动或半自动驾驶系统提供视觉感知能力，通过对摄像头采集的图像数据进行采集分析，可以实现为下游决策控制提供可靠的状态依据。
而在自动或半自动驾驶系统中，自动或半自动驾驶车辆对交通灯信号及时准确的检测识别是下游决策控制的一项重要依据，是确保自车安全平稳合规地在道路上通行的保障。伴随着基于深度学习的目标检测方法的逐渐成熟，采用诸类方法解决交通灯检测识别问题已经逐渐发展成为主流趋势。而如何确保交通灯检测识别模型实时且准确的输出信号状态，特别是如何避免因图像误检、漏检问题带来的对信号状态可靠性的不良影响，以及如何避免因夜晚交通灯、灯框分辨度差、路灯、车大灯、车尾灯等干扰因素导致的交通灯误检率高等缺陷，已经成为目前业界在不断探索和亟待解决的新难题。
发明内容
本发明实施例提供一种交通灯检测识别方案，以解决现有技术中采用的交通灯检测识别模型准确率不高且容易发生漏检和误检的问题。
第一方面，本发明实施例提供一种交通灯检测识别方法，其包括
将待识别的采集图像输入预先训练好的目标检测模型，以获取对所述采集图像的预测信息，其中，所述目标检测模型是基于至少两种图像特征相组合的方式训练得到，所述至少两种图像特征包括用于表征交通灯所处位置的灯盘位置框和用于表征感兴趣区域的区域框；
根据所述预测信息确定对所述采集图像中的交通灯的识别结果，其中所述识别结果包括交通灯对应的灯盘位置框信息及其颜色状态。
第二方面，本发明实施例提供一种交通灯识别检测装置，其包括
检测识别模块，用于将待识别的采集图像输入预先训练好的目标检测模型，以获取对所述采集图像的预测信息，其中，所述目标检测模型是基于至少两种图像特征相组合的方式训练得到，所述至少两种图像特征包括用于表征交通灯所处位置的灯盘位置框和用于表征感兴趣区域的区域框；
结果确定模块，用于根据所述预测信息确定对所述采集图像中的交通灯的识别结果，其中所述识别结果包括交通灯对应的灯盘位置框信息及其颜色状态。
第三方面，本发明实施例提供了另一种交通灯识别检测装置，其包括存储器，用于存储可执行指令；以及
处理器，用于执行存储器中存储的可执行指令，所述可执行指令在由所述处理器执行时实现本发明任一实施例的交通检测识别方法的步骤。
第四方面，本发明实施例提供了一种移动工具，其包括：根据本发明第三方面所述的交通灯识别检测装置。
第五方面，本发明提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例的交通检测识别方法的步骤。
第六方面，本发明提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的交通检测识别方法。
本发明实施例的有益效果在于：本发明实施例提供的方法通过在交通灯检测识别算法中引入了区域特征组合的概念，通过采用灯盘位置框和区域框两种区域特征相组合的方式进行交通灯检测识别方法的设计和优化，能够在基于图像检测识别交通信号灯的算法基础上，兼顾高召回和交通信号灯的检测识别准确度，降低误检和漏检，特别是对车辆后视镜、后尾灯、夜间非交通灯灯光等误检情况，均能通过区域特征组合方式进行误检规避，有助于为自动驾驶系统提供可靠的交通灯信号状态。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施方式的交通灯检测识别方法的流程图；
图2为本发明一实施方式的进行目标检测模型训练的方法流程图；
图3为本发明一实施方式的进行区域标注的效果展示图，图3A为未标注时的交通灯状况效果图，图3B为进行灯盘位置框标注后的效果图，图3C为在图3B的基础上继续进行区域框标注后的效果图；
图4为本发明一实施方式的对预测信息进行优化处理的方法流程图；
图5为本发明一实施方式的目标检测模型的网络结构示意图；
图6示意性地显示了本发明一实施方式的交通灯检测识别装置的原理框图；
图7为本发明另一实施方式的交通灯检测识别装置的原理框图；
图8为本发明一实施方式的移动工具的原理框图；
图9为本发明的交通灯检测识别装置的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例中的交通灯检测识别方法可以应用在交通灯检测识别装置中，以使得用户或自动驾驶设备能够利用交通灯检测识别装置来获取对交通灯的检测识别结果，以控制自动驾驶设备根据该识别结果执行相应的行驶动作。这些交通灯检测识别装置例如包括但不限于自动驾驶车辆上的检测识别器、自动驾驶车辆上的感知模块、智能平板、个人PC、计算机、云端服务器等。特别地，本发明实施例中的交通灯检测识别方法还可以直接应用在自动驾驶车辆等自动驾驶设备上，本发明对此不作限定。
图1示意性地显示了根据本发明一实施方式的交通灯检测识别方法，该方法的执行主体可以是机器人、自动驾驶车辆等设备上搭载的自动驾驶域控制器或计算系统，也可以是与机器人、自动驾驶车辆进行无线通信的云端服务器等，本发明实施例不对此进行限制。如图1所示，本发明实施例的方法包括：
步骤S10：将待识别的采集图像输入预先训练好的目标检测模型，以获取对所述采集图像的预测信息，其中，所述目标检测模型是基于至少两种图像特征相组合的方式训练得到，所述至少两种图像特征包括用于表征交通灯所处位置的灯盘位置框和用于表征感兴趣区域的区域框；
步骤S11：根据所述预测信息确定对所述采集图像中的交通灯的识别结果，其中所述识别结果包括交通灯对应的灯盘位置框信息及其颜色状态；
在步骤S10中，待识别的采集图像是指采集的需要对其进行交通灯检测识别的图像，其可以是从感知模块获取的实时图像，示例性地，可以为使用自动驾驶设备上的RGB摄像头采集的实时图像，可以通过直接从感知模块读取实时采集到的图像来获取到待识别的采集图像，以利用预先训练好的目标检测模型对输入的采集图像进行检测识别，以获取到对采集图像中的交通灯的预测信息。其中，目标检测模型所能够提供的检测识别能力是通过对其进行预先训练产生的。
作为一种优选实现例，在步骤S10中通过目标检测模型所获取到的预测信息可以实现为包括采集图像中的用于表征图像中的感兴趣区域的区域框信息、用于表征交通灯在采集图像中所处位置的灯盘位置框信息和用于表征灯盘位置框对应的交通灯的颜色的颜色状态。相应地，图2示意性地显示了本发明一种实施方式的用于训练得到能够提供该识别能力的目标检测模型的方法过程，如图2所示，在步骤S10中采用的目标检测模型，示例性地可以实现为通过以下方法训练得到：
步骤S101：通过在采集的图像中进行图像特征的标注形成训练样本数据，其中，图像特征包括基于图像中的各个交通灯的位置标注形成的灯盘位置框和根据预先定义的区域框划分条件对符合条件的一组灯盘位置框进行标注形成的区域框，所述训练样本数据包括各个图像对应的区域框信息、灯盘位置框信息及灯盘位置框对应的颜色状态；
步骤S102：利用所述训练样本数据对选定的网络模型进行训练，确定出所述网络模型的模型参数；
步骤S103：根据确定出的模型参数和选定的网络模型形成训练好的目标检测模型。
在步骤S101中，可以通过对采集的图像进行图像特征的标注来形成训练样本数据，具体地，其可以包括两个标注过程，即根据图像中的交通灯的位置进行的灯盘位置框的标注和根据灯盘位置框进行的区域框的标注。通过两个标注过程，本发明实施例不仅能够实现对交通灯灯盘位置的特征提取，还能够对灯盘位置进行区域划分以限定出感兴趣区域，从而实现对交通灯的灯盘位置和区域特征信息的融合，由此训练出的目标检测模型能够同时融合两种图像特征进行检测识别。由于灯盘组合特征相比单一的灯盘特征具有更好的稳定性，误检度相对检测单个灯盘要低的多，因此，本发明实施例训练出的目标检测模型能够通过对交通灯的灯盘位置和区域特征信息的组合利用，有效提高交通灯检测识别结果的准确率。示例性地，在采集的图像中进行位置框的标注具体可以实现为包括：首先判断图像中的交通灯灯盘数量是否超过两个，在超过两个时，对图像中的各交通灯灯盘分别标记灯盘位置框；在标记完灯盘位置框之后，接着再根据预先定义的区域框划分条件选取符合条件的一组灯盘位置框进行区域框标注，以将选取的符合条件的一组灯盘位置框添加至同一区域框中。作为一种优选实现例，标注的区域框可以定义为选取的符合条件的一组灯盘框的最小外接矩形框。示例性地，预先定义的区域框划分条件可以为将处于同一交通路口的车辆正前方的至少二个交通灯灯盘划分为一组，即在对这些交通灯灯盘进行完灯盘位置框标注后，就会将划分为一组的交通灯灯盘对应的灯盘位置框标注在同一区域框中，如选取该组交通灯灯盘对应的灯盘位置框的最小外接矩形框作为区域框进行标注。图3示意性地显示了进行区域标注的过程，如图3所示，在图3A中展示了某一图像中的交通灯状况，在该实例场景下，在交通灯路口采集的图像中包括有三个交通灯盘，每个交通灯盘对应标识一个交通灯，各个交通灯盘a是独立的，通过判断图像中交通灯灯盘数量，会首先对图像中的各交通灯灯盘a分别标记灯盘位置框b如图3B所示，通过标记灯盘位置框b就将每个交通灯盘a分别作为一个从图像中独立提取出的感兴趣特征；之后，会根据预先定义的区域框划分条件，将图像中已经标记的灯盘位置框b进行区域分类，将符合预设条件的灯盘位置框划分到同一个区域框之下，如图3C所示，即将三个灯盘位置框b均划分在同一区域框c，通过标记区域框c就将至少二个交通灯盘a进行了区域组合和将区域组合后的信息也提取为一个独立的感兴趣特征。由此就完成了对图像中的所有交通灯灯盘的特征提取，使得各个交通灯灯盘不但具有灯盘位置框的特征标签，而且还分别被添加到不同的区域框之下，以实现对交通灯灯盘的区域特征组合。而通过区域特征组合方式得到的训练样本数据就同时包括了各个图像对应的区域框信息、灯盘位置框信息及灯盘位置框对应的颜色状态。在步骤S102和S103中，利用通过区域组合方式得到的训练样本数据对预先选取的网络模型进行训练，就可以得到能够同时融合交通灯的灯盘位置和区域类别的目标检测模型。示例性地，由此训练出的目标检测模型是以采集的原始图像作为输入，以区域框信息、交通灯的灯盘位置框信息及其颜色状态作为预测信息输出的目标检测网络模型。
为了保证较优的模型训练效果，示例性地，在步骤S101中训练样本数据的数据源，即采集的用以通过标注处理形成训练样本数据的图像具体可以是在开放场景中使用RGB摄像头采集的分辨率不低于720P的图像，图像采集环境条件包括白天和夜间，且无明确遮挡数据。更优地，在进行标注前，还可以对采集的图像先进行预处理以增强样本数据的多样性和丰富性，进而保证训练出的目标检测模型的识别准确率，示例性地，预处理可以实现为包括图像左右旋转、图像90度旋转、图像自适应缩放、图像拼接等，具体地，可以利用上述预处理方式对选取的预设比例的图像数据进行随机操作，如随机选取图像数据中的一半数据，并对选取的图像数据分别进行以上四种操作中的任意一种或二种以上的组合处理，以用于增强数据丰富性。
作为另一种优选实施例，标注的区域框也可以定义为选取的符合条件的一组灯盘框的最小外接圆形框，只要能够实现对灯盘的位置和区域类型的特征组合，以通过组合特征来进一步提高识别结果的准确率即可，本发明实施例对区域框的具体形状不进行限制。
作为一种优选实施方式，本发明实施例的区域框的标注过程可以通过自动化计算来完成。示例性地，自动化计算过程可以为包括首先统计一张图像中的交通灯灯盘数量n，之后对该图像中的交通灯灯盘数量进行判断，若判断n>＝2，则计算当前n个灯盘是否近似在同一条直线上，若在一条直线上，则认为当前灯盘为一组，可通过n个灯盘的位置坐标和标注的灯盘位置框，计算出包围这n个灯盘的最小外接矩形，作为这个n个灯盘的区域框，并对这个n个灯盘进行区域框标注。更优地，在完成自动化计算过程后，还可以通过人工辅助来剔除错误标注项，从而完成整个区域框标注过程。通过自动化计算过程来进行区域框标注，能够大大提升标注速度，节省人力成本，提升训练样本数据的标签制作效率。
由此，通过预先进行模型训练形成能够提供特定功能服务的目标检测模型，在步骤S10中，就可以将实时获取的待识别的采集图像直接输入到训练好的目标检测模型中，以获取所期望的预测信息。示例性地，目标检测模型的输出的预测信息可以为如下的数据形式：灯盘位置框信息-红(Red)、灯盘位置框信息-黄(Yellow)、灯盘位置框信息-绿(Green)、灯盘位置框信息-黑(Black)、区域框信息(ROI)。其中，红(Red)、黄(Yellow)、绿(Green)和黑(Black)为各个灯盘位置框对应的交通灯的当前的颜色状态，在具体实现例中，根据需求交通灯的颜色状态也可以是其他所期望的颜色，本发明实施例不视为对颜色状态类型的限制。示例性地，灯盘位置框信息和区域框信息具体可以实现为是能够用于表征灯盘位置框和区域框在采集图像中的位置范围的信息，例如可以为由坐标(x,y,w,h)表示的信息，其中x,y为灯盘位置框和区域框的左上角坐标，w,h为灯盘位置框和区域框的宽和高，由此以限定出灯盘位置框和区域框的位置区域范围，以准确标识一个灯盘和一个区域类别。在其他实施例中，灯盘位置框信息和区域框信息示例性地还可以为包括框的坐标和区域面积等，本发明实施例对此不进行限制。需要说明的是，本发明实施例输出的预测信息中的灯盘位置框的默认次序是以自车为坐标系从左向右依次排序形成的，该次序能够对应到采集图像中的坐标次序，因而能够准确地对应到采集图像中的每个交通灯的灯盘顺序和位置。
示例性地，本发明实施例中的目标检测模型可以为Yolo系列的网络、SSD、CenterNet、RCNN、Fast RCNN、Faster RCNN等目标检测网络中的任意一种用于目标检测的网络模型。其中，本发明实施例优选采用的目标检测模型为Yolov5网络模型。
由此，在本发明实施例中提供的采集图像中的区域框特征就能够与灯盘位置框特征实现融合，即区域框信息就能够用于表征灯盘位置框的区域类别，因此，在步骤S11中，本发明实施例就可以利用交通灯的灯组区域组合特征进行交通灯的检测识别的优化，如将区域框信息用作对灯盘位置框信息进行区域冗余交叉校验的校验信息，以通过区域组合特征的交叉校验来对目标检测模型输出的预测信息进行过滤筛选，规避误检和错检的情况，提高对交通灯的检测识别的准确率。
具体地，在本发明的其中一个实施例中，以预测信息包括所述采集图像中的区域框信息、灯盘位置框信息及灯盘位置框对应的颜色状态为例，在步骤S11中，在利用目标检测模型获取到了预测信息之后，还会利用预测信息中的区域框信息和和灯盘位置框信息对使用目标检测模型检测识别到的预测结果进行优化，筛选出有效的灯盘位置框，并将筛选出的有效的灯盘位置框的灯盘位置框信息及其颜色状态作为对所述采集图像中的交通灯的识别结果，以提高输出的交通灯位置及颜色状态的可靠性。优选地，本发明实施例通过区域组合方式对输出的交通灯的灯盘位置框进行误检过滤，以通过误检过滤来实现对预测结果的优化处理。示例性地，本发明实施例通过确定各个灯盘位置框与区域框之间的位置关系来实现误检过滤，图4示意性地显示了该优化处理过程，如图4所示，其实现为包括：
步骤S111：根据所述灯盘位置框信息和区域框信息确定各灯盘位置框对应的第一重叠度；
步骤S112：根据所述区域框信息确定出区域框对应的第二重叠度；
步骤S113：根据第一重叠度、预设的第一重叠度阈值、第二重叠度及预设的第二重叠度阈值从所述灯盘位置框信息中筛选出有效的灯盘位置框信息。
在经过上述的优化处理并筛选出有效的灯盘位置框信息之后，本发明实施例是将筛选出的有效的灯盘位置框信息及其对应的颜色状态作为对待识别的采集图像中的交通灯的最终识别结果，由此以获取到更高准确率的交通灯位置和颜色状态，实现对交通灯的更精准的检测识别。
其中，在图4所示的实施例中，将各个灯盘位置框与区域框之间的位置关系用两个重叠度来表征，即分别为第一重叠度和第二重叠度，其中，示例性地，第一重叠度用来表征通过目标检测模型预测出的灯盘位置框信息的有效性，第二重叠度用来表征通过目标检测模型预测出的区域框信息的有效性。
作为一种优选实现例，在步骤S111中，本发明实施例可以通过判断灯盘位置框是否落入区域框范围内，来确定各个灯盘位置框对应的第一重叠度，以基于各个灯盘位置框的中心点与区域框的位置关系来确定第一重叠度、灯盘框位置信息和区域框信息是由坐标(x,y,w,h)表示的信息为例，本发明实施例可以通过公式center_x＝x+w/2,center_y＝y+h/2来确定各灯盘位置框的中心点，其中，确定出的各个灯盘位置框的中心点通过坐标(center_x，center_y)来表征，center_x为中心点的x方向上的坐标，center_y为中心点的y方向上的坐标。在确定出各个灯盘位置框的中心点之后，就可以根据中心点坐标与区域框信息来确定出各个灯盘位置框与区域框的位置关系和第一重叠度，示例性地，可以通过比较中心点坐标与区域框坐标来确定中心点坐标是否落在区域框范围内来确定第一重叠度，如将中心点坐标落入区域框范围之内的位置关系确定为第一重叠度为1，而将中心点坐标未落入区域框范围之内，即是位于区域框之外的情况确定为第一重叠度为0。
作为一种优选实施例，在步骤S112中，第二重叠度可以是通过区域框的交并比IoU来表示的，示例性可以通过计算区域框的交并比来确定出第二重叠度。其中，交并比IoU(Intersection-over-Union)是目标检测中使用的一个概念，是指目标检测模型预测产生的候选框与原标记框的交叠率，即候选框与原标记框的交集与并集的比值，最理想情况是完全重叠，即比值为1，因此在多目标跟踪中，交并比可以用来判别跟踪框和目标检测框之间的相似度。需要说明的是，在本发明实施例中计算区域框的交并比即第二重叠度时，可以选用预测信息中的区域框信息作为候选框进行，并选用与区域框信息对应的投影框信息作为原标记框，以通过计算区域框信息与投影框信息的交集与并集的比值来确定出区域框的第二重叠度。示例性地，与区域框信息对应的投影框信息的获取方式可以为基于高精地图中的交通灯位置确定，如通过查询预先标注和存储的高精地图中的交通灯位置，并根据高精地图中的交通灯位置生成该交通灯组对应的区域框，之后将生成的该区域框投影到当前的待识别的采集图像中，以获取与该交通灯组对应的区域框对应的投影框信息，将该投影框信息作为预测信息中的区域框信息对应的原标记框。在另一实施方式中，投影框信息的获取还可以采用目标跟踪的方式实现，具体可以为包括根据对连续采集的图像中的当前帧之前一帧的采集图像的识别结果，选取已经识别出的当前帧之前一帧的采集图像中的区域框信息作为与当前帧的采集图像的预测信息中的区域框信息对应的投影框信息，即作为与当前帧的采集图像的预测信息中的区域框信息对应的原标记框。由此，就可以根据预测信息中的区域框信息和获取的与其对应的投影框信息来计算区域框的第二重叠度，其具体计算方式可以参照现有技术实现，本发明实施例在此不再赘述。
本发明实施例会预先设置一个用来表征灯盘位置框是否超出区域框范围的第一重叠度阈值和一个用来表征区域框有效性的第二重叠度阈值，在计算出第一重叠度和第二重叠度之后，在步骤S114中，本发明实施例会根据第一重叠度与第一重叠度阈值的比较结果和第二重叠度与第二重叠度阈值的比较结果来实现误检过滤。其中，本发明实施例优选将中心点超出区域框范围的灯盘位置框确定为不在区域框内，即说明对该灯盘位置框的预测有误，该灯盘位置框信息无效，而将区域框的交并比小于预设值的区域框信息确定为对区域框的预测有误，即预测的区域框信息无效。由此，以第一重叠度记为Dcenter，第二重叠度记为DIoU，第一重叠度阈值记为β，第二重叠度阈值记为α为例，通过对区域框信息判断是否存在DIoU≥α，并删除不满足DIoU≥α条件的区域框信息，就可以过滤掉区域框交并比小因而预测的区域框视为无效的情况；而通过对灯盘位置框信息判断是否存在Dcenter≥β，并删除不满足Dcenter≥β条件的灯盘位置框信息，就可以过滤掉灯盘位置框不在区域框范围内因而预测的灯盘位置框视为误检项的情况，由此以筛选出有效的灯盘位置框信息。其中，在本发明的优选实施例中，有效的灯盘位置框信息是满足Dcenter≥β条件且该灯盘位置框所在的区域框也满足DIoU≥α条件的那些灯盘位置框信息，由此以基于灯盘位置和区域两个特征的有效性来检出有效的灯盘位置框，进一步提高对交通灯检测识别的准确率。
由于中心点超出区域框范围的灯盘位置框不在区域框内，因而通过对第一重叠度的判断即可以将不在区域框内的灯盘位置框作为误检项从目标检测模型的预测结果中删除；而由于区域框交并比较低说明预测范围与真实范围的相关度较低，因而通过对第二重叠度的判断即可以将区域框无效的情况作为误检项从目标检测模型的预测输出结果中删除。而为了实现区域特征组合，本发明实施例还优选要求满足第二重叠度要求的区域框也必须包含有灯盘位置框，即将不存在灯盘位置框的区域框也作为无效的情况予以删除。由此，通过对灯盘位置框和区域框的分别及组合的误检过滤处理，就可以将区域框无效和灯盘位置框不在区域框这两种误检场景过滤掉，将符合同时符合DIoU≥α和Dcenter≥β条件，即灯盘位置框位于区域框范围内且区域框满足交并比要求的那些灯盘位置框作为有效的检测识别结果输出，因此得到的用于标识交通灯位置的灯盘位置框信息和用于标识交通灯当前颜色的颜色状态会更加精准。
由此，本发明实施例通过对采集图像进行目标检测识别，并在对图像进行检测识别后，通过引入区域组合方式对识别结果进行过滤优化，使得误检项能够被过滤掉，因而对交通灯的检测识别结果精准度更高。且通过引入区域组合方式，实现了对误检情况的有效滤除，有效降低了误检率，使得因车辆后视镜、后尾灯、夜间非交通灯灯光等而产生的误检情况得以避免，为自动驾驶系统提供了可靠的交通灯信号状态检测识别结果。
在其他实现例中，本发明实施例中的第二重叠度除了可以通过IoU来表征之外，还可以通过使用GIoU、DIoU、CIoU等进行替代，只要能够检测过滤出无效区域框即可，本发明实施例对具体选用的重叠度标准参数不进行限制。其中，GIoU、DIoU、CIoU的具体计算方式可以参照相关现有技术，本发明实施例在此不再赘述。
作为本发明的另一优选实施例，在步骤S10中训练出的目标检测模型除了可以为能够提供上述功能服务的网络模型之外，还可以实现为是以待识别的采集图像作为输入、以交通灯的灯盘位置框信息和颜色状态作为输出的目标检测模型。在这种情况下，可以通过预先对选定的网络模型进行训练，以将由灯盘位置框和区域框形成的区域组合特征引入到目标检测网络模型内部，从而训练出一种能够达到高精准度的端到端检测识别交通灯信号状态的目标检测模型。在这样的实施例中，在步骤S10中只需要将待识别的采集图像输入到训练好的目标检测模型，就能够获取到包括交通灯对应的灯盘位置框信息及其颜色状态的预测信息，因此，在步骤S11中就可以直接将目标检测模块输出的预测信息确定为对所述采集图像中的交通灯的识别结果，以实现提升端到端输出交通灯灯盘位置框及其颜色状态的准确度，和提升交通灯检测识别准确度，降低误检率的效果。
示例性地，本发明实施例可以基于注意力机制的原理来训练出这样的目标检测模型。具体地，可以通过提取灯盘位置框和区域框两个图像特征，并通过对两个图像特征进行特征向量加权，来实现对交通灯的区域特征的组合，进而实现在网络模型内部结构中提升对区域组合特征的感兴趣程度，从而训练出对灯盘所处区域更加敏感的网络模型，以提高端到端检测的准确率。由此，本发明实施例可以通过将灯盘位置框和区域框两个区域组合特征融合到目标检测模型的网络结构中，来达到训练出所期望的满足端到端检测识别特征的目标检测模型。在本发明的其中一个实施例中，要训练出这样的目标检测模型，选取的网络模型在结构上除了需要满足：包括用于对输入的待识别图像进行特征提取生成第一特征图输出的主干网络、用于执行全连接操作的全连接模块、和用于执行回归操作的回归模块之外；还需要满足：在主干网络之后，全连接操作之前，利用区域组合编码信息对特征图进行加权处理，以实现对图像深度特征图的共享复用，使得通过一个端到端的网络即可同时完成交通灯目标检测任务和分类识别任务，提高端到端输出交通灯灯盘框和灯盘颜色状态的准确度。在具体实现中，选取的满足这一要求的网络模型优选为Yolov5网络模型，当然，还可以是选自其他Yolo系列的网络、SSD、CenterNet、RCNN、Fast RCNN或Faster RCNN等目标检测网络模型，本发明实施例对此不进行限制。以本发明选取的网络模型为yolov5网络为例，图5示意性地显示了本发明一种实施方式的训练出的目标检测模型的网络结构设计图，如图5所示，本发明实施例的目标检测模型的网络结构包括：
用于对输入的待识别图像进行特征提取生成第一特征图输出的主干网络50；
用于对第一特征图进行RoI Pooling操作，生成基于感兴趣区域的第二特征图输出的映射池51，其中，所述感兴趣区域为待识别的采集图像中的区域框信息；
用于对第二特征图进行梯度排序的梯度模块52；
用于将梯度信息加权到第二特征图的第一加权模块53；
用于将第二特征图加权到第一特征图的第二加权模块54；
用于执行全连接操作的全连接模块55；
和用于执行回归操作的回归模块56。
其中，在本发明实施例的上述网络结构中，第一特征图即是以灯盘位置框作为提取特征的特征图，而第二特征图则是以区域框作为提取特征的特征图。由于区域框通常具有较大梯度，本发明实施例在梯度模块会按照特征图梯度大小由高到低对第二特征图进行梯度排序，由此，以提升对区域框信息的敏感度。此外，本发明实施例的目标检测模型还设计有两层加权模块，分别将梯度信息加权到第二特征图，并将第二特征图加权到第一特征图，通过两层加权，实现了将对交通灯灯组划分的区域特征向量也加权到第一特征图，即将区域框特征加权到灯盘位置框特征，从而提升了目标检测模型对划分的交通灯组区域的敏感度，使得模型输出的检测识别结果准确度更高，误检率更低。
优选地，在本发明实施例中，目标检测模型的回归模块执行的回归操作是计算颜色状态分类和交通灯灯盘位置框信息的回归操作，以使得目标检测模型的输出结果为交通灯的灯盘位置框信息及其对应的颜色状态。
由此，本发明实施例实现了将区域特征组合思想嵌入到yolov5网络中，提升了端到端输出交通灯位置框和颜色状态的准确度，降低了误检率。此外，本发明实施例的区域组合编码方法能够实现加权交通灯灯组区域感兴趣程度，其本质与注意力机制(Attention)一致，因而通过对交通灯灯组的区域特征向量进行加权，提升了网络对划分的交通灯组区域的敏感度，降低误检率。
在其他实施例中，能够实现这一目标的目标检测模型的网络设计结构还可以不局限于图5所示的网络结构，而是可以通过其他的网络设计结构进行替代，只要能够实现对划分的交通灯组的区域特征进行融合和关注，以通过对交通灯灯组的区域特征向量进行加权来提高对划分的区域的敏感度，进而降低误检率即可。示例性地，这样的目标检测模型还可以通过transform设计网络进行替代。
图6示意性地显示了本发明一种实施方式的交通灯识别检测装置，如图6所示，该装置包括：
检测识别模块30，用于将待识别的采集图像输入预先训练好的目标检测模型，以获取对所述采集图像的预测信息，其中，所述目标检测模型是基于至少两种图像特征相组合的方式训练得到，所述至少两种图像特征包括用于表征交通灯所处位置的灯盘位置框和用于表征感兴趣区域的区域框；
结果确定模块31，用于根据所述预测信息确定对所述采集图像中的交通灯的识别结果，其中所述识别结果包括交通灯对应的灯盘位置框信息及其颜色状态。
作为一种优选实施例，预先训练好的目标检测模型是以采集的原始图像作为输入，以区域框信息、交通灯的灯盘位置框信息及其颜色状态作为预测信息输出的目标检测网络模型。检测识别模块30通过将实时获取的采集图像作为待识别的采集图像输入该目标检测模型后，获取到的预测信息包括区域框信息、交通灯的灯盘位置框信息及其颜色状态。在结果确定模块31中，将会根据预测信息中的区域框信息和交通灯的灯盘位置框信息进行区域组合方式的区域特征冗余交叉校验，以筛选出有效的灯盘位置框信息，并将筛选出的有效的灯盘位置框信息及其对应的颜色状态，作为最终检测识别出的采集图像中的交通灯的位置信息及交通灯的当前颜色状态。
作为另一种优选实施例，预先训练好的目标检测模型是以采集的原始图像作为输入，以交通灯的灯盘位置框信息及其颜色状态作为预测信息输出的端到端的目标检测网络模型。检测识别模块30通过将实时获取的采集图像作为待识别的采集图像输入该目标检测模型后，获取到的预测信息包括交通灯的灯盘位置框信息及其颜色状态。在结果确定模块31中，将会直接把预测信息作为最终检测识别出的采集图像中的交通灯的位置信息及交通灯的当前颜色状态。在该实施例中，具体是通过在目标检测网络模型的内部进行灯盘位置框和区域框的区域特征加权组合，以使得训练出的端到端的目标检测模型自身就已经是考虑了交通灯灯盘的区域组合特征的，因而输出的预测信息的结果具有更高的检测识别准确性。示例性地，本发明实施例的目标检测模型的网络结构可以为包括：
用于对输入的待识别图像进行特征提取生成第一特征图输出的主干网络，其中第一特征图中提取出的特征为待识别图像中的灯盘位置框；
用于对第一特征图进行RoI Pooling操作，生成基于感兴趣区域的第二特征图输出的映射池，其中，所述感兴趣区域为待识别图像中的区域框；
用于对第二特征图进行梯度排序的梯度模块；
用于将梯度信息加权到第二特征图的第一加权模块；
用于将第二特征图加权到第一特征图的第二加权模块；
用于执行全连接操作的全连接模块；和
用于执行回归操作的回归模块。
其中，检测识别模块30和结果确定模块31的具体实现过程，以及目标检测模型的训练过程，可以参照前文方法部分的描述，在此不再赘述。
图7示意性地显示了本发明另一实施例的交通灯识别检测装置，如图7所示，该装置包括
存储器40，用于存储可执行指令；以及
处理器41，用于执行存储器中存储的可执行指令，所述可执行指令在由所述处理器执行时实现上述任一发明实施例的方法的步骤。
图8示意性地显示了本发明一种实时方式的移动工具，如图8所示，该移动工具包括根据上述任一实施例的所述的交通灯识别检测装置70，以使得该移动工具能够利用其上设置的交通灯识别检测装置进行交通灯检测识别，进而基于确定的交通灯位置及其颜色状态进行诸如方向、加速度、油门、刹车等的后续控制。
可选地，在实际应用中，移动工具还可以包括感知识别模块和其他规划控制模块，如路径规划控制器、底层控制器等，交通灯识别检测装置70的功能也可以在感知识别模块或规划器等中实现，本发明实施例对此不进行限制。
本发明实施例所称的“移动工具”可以是国际自动机工程师学会(Society ofAutomotive Engineers International，SAE International)或中国国家标准《汽车驾驶自动化分级》制定的L0-L5自动驾驶技术等级的车辆。
示例性地，移动工具可以是具有如下各种功能的车辆设备或机器人设备：
(1)载人功能，如家用轿车、公共汽车等；
(2)载货功能，如普通货车、厢式货车、甩挂车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等；
(3)工具功能，如物流配送车、自动导引运输车AGV、巡逻车、起重机、吊车、挖掘机、推土机、铲车、压路机、装载机、越野工程车、装甲工程车、污水处理车、环卫车、吸尘车、洗地车、洒水车、扫地机器人、送餐机器人、导购机器人、割草机、高尔夫球车等；
(4)娱乐功能，如娱乐车、游乐场自动驾驶装置、平衡车等；
(5)特殊救援功能，如消防车、救护车、电力抢修车、工程抢险车等。
在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项实施例的交通灯检测识别方法。
在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项实施例的交通灯检测识别方法。
在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一实施例的交通灯检测识别方法。
在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项实施例的交通灯检测识别方法。
图9是本发明另一实施例提供的执行交通灯检测识别方法的电子设备的硬件结构示意图，如图9所示，该设备包括：
一个或多个处理器610以及存储器620，图9中以一个处理器610为例。
执行交通灯检测识别方法的设备还可以包括：输入装置630和输出装置640。
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的交通灯检测识别方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的交通灯检测识别方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据交通灯检测识别方法的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生与图像处理设备的用户设置以及功能控制有关的信号。输出装置640可包括显示屏等显示设备。
存储器620可以被配置为存储可由处理器610运行以执行各种功能的指令，其中，这些功能包括但不限于定位融合、感知、行驶状态确定、导航模块、决策、行驶控制、任务接收等。
处理器610可以被配置为用于运行存储于存储器620中的程序(指令)以执行各种功能。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的交通灯检测识别。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例的电子设备可以多种形式存在，包括但不限于机器人、自动驾驶车辆等设备上搭载的自动驾驶域控制器或计算系统，其中计算系统可以包括多个计算装置，这些计算装置分布式地控制机器人或自动驾驶车辆的个别组件或者个别系统。
本发明实施例的电子设备还可以是与机器人、自动驾驶车辆进行无线通信的云端服务器。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.交通灯检测识别方法，其特征在于，所述方法包括：
将待识别的采集图像输入预先训练好的目标检测模型，以获取对所述采集图像的预测信息，其中，所述目标检测模型是基于至少两种图像特征相组合的方式训练得到，所述至少两种图像特征包括用于表征交通灯所处位置的灯盘位置框和用于表征感兴趣区域的区域框；
根据所述预测信息确定对所述采集图像中的交通灯的识别结果，其中所述识别结果包括交通灯对应的灯盘位置框信息及其颜色状态。
2.根据权利要求1所述的方法，其特征在于，对所述目标检测模型的训练过程包括：
通过在采集的图像中进行图像特征的标注形成训练样本数据，其中，所述图像特征包括基于图像中的各个交通灯的位置标注形成的灯盘位置框和根据预先定义的区域框划分条件对符合条件的一组灯盘位置框进行标注形成的区域框，所述训练样本数据包括各个图像对应的区域框信息、灯盘位置框信息及灯盘位置框对应的颜色状态；
利用所述训练样本数据对选定的网络模型进行训练，确定出所述网络模型的模型参数；
根据确定出的模型参数和选定的网络模型形成训练好的目标检测模型。
3.根据权利要求2所述的方法，其特征在于，所述区域框定义为选取的符合条件的一组灯盘位置框的最小外接矩形框。
4.根据权利要求1所述的方法，其特征在于，所述预测信息包括所述采集图像中的区域框信息、灯盘位置框信息及灯盘位置框对应的颜色状态；
所述根据所述预测信息确定对所述采集图像中的交通灯的识别结果，包括：
根据所述采集图像中的区域框信息和灯盘位置框信息筛选出有效的灯盘位置框，并将筛选出的有效的灯盘位置框的灯盘位置框信息及其颜色状态作为对所述采集图像中的交通灯的识别结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述采集图像中的区域框信息和灯盘位置框信息筛选出有效的灯盘位置框，包括：
根据所述灯盘位置框信息和区域框信息确定各个灯盘位置框与区域框之间的位置关系，根据各个灯盘位置框与区域框之间的位置关系，筛选出有效的灯盘位置框。
6.根据权利要求5所述的方法，其特征在于，所述根据所述灯盘位置框信息和区域框信息确定各个灯盘位置框与区域框之间的位置关系，根据各个灯盘位置框与区域框之间的位置关系，筛选出有效的灯盘位置框，包括：
根据所述灯盘位置框信息和区域框信息确定出各个灯盘位置框对应的第一重叠度；
根据所述区域框信息确定出区域框对应的第二重叠度；
根据第一重叠度、预设的第一重叠度阈值、第二重叠度及预设的第二重叠度阈值从所述灯盘位置框信息中筛选出有效的灯盘位置框信息。
7.根据权利要求1所述的方法，其特征在于，所述预测信息包括交通灯对应的灯盘位置框信息及其颜色状态；
所述根据所述预测信息确定对所述采集图像中的交通灯的识别结果，包括：
将所述预测信息确定为对所述采集图像中的交通灯的识别结果。
8.交通灯识别检测装置，其特征在于，包括：
检测识别模块，用于将待识别的采集图像输入预先训练好的目标检测模型，以获取对所述采集图像的预测信息，其中，所述目标检测模型是基于至少两种图像特征相组合的方式训练得到，所述至少两种图像特征包括用于表征交通灯所处位置的灯盘位置框和用于表征感兴趣区域的区域框；
结果确定模块，用于根据所述预测信息确定对所述采集图像中的交通灯的识别结果，其中所述识别结果包括交通灯对应的灯盘位置框信息及其颜色状态。
9.根据权利要求8所述的装置，其特征在于，所述预测信息包括所述采集图像中的区域框信息、灯盘位置框信息及灯盘位置框对应的颜色状态；
所述结果确定模块具体用于根据所述采集图像中的区域框信息和灯盘位置框信息筛选出有效的灯盘位置框，并将筛选出的有效的灯盘位置框的灯盘位置框信息及其颜色状态作为对所述采集图像中的交通灯的识别结果。
10.根据权利要求8所述的装置，其特征在于，所述预测信息包括交通灯对应的灯盘位置框信息及其颜色状态；
所述结果确定模块具体用于将所述预测信息确定为对所述采集图像中的交通灯的识别结果。
11.交通灯识别检测装置，其特征在于，包括
存储器，用于存储可执行指令；以及
处理器，用于执行存储器中存储的可执行指令，所述可执行指令在由所述处理器执行时实现权利要求1至7任一项所述方法的步骤。
12.移动工具，其特征在于，包括：权利要求11所述的交通灯识别检测装置。
13.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任意一项所述方法的步骤。
14.一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1-7中任意一项所述的方法。
CN202210530117.5A 2022-05-16 2022-05-16 交通灯检测识别方法及装置、移动工具、存储介质 Pending CN114972731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210530117.5A CN114972731A (zh) 2022-05-16 2022-05-16 交通灯检测识别方法及装置、移动工具、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210530117.5A CN114972731A (zh) 2022-05-16 2022-05-16 交通灯检测识别方法及装置、移动工具、存储介质

Publications (1)

Publication Number Publication Date
CN114972731A true CN114972731A (zh) 2022-08-30

Family

ID=82984221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210530117.5A Pending CN114972731A (zh) 2022-05-16 2022-05-16 交通灯检测识别方法及装置、移动工具、存储介质

Country Status (1)

Country Link
CN (1) CN114972731A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253365A (zh) * 2023-11-17 2023-12-19 上海伯镭智能科技有限公司 一种车辆交通状况自动检测方法和相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253365A (zh) * 2023-11-17 2023-12-19 上海伯镭智能科技有限公司 一种车辆交通状况自动检测方法和相关装置
CN117253365B (zh) * 2023-11-17 2024-02-02 上海伯镭智能科技有限公司 一种车辆交通状况自动检测方法和相关装置

Similar Documents

Publication Publication Date Title
US11840239B2 (en) Multiple exposure event determination
EP3624000A1 (en) System and method for camera or sensor-based parking spot detection and identification
US8699754B2 (en) Clear path detection through road modeling
CN111874006B (zh) 路线规划处理方法和装置
CN110688992A (zh) 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
US8421859B2 (en) Clear path detection using a hierachical approach
US8611585B2 (en) Clear path detection using patch approach
US8452053B2 (en) Pixel-based texture-rich clear path detection
US20200250440A1 (en) System and Method of Determining a Curve
US20220230449A1 (en) Automatically perceiving travel signals
US20090295917A1 (en) Pixel-based texture-less clear path detection
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN112771858A (zh) 自动车辆的相机评估技术
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114898322A (zh) 行车环境识别方法、装置、车辆及存储介质
CN114972731A (zh) 交通灯检测识别方法及装置、移动工具、存储介质
Cicek et al. Fully automated roadside parking spot detection in real time with deep learning
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN111739332A (zh) 一种停车场管理系统
CN115359438A (zh) 一种基于计算机视觉的车辆加塞的检测方法、系统和装置
CN112686136A (zh) 一种对象检测方法、装置及系统
Wang et al. Holistic Parking Slot Detection with Polygon-Shaped Representations
CN117612140B (zh) 道路场景的识别方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination