CN111507210A - 交通信号灯的识别方法、系统、计算设备和智能车 - Google Patents

交通信号灯的识别方法、系统、计算设备和智能车 Download PDF

Info

Publication number
CN111507210A
CN111507210A CN202010249084.8A CN202010249084A CN111507210A CN 111507210 A CN111507210 A CN 111507210A CN 202010249084 A CN202010249084 A CN 202010249084A CN 111507210 A CN111507210 A CN 111507210A
Authority
CN
China
Prior art keywords
traffic signal
image
model
signal lamp
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010249084.8A
Other languages
English (en)
Other versions
CN111507210B (zh
Inventor
郑永豪
黄梓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010249084.8A priority Critical patent/CN111507210B/zh
Publication of CN111507210A publication Critical patent/CN111507210A/zh
Application granted granted Critical
Publication of CN111507210B publication Critical patent/CN111507210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种交通信号灯的识别方法、系统、计算设备和智能车，涉及人工智能AI领域。该方法包括：获取图像，该图像中记录了交通信号灯信息；选取该图像中交通信号灯所在区域，并对交通信号灯进行颜色校正，得到校正后的交通信号灯信息；根据校正后的交通信号灯信息获取交通信号灯的位置和类别。上述方法能够提升检测效率，提高识别精度。

Description

交通信号灯的识别方法、系统、计算设备和智能车
技术领域
本发明涉及人工智能(artificial intelligence，AI)和物体检测技术领域，尤其涉及一种交通信号灯的识别方法、系统、计算设备和智能车。
背景技术
交通信号灯按照光源的不同一般可分为白炽灯、卤素灯和发光二极管(lightemitting diode，LED)，LED交通信号灯由于其功耗低、亮度高、直流无闪烁等优点近年被广泛的应用。智能车(intelligent/smart car)的车载摄像机作为自动驾驶设备的核心部件之一，由于受到信号灯亮度、外界光线、拍摄角度以及自身动态范围的限制等原因，在傍晚和夜间等光照环境较为恶劣时，拍摄交通信号灯时容易造成红色信号灯泛黄，甚至变为黄色，难以与黄灯进行区分，严重影响判断结果，容易造成交通事故。
目前，红灯校正方法大多采用降低摄像机的曝光时间、改变环境光的亮度等，而通过降低摄像机的曝光时间或者通过添加光学结构改变环境光亮度的方法虽然抑制了红灯的变色，但是使得环境的亮度同时下降，难以满足实际要求。
因此，如何对交通信号灯进行准确的识别成为亟待解决的技术问题。
发明内容
本发明实施例公开了一种交通信号灯的识别方法、系统、计算设备和智能车，能够对摄像机拍摄的包含交通信号灯信息的图像进行颜色校正并识别，提高检测效率和识别精度。
第一方面，本申请提供一种交通信号灯的识别方法，所述方法包括：交通信号灯识别系统获取图像，所述图像中记录了交通信号灯信息；该交通信号灯识别系统选取所述图像中交通信号灯所在区域，并对所述交通信号灯进行颜色校正，得到校正后的交通信号灯信息；该交通信号灯识别系统根据所述校正后的交通信号灯信息获取交通信号灯的位置和类别。
在本申请提供的方案中，交通信号灯识别系统可以自动选取图像中交通信号灯所在区域，不需要人为预先设定，扩展了适用场景。此外，交通信号灯识别系统通过对交通信号灯进行颜色校正，并使用校正后的图像来获取交通信号灯的位置和类别，可以提高识别精度。
在一种可能的实现方式中，该交通信号灯识别系统利用注意力机制模型计算所述图像中每个像素点为交通信号灯对应的像素点的概率，得到注意力图，所述注意力图记录了所述图像中每个像素点为交通信号灯对应的像素点的概率值，所述概率值的取值范围为0-1。
在本申请提供的方案中，交通信号灯识别系统利用注意力机制模型对图像处理得到注意力图，从而可以使得在后续处理中更加关注于交通信号灯区域，这样可以提高后续处理效率，提高资源利用率，缩短处理时间。
在另一种可能的实现方式中，该交通信号灯识别系统确定初始注意力机制模型，所述初始注意力机制模型采用一种神经网络模型；获取多个样本图像和基准图像，所述样本图像中记录了交通信号灯信息，所述基准图像为对所述样本图像中记录的交通信号灯进行颜色校正后得到的图像；将所述样本图像和所述基准图像对应的像素点在同一坐标系对应的值进行相减，并将结果进行二值化处理，得到对比图像；利用多个所述对比图像和所述样本图像对所述初始注意力机制模型进行训练。
在本申请提供的方案中，交通信号灯识别系统提取获取样本图像和基准图像，然后利用样本图像与基准图像进行相减得到对比图像，进而利用对比图像和样本图像对初始注意力机制模型进行训练，以使得训练完成的注意力机制模型具备自动选取图像中交通信号灯所在区域，这样可以避免人为预先设定，提高处理效率。
在另一种可能的实现方式中，该交通信号灯识别系统根据注意力图，利用自编码器模型对交通信号灯进行颜色校正。
在本申请提供的方案中，交通信号灯识别系统根据注意图进行颜色校正，可以确保在进行颜色校正的过程中，更加关注于图像中交通信号灯所在区域。此外，利用自编码器模型进行颜色校正是从像素级别上完成的颜色校正，而非强制的进行颜色转换，更加接近真实情况，保证校正的准确性。
在另一种可能的实现方式中，该交通信号灯识别系统确定初始自编码器模型，所述初始自编码器模型采用一种深度学习模型；利用所述多个样本图像和所述多个基准图像对所述初始自编码器模型进行训练。
在本申请提供的方案中，交通信号灯识别系统提取获取样本图像和基准图像，利用样本图像和基准图像对初始自编码器模型进行训练，以使得训练完成的自编码器模型具备对交通信号灯进行颜色校正的能力，避免强制进行颜色转换，偏离实际情况，提高校正的准确性。
在另一种可能的实现方式中，该交通信号灯识别系统利用目标检测模型对所述校正后的交通信号灯信息进行目标检测，获取所述交通信号灯的位置和类别，所述目标检测模型为一种深度学习模型。
在本申请提供的方案中，交通信号灯识别系统利用训练完成的目标检测模型对经过颜色校正的交通信号灯进行目标检测，得到交通信号灯的位置和类别。可选的，目标检测模型可以选用单点多锚检测器(single shot multi-box detector，SSD)、更快的基于区域生成网络的卷积神经网络(faster region proposal network-convolutional neuralnetwork，Faster-RCNN)等。
在另一种可能的实现方式中，所述自编码器模型包括多个特征提取卷积层，所述目标检测模型包括多个特征提取卷积层，所述特征提取卷积层用于对所述图像进行特征提取得到特征图，该交通信号灯识别系统根据所述特征图的尺寸大小，将所述目标检测模型的特征提取卷积层与所述自编码器模型的特征提取卷积层进行匹配连接。
在本申请提供的方案中，交通信号灯识别系统根据特征图的尺寸大小，将目标检测模型中的特征提取卷积层与自编码器模型中相对应的特征提取卷积层进行跳跃连接，复用自编码器模型在进行特征提取时所得到的不同尺寸大小(例如原图的1/2、1/4、1/8)的特征图，这样可以减少目标检测网络的深度与耗时，提高了检测效率以及整个系统的资源利用率。
第二方面，提供了一种交通信号灯的识别系统，包括：获取单元，用于获取图像，所述图像中记录了交通信号灯信息；确定单元，用于选取所述图像中交通信号灯所在区域；校正单元，用于对所述交通信号灯进行颜色校正，得到校正后的交通信号灯信息；检测单元，用于根据所述校正后的交通信号灯信息获取交通信号灯的位置和类别。
在一种可能的实现方式中，所述确定单元，具体用于：利用注意力机制模型计算所述图像中每个像素点为交通信号灯对应的像素点的概率，得到注意力图，所述注意力图记录了所述图像中每个像素点为交通信号灯对应的像素点的概率值，所述概率值的取值范围为0-1。
在另一种可能的实现方式中，所述获取单元，还用于获取多个样本图像和基准图像，所述样本图像中记录了交通信号灯信息，所述基准图像为对所述样本图像中记录的交通信号灯进行颜色校正后得到的图像；所述确定单元，还用于确定初始注意力机制模型，所述初始注意力机制模型采用一种神经网络模型；将所述样本图像和所述基准图像对应的像素点在同一坐标系对应的值进行相减，并将结果进行二值化处理，得到对比图像；利用多个所述对比图像和所述样本图像对所述初始注意力机制模型进行训练。
在另一种可能的实现方式中，所述校正单元，具体用于：根据所述注意力图，利用自编码器模型对所述交通信号灯进行颜色校正。
在另一种可能的实现方式中，所述校正单元，还用于确定初始自编码器模型，所述初始自编码器模型采用一种深度学习模型；利用所述多个样本图像和所述多个基准图像对所述初始自编码器模型进行训练。
在另一种可能的实现方式中，所述检测单元，具体用于：利用目标检测模型对所述校正后的交通信号灯信息进行目标检测，获取所述交通信号灯的位置和类别，所述目标检测模型为一种深度学习模型。
在另一种可能的实现方式中，所述自编码器模型包括多个特征提取卷积层，所述目标检测模型包括多个特征提取卷积层，所述特征提取卷积层用于对所述图像进行特征提取得到特征图，所述检测单元，还用于根据所述特征图的尺寸大小，将所述目标检测模型的特征提取卷积层与所述自编码器模型的特征提取卷积层进行匹配连接。
第三方面，提供了一种计算设备，所述计算设备包括处理器和存储器，所述存储器用于存储程序代码，所述处理器执行所述存储器中的程序代码实现上述第一方面以及结合上述第一方面中的任意一种实现方式的方法的操作步骤。
第四方面，提供一种智能车，所述智能车包括第三方面所述的计算设备，该计算设备用于执行上述第一方面以及结合上述第一方面中的任意一种实现方式的方法的操作步骤。
第五方面，提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当该计算机程序被处理器执行时，所述处理器执行上述第一方面以及结合上述第一方面中的任意一种实现方式所提供的交通信号灯检测识别方法的操作步骤。
第六方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当该计算机程序产品被计算机执行时，使得计算机可以执行上述第一方面以及结合上述第一方面中的任意一种实现方式所提供的交通信号灯检测识别方法的流程。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
图1是本申请实施例提供的一种红灯偏黄的校正方法的场景示意图；
图2是本申请实施例提供的一种系统架构的示意图；
图3是本申请实施例提供的一种交通信号灯识别系统的结构示意图；
图4是本申请实施例提供的一种注意力机制模型的结构示意图；
图5是本申请实施例提供的一种自编码器模型的结构示意图；
图6是本申请实施例提供的一种融合检测网络的结构示意图；
图7是本申请实施例提供的一种交通信号灯识别方法的流程示意图；
图8是本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
首先，结合附图对本申请中所涉及的部分用语和相关技术进行解释说明，以便于本领域技术人员理解。
对抗神经网络(generative adversarial network)是一种生成式模型，主要是由一个生成网络和一个判别网络组成。生成网络可以是一个生成图片的网络，它接收一个随机的噪声并通过这个噪声生成图片，判别网络用于判别一张图片是不是真实的，输出图片为真实图片的概率，如果为1，就代表100％是真实的图片，如果为0，则代表不可能是真实的图片。在训练过程中，生成网络和判别网络单独交替迭代训练。
注意力机制(attention mechanism)源于对人类视觉的研究，可以使得神经网络具备专注于其输入(或特征)子集的能力。在计算能力有限的情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。
人工智能(artificial intelligence，AI)模型是一种机器学习模型，其本质是一种包括大量参数和数学公式(或数学规则)的数学模型。其目的是学习一些数学表达，使该数学表达能提供输入值x和输出值y之间的相关性，能够提供x和y之间的相关性的数学表达即为训练后的AI模型。一般情况，利用一些历史数据(即x和y)，通过训练初始AI模型得到的AI模型，可用于根据新的x得到新的y，从而实现预测分析，预测分析的过程也称为推理。
接下来，结合附图详细介绍本申请提供的交通信号灯检测识别方法。
在对交通信号灯进行检测和识别的过程中，相关技术都是分为两个步骤进行检测和识别，首先对拍摄的包含交通信号灯的图像进行颜色校正，对偏黄的红灯进行校正以使得其更容易识别，然后利用检测网络对校正后的图像进行检测识别，借助于目标检测技术获得交通信号灯对应的检测框，从而得到交通信号灯在图像中的位置，进而可以通过单应变换(用于描述物体在世界坐标系和像素坐标系之间的位置映射关系，对应的变换矩阵又称为单应性举证)等将交通信号灯在图像中的位置映射到物理世界的地理区域中，从而得到交通信号灯的地理坐标。
为了解决传统技术中交通信号灯识别不准确的问题，本申请提供了一种交通信号灯识别的方法，可以通过智能车的车载摄像头获取到记录了交通信号灯信息的图像，并将该图像输入至注意力机制模型，得到注意力图，注意力图记录了每个像素点为交通信号灯所对应的像素点的概率值，然后将图像和注意力图输入至自编码器模型进行颜色校正，将偏黄的红灯校正为正常光照情况下的红灯，得到校正图像，然后将校正后的图像输入至目标检测模型进行检测和识别，得到交通信号灯在图像中的位置和类别。通过这种方法，提高了交通信号灯检测和识别的准确性，扩展了适用场景，提高了检测效率。
其中，在本申请中，注意力机制模型可以是一种AI模型，在利用AI模型进行处理之前需要对初始AI模型进行训练，本申请利用车载摄像头拍摄的包含交通信号灯的样本图像以及差异图像对初始AI模型进行训练，差异图像为样本图像经过人为颜色校正后的图像与样本图像在同一坐标系下各个相同位置的像素点对应的值进行相减之后通过二值化处理得到的图像，二值化处理的具体含义为：若相同位置的像素点相减的结果为0，则在差异图像中将该像素点对应的值设为0，若相同位置的像素点相减的结果不为0，则在差异图像中将该像素点对应的值设为1。由于仅对样本图像中的偏黄的红灯区域进行了人为校正，因此差异图像中仅有红灯区域为1，其余区域均为0。训练之后将使得训练后的AI模型具备自动选取交通信号灯(红灯)区域的能力，可以对车载摄像头拍摄的待检测图像进行自动获取交通信号灯所在区域。
此外，自编码器模型也可以是一种AI模型，在利用自编码器模型进行处理之前也需要对初始AI模型进行训练，本申请利用样本图像以及样本图像经过人为颜色校正后的校正图像对初始AI模型进行训练，以使得训练后的AI模型具备颜色校正的能力，可以对车载摄像头拍摄的待检测图像进行颜色校正。
此外，目标检测模型也可以是一种AI模型，在利用目标检测模型进行检测之前也需要对初始AI模型进行训练，本申请利用经过人为颜色校正后的校正图像对初始AI模型进行训练，以使得训练后的AI模型具备交通信号灯检测的能力，可以对车载摄像头拍摄的待检测图像进行交通信号灯检测，从而得到交通信号灯在图像中的位置和类别。
需要说明的是，注意力机制模型、自编码器模型以及目标检测模型虽然是分开描述的，注意力机制模型和自编码器模型属于对抗神经网络，目标检测模型属于检测网络，但在实际应用中，这三个模型是结合在一起的，对外表现为一个融合检测网络。在检测过程中，各个模型可以共享网络某些卷积层，提高检测效率。
作为一种可能的实施例，本申请实施例的技术方案除了应用在红绿灯检测场景外，还可以应用于各种需要进行交通信号灯检测和识别的场景，包括但不限于交通路口、交通道路、学校门口、小区门口等交通信号识别的场景。
为了便于描述，本申请以下实施例以红绿灯的识别为例进行描述。本申请中的目标包括图像中记录的红灯、黄灯、绿灯等，图像中需要被检测到且需要进行识别的目标也称为待检测目标。
本申请中的像素坐标是图像中的像素点的坐标，像素坐标是二维坐标。
本申请中的三维坐标是物理世界中的点的坐标，应理解，同一个点在不同的坐标系下对应的三维坐标值是不同的。本申请中的三维坐标值可以是世界坐标系下的由经度、维度和海拔组成的坐标值，也可以是自然坐标系下的由X坐标、Y坐标和Z坐标组成的坐标值。
本申请提供的交通信号灯的识别方法由交通信号灯识别系统执行，在一个具体的实施例中，交通信号灯识别系统可以部署在任意一个涉及交通信号灯识别的计算设备中。例如，如图1所示，可以部署在自动驾驶设备上，自动驾驶设备可以为智能车。原始数据采集设备指采集交通信号灯识别系统所需的原始数据的设备，包括但不限于摄像头、红外相机、激光雷达等，原始数据采集设备包括置于自动驾驶设备上，用于以自身视角采集交通道路的原始数据(例如：视频数据、红外数据等)的设备等。
交通信号灯识别系统用于对车载摄像头拍摄得到的图像进行交通信号灯检测和识别，交通信号灯识别系统利用训练好的融合检测网络对图像中的待检测目标进行颜色校正并检测，确定待检测目标的类别和在图像中的位置(检测框信息)。融合检测网络可以是前述由初始AI模型(注意力机制模型、自编码器模型以及目标检测模型)经训练后形成的AI模型(融合检测网络)，该融合检测网络具备颜色校正和目标检测的功能，即可以对图像中偏黄的红灯进行颜色校正并对校正后的图像进行目标检测，得到目标的类别以及在图像中的位置。交通信号灯识别系统内部的单元可以有多种划分方式，本申请对此不作限制。图3为一种示例性的划分方式，如图2所示，下面将分别简述每个功能单元的功能。
所示交通信号灯识别系统200包括多个功能单元，其中，获取单元210，用于获取图像，该图像由车载摄像头拍摄得到，该图像中记录了至少一个待检测目标(交通信号灯)；区域确定单元220，用于将获取单元210获取到的图像输入至注意力机制模型，确定图像中记录交通信号灯的区域；校正单元230，用于将区域确定单元220输出的图像输入至自编码器模型，对图像中记录的交通信号灯进行颜色校正；交通信号灯检测单元240，用于将校正单元230校正后的图像输入目标检测模型，得到交通信号灯的位置(像素坐标)和类别；处理单元250，用于将交通信号灯检测单元240检测得到的交通信号灯的位置和类别进行显示并发送至自动驾驶系统。
可选的，处理单元250还用于确定初始注意力机制模型，并利用获取单元210获取到的样本图像以及差异图像对初始注意力机制模型进行训练，以使得训练后的注意力机制模型具备在图像中自动确定包含交通信号灯区域的能力，处理单元250在训练完成后，将训练得到的注意力机制模型部署到区域确定单元220。处理单元250还用于确定初始自编码器模型，并利用获取单元210获取到的样本图像以及校正图像对初始自编码器模型进行训练，以使得训练后的自编码器模型具备颜色校正的能力，处理单元250在训练完成后，将训练得到的自编码器模型部署到校正单元230。处理单元250还用于确定初始目标检测模型，并利用获取单元210获取到的多个携带标注信息的样本图像对初始目标检测模型进行训练，以使得训练后的目标检测模型具备检测目标位置及类别的能力，该多个样本图像是由车载摄像头在正常光照情况下拍摄得到的图像，该标注信息包括样本图像中记录的目标的类别和检测框信息，处理单元250在训练完成后，将训练得到的目标检测模型部署到检测单元240。
本申请提供的交通信号灯识别的方法通过注意力机制模型确定交通信号灯在图像中的区域，然后通过自编码器模型对交通信号灯进行颜色校正，进一步的根据目标检测模型进行交通信号灯的检测和识别，确定交通信号灯的类别以及在图像中的位置，可以提高交通信号灯检测和识别的准确性，提高检测效率。
应理解，本申请中的注意力机制模型是一种已训练完成的AI模型，注意力机制模型在用于本申请的交通信号灯识别方法之前需要进行训练，以使其具有在图像中自动确定交通信号灯区域的能力。在训练过程中，需要使用特别的训练数据进行训练，从模型能力需求出发进行分析，需要使用车载摄像头拍摄的样本图像以及差异图像进行训练，样本图像中记录了交通信号灯(例如红灯、绿灯、黄灯等)，差异图像为样本图像经过人为颜色校正后的图像与样本图像在同一坐标系下各个相同位置的像素点对应的值进行相减之后通过二值化处理得到的图像。
同理，本申请中的自编码器模型也是一种已训练完成的AI模型，自编码器模型在用于本申请的交通信号灯识别方法之前也需要进行训练，以使其具有对图像中交通信号灯进行颜色校正的能力。在训练过程中，需要使用特别的训练数据进行训练，从模型能力需求出发进行分析，需要使用车载摄像头拍摄的样本图像以及对样本图像进行人为颜色校正之后的校正图像进行训练，校正图像与样本图像相比，仅仅是对样本图像中记录的偏黄的红灯进行了颜色校正，使其变为正常的(易于识别的)红灯，其它区域都是一致的，未做修改。
类似的，本申请中的目标检测模型也是一种已训练完成的AI模型，目标检测模型在用于本申请的交通信号灯识别方法之前也需要进行训练，以使其具有识别图像中交通信号灯的类别和位置的能力。在训练过程中，需要使用特别的训练数据进行训练，从模型能力需求出发进行分析，需要使用携带标注信息的车载摄像头拍摄的样本图像进行训练，标注信息包括目标在样本图像中的类别和位置(检测框信息)。目标的类别信息用于表示目标的类别，例如：“直行灯”、“左转灯”、“右转灯”、“红灯”、“绿灯”、“黄灯”等，检测框用于在样本图像中将目标标注出来，例如矩形检测框对应的检测框信息具体可以由四个像素坐标组成，即检测框的左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标。需要说明的是，标注信息可以以可扩展标记语言(extensible markup language,XML)或JavaScript对象简谱(JavaScript object notation,JSON)等文件进行保存。
下面结合附图进一步介绍本申请中注意力机制模型的训练过程。
首先，获取N个车载摄像头拍摄的包含交通信号灯的样本图像，这N个样本图像可以是对应不同场景下(例如是在不同的交通路口)拍摄的图像，其中，N为大于1的整数，例如N可以为50。然后，针对每一个样本图像，人为的进行颜色校正，得到N个经过颜色校正之后的校正图像。应理解，车载摄像头在获取样本图像时，是先从互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)图像传感器采集未经加工(RAW)数据，然后经过图像信号处理(image signal processor,ISP)将其转化为RGB形式的图像。人为在进行颜色校正时，是针对图像中所有红灯对应的像素点，调整每个像素点在RGB空间下所对应的值，校正图像中其它区域对应的像素点与样本图像保持一致，不作调整。这样，每个样本图像存在一个与之匹配的校正图像，将每个校正图像以及与其对应的样本图像置于同一坐标系下，将各个相同位置的像素点在RGB空间下对应的值进行相减，若结果为0，则将该像素点对应的概率值设为0，若结果不为0，则将该像素点对应的概率值设为1，从而得到N个差异图像，N个样本图像与N个差异图像构成了训练集，可以利用训练集中的训练样本进行模型训练。获得训练集之后，确定初始注意力机制模型，本申请中，初始注意力机制模型为一种AI模型，具体可以选用一种深度神经网络模型，例如利用视觉几何群(visualgeometry group,VGG)网络、残差网络(residual network,ResNet)等骨干网络进行特征提取，在完成特征提取等操作之后，再利用长短期记忆网络(long short-term memory,LSTM)等做进一步处理，从而最终得到注意力图。
如图3所示，本申请的注意力机制模型300的结构主要包括三部分，即骨干网络310、LSTM网络320和损失函数计算单元330。骨干神经网络310内部包含若干卷积层，用于对输入的样本图像进行特征提取，然后将提取结果输入至LSTM网络320进行进一步卷积计算，最后输出注意力图，注意力图为一种概率图，其中每个像素点对应一个概率值，该概率值表示该像素点为交通信号灯对应的像素点的概率。
在具体训练时，首先将注意力机制模型300的参数初始化，可以利用初始化函数对模型300的参数进行初始化操作，或者随机选取参数值对该模型进行初始化操作，例如使用0.001的常量进行初始化或者基于0.001的高斯分布进行初始化，之后将样本图像输入至初始注意力机制模型300。骨干网络310对样本图像进行特征提取，得到抽象的特征，然后输入给LSTM网络320，LSTM网络320进行进一步的卷积计算，预测出图像中每个像素点为交通信号灯对应的像素点的概率值，并通过相应的通道输出至损失函数计算单元330；然后将该样本图像对应的差异图像也输入损失函数计算单元330，损失函数计算单元330将LSTM网络320预测得到的预测结果与该样本图像对应的差异图像进行比对，并计算出损失函数，以损失函数为目标函数使用反向传播算法更新调整模型中的参数。依次输入不同的样本图像以及其对应的差异图像，不断迭代执行上述训练过程，直到损失函数值收敛时，即每次计算得到的损失函数值在某一个值附近上下波动，则停止训练，此时，注意力机制模型已经训练完成，注意力机制模型已经具备自动获取图像中记录的交通信号灯区域的能力。
接下来，结合附图进一步介绍自编码器模型的训练过程。
首先，获取N个车载摄像头拍摄的包含交通信号灯的样本图像以及这N个样本图像经过人为的颜色校正之后得到的N个校正图像。将N个样本图像输入至已训练完成的注意力机制模型，输出得到N个样本图像对应的注意力图。样本图像中每个像素点对应三个通道(即每个像素点对应三个特征值，分别为R、G和B)，注意力图中每个像素点对应一个通道(即该像素点为交通信号灯对应的像素点的概率值)，将每个样本图像和该样本图像对应的注意力图进行通道拼接，得到N个拼接图像，每个拼接图像中每个像素点对应四个通道，N个拼接图像与N个校正图像构成了训练集，可以利用训练集中的训练样本进行模型训练。
需要说明的是，这里利用注意力模型输出的注意力图与样本图像进行通道拼接，可以保证自编码器模型在训练时更加关注于样本图像中记录了交通信号灯的区域，可以提高训练效率，避免浪费大量计算资源和存储资源，提高资源利用率。
获得训练集之后，确定初始自编码器模型，本申请中，初始自编码器模型为一种AI模型，具体可以选用一种深度神经网络模型，例如利用VGG、ResNet等骨干网络进行特征提取，然后利用反卷积网络进行反卷积操作，最终实现颜色校正的功能。
如图4所示，本申请的自编码器模型400的结构主要包括三部分，即识别网络410、生成网络420和损失函数计算单元430。在具体训练时，先将自编码器模型400的参数初始化，初始化过程可以参照上述注意力机制模型300的初始化过程，然后将拼接图像输入至初始自编码器模型400，识别网络410也称为编码单元，其内部包含若干卷积层，用于对输入的拼接图像进行特征提取并压缩，得到抽象的特征以及不同尺寸大小的特征图，然后输出至生成网络420；生成网络420也称为解码单元，其内部包含若干反卷积层，用于对识别网络410输入的经过压缩之后的图像进行对齐并放大至原始尺寸，并将预测出的颜色经过校正之后的图像输出至损失函数计算单元430；然后将经过人为校正之后的校正图像也输入至损失函数计算单元430，损失函数计算单元430将生成网络420预测输出的图像与校正图像进行比对，并计算出损失函数，以损失函数为目标函数使用反向传播算法更新调整模型中的参数。依次输入不同的拼接图像以及其对应的校正图像，不断迭代执行上述训练过程，直到损失函数值收敛时，则停止训练。此时，自编码器模型已经训练完成，自编码器模型已经具备颜色校正的能力。
应理解，识别网络410在对输入的拼接图像进行特征提取和压缩时将得到不同尺寸大小的特征图，不同尺寸的特征图所对应的通道数不一样，通道数越多，则特征图中每个像素点对应的数据量就越大越丰富，为了减少数据的丢失，在压缩尺寸时会将通道数扩大，防止数据丢失。例如，拼接图像的原始尺寸为1920*1080，通道数为4，表示拼接图像在x方向(即横向)存在1920个像素点，在y方向(即纵向)存在1080个像素点。经过1/2压缩后，得到尺寸大小为960*540，通道数为32的特征图，每个通道表示像素点对应的一个特征，例如与相邻像素点的距离、饱和度、明度等。经过1/4压缩后，得到尺寸大小为480*270，通道数为64的特征图。
需要说明的是，图像在压缩与放大的过程中，每个像素点对应的特征(即通道数)进行了重新的排列组合，通过不断训练，可以控制其进行重新组合的方向，从而可以达到将偏黄的红灯校正为正常光照情况下的红灯。
值得注意的是，为了能够准确的对压缩之后的图像进行还原，保证图像的相对位置不发生改变，不能无限制的对拼接图像进行压缩，在本申请中，识别网络510将拼接图像最多压缩至原始尺寸的1/16，即尺寸大小为120*67，通道数为512的特征图。
下面再结合附图进一步介绍本申请中目标检测模型的训练过程。
首先，获取N个车载摄像头拍摄的经过颜色校正的样本图像，可以通过人为进行颜色校正，也可以利用自编码器模型进行颜色校正，同时获取每个图像对应的标注信息，标注信息可以是人为预先的获取，例如在图像中用矩形框将交通信号灯标注出来，并注明该交通信号灯的类别以及该矩形框的左上角横坐标、左上角纵坐标、右下角横坐标以及右下角纵坐标。多个携带标注信息的经过颜色校正的图像构成了训练集，利用训练集中的训练样本进行模型训练，首先确定初始目标检测模型，本申请中，初始目标检测目标为一种AI模型，具体可以选用一种深度神经网络模型，例如仅看一次(you only look once,YOLO)、单点多锚检测器(single shot multi-box detector,SSD)、更快的基于区域生成网络的卷积神经网络(faster region proposal network-convolutional neural network,Faster-RCNN)等。
如图5所示，本申请的初始目标检测模型500的结构主要包括三部分，即骨干网络510、检测网络520和损失函数计算单元530。在具体训练时，首先将目标检测模型500的参数初始化，之后将样本图像输入至初始目标检测模型500。骨干网络510内部包含若干卷积层，用于对输入的经过颜色校正的图像进行特征提取，得到抽象的特征，其具体的特征提取过程与上述自编码器模型一致，得到不同尺寸大小的特征图，然后将抽象的特征输入至检测网络520；检测网络520用于对骨干网络510提取的特征进行检测和识别，预测出目标类别和位置(检测框信息)并输出至损失函数计算单元530，检测网络520其内部本质上也是由若干卷积层组成，对骨干网络510的输出结果进行进一步的卷积计算；损失函数计算单元530用于将检测网络520预测得到的结果与图像对应的标注信息进行比对，并计算出损失函数，以损失函数为目标函数使用反向传播算法更新调整模型中的参数。依次输入不同的携带标注信息的图像，不断迭代执行上述训练过程，直到损失函数值收敛时，则停止训练。此时，目标检测模型已经训练完成，目标检测模型已经具备识别图像中记录的交通信号灯的类别和位置的能力。
需要说明的是，自编码器模型和目标检测模型都涉及到特征提取，自编码器模型中的生成网络420在对特征图进行放大的过程中将会得到尺寸大小为原图的1/2通道数为32的特征图、尺寸大小为原图的1/4通道数为64的特征图、尺寸大小为原图的1/8通道数为256的特征图，而目标检测模型中的骨干网络510也需要对样本图像进行特征提取，在特征提取的过程中也将会得到尺寸大小为原图的1/2通道数为32的特征图、尺寸大小为原图的1/4通道数为64的特征图、尺寸大小为原图的1/8通道数为256的特征图。因此，可以根据特征图的大小进行匹配，将两个模型中相同尺寸大小的特征图所对应的卷积层进行跳跃连接，例如，将生成网络420输出的尺寸大小为原图的1/2通道数为32的特征图与骨干网络510输出的尺寸大小为原图的1/2通道数为32的特征图进行连接，将得到尺寸大小为原图的1/2通道数为64的特征图，若不进行连接，骨干网络510若要得到尺寸大小为原图的1/2通道数为64的特征图，则需要在尺寸大小为原图的1/2通道数为32的特征图的基础上继续进行卷积操作，经过若干卷积层(例如3层)卷积之后，才能得到尺寸大小为原图的1/2通道数为64的特征图。因此，直接将生成网络420输出的特征图与骨干网络510得到的相匹配的特征图进行连接，然后将连接结果交给骨干网络510中的下一个卷积层继续处理，这样可以有效提升骨干网络510的通道数，减少骨干网络510的深度(即卷积层数)与耗时，提高了检测效率。
对注意力机制模型、自编码器模型以及目标检测模型训练完成后，可以利用该注意力机制模型、自编码器模型以及目标检测模型进行交通信号灯的检测和识别，应理解，各个模型之间不是割裂的，而是结合在一起的，一起构成一个融合检测网络，能够共享网络的特征(主要是根据特征图尺寸大小进行模型之间的跳跃连接)，从而完成对交通信号灯的颜色校正以及识别。
如图6所示，注意力机制模型610、自编码器模型620以及目标检测模型630一起构成了一个融合检测网络600。在采集到待检测图像之后，将待检测图像输入融合检测网络600，注意力机制模型610首先对待检测图像进行处理，注意力机制模型610中的残留块单元(restblock)611对图像进行特征提取，每个restblock包含4个卷积层，每个卷积核的大小为3*3。本申请使用10个restblock对图像进行处理，然后利用LSTM单元612对restblock处理后的结果进行进一步卷积操作，通过一层层的时间循环，逐步加深对图像中交通信号灯区域的提取能力，得到尺寸大小为原始图像1/8的特征图，最后使用反卷积单元(convolution transpose,convs)613对经过LSTM单元612处理的特征图进行反卷积操作，convs单元只有1个反卷积层，用于将1/8的特征图放大至与原始图像相同的尺寸，并输出注意力图。应理解，残留块单元611对应上述骨干网络310，LSTM单元和convs单元对应上述LSTM网络320。
自编码器模型620将注意力机制模型610输出的注意力图和待检测图像进行结合，得到通道数为4的图像，这样可以保证在后续处理过程中更加关注于图像中交通信号灯区域，节省资源开销，提高处理效率。自编码器模型620中的编码单元621接收注意力机制模型610输入的注意力图以及待检测图像，本申请中，编码单元621可以包含16个卷积层(convolution,con)，每个卷积层对应一个线性整流函数(rectified linear unit,ReLU)，每个卷积层对结合后的图像进行卷积操作以实现特征提取，每经过一次卷积操作，图像的通道数将会增加，其尺寸大小也会发生相应的改变，假设图像经过两个卷积层之后，其尺寸大小变为原始图像的1/2，即所输出的特征图的尺寸为原图的1/2，通道数为32，图像经过6个卷积层之后，输出的特征图的尺寸为原图的1/4，通道数为64。编码单元621在完成特征提取之后，输出的特征图的尺寸大小为原图的1/16，通道数为512，然后解码单元622对编码单元611输出的特征图进行反卷积操作，解码单元622可以包括16个反卷积层，每个反卷积层也对应一个ReLU，反卷积层对每个像素点对应的通道数进行重新组合，并将特征图进行放大，假设特征图经过两个反卷积层之后，其尺寸增加一倍，其对应的通道数减少一半，最终，解码单元622将特征图放大至与原始图像的尺寸大小一致，输出相应的图像，由于在放大过程中对每个像素点的通道数进行了重新组合，所以解码单元622输出的图像是经过了颜色校正后的图像。然后，自编码器模型620中的鉴别器单元623对解码单元622输出的图像进行鉴别，判断其输出的图像是否满足颜色校正的要求，并在满足要求的情况下将其输出给目标检测模型630做进一步处理。应理解，编码单元621对应上述的识别网络410，解码单元420对应上述的生成网络420，鉴别器单元623对应上述的损失函数计算单元430。
目标检测模型630中的特征提取单元631接收自编码器模型620输入的经过颜色校正后的图像，并对该图像进行特征提取，特征提取单元631包含多个卷积层，每个卷积层对应一个ReLU，每个卷积核大小为3*3，由于特征提取单元631与自编码器模型中的编码单元621结构类似，在本申请中，为了减少特征提取单元的深度和卷积层数，提高特征提取效率，将解码单元622的部分卷积层与特征提取单元631的部分卷积层进行连接，直接复用解码单元622的结果，其连接方式可以是深度学习框架(例如，快速特征嵌入的卷积结构(convolutional architecture for fast feature embeddi,caffe))中的连接两个或多个数组(concat)操作，其连接基础为相同尺寸大小的特征图，例如，解码单元622在进行放大时，其第十四个卷积层所输出的特征图的尺寸大小为原图1/2，通道数为32，特征提取单元631的第二个卷积层所输出的特征图的尺寸大小也为原图1/2，通道数为32，则将解码单元622的第十四个卷积层与特征提取单元631的第二个卷积层进行连接，连接之后，特征提取单元631的第二个卷积层的输出的特征图的尺寸大小为原图1/2，通道数变为64。特征提取单元631在完成特征提取之后，输出尺寸大小为原图的1/16的特征图，然后，特征区域推荐(region proposal network,RPN)单元632对特征提取单元631输出的特征图进行进一步处理，RPN单元632通过预设的检测框(例如3*3的检测框)对框内的特征图进行分析，判断框内是否存在待检测目标，若存在，则将其分类为前景，若不存在，则将其分类为背景，然后对预设框进行调整从而获得候选区域，并输出至池化单元633，池化单元633根据候选区域裁剪特征图，并将裁剪结果发送给全连接单元634，全连接单元634将特征图进行向量化，并通过向量化结果进行概率统计，从而最终获得交通信号灯的位置和类别。应理解，特征提取单元631对应上述的骨干网络510，特征区域推荐单元632、池化单元633以及全连接单元634对应上述的检测网络520。
下面将结合图7具体描述如何进行交通信号灯的检测和识别的过程。如图7所示，该方法包括但不限于以下步骤：
S701：交通信号灯识别系统获取图像，所述图像由设置于自动驾驶设备的摄像机拍摄得到，所述图像中记录了至少一个待检测目标。
具体地，交通信号灯识别系统可以通过设置于自动驾驶设备的摄像机获取到该摄像机拍摄的一段视频数据，该视频数据由不同时刻的视频帧组成，其中视频数据中的视频帧是按照时间顺序排列的，每个视频帧都是一个图像，用于反映当前时刻被拍摄地理区域的状况，每个图像中记录了至少一个待检测目标。
应理解，该摄像机与上述拍摄样本图像所使用的摄像机可以为同一个摄像机，也可以为不同的摄像机，即拍摄用于模型训练的样本图像的摄像机与拍摄用于待检测图像的摄像机可以是不同的。
S702：交通信号灯识别系统输入所述图像至融合检测网络，得到检测结果。
具体地，利用上述已经训练好的注意力机制模型预测每个像素点为交通信号灯对应的像素点的概率，确定图像中记录交通信号灯的区域，得到注意力图。然后将得到的注意力图与所述待检测图像相结合(通道拼接)，并输入至上述已经训练好的自编码器模型，利用自编码器模型进行特征提取与反卷积操作，对图像中偏黄的红灯进行颜色校正，得到颜色校正后的三通道(RGB)的图像。然后利用上述已经训练好的目标检测模型对颜色校正后的图像进行交通信号灯检测，得到的检测结果包括交通信号灯的类别和在图像中的位置(检测框)。
可以看出，利用注意力机制模型和自编码器模型可以自动选取交通信号灯区域并进行颜色校正，不需要人为的进行设定，且颜色校正是由经过训练的GAN等神经网络进行修改的，并非简单的强制进行颜色转换，更加接近真实情况。从而可以提高检测效率，保证检测结果准确，且扩展了适用场景。
特别的，目标检测模型在进行目标检测时，将会复用自编码器模型在进行特征提取过程中得到的尺寸为原图1/2、1/4、1/8大小的特征图，即将目标检测模型中的卷积层与自编码器模型中相应的卷积层进行跳跃连接，这样可以有效较少目标检测模型的特征压缩层，例如，在目标检测模型中，尺寸为原图1/2的特征图原本需要4个特征层进行卷积压缩，但是在与自编码器模型进行跳跃连接，复用了自编码器模型的尺寸大小为原图1/2的特征图之后，仅需要1或2个特征层便可以获得相同的效果。
可以看出，通过将目标检测模型与自编码器模型进行融合，可以减少目标检测模型的深度与耗时，提升系统检测效率。
此外，目标检测模型可以选用各种神经网络模型，下面以Faster-RCNN为例对如何实现交通信号灯检测进行具体说明。
首先进行特征提取得到特征图，然后设定候选框的尺寸大小并利用特征区域推荐网络(region proposal network,RPN)对特征图进行处理，分析每个候选框中是否包含交通信号灯信息，分为背景或前景，并对候选框进行调整最终确定候选区域。之后，兴趣区域池化(region of interest pooling,RoI Pooling)模块根据候选区域在特征图上裁剪出相对应的区域并将其尺寸大小调整为7*7，然后通过两个全连接网络将特征图转化为向量形式的线性参数，并利用概率学统计对线性参数进行概率学回归计算以及类别距离计算，得到该候选框对应的类别，同时对候选框位置进行微调修正，最后确定候选框中记录的交通信号灯的类别以及在图像中的位置。
S703：交通信号灯识别系统将检测结果输出给自动驾驶系统。
具体地，交通信号灯在检测并识别出交通信号灯的类别以及在图像中的位置之后，将其发送给自动驾驶系统并进行显示，由自动驾驶系统进行进一步的处理。
示例性的，自动驾驶系统可以利用高精度地图获取相关的交通信号灯信息，例如，自动驾驶装置需要直行通过时，自动驾驶系统便根据高精度地图提取直行交通信号灯在世界坐标系中的三维坐标(例如经度、纬度和海拔)。然后，自动驾驶系统通过全球定位系统(global positioning system,GPS)等方式，获得自动驾驶设备的三维坐标，值得说明的是，这里获取到的三维坐标是一个偏移值，然后与该自动驾驶设备所在通用横墨卡托格网(universal transverse mercartor,UTM)坐标系中坐标网格对应的基准值相加，得到自动驾驶设备在世界坐标系下的三维坐标，基准值可以预先获取，这样，交通信号灯的三维坐标与自动驾驶设备的三维坐标均为同一世界坐标系下的三维坐标。并进一步的以自动驾驶设备为原点建立三维坐标系，然后将交通信号灯在高精度地图中的三维坐标转化为在以自动驾驶设备为原点的三维坐标系中的三维坐标。之后，以车载摄像头为坐标原点建立三维坐标系，由于车载摄像头相对于自动驾驶设备的位置固定，因此利用车载摄像头的外参标定等方式可以得到以自动驾驶设备为原点建立的三维坐标系和以车载摄像头为原点建立的三维坐标系之间的关系，从而可以得到交通信号灯在以车载摄像头为原点建立的三维坐标系下的三维坐标。
在完成交通信号灯的三维坐标的转换之后，利用车载摄像头的内参标定和相似三角形原理，得到交通信号灯在车载摄像头拍摄的图像中的像素坐标，应理解，交通信号灯占据一定的空间，因此，交通信号灯在车载摄像头拍摄的图像中对应多个像素点，将该多个像素点进行拟合，得到一个二维框，该二维框即为交通信号灯在图像中的位置。
然后，利用融合检测网络输出的检测结果与得到的二维框进行比对，判断从高精度地图中获取的交通信号灯与车载摄像头拍摄的交通信号灯是否为同一个交通信号灯。例如，可以通过计算得到的二维框与融合检测网络输出的检测框的重叠度进行判断，若重叠度大于预设阈值(例如60％)，则可以确定为同一个交通信号灯。在确定为同一个交通信号灯之后，就可以根据当前该交通信号灯的颜色进行进一步的判断，例如若该交通信号灯为绿色，且前方无车，则自动驾驶设备可以继续通过；若该交通信号灯为红色，则自动驾驶设备需要减速并在停止线之前停止行驶；若该交通信号灯为黄色，并且为闪烁状态且闪烁时长大于阈值(例如5秒)，则自动驾驶设备缓慢通过，这样可以有效避免一些交通路口的交通信号灯一直为黄灯闪烁警示且不会变成红色或绿色的情况。
应理解，本申请所提供的方案不仅适用于红绿灯识别的场景，还可以应用于其它发光体，例如发光二极管(light emitting diode,LED)识别的场景。示例性的，由LED灯显示的文字，在光照环境恶劣时，也存在着红色泛黄的问题，导致无法正确识别。利用本申请提供的融合检测网络，通过注意力机制模型确定拍摄的包含LED灯显示的文字的图像的文字显示区域，注意力机制模型训练所采用的训练样本为包含LED灯显示的文字的图像；然后通过自编码器模型对注意力机制模型处理过的图像进行颜色校正，将偏黄的由红色LED灯显示的文字校正为正常光照情况下，易于识别的由红色LED灯显示的文字；最后目标检测模型对经过颜色校正后的图像进行目标检测和识别，识别出图像中所记录的文字。可以看出，虽然场景不同，但是各个模型所要实现的功能是相似的，只是需要根据不同的场景需求，利用不同的训练样本对模型进行训练，但模型训练过程却是一致的。
上述详细阐述了本申请实施例的方法，为了便于更好的实施本申请实施例的上述方案，相应地，下面还提供用于配合实施上述方案的相关设备。
如图2所示，本申请还提供一种交通信号灯识别系统，该交通信号灯识别系统用于执行前述交通信号灯识别的方法。本申请对该交通信号灯识别系统中的功能单元的划分不做限定，可以根据需要对该交通信号灯识别系统中的各个单元进行增加、减少或合并。图3示例性的提供了一种功能单元的划分：
交通信号灯识别系统200包括获取单元210、区域确定单元220、校正单元230、交通信号灯检测单元240以及处理单元250。
具体地，所述获取单元210用于执行前述步骤S701，且可选的执行前述步骤中可选的方法。
所述区域确定单元220、所述校正单元230以及交通信号灯检测单元240用于执行前述步骤S702，且可选的执行前述步骤中可选的方法。
所述处理单元250用于执行前述步骤S702和S703，且可选的执行前述步骤中可选的方法。
上述各个单元之间互相可以通过通信通路进行数据传输，应理解，交通信号灯识别系统200包括的各单元可以为软件单元、也可以为硬件单元、或部分为软件单元部分为硬件单元。
参见图8，图8是本申请实施例提供的一种计算设备的结构示意图。如图8所示，该计算设备100包括：处理器101、存储介质102、通信接口103以及内存单元104，所述处理器101、存储介质102、通信接口103以及内存单元104通过内部总线105相互连接。应理解，该计算设备100可以是自动驾驶设备中的计算设备。
应理解，在本申请实施例中，该处理器101可以是中央处理器(centralprocessing unit，CPU)，该处理器101还可以是其他通用处理器、数字信号处理器(digitalsignal processing,DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
该存储器102可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器102还可以包括非易失性随机存取存储器。例如，存储器102还可以存储设备类型的信息。
该存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
该总线105除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线105。
需要说明的是，计算设备100的内存单元104中存储了交通信号灯识别系统200的各个单元对应的代码，处理器101执行这些代码实现了交通信号灯识别系统200的各个单元的功能，即执行了上述图3至图7所述方法的操作步骤。另外，根据本申请实施例的计算设备可对应于本申请实施例中的图2所示的交通信号识别系统200，并且交通信号识别系统200中的各个模块的上述和其它操作和/或功能分别为了实现图2至图7中的各个方法的相应流程，为了简洁，在此不再赘述。
本申请还提供一种智能车，该智能车包括图8所示的计算设备，该计算设备用于执行上述图3至图7所述方法的操作步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种交通信号灯的识别方法，其特征在于，所述方法包括：
获取图像，所述图像中记录了交通信号灯信息；
选取所述图像中交通信号灯所在区域，并对所述交通信号灯进行颜色校正，得到校正后的交通信号灯信息；
根据所述校正后的交通信号灯信息获取交通信号灯的位置和类别。
2.如权利要求1所述的方法，其特征在于，所述选取所述图像中交通信号灯所在区域包括：
利用注意力机制模型计算所述图像中每个像素点为交通信号灯对应的像素点的概率，得到注意力图，所述注意力图记录了所述图像中每个像素点为交通信号灯对应的像素点的概率值，所述概率值的取值范围为0-1。
3.如权利要求2所述的方法，其特征在于，在利用所述注意力机制模型计算所述图像中每个像素点为交通信号灯对应的像素点的概率之前，所述方法还包括：
选择一种神经网络模型作为初始注意力机制模型；
获取多个样本图像和基准图像，所述样本图像中记录了交通信号灯信息，所述基准图像为对所述样本图像中记录的交通信号灯进行颜色校正后得到的图像；
将所述样本图像和所述基准图像对应的像素点在同一坐标系对应的值进行相减，并将结果进行二值化处理，得到对比图像；
利用多个所述对比图像和所述样本图像对所述初始注意力机制模型进行训练。
4.如权利要求2或3所述的方法，其特征在于，对所述交通信号灯进行颜色校正包括：
根据所述注意力图，利用自编码器模型对所述交通信号灯进行颜色校正。
5.如权利要求4所述的方法，其特征在于，利用所述自编码器模型对所述交通信号灯进行颜色校正之前，所述方法还包括：
确定初始自编码器模型，所述初始自编码器模型采用一种深度学习模型；
利用所述多个样本图像和所述多个基准图像对所述初始自编码器模型进行训练。
6.如权利要求1-5任一项所述的方法，其特征在于，根据所述校正后的交通信号灯信息获取交通信号灯的位置和类别包括：
利用目标检测模型对所述校正后的交通信号灯信息进行目标检测，获取所述交通信号灯的位置和类别，所述目标检测模型为一种深度学习模型。
7.如权利要求4-6任一项所述的方法，其特征在于，所述自编码器模型包括多个特征提取卷积层，所述目标检测模型包括多个特征提取卷积层，所述特征提取卷积层用于对所述图像进行特征提取得到特征图，所述方法还包括：
根据所述特征图的尺寸大小，将所述目标检测模型的特征提取卷积层与所述自编码器模型的特征提取卷积层进行匹配连接。
8.一种交通信号灯的识别系统，其特征在于，包括：
获取单元，用于获取图像，所述图像中记录了交通信号灯信息；
确定单元，用于选取所述图像中交通信号灯所在区域；
校正单元，用于对所述交通信号灯进行颜色校正，得到校正后的交通信号灯信息；
检测单元，用于根据所述校正后的交通信号灯信息获取交通信号灯的位置和类别。
9.如权利要求8所述的系统，其特征在于，所述确定单元，具体用于：
利用注意力机制模型计算所述图像中每个像素点为交通信号灯对应的像素点的概率，得到注意力图，所述注意力图记录了所述图像中每个像素点为交通信号灯对应的像素点的概率值，所述概率值的取值范围为0-1。
10.如权利要求9所述的系统，其特征在于，
所述获取单元，还用于获取多个样本图像和基准图像，所述样本图像中记录了交通信号灯信息，所述基准图像为对所述样本图像中记录的交通信号灯进行颜色校正后得到的图像；
所述确定单元，还用于确定初始注意力机制模型，所述初始注意力机制模型采用一种神经网络模型；将所述样本图像和所述基准图像对应的像素点在同一坐标系对应的值进行相减，并将结果进行二值化处理，得到对比图像；利用多个所述对比图像和所述样本图像对所述初始注意力机制模型进行训练。
11.如权利要求9或10所述的系统，其特征在于，所述校正单元，具体用于：
根据所述注意力图，利用自编码器模型对所述交通信号灯进行颜色校正。
12.如权利要求11所述的系统，其特征在于，
所述校正单元，还用于确定初始自编码器模型，所述初始自编码器模型采用一种深度学习模型；利用所述多个样本图像和所述多个基准图像对所述初始自编码器模型进行训练。
13.如权利要求8-12任一项所述的系统，其特征在于，所述检测单元，具体用于：
利用目标检测模型对所述校正后的交通信号灯信息进行目标检测，获取所述交通信号灯的位置和类别，所述目标检测模型为一种深度学习模型。
14.如权利要求11-13任一项所述的系统，其特征在于，所述自编码器模型包括多个特征提取卷积层，所述目标检测模型包括多个特征提取卷积层，所述特征提取卷积层用于对所述图像进行特征提取得到特征图，
所述检测单元，还用于根据所述特征图的尺寸大小，将所述目标检测模型的特征提取卷积层与所述自编码器模型的特征提取卷积层进行匹配连接。
15.一种计算设备，其特征在于，所述计算设备包括存储器和处理器，所述处理器执行所述存储器存储的计算机指令，使得所述计算设备执行权利要求1-7任一项所述的方法的操作步骤。
16.一种智能车，其特征在于，所述智能车包括所述权利要求15所述的计算设备，所述计算设备用于执行所述权利要求1-7中任一项方法的操作步骤。
CN202010249084.8A 2020-03-31 2020-03-31 交通信号灯的识别方法、系统、计算设备和智能车 Active CN111507210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010249084.8A CN111507210B (zh) 2020-03-31 2020-03-31 交通信号灯的识别方法、系统、计算设备和智能车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010249084.8A CN111507210B (zh) 2020-03-31 2020-03-31 交通信号灯的识别方法、系统、计算设备和智能车

Publications (2)

Publication Number Publication Date
CN111507210A true CN111507210A (zh) 2020-08-07
CN111507210B CN111507210B (zh) 2023-11-21

Family

ID=71868998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010249084.8A Active CN111507210B (zh) 2020-03-31 2020-03-31 交通信号灯的识别方法、系统、计算设备和智能车

Country Status (1)

Country Link
CN (1) CN111507210B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149619A (zh) * 2020-10-14 2020-12-29 南昌慧亦臣科技有限公司 一种基于Transformer模型自然场景文字识别方法
CN112180285A (zh) * 2020-09-23 2021-01-05 北京百度网讯科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备
CN112528795A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的灯色识别方法、装置及路侧设备
CN112560737A (zh) * 2020-12-22 2021-03-26 清华大学苏州汽车研究院（吴江） 一种信号灯识别方法、装置、存储介质及电子设备
CN112712057A (zh) * 2021-01-13 2021-04-27 腾讯科技（深圳）有限公司 交通信号识别方法、装置、电子设备及存储介质
CN112861988A (zh) * 2021-03-04 2021-05-28 西南科技大学 一种基于注意力图神经网络的特征匹配方法
CN113343872A (zh) * 2021-06-17 2021-09-03 湖北亿咖通科技有限公司 交通灯识别方法、装置、设备、介质及产品
CN114062997A (zh) * 2021-11-05 2022-02-18 中国南方电网有限责任公司超高压输电公司广州局 电能表的校验方法、系统以及装置
CN114694123A (zh) * 2022-05-30 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN115984826A (zh) * 2023-03-02 2023-04-18 安徽蔚来智驾科技有限公司 交通信号灯感知方法、车辆控制方法、设备、介质及车辆
CN116152785A (zh) * 2023-04-24 2023-05-23 之江实验室 一种基于cbam结合hsb模式的交通信号灯检测方法和系统
CN112180285B (zh) * 2020-09-23 2024-05-31 阿波罗智联(北京)科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216209A1 (en) * 2010-03-03 2011-09-08 Fredlund John R Imaging device for capturing self-portrait images
US20120288145A1 (en) * 2011-05-12 2012-11-15 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
CN106682597A (zh) * 2016-12-14 2017-05-17 四川长虹电器股份有限公司 一种交通信号灯识别方法
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
CN107729801A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN107730481A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种交通信号灯图像处理方法及交通信号灯图像处理装置
CN108460395A (zh) * 2017-02-17 2018-08-28 北京三星通信技术研究有限公司 目标检测方法和装置以及模糊处理方法和装置
CN108831162A (zh) * 2018-06-26 2018-11-16 青岛科技大学 移动通信终端的交通信号控制方法及交通信号控制系统
CN108875608A (zh) * 2018-06-05 2018-11-23 合肥湛达智能科技有限公司 一种基于深度学习的机动车交通信号识别方法
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN109215364A (zh) * 2018-11-19 2019-01-15 长沙智能驾驶研究院有限公司 交通信号识别方法、系统、设备和存储介质
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN109961442A (zh) * 2019-03-25 2019-07-02 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置和电子设备
CN110069986A (zh) * 2019-03-13 2019-07-30 北京联合大学 一种基于混合模型的交通信号灯识别方法及系统
US20190291726A1 (en) * 2018-03-20 2019-09-26 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216209A1 (en) * 2010-03-03 2011-09-08 Fredlund John R Imaging device for capturing self-portrait images
US20120288145A1 (en) * 2011-05-12 2012-11-15 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
CN106682597A (zh) * 2016-12-14 2017-05-17 四川长虹电器股份有限公司 一种交通信号灯识别方法
CN108460395A (zh) * 2017-02-17 2018-08-28 北京三星通信技术研究有限公司 目标检测方法和装置以及模糊处理方法和装置
CN107729801A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN107730481A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种交通信号灯图像处理方法及交通信号灯图像处理装置
US20190291726A1 (en) * 2018-03-20 2019-09-26 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle
CN108875608A (zh) * 2018-06-05 2018-11-23 合肥湛达智能科技有限公司 一种基于深度学习的机动车交通信号识别方法
CN108831162A (zh) * 2018-06-26 2018-11-16 青岛科技大学 移动通信终端的交通信号控制方法及交通信号控制系统
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN109215364A (zh) * 2018-11-19 2019-01-15 长沙智能驾驶研究院有限公司 交通信号识别方法、系统、设备和存储介质
CN110069986A (zh) * 2019-03-13 2019-07-30 北京联合大学 一种基于混合模型的交通信号灯识别方法及系统
CN109961442A (zh) * 2019-03-25 2019-07-02 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置和电子设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180285A (zh) * 2020-09-23 2021-01-05 北京百度网讯科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备
CN112180285B (zh) * 2020-09-23 2024-05-31 阿波罗智联(北京)科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备
CN112149619B (zh) * 2020-10-14 2024-03-15 南昌慧亦臣科技有限公司 一种基于Transformer模型自然场景文字识别方法
CN112149619A (zh) * 2020-10-14 2020-12-29 南昌慧亦臣科技有限公司 一种基于Transformer模型自然场景文字识别方法
CN112528795A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的灯色识别方法、装置及路侧设备
CN112560737A (zh) * 2020-12-22 2021-03-26 清华大学苏州汽车研究院（吴江） 一种信号灯识别方法、装置、存储介质及电子设备
CN112712057A (zh) * 2021-01-13 2021-04-27 腾讯科技（深圳）有限公司 交通信号识别方法、装置、电子设备及存储介质
CN112712057B (zh) * 2021-01-13 2021-12-07 腾讯科技（深圳）有限公司 交通信号识别方法、装置、电子设备及存储介质
CN112861988A (zh) * 2021-03-04 2021-05-28 西南科技大学 一种基于注意力图神经网络的特征匹配方法
CN113343872A (zh) * 2021-06-17 2021-09-03 湖北亿咖通科技有限公司 交通灯识别方法、装置、设备、介质及产品
CN114062997B (zh) * 2021-11-05 2024-03-19 中国南方电网有限责任公司超高压输电公司广州局 电能表的校验方法、系统以及装置
CN114062997A (zh) * 2021-11-05 2022-02-18 中国南方电网有限责任公司超高压输电公司广州局 电能表的校验方法、系统以及装置
CN114694123A (zh) * 2022-05-30 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN115984826A (zh) * 2023-03-02 2023-04-18 安徽蔚来智驾科技有限公司 交通信号灯感知方法、车辆控制方法、设备、介质及车辆
CN116152785A (zh) * 2023-04-24 2023-05-23 之江实验室 一种基于cbam结合hsb模式的交通信号灯检测方法和系统

Also Published As

Publication number Publication date
CN111507210B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN111507210A (zh) 交通信号灯的识别方法、系统、计算设备和智能车
JP7430277B2 (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
US11178324B2 (en) Focusing method and device, electronic device and computer-readable storage medium
US20200272835A1 (en) Intelligent driving control method, electronic device, and medium
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112560999B (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
US20190050994A1 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
CN110532937B (zh) 基于识别模型与分类模型进行列车前向目标精准识别的方法
CN107563299B (zh) 一种利用ReCNN融合上下文信息的行人检测方法
CN110111351B (zh) 融合rgbd多模态信息的行人轮廓跟踪方法
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
Wang et al. MCF3D: Multi-stage complementary fusion for multi-sensor 3D object detection
Maalej et al. Vanets meet autonomous vehicles: A multimodal 3d environment learning approach
KR20210119532A (ko) 화상 수집 제어 방법, 장치, 전자 디바이스 및 기억 매체
CN115147328A (zh) 三维目标检测方法及装置
Sanberg et al. Extending the stixel world with online self-supervised color modeling for road-versus-obstacle segmentation
CN110720224B (zh) 图像处理方法和装置
CN114648709A (zh) 一种确定图像差异信息的方法与设备
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN116665179A (zh) 数据处理方法、装置、域控制器以及存储介质
Tao Statistical calculation of dense crowd flow antiobscuring method considering video continuity
Berrio et al. Semantic sensor fusion: From camera to sparse LiDAR information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant