CN112288031A - 交通信号灯检测方法、装置、电子设备和存储介质 - Google Patents

交通信号灯检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112288031A
CN112288031A CN202011292400.6A CN202011292400A CN112288031A CN 112288031 A CN112288031 A CN 112288031A CN 202011292400 A CN202011292400 A CN 202011292400A CN 112288031 A CN112288031 A CN 112288031A
Authority
CN
China
Prior art keywords
image
traffic signal
detected
signal lamp
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011292400.6A
Other languages
English (en)
Inventor
欧阳真超
董晓云
崔家赫
李延祺
牛建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Innovation Research Institute of Beihang University filed Critical Hangzhou Innovation Research Institute of Beihang University
Priority to CN202011292400.6A priority Critical patent/CN112288031A/zh
Publication of CN112288031A publication Critical patent/CN112288031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供了一种交通信号灯检测方法、装置、电子设备和存储介质，通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，从而获取所述待检测图像中包括的交通信号灯的候选区域；再通过交通信号灯分类模型对候选区域进行分类运算，最终获得所述待检测图像中包括的交通信号灯的类别。本申请在进行交通信号灯的类别检测时，仅需要对预先检测到的候选区域进行分类运算，而不是对整个图像进行分类运算，在无需对模型尺寸进行压缩的前提下，提高交通信号灯类别检测的速度和效率，降低了检测过程中需要占用的内存，同时也保证了交通信号灯检测结果的准确度。

Description

交通信号灯检测方法、装置、电子设备和存储介质
技术领域
本申请涉及自动驾驶技术，具体地，涉及一种交通信号灯检测方法、装置、电子设备和存储介质。
背景技术
随着技术的发展，汽车的智能化程度越来越高，汽车的自动驾驶功能也受到越来越多的人的青睐。在汽车的自动驾驶系统中，交通信号灯检测技术是其中较为重要的组成模块之一。
目前，为了能够检测交通信号灯的颜色及转向箭头方向，可以通过图像处理的方式检测图像中的交通信号灯的位置和颜色。然而，用于进行交通信号灯检测的图像往往是大视野高清图像或由多个摄像头拍摄的图像拼接组成的高清图像，若直接通过卷积神经网络对高清图像进行检测，则会导致检测速度较慢，且占用的显存过大，若为了提高检测速度而对模型的尺寸进行压缩，则会降低检测结果的精度。
发明内容
本申请实施例中提供了一种交通信号灯检测方法、装置、电子设备和存储介质，以解决现有技术在无人驾驶车载环境等低功耗嵌入式设备中部署的检测模型精度较低且检测速度较慢的技术问题。
根据本申请实施例的第一个方面，提供了一种交通信号灯检测方法，应用于电子设备，所述方法包括：
通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，以获取所述待检测图像中包括的交通信号灯的候选区域；
通过交通信号灯分类模型对所述候选区域进行卷积分类运算，获得所述待检测图像中包括的交通信号灯的类别，其中，所述类别包括黄灯、红灯、绿灯及转向箭头灯中的至少一种。
在可选的实施方式中，所述方法还包括：
通过交通信号灯分类模型对所述候选区域进行卷积分类运算，获得所述待检测图像中包括的交通信号灯在所述待检测图像中的位置信息。
在可选的实施方式中，在通过交通信号灯检测模型对获取到的待检测图像进行卷积处理之前，所述方法还包括：
对所述待检测图像进行预处理，将所述待检测图像转化为灰度图像。
在可选的实施方式中，交通信号灯检测模型包括多个卷积主干网络及目标检测层，通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，以获取所述待检测图像中包括的交通信号灯的候选区域，包括：
对所述待检测图像的灰度图像进行降采样；
将降采样后的灰度图像分别输入至多个所述卷积主干网络中进行运算，获得所述灰度图像的多个不同尺寸的下采样特征图；
对所述灰度图像的多个不同尺寸的下采样特征图进行融合，获得融合特征图；
对所述融合特征图进行上采样，并与主干网浅层对应尺度的特征图进行跨层融合，获得融合特征图的多个上采样特征图；
通过目标检测层分别对所述融合特征图的多个上采样特征图进行目标检测，输出目标检测结果，其中，所述目标检测结果为所述灰度图像中包括的交通信号灯的候选区域。
在可选的实施方式中，在通过目标检测层分别对多个所述上采样特征图进行目标检测之前，所述方法还包括：
通过空间金字塔池化层对所述上采样特征图进行特征增强处理。
在可选的实施方式中，所述通过交通信号灯分类模型对所述候选区域进行卷积分类运算，包括：
根据所述候选区域计算所述待检测图像中与所述候选区域对应的图像区域的颜色空间数据；
将所述颜色空间数据输入至所述交通信号灯分类模型进行卷积分类运算，获得所述待检测图像中包括的交通信号灯在所述待检测图像中的位置信息及交通信号灯的类别。
在可选的实施方式中，根据所述候选区域计算所述待检测图像中与所述候选区域对应的图像区域的颜色空间数据，包括：
根据所述灰度图像中包括的交通信号灯的候选区域的坐标信息，提取所述待检测图像中与所述候选区域对应的图像区域的RGB信息和HSV信息，其中，所述HSV信息包括色相信息、饱和度信息和明度信息。
根据本申请实施例的第二个方面，提供了一种交通信号灯检测装置，应用于电子设备，所述装置包括：
检测模块，用于通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，以获取所述待检测图像中包括的交通信号灯的候选区域；
分类模块，用于通过交通信号灯分类模型对所述候选区域进行卷积分类运算，获得所述待检测图像中包括的交通信号灯的类别，其中，所述类别包括黄灯、红灯、绿灯及转向箭头灯中的至少一种。
根据本申请实施例的第三个方面，提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行上述的交通信号灯检测方法。
根据本申请实施例的第四个方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的交通信号灯检测方法。
采用本申请实施例提供的交通信号灯检测方法、装置、电子设备和存储介质，通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，从而获取所述待检测图像中包括的交通信号灯的候选区域；再通过交通信号灯分类模型对候选区域进行分类运算，最终获得所述待检测图像中包括的交通信号灯的类别。本申请在进行交通信号灯的类别检测时，仅需要对预先检测到的候选区域进行分类运算，而不是对整个图像进行分类运算，在无需对模型尺寸进行压缩的前提下，提高交通信号灯类别检测的速度和效率，降低了检测过程中需要占用的内存，同时也保证了交通信号灯检测结果的准确度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的电子设备的示意图；
图2为本申请实施例提供的交通信号灯检测方法的流程图之一；
图3为本申请实施例提供的交通信号灯检测方法的流程图之二；
图4为本申请实施例提供的步骤S101的子步骤流程图；
图5为本申请实施例提供的交通信号灯检测过程的示意图；
图6为本申请实施例提供的步骤S102的子步骤流程图；
图7为本申请实施例提供的交通信号灯检测方法的示意图；
图8为多个模型的精度-召回率(Precise-Recall)曲线；
图9为Pro-Rttld分类模型在测试数据集时的混淆矩阵；
图10为多个不同模型的精度及预处理速率的散点图；
图11为本申请实施例提供的交通信号灯检测装置的功能模块图。
图标：10-电子设备；11-处理器；12-存储器；13-总线；110-交通信号灯检测装置；1101-检测模块；1102-分类模块。
具体实施方式
在实现本申请的过程中，发明人发现，在实现交通信号灯检测时，面向无人驾驶系统的开放道路场景交通信号灯检测需要具有开阔的视场角(FOV)、高检测精度、高检测速率(>10Hz)和低内存占用等，使得基于车载硬件环境的交通信号灯检测模型实现起来较为困难。通常，深度卷积神经网络(CNN)采用更多的卷积层叠加、更复杂的网络架构来增强模型的拟合能力，从而使得模型获得更高的精度和性能。然而，用于进行交通信号灯检测的图像往往是大视野高清图像或由多个摄像头拍摄的图像拼接组成的高清图像，若直接通过深度卷积神经网络对高清图像进行检测，则会导致检测速度较慢，且占用的内存过大，若为了提高检测速度而对模型的尺寸进行压缩，则会降低检测结果的精度。
针对上述问题，本申请实施例中提供了一种交通信号灯检测方法、装置、电子设备和存储介质，通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，从而获取所述待检测图像中包括的交通信号灯的候选区域；再通过交通信号灯分类模型对候选区域进行分类运算，最终获得所述待检测图像中包括的交通信号灯的类别。本申请在进行交通信号灯的类别检测时，仅需要对预先检测到的候选区域进行分类运算，而不是对整个图像进行分类运算，在无需对模型尺寸进行压缩的前提下，提高交通信号灯类别检测的速度和效率，降低了检测过程中需要占用的内存，同时也保证了交通信号灯检测结果的准确度。
本申请实施例中的方案可以采用各种计算机语言实现，例如，pathon、c语言、c++语言实现，也可通过程序库函数封装被其它语言调用。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本实施例中，交通信号灯检测方法应用于电子设备10，该电子设备10与车载摄像设备连接，用于获取车载摄像设备拍摄的图像，并针对获取到的图像进行交通信号灯检测。可选地，在本实施例中，车载摄像设备可以于无人驾驶车辆的前挡风玻璃处，且电子设备10可以通过以太网接口或USB接口等连接方式与车载摄像设备连接，车载摄像设备的采样频率可以设置为10Hz。
在本实施例中，请参照图1，图1为本申请实施例提供的电子设备的示意图。电子设备10包括：处理器11、存储器12和总线13，存储器12存储有处理器11可执行的机器可读指令，当电子设备10运行时，11处理器与存储器12之间通过总线13通信，机器可读指令被处理器11执行时执行本申请实施例提供的交通信号灯检测方法。
请参照图2，图2为本申请实施例提供的交通信号灯检测方法的流程图之一。该方法应用于图1中的电子设备10，包括以下步骤：
步骤S101，通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，以获取待检测图像中包括的交通信号灯的候选区域。
步骤S102，通过交通信号灯分类模型对候选区域进行卷积分类运算，获得待检测图像中包括的交通信号灯的类别。其中，类别包括黄灯、红灯、绿灯及转向箭头灯中的至少一种。
在上述步骤中，当无人驾驶汽车启动后，车载摄像设备和电子设备通电，车载摄像设备将拍摄到的图像发送至电子设备进行处理。电子设备中包括有预先训练好的交通信号灯检测模型和交通信号灯分类模型。
通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，从而获取所述待检测图像中包括的交通信号灯的候选区域；再通过交通信号灯分类模型对候选区域进行分类运算，最终获得所述待检测图像中包括的交通信号灯的类别。本申请在进行交通信号灯的类别检测时，仅需要对预先检测到的候选区域进行分类运算，而不是对整个图像进行分类运算，在无需对模型尺寸进行压缩的前提下，提高交通信号灯类别检测的速度和效率，降低了检测过程中需要占用的内存，同时也保证了交通信号灯检测结果的准确度。
在本实施例中，车载摄像设备拍摄到的待检测图像中可能存在多个位于不同位置的交通信号灯，且位于不同位置的交通信号灯的类别可能存在不同，因此，还需要检测每个交通信号灯在待检测图像中的位置信息。
请参照图3，图3为本申请实施例提供的交通信号灯检测方法的流程图之二。在本实施例中，交通信号灯检测方法还包括：
步骤S103，通过交通信号灯分类模型对候选区域进行卷积分类运算，获得待检测图像中包括的交通信号灯在待检测图像中的位置信息。
在上述步骤中，交通信号灯分类模型除了能对交通信号灯进行颜色分类之外，还可以基于输入的候选区域获取到交通信号灯在待检测图像中的位置信息，最终，可以通过交通信号灯获取到待检测图像中包括的所有交通信号灯的位置信息以及该位置的交通信号灯的类别。
例如，若待检测图像中包括有三个交通信号灯，则输出结果为三个交通信号灯分别对应的位置信息，以及每个交通信号灯的颜色，电子设备中的其他模块可以根据输出的每个交通信号灯的位置信息以及颜色类别进行后续的运算，从而保证车辆可以实现自动驾驶。
可选地，请继续参照图3，在本实施例中，在步骤S101之前，交通信号灯检测方法还包括：
步骤S104，对待检测图像进行预处理，将待检测图像转化为灰度图像。
在本实施例中，车载摄像设备获取到的图像通常为彩色高清图像，为了减少交通信号灯检测模型的运算量，在将待检测图像输入至交通信号灯检测模型进行运算之前，可以先对待检测图像进行灰度处理，将待检测图像转换为单通道灰度图像，从而可以有效地减少交通信号灯检测模型的运算量，提高运算速度。
在此之后，请参照图4，图4为本申请实施例提供的步骤S101的子步骤流程图。在本实施例中，交通信号灯检测模型包括多个目标检测层及多个卷积主干网络，步骤S101包括以下子步骤：
子步骤S1011，对待检测图像的灰度图像进行降采样。
子步骤S1012，将降采样后的灰度图像分别输入至多个卷积主干网络中进行运算，获得灰度图像的多个不同尺寸的下采样特征图。
子步骤S1013，对灰度图像的多个不同尺寸的下采样特征图进行融合，获得融合特征图。
子步骤S1014，对融合特征图进行上采样，并与主干网浅层对应尺度的特征图进行跨层融合，获得融合特征图的多个上采样特征图。
子步骤S1015，通过目标检测层分别对融合特征图的多个上采样特征图进行目标检测，输出目标检测结果。其中，目标检测结果为所述灰度图像中包括的交通信号灯的候选区域。
交通信号灯检测模型中包括有多个卷积神经主干网络，每个卷积神经网络可针对输入的数据单独进行运算，互不影响。
例如，如图5所示，图5为本申请实施例提供的交通信号灯检测过程的示意图，在图5中，交通信号灯检测模型包括有三个卷积主干网络，分别是普通卷积主干网、残差卷积主干网以及DenseNet卷积主干网络，其中，普通卷积主干网络包括卷积层和最值池化层，残差卷积主干网络包括多个卷积层和残差层，DenseNet卷积主干网络包括多个卷积层、最值池化层和跨层连接层。可选地，普通卷积主干网、残差卷积主干网以及DenseNet卷积主干网络的各项网络参数可参照表1：
各主干网基础模块细节
Figure BDA0002784177940000091
表1
结合图5，在上述子步骤中，交通信号灯检测模型在获取到待检测图像的单通道灰度图像后(如图5中所示的1280×960的图像)，首先通过降采样层对该灰度图像进行降采样，将灰度图像降采样至同一尺寸(如图5所示的640×480大小的图像)，并将降采样后的图像分别输入至多个卷积神经网络中进行运算。各个卷积神经网络对输入的降采样后的图像再次进行下采样，获得多个不同大小的下采样特征图，例如，在图5中，下采样后可以获得6个不同尺寸的下采样特征图(下采样特征图尺寸可以为640×480、320×240、160×120、80×60、40×30、20×15)。随后在卷积神经网络的末端对多个不同大小的下采样特征图进行特征融合，获得融合特征图(例如，在图5中，融合特征图的尺寸大小可以为20×15)。再通过上采样层将融合特征图(即图5中所示的20×15大小的特征图)上采样至多个不同尺寸的上采样特征图，例如，在图5中，上采样后可以获得三个不同尺寸的上采样特征图，上采样特征图的尺寸分别为160×120、80×60、40×30。最后再通过交通信号灯检测模型中包括的目标检测层分别对多个不同尺寸的上采样特征图进行目标检测(在图5中，进行目标检测的三个上采样特征图的尺寸分别为160×120、80×60、40×30)，输出目标检测结果，即输出待检测图像中包括的交通信号灯的候选区域，
在上述步骤中，输入至交通灯信号检测模块进行检测的上采样特征图包括有融合特征图中的深层卷积特征以及卷积神经网络中的浅层卷积特征，通过融合深层卷积特征以及浅层卷积特征，可以实现特征增强，提高候选区域的选择精度。同时，在不同尺寸大小的上采样特征图上进行目标检测，使交通信号灯检测模型能够对输入的不同尺寸的上采样特征图进行自适应运算，最终能够输出包括有交通信号灯的所有候选区域位置。
在本实施例的一种实施方式中，目标检测层输出的候选区域可以是坐标形式。例如，以候选区域的顶角坐标对[xmax，ymax，xmin，ymin]的形式输出候选区域信息。
可选地，在本实施例中，在步骤S1015之前，交通信号灯检测方法还包括：
通过空间金字塔池化层对上采样特征图进行特征增强处理。
在本步骤中，当交通信号灯检测模型对融合特征图进行上采样，获得多个上采样特征图之后，还可以对其中至少一个特征图进行空间金字塔池化操作(即SPP)，实现进一步的特征增强。
请参照图6，图6为本申请实施例提供的步骤S102的子步骤流程图。在本实施例中，步骤S102包括以下子步骤：
子步骤S1021，根据候选区域计算待检测图像中与候选区域对应的图像区域的颜色空间数据。
子步骤S1022，将颜色空间数据输入至交通信号灯分类模型进行分类运算，获得待检测图像中包括的交通信号灯的类别。
其中，交通信号灯的类别包括黄灯、红灯及绿灯中的一种。
进一步地，在子步骤S1021中，交通信号灯检测模型将候选区域输入至交通信号灯分类模型中，交通信号灯分类模型根据输入的候选区域的位置信息在原始的待检测图像(即未进行灰度处理的图像)中获取与该候选区域对应的图像区域的颜色空间数据。
在一种可选的实施方式中，颜色空间数据可以是RGB信息和HSV信息，其中，HSV信息包括色相信息、饱和度信息和明度信息。
在获取到原始的待检测图像中与候选区域对应的区域的颜色空间数据之后，则通过分类模型基于候选区域的位置信息和颜色空间数据进行分类运算，从而可以获得待检测图像中包括的交通信号灯在该待检测图像中的位置信息和类别，完成交通信号灯的检测过程。
可选地，在本实施例中，交通信号灯分类模型可以是经过通道压缩后的轻量级分类器Pro-RTTLD。具体地，分类器Pro-RTTLD的架构层可参照表2。在表2中，Input一栏代表输入该分类器Pro-RTTLD的特征图的尺寸为64*64*4，分类器Pro-RTTLD包括包括有多个卷积层(即表2中的conv层)、多个最值池化层(即表2中的maxpool)、空间金字塔池化层(SpatialPyramid Pooling，即表2中的SPP)、上采样层(即表2中的Upsample)、均值池化层(即表2中的Avgpool)和全连接层(即表2中的softmax)，在表2中与每一层对应的具体数值即为该层的具体参数。例如，第一个Conv的参数为3×3×16，stride＝1，表示该卷积层的卷积和的大小为3×3，卷积核个数为16，卷积核的移动步长为1；最值池化层Maxpool的参数则为2×2，stride＝2，表示选择输入的特征图中每2×2的区域中的最大值最作为池化的结果，2×2区域的移动步长为2；空间金字塔池化层SPP的参数为3×3、5×5、7×7，stride＝1，表示该层的池化窗口具有多个尺寸大小，分别为3×3、5×5、7×7，窗口的移动步长为1。基于同样的原理，参考表2可以确定分类器Pro-RTTLD中的其他层的参数，在此不再赘述。
Figure BDA0002784177940000121
表2
为了进一步描述上述实施例，请参照图7，图7为本申请实施例提供的交通信号灯检测方法的示意图。在图7中，首先通过交通信号灯检测模型(即MBBNet模型)对待检测图像的灰度图像进行检测，获得ROI候选区域(即交通信号灯的候选区域)，然后根据ROI候选区域信息获取待检测图像的RGB数据和HSV数据，并将RGB数据、HSV数据以及ROI候选区域输入至Pro-RTTLD模型中进行目标分类运算，获得最后的检测结果(即交通信号灯的类别以及在待检测图像中的位置信息)。
可选地，在本实施例中，在通过交通信号灯检测模型和交通信号灯分类模型对交通信号灯进行检测之前，还需要分别对交通信号灯检测模型和交通信号灯分类模型进行训练和测试。
在训练过程中，可将大量的训练样本对输入至模型进行训练，并根据模型输出的结果和期望的输出结果的差异，调整模型的网络参数，在模型收敛后完成训练，获得最终的交通信号灯检测模型和交通信号灯分类模型。
在交通信号灯检测模型和交通信号灯分类模型训练完成后，还需要通过测试样本对模型进行测试。
可选地，在训练和测试时，可以采用12mm镜头的相机以10Hz的频率采集车辆的前视图数据，采集到的图像尺寸为1292x960像素。通过相机对真实场景图像进行采样和人工标定的方式构建交通信号灯的训练样本集和测试样本集，用于对检测模型和分类模型进行训练和测试。
可选地，在对交通信号灯检测模型(MBBNet)测试时，可以针对不同的通道压缩值进行多次测试，选择其中性能最佳的模型作为最终的交通信号灯检测模型。
例如，在选择通道压缩值时，可以采用两种不同的方案进行，例如选用的通道压缩值为1、3和8(其中1仅作参考)。当选择的通道压缩值为3时，即所构建的三个不同的卷积主干网络的每个卷积层仅包含三个通道；当选择通道压缩值为8时，所构建的三个不同主干网络的每个卷积层仅包含8个通道。如表3所示，表3列出了三种不同的通道压缩值(1、3、8)的MBBNet模型与其它卷积神经网络的检测任务上的性能对比，测试的数据为采用12mm镜头的相机以10Hz的频率采集车辆的前视图数据，图像尺寸为1292x960像素的测试样本集。
Figure BDA0002784177940000141
表3
图8则为多个模型的精度-召回率(PR)曲线，当其中一个模型的PR曲线能够覆盖另一个模型，则表明该模型的检测性能更好。在图8中，分别对比了当普通的卷积神经网络与MBBNet模型采用想用的通道压缩值时的性能对比，以及经过通道压缩的MBBNet模型与未经过通道压缩的MBBNe模型的PR曲线的对比。在图8中，MBBNetC8模型(即通道压缩值为8的MBBNet)的检测性能最佳。
在测试交通信号灯分类模型时，可以将不同的数据输入至模型中进行检测精度的计算，从而获得最佳性能的交通信号灯分类模型。如表4，表4示出了不同的输入数据对同一模型的检测精度的影响以及同一输入数据输入不同的模型的检测精度结果。
Figure BDA0002784177940000142
表4
其中Top1准确率仅考虑模型对置信度最高的类别的正确率，BFLOPS为每秒百亿次浮点运算量，kFPS为模型每秒处理的千帧图像数量，模型大小则描述了各个模型的参数总量。根据表4的结果显示，Pro-Rttld模型在处理RGB+HSV融合数据时分类精度最高，模型体积最小，仅处理速率略低，但对整体模型性能影响不大。
请结合参照图9，图9为Pro-Rttld模型在测试数据集时的混淆矩阵。在图9中，主对角线为正确检测结果的比例，其余显示了当前模型的误分类分布。从图9中可以看到Pro-Rttld模型能够对数据集中所包含的多类交通信号灯实现精准分类。
图10为多个不同模型的精度及预处理速率的散点图，测试时所采用的车载计算边缘平台为NVidia 1060Max-Q显卡，CPU为I5-4700T，16G内存和普通硬盘。最终的MBBNetC8检测模型和Pro-Rttld分类模型体积仅为1.35MB，其中MBBNetC8检测模型为686.1KB，Pro-Rttld分类模型为702KB。在此硬件平台的实时运行帧率为14FPS，同时能够兼顾较高的平均检测精度。同时，在测试中发现，其它卷积模型的体积均大于本模型，或精度低于本模型。
综上所述，本申请通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，从而获取所述待检测图像中包括的交通信号灯的候选区域；再通过交通信号灯分类模型对候选区域进行分类运算，最终获得所述待检测图像中包括的交通信号灯的类别。本申请在进行交通信号灯的类别检测时，仅需要对预先检测到的候选区域进行分类运算，而不是对整个图像进行分类运算，在无需对模型尺寸进行压缩的前提下，提高交通信号灯类别检测的速度和效率，降低了检测过程中需要占用的内存，同时也保证了交通信号灯检测结果的准确度。
另外，发明人经过测试和验证，进一步确定了与现有的卷积模型相比，体积较小且精确度较高的交通信号灯检测模型及交通信号灯分类模型，分别为MBBNetC8检测模型及Pro-Rttld分类模型。最终的模型体积和GPU显存占用均能够满足车载低功耗计算单元部署，如现场可编程逻辑门阵列(FPGA)或嵌入式GPU平台，同时针对高分辨率图像仍然能够保持较高的检测性能。
通过带有通道压缩的多卷积主干网络融合模型对灰度图进行处理，获取所有交通信号的候选区域位置。然后对所有候选区域利用色彩通道增强(同时在RGB和HSV色彩空间融合)，结合轻量级卷积分类模型进行分类推算，获得交通信号灯的具体类别。整个流程通过两个不同架构的轻量级卷积神经网络分别处理检测和分类任务，从而在压缩模型体积、显存和计算量的同时，保障无人驾驶车载环境下的实时检测精度。
请参照图11，图11为本申请实施例提供的交通信号灯检测装置的功能模块图。在本实施例中，交通信号灯检测装置110应用于电子设备10，交通信号灯检测装置110包括：
检测模块1101，用于通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，以获取所述待检测图像中包括的交通信号灯的候选区域；
分类模块1102，用于通过交通信号灯分类模型对所述候选区域进行卷积分类运算，获得所述待检测图像中包括的交通信号灯的类别，其中，所述类别包括黄灯、红灯及绿灯中的至少一种。
值得说明的是，交通信号灯检测装置110中各个模块的工作原理及流程可参照前述提供的交通信号灯检测方法，在此不再赘述。
可选地，本申请实施例还提供了一种存储介质，存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的交通信号灯检测方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种交通信号灯检测方法，其特征在于，所述方法包括：
通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，以获取所述待检测图像中包括的交通信号灯的候选区域；
通过交通信号灯分类模型对所述候选区域进行卷积分类运算，获得所述待检测图像中包括的交通信号灯的类别，其中，所述类别包括黄灯、红灯、绿灯及转向箭头灯中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过交通信号灯分类模型对所述候选区域进行卷积分类运算，获得所述待检测图像中包括的交通信号灯在所述待检测图像中的位置信息。
3.根据权利要求1所述的方法，其特征在于，在通过交通信号灯检测模型对获取到的待检测图像进行卷积处理之前，所述方法还包括：
对所述待检测图像进行预处理，将所述待检测图像转化为灰度图像。
4.根据权利要求3所述的方法，其特征在于，交通信号灯检测模型包括目标检测层及多个卷积主干网络，通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，以获取所述待检测图像中包括的交通信号灯的候选区域，包括：
对所述待检测图像的灰度图像进行降采样；
将降采样后的灰度图像分别输入至多个所述卷积主干网络中进行运算，获得所述灰度图像的多个不同尺寸的下采样特征图；
对所述灰度图像的多个不同尺寸的下采样特征图进行融合，获得融合特征图；
对所述融合特征图进行上采样，并与主干网浅层对应尺度的特征图进行跨层融合，获得融合特征图的多个上采样特征图；
通过所述目标检测层分别对所述融合特征图的多个上采样特征图进行目标检测，输出目标检测结果，其中，所述目标检测结果为所述灰度图像中包括的交通信号灯的候选区域。
5.根据权利要求4所述的方法，其特征在于，其特征在于，在通过目标检测层分别对多个所述上采样特征图进行目标检测之前，所述方法还包括：
通过空间金字塔池化层对所述上采样特征图进行特征增强处理。
6.根据权利要求2所述的方法，其特征在于，所述通过交通信号灯分类模型对所述候选区域进行卷积分类运算，包括：
根据所述候选区域计算所述待检测图像中与所述候选区域对应的图像区域的颜色空间数据；
将所述颜色空间数据输入至所述交通信号灯分类模型进行卷积分类运算，获得所述待检测图像中包括的交通信号灯在所述待检测图像中的位置信息及交通信号灯的类别。
7.根据权利要求6所述的方法，其特征在于，根据所述候选区域计算所述待检测图像中与所述候选区域对应的图像区域的颜色空间数据，包括：
根据所述灰度图像中包括的交通信号灯的候选区域的坐标信息，提取所述待检测图像中与所述候选区域对应的图像区域的RGB信息和HSV信息，其中，所述HSV信息包括色相信息、饱和度信息和明度信息。
8.一种交通信号灯检测装置，其特征在于，所述装置包括：
检测模块，用于通过交通信号灯检测模型对获取到的待检测图像进行卷积处理，以获取所述待检测图像中包括的交通信号灯的候选区域；
分类模块，用于通过交通信号灯分类模型对所述候选区域进行卷积分类运算，获得所述待检测图像中包括的交通信号灯的类别，其中，所述类别包括黄灯、红灯、绿灯及转向箭头灯中的至少一种。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-7任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-7任一项所述的方法。
CN202011292400.6A 2020-11-18 2020-11-18 交通信号灯检测方法、装置、电子设备和存储介质 Pending CN112288031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011292400.6A CN112288031A (zh) 2020-11-18 2020-11-18 交通信号灯检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292400.6A CN112288031A (zh) 2020-11-18 2020-11-18 交通信号灯检测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112288031A true CN112288031A (zh) 2021-01-29

Family

ID=74398464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292400.6A Pending CN112288031A (zh) 2020-11-18 2020-11-18 交通信号灯检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112288031A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733815A (zh) * 2021-03-30 2021-04-30 广州赛特智能科技有限公司 一种基于rgb室外道路场景图像的红绿灯识别方法
CN114863386A (zh) * 2022-03-30 2022-08-05 广州文远知行科技有限公司 交通信号灯的检测方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650641A (zh) * 2016-12-05 2017-05-10 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及系统
CN108108761A (zh) * 2017-12-21 2018-06-01 西北工业大学 一种基于深度特征学习的快速交通信号灯检测方法
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN109508580A (zh) * 2017-09-15 2019-03-22 百度在线网络技术（北京）有限公司 交通信号灯识别方法和装置
CN110069986A (zh) * 2019-03-13 2019-07-30 北京联合大学 一种基于混合模型的交通信号灯识别方法及系统
CN110329271A (zh) * 2019-06-18 2019-10-15 北京航空航天大学杭州创新研究院 一种基于机器学习的多传感器车辆行驶检测系统及方法
CN110766098A (zh) * 2019-11-07 2020-02-07 中国石油大学(华东) 基于改进YOLOv3的交通场景小目标检测方法
CN111563887A (zh) * 2020-04-30 2020-08-21 北京航空航天大学杭州创新研究院 一种口腔图像的智能分析方法与装置
CN111754446A (zh) * 2020-06-22 2020-10-09 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN111832493A (zh) * 2020-07-17 2020-10-27 平安科技（深圳）有限公司 图像交通信号灯检测方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650641A (zh) * 2016-12-05 2017-05-10 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及系统
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN109508580A (zh) * 2017-09-15 2019-03-22 百度在线网络技术（北京）有限公司 交通信号灯识别方法和装置
CN108108761A (zh) * 2017-12-21 2018-06-01 西北工业大学 一种基于深度特征学习的快速交通信号灯检测方法
CN110069986A (zh) * 2019-03-13 2019-07-30 北京联合大学 一种基于混合模型的交通信号灯识别方法及系统
CN110329271A (zh) * 2019-06-18 2019-10-15 北京航空航天大学杭州创新研究院 一种基于机器学习的多传感器车辆行驶检测系统及方法
CN110766098A (zh) * 2019-11-07 2020-02-07 中国石油大学(华东) 基于改进YOLOv3的交通场景小目标检测方法
CN111563887A (zh) * 2020-04-30 2020-08-21 北京航空航天大学杭州创新研究院 一种口腔图像的智能分析方法与装置
CN111754446A (zh) * 2020-06-22 2020-10-09 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN111832493A (zh) * 2020-07-17 2020-10-27 平安科技（深圳）有限公司 图像交通信号灯检测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENCHAO OUYANG, ET: "An edge IoT computing-based traffic light detection solution for autonomous bus", JOURNAL OF SYSTEMS ARCHITECTURE *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733815A (zh) * 2021-03-30 2021-04-30 广州赛特智能科技有限公司 一种基于rgb室外道路场景图像的红绿灯识别方法
CN112733815B (zh) * 2021-03-30 2021-08-17 广州赛特智能科技有限公司 一种基于rgb室外道路场景图像的红绿灯识别方法
CN114863386A (zh) * 2022-03-30 2022-08-05 广州文远知行科技有限公司 交通信号灯的检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN111741211B (zh) 图像显示方法和设备
CN109902600B (zh) 一种道路区域检测方法
CN109101914B (zh) 一种基于多尺度的行人检测方法和装置
WO2021164731A1 (zh) 图像增强方法以及图像增强装置
CN107274445B (zh) 一种图像深度估计方法和系统
CN111402146B (zh) 图像处理方法以及图像处理装置
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN112581379A (zh) 图像增强方法以及装置
CN110807384A (zh) 低能见度下的小目标检测方法和系统
US11170470B1 (en) Content-adaptive non-uniform image downsampling using predictive auxiliary convolutional neural network
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN112288031A (zh) 交通信号灯检测方法、装置、电子设备和存储介质
CN111444847B (zh) 一种交通标志检测识别方法、系统、装置及存储介质
WO2019228450A1 (zh) 一种图像处理方法、装置及设备、可读介质
CN112204566A (zh) 基于机器视觉的图像处理方法和设备
CN112861987A (zh) 暗光环境下的目标检测方法
CN111881924A (zh) 结合光照不变性与短曝光光照增强的暗光车照识别方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN113780189A (zh) 一种基于U-Net改进的车道线检测方法
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN114219757A (zh) 一种基于改进Mask R-CNN的车辆智能定损方法
CN113763261A (zh) 一种海雾气象条件下的远小目标实时检测方法
CN116917954A (zh) 图像检测方法、装置和电子设备
CN113408325A (zh) 车辆周围环境的识别方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination