CN112560737A - 一种信号灯识别方法、装置、存储介质及电子设备 - Google Patents

一种信号灯识别方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112560737A
CN112560737A CN202011534185.6A CN202011534185A CN112560737A CN 112560737 A CN112560737 A CN 112560737A CN 202011534185 A CN202011534185 A CN 202011534185A CN 112560737 A CN112560737 A CN 112560737A
Authority
CN
China
Prior art keywords
signal lamp
grid
neural network
signal
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011534185.6A
Other languages
English (en)
Inventor
兰文博
张怡欢
曾勇
戴一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Original Assignee
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Suzhou Automotive Research Institute of Tsinghua University filed Critical Tsinghua University
Priority to CN202011534185.6A priority Critical patent/CN112560737A/zh
Publication of CN112560737A publication Critical patent/CN112560737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本申请实施例公开了一种信号灯识别方法、装置、存储介质及电子设备。该方法包括：通过嵌入式设备获取信号灯图像；基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框；根据所述信号灯识别框的置信度参数，确定信号灯置信得分。本技术方案，可以基于轻量化嵌入式设备对信号灯进行识别，具有体积小、成本低、设备功耗低、识别准确率高等特点。

Description

一种信号灯识别方法、装置、存储介质及电子设备
技术领域
本申请实施例涉及信号灯识别技术领域，尤其涉及一种信号灯识别方法、装置、存储介质及电子设备。
背景技术
环境感知技术是自动驾驶汽车关键技术之一，它是通过安装在自动驾驶汽车上的传感器或自组织网络，对道路、车辆、行人、交通标志、交通信号灯等进行检测和识别的技术，主要应用于先进驾驶辅助系统，如自适应巡航控制系统、车道偏离报警系统、道路保持辅助系统、汽车并线辅助系统、自动刹车辅助系统等，保障自动驾驶汽车安全、准确到达目的地。
信号灯识别作为自动驾驶系统中的关键输入数据，能够为自动驾驶的感知、定位、规划提供先验信息，信号灯识别是自动驾驶汽车的必备要素。
目前，并没有很好的方法能够基于对信号灯的识别实现对自动驾驶汽车的控制。
发明内容
本申请实施例提供一种信号灯识别方法、装置、存储介质及电子设备，基于轻量化嵌入式设备对信号灯进行识别，识别准确率高，实现了基于信号灯识别对自动驾驶汽车的控制。
第一方面，本申请实施例提供了一种信号灯识别方法，该方法包括：
通过嵌入式设备获取信号灯图像；
基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框；
根据所述信号灯识别框的置信度参数，确定信号灯置信得分。
第二方面，本申请实施例提供了一种信号灯识别装置，该装置包括：
信号灯图像获取模块，用于通过嵌入式设备获取信号灯图像；
神经网络处理模块，用于基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框；
信号灯识别模块，用于根据所述信号灯识别框的置信度参数，确定信号灯置信得分。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的信号灯识别方法。
第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的信号灯识别方法。
本申请实施例所提供的技术方案，通过嵌入式设备获取信号灯图像；基于已训练的神经网络模型对信号灯图像进行处理，得到信号灯识别框；根据所述信号灯识别框的置信度参数，确定信号灯置信得分。本技术方案，可以基于轻量化嵌入式设备对信号灯进行识别，具有体积小、成本低、设备功耗低、识别准确率高等特点。
附图说明
图1是本申请实施例一提供的信号灯识别方法的流程图；
图2是本申请实施例二提供的信号灯识别装置的结构示意图；
图3是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本申请实施例一提供的信号灯识别方法的流程图，本实施例可适用于自动驾驶汽车对信号灯进行识别的情况，该方法可以由本申请实施例所提供的信号灯识别装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于信号灯识别的智能终端等设备中。
如图1所示，所述信号灯识别方法包括：
S110、通过嵌入式设备获取信号灯图像。
其中，信号灯可以是指由红、黄、绿三种颜色灯组成用来指挥交通通行的交通灯。信号灯图像可以是由信号灯以及其他物体组成的图像。
在本实施例中，嵌入式设备可以是指一种嵌入机械或电气系统内部、具有专一功能和实时计算性能的计算机系统。嵌入式系统常被用于高效控制许多常见设备，被嵌入的系统通常是包含数字硬件和机械部件的完整设备，例如汽车的防锁死刹车系统。
本方案中，将嵌入式设备安装在自动驾驶汽车上，通过嵌入式设备的摄像头获取信号灯图像，实现基于信号灯识别对自动驾驶汽车的控制。
在本技术方案中，可选的，所述嵌入式设备包括Jetson Nano设备。
其中，Jetson Nano设备可以支持高分辨率传感器，可以并行处理多个传感器，并且可在每个传感器流上运行多个现代神经网络。
通过使用嵌入式设备对信号灯图像进行识别，具有体积小、成本低、设备功耗低、识别准确率高等特点。
S120、基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框。
在本实施例中，神经网络模型是由大量的、简单的处理单元广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。例如，YOLOv3算法、Bp网络和Hopfield网络等。YOLO算法的基本思想是通过特征提取网络对输入图像提取特征。Bp网络是一种按照误差逆向传播算法训练的多层前馈神经网络。Hopfield神经网络是一种递归神经网络，核心是入残缺的数据后，可以重建完整数据的一个模型。
其中，已训练的神经网络模型可以是基于深度学习算法在台式机上进行训练得到的神经网络模型。已训练的神经网络模型中的各个参数都是已经确定的，可以直接用于对信号灯图像进行处理。例如，初始学习率、迭代次数等参数都是已经确定的。
本方案中，信号灯识别框可以是用于标注信号灯在图像中的位置坐标信息的识别框。不同颜色的信号灯的识别框是不同的。
具体的，获得信号灯图像后，利用已训练的神经网络模型对信号灯图像进行识别，可以预测信号灯识别框的位置。
在本技术方案中，可选的，基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框，包括：
基于已训练的神经网络模型将所述信号灯图像划分，得到至少一个尺度的网格图像；
对所述网格图像中的各网格进行识别，若网格中包括信号灯，则确定包括信号灯的网格为目标网格；
对所述目标网格进行识别，得到信号灯识别框。
具体的，将信号灯图像划分为s*s尺度的网格图像，若网格中包括信号灯，则该网格确定为目标网格，并基于目标网格对信号灯进行识别，预测得到信号灯识别框。其中，信号灯图像的划分尺度可以根据识别需求进行设定，本实施例中不作限定。
通过对信号灯图像进行划分，获得目标网格，并对目标网格进行识别，提高了信号灯的识别效率。
在本技术方案中，可选的，所述神经网络模型的训练过程包括：
获得信号灯数据集；
利用LabelImage软件对所述信号灯数据集进行标注，得到待处理信号灯数据集；
采用YOLOv3-tiny网络结构对所述待处理信号灯数据集进行训练，得到训练后的神经网络模型。
其中，信号灯数据集可以是由多张信号灯图像组成的数据集。优选的，信号数据集可以是由560张红灯图像、540张黄灯图像以及540张绿灯图像组成。
在本实施例中，LabelImage软件可以用于神经网络中训练样本的标签标定，可实现自制样本用于自己网络的调参使用，使用程序对大批量的图片进行自动标注。利用LabelImage软件对信号灯数据集进行标注，标注完成后会得到一个训练用的XML格式的文档，里面包含了信号灯在图像中的位置坐标信息。
其中，YOLOv3-tiny网络结构是在YOLOv3的基础上去掉了一些特征层，只保留了2个独立预测分支的神经网络结构。采用YOLOv3-tiny网络结构对待处理信号灯数据集进行训练，从每种信号灯各随机选取20％作为验证集，其余做为训练集进行训练。例如，可以选取红灯图像112张、黄灯图像108张以及绿灯图像108张作为验证集，其余做为训练集进行训练。
本方案中，在台式机上对神经网络模型进行训练，训练时可以设置YOLOv3-tiny网络参数的初始学习率为0.001，在迭代次数为10000和15000次时，学习率分别设置为0.0001和0.00001，最大迭代次数为20020次，得到训练后的神经网络模型后，将信号灯识别算法YOLOv3-tiny及训练好的神经网络模型移植到嵌入式设备。
通过对神经网络模型进行训练，将训练好的模型移植到嵌入式设备中，可以实现通过嵌入式设备对信号灯图像的识别，具有体积小、成本低、设备功耗低、识别准确率高等特点。
在本技术方案中，可选的，采用YOLOv3-tiny网络结构对所述待处理信号灯数据集进行训练，得到训练后的神经网络模型，包括：
利用K-Means++聚类算法对所述待处理信号灯数据集进行聚类，得到至少6组初选候选框；
根据所述初选候选框，确定第一数值和第二数值；其中，所述第一数值为所述初始候选框的高除以所述信号灯初始候选框对应的图像的高的值；所述第二数值为所述初始候选框的宽除以所述初始候选框对应的图像的宽的值；
根据所述第一数值和所述第二数值对YOLOv3-tiny网络结构中确定的初选识别框的数值进行更改。
其中，K-Means++聚类算法的思想是对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。k-means++聚类算法可以有效的选择初始聚类中心点。
可以理解的，利用K-Means++聚类算法对待处理信号灯数据集进行重新聚类，得到与信号灯图像中信号灯宽高比最相近的6组初始候选框，根据得到的初始候选框计算每组初始候选框的第一数值和第二数值，并根据第一数值和第二数值对YOLOv3-tiny网络结构中确定的初选识别框的数值进行更改。
利用K-Means++聚类算法对待处理信号灯数据集进行聚类，更改YOLOv3-tiny网络结构中确定的初选识别框的数值。使得初选识别框的高宽比更加符合信号灯图像中的信号灯的大小，提高了信号灯识别的准确率。
S130、根据所述信号灯识别框的置信度参数，确定信号灯置信得分。
其中，置信度参数可以是识别信号灯的可信程度。例如，识别为红灯的置信参数为95％，则说明识别信号灯为红灯的可信程度为95％。
在本实施例中，信号灯置信得分可以是识别准确率。可选的，红灯识别的准确率为99.9％，黄灯识别的准确率为86.39％，绿灯识别的准确率为98.57％。将信号灯条件概率和不同识别框置信度参数的预测值相乘，可以得到每个识别框信号灯置信得分。其中，信号灯条件概率可以是识别为红灯、黄灯或者绿灯的概率。基于神经网络模型识别过程中可以确定信号灯条件概率的数值。
通过对信号灯置信得分进行确定，可以获得信号灯识别的准确率。
本申请实施例所提供的技术方案，通过嵌入式设备获取信号灯图像；基于已训练的神经网络模型对信号灯图像进行处理，得到信号灯识别框；根据所述信号灯识别框的置信度参数，确定信号灯置信得分。通过执行本技术方案，可以基于轻量化嵌入式设备对信号灯进行识别，具有体积小、成本低、设备功耗低、识别准确率高等特点。
实施例二
图2是本申请实施例二提供的信号灯识别装置的结构示意图，如图2所示，信号灯识别装置包括：
信号灯图像获取模块210，用于通过嵌入式设备获取信号灯图像；
神经网络处理模块220，用于基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框；
信号灯识别模块230，用于根据所述信号灯识别框的置信度参数，确定信号灯置信得分。
在本技术方案中，可选的，所述嵌入式设备包括Jetson Nano设备。
在本技术方案中，可选的，神经网络处理模块220，包括：
网格图像得到单元，用于基于已训练的神经网络模型将所述信号灯图像划分，得到至少一个尺度的网格图像；
目标网格确定单元，用于对所述网格图像中的各网格进行识别，若网格中包括信号灯，则确定包括信号灯的网格为目标网格；
信号灯识别框得到单元，用于对所述目标网格进行识别，得到信号灯识别框。
在本技术方案中，可选的，所述装置还包括：
信号灯数据集获得模块，用于获得信号灯数据集；
待处理信号灯数据集得到模块，用于利用LabelImage软件对所述信号灯数据集进行标注，得到待处理信号灯数据集；
训练后的神经网络模型得到模块，用于采用YOLOv3-tiny网络结构对所述待处理信号灯数据集进行训练，得到训练后的神经网络模型。
在本技术方案中，可选的，训练后的神经网络模型得到模块，包括：
初选候选框得到单元，用于利用K-Means++聚类算法对所述待处理信号灯数据集进行聚类，得到至少6组初选候选框；
数值确定单元，用于根据所述初选候选框，确定第一数值和第二数值；其中，所述第一数值为所述初始候选框的高除以所述信号灯初始候选框对应的图像的高的值；所述第二数值为所述初始候选框的宽除以所述初始候选框对应的图像的宽的值；
数值更改单元，用于根据所述第一数值和所述第二数值对YOLOv3-tiny网络结构中确定的初选识别框的数值进行更改。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三
本申请实施例三还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种信号灯识别方法，该方法包括：
通过嵌入式设备获取信号灯图像；
基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框；
根据所述信号灯识别框的置信度参数，确定信号灯置信得分。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的信号灯识别操作，还可以执行本申请任意实施例所提供的信号灯识别方法中的相关操作。
实施例四
本申请实施例四提供了一种电子设备，该电子设备中可集成本申请实施例提供的信号灯识别装置。图3是本申请实施例四提供的一种电子设备的结构示意图。如图3所示，本实施例提供了一种电子设备300，其包括：一个或多个处理器320；存储装置310，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器320执行，使得所述一个或多个处理器320实现本申请实施例所提供的信号灯识别方法，该方法包括：
通过嵌入式设备获取信号灯图像；
基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框；
根据所述信号灯识别框的置信度参数，确定信号灯置信得分。
当然，本领域技术人员可以理解，处理器320还实现本申请任意实施例所提供的信号灯识别方法的技术方案。
图3显示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示，该电子设备300包括处理器320、存储装置310、输入装置330和输出装置340；电子设备中处理器320的数量可以是一个或多个，图3中以一个处理器320为例；电子设备中的处理器320、存储装置310、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线350连接为例。
存储装置310作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的信号灯识别方法对应的程序指令。
存储装置310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置310可进一步包括相对于处理器320远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏、扬声器等电子设备。
本申请实施例提供的电子设备，可以达到提高信号灯识别效率高的目的。
上述实施例中提供的信号灯识别装置、存储介质及电子设备可执行本申请任意实施例所提供的信号灯识别方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的信号灯识别方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种信号灯识别方法，其特征在于，包括：
通过嵌入式设备获取信号灯图像；
基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框；
根据所述信号灯识别框的置信度参数，确定信号灯置信得分。
2.根据权利要求1所述的方法，其特征在于，所述嵌入式设备包括Jetson Nano设备。
3.根据权利要求1所述的方法，其特征在于，基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框，包括：
基于已训练的神经网络模型将所述信号灯图像划分，得到至少一个尺度的网格图像；
对所述网格图像中的各网格进行识别，若网格中包括信号灯，则确定包括信号灯的网格为目标网格；
对所述目标网格进行识别，得到信号灯识别框。
4.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：
获得信号灯数据集；
利用LabelImage软件对所述信号灯数据集进行标注，得到待处理信号灯数据集；
采用YOLOv3-tiny网络结构对所述待处理信号灯数据集进行训练，得到训练后的神经网络模型。
5.根据权利要求4所述的方法，其特征在于，采用YOLOv3-tiny网络结构对所述待处理信号灯数据集进行训练，得到训练后的神经网络模型，包括：
利用K-Means++聚类算法对所述待处理信号灯数据集进行聚类，得到至少6组初选候选框；
根据所述初选候选框，确定第一数值和第二数值；其中，所述第一数值为所述初始候选框的高除以所述信号灯初始候选框对应的图像的高的值；所述第二数值为所述初始候选框的宽除以所述初始候选框对应的图像的宽的值；
根据所述第一数值和所述第二数值对YOLOv3-tiny网络结构中确定的初选识别框的数值进行更改。
6.一种信号灯识别装置，其特征在于，包括：
信号灯图像获取模块，用于通过嵌入式设备获取信号灯图像；
神经网络处理模块，用于基于已训练的神经网络模型对所述信号灯图像进行处理，得到信号灯识别框；
信号灯识别模块，用于根据所述信号灯识别框的置信度参数，确定信号灯置信得分。
7.根据权利要求6所述的装置，其特征在于，所述嵌入式设备包括Jetson Nano设备。
8.根据权利要求6所述的装置，其特征在于，神经网络处理模块，包括：
网格图像得到单元，用于基于已训练的神经网络模型将所述信号灯图像划分，得到至少一个尺度的网格图像；
目标网格确定单元，用于对所述网格图像中的各网格进行识别，若网格中包括信号灯，则确定包括信号灯的网格为目标网格；
信号灯识别框得到单元，用于对所述目标网格进行识别，得到信号灯识别框。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的信号灯识别方法。
10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的信号灯识别方法。
CN202011534185.6A 2020-12-22 2020-12-22 一种信号灯识别方法、装置、存储介质及电子设备 Pending CN112560737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011534185.6A CN112560737A (zh) 2020-12-22 2020-12-22 一种信号灯识别方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011534185.6A CN112560737A (zh) 2020-12-22 2020-12-22 一种信号灯识别方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN112560737A true CN112560737A (zh) 2021-03-26

Family

ID=75031453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011534185.6A Pending CN112560737A (zh) 2020-12-22 2020-12-22 一种信号灯识别方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112560737A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642521A (zh) * 2021-09-01 2021-11-12 东软睿驰汽车技术（沈阳）有限公司 红绿灯识别质量的评价方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734979A (zh) * 2017-04-20 2018-11-02 通用汽车环球科技运作有限责任公司 交通信号灯检测系统及方法
US20190087673A1 (en) * 2017-09-15 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for identifying traffic light
CN111507210A (zh) * 2020-03-31 2020-08-07 华为技术有限公司 交通信号灯的识别方法、系统、计算设备和智能车
CN111553201A (zh) * 2020-04-08 2020-08-18 东南大学 一种基于YOLOv3优化算法的交通灯检测方法
CN112101221A (zh) * 2020-09-15 2020-12-18 哈尔滨理工大学 一种用于交通信号灯实时检测与识别的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734979A (zh) * 2017-04-20 2018-11-02 通用汽车环球科技运作有限责任公司 交通信号灯检测系统及方法
US20190087673A1 (en) * 2017-09-15 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for identifying traffic light
CN111507210A (zh) * 2020-03-31 2020-08-07 华为技术有限公司 交通信号灯的识别方法、系统、计算设备和智能车
CN111553201A (zh) * 2020-04-08 2020-08-18 东南大学 一种基于YOLOv3优化算法的交通灯检测方法
CN112101221A (zh) * 2020-09-15 2020-12-18 哈尔滨理工大学 一种用于交通信号灯实时检测与识别的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张焕增;李茂强;刘英杰;: "基于视觉的轨道交通信号灯识别算法研究", 电子制作, no. 18 *
顾海燕译: "基于GPU加速的计算机视觉编程", 30 April 2020, 机械工业出版社, pages: 162 - 163 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642521A (zh) * 2021-09-01 2021-11-12 东软睿驰汽车技术（沈阳）有限公司 红绿灯识别质量的评价方法、装置和电子设备
CN113642521B (zh) * 2021-09-01 2024-02-09 东软睿驰汽车技术（沈阳）有限公司 红绿灯识别质量的评价方法、装置和电子设备

Similar Documents

Publication Publication Date Title
US11928866B2 (en) Neural networks for object detection and characterization
US11037005B2 (en) Method and apparatus for identifying traffic light
CN111626208B (zh) 用于检测小目标的方法和装置
DE102018121595B4 (de) Unbeaufsichtigtes anlernen von agenten für autonome fahranwendungen
CN106599773B (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN110103953B (zh) 用于辅助车辆的驾驶控制的方法、设备、介质和系统
CN110378483A (zh) 部署在模拟平台上的用于训练机器学习模型的系统和方法
JP2021536072A (ja) トレーニングデータを取得するためのシステム及び方法
CN106845487A (zh) 一种端到端的车牌识别方法
CN110175498A (zh) 向导航度量地图提供富信息的地图语义
KR102630320B1 (ko) 다중 프레임 시맨틱 신호의 고속 cnn 분류
TW201706918A (zh) 作爲供神經網路的訓練準則的濾波器特異性
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN111582189A (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
CN111291697A (zh) 用于识别障碍物的方法和装置
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
US20220318464A1 (en) Machine Learning Data Augmentation for Simulation
CN110096979B (zh) 模型的构建方法、人群密度估计方法、装置、设备和介质
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN112883991A (zh) 对象分类方法、对象分类电路、机动车辆
US20200384989A1 (en) Method for the improved detection of objects by a driver assistance system
WO2023231991A1 (zh) 交通信号灯感知方法、装置、设备及存储介质
CN115019060A (zh) 目标识别方法、目标识别模型的训练方法及装置
CN112560737A (zh) 一种信号灯识别方法、装置、存储介质及电子设备
CN111160282A (zh) 一种基于二值化Yolov3网络的红绿灯检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination