CN115761699A - 交通信号灯的分类方法、装置及电子设备 - Google Patents

交通信号灯的分类方法、装置及电子设备 Download PDF

Info

Publication number
CN115761699A
CN115761699A CN202211500769.0A CN202211500769A CN115761699A CN 115761699 A CN115761699 A CN 115761699A CN 202211500769 A CN202211500769 A CN 202211500769A CN 115761699 A CN115761699 A CN 115761699A
Authority
CN
China
Prior art keywords
traffic signal
signal lamp
classification
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211500769.0A
Other languages
English (en)
Inventor
董伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202211500769.0A priority Critical patent/CN115761699A/zh
Publication of CN115761699A publication Critical patent/CN115761699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本申请涉及交通信号灯技术领域，特别涉及一种交通信号灯的分类方法、装置及电子设备，其中，方法包括：获取车辆周围的环境图像；将环境图像输入预先训练得到的位置检测模型，输出环境图像中交通信号灯区域；将携带有交通信号灯区域的环境图像输入预先训练得到的分类模型中，输出交通信号灯的实际类别，其中，分类模型包括残差层和分类层，残差层用于根据交通信号灯区域从环境图像中抠出交通信号灯图像，分类层用于识别交通信号灯图像得到实际类别。由此，解决了相关技术中进行交通信号灯分类时，定位精度底低，分类准确度较差且不易部署等问题。

Description

交通信号灯的分类方法、装置及电子设备
技术领域
本申请涉及交通信号灯技术领域，特别涉及一种交通信号灯的分类方法、装置及电子设备。
背景技术
目前红绿灯的检测分类算法可以分为基于传统视觉算法、基于深度学习的方法。基于传统视觉算法是使用HOG(Histogram of Oriented Gridients)算法进行位置回归，一般在使用SVM(Support vector machine)算法进行分类，主要缺点在于计算速度慢，容易过拟合，造成检测和分类精度低。基于深度学习算法是将图像输入到卷积神经网络，回归红绿灯在图像的位置信息和类别信息。典型算法图像目标检测算法YOLO(You Only Look Once:Unified,Real-Time Object Detection)系列，SSD(Single Shot MultiBox Detector)等，主要缺点红绿灯在图像成像偏小，且颜色差异不大，目标检测算法同时回归位置和分类难度大大增加。
相关技术中通过消失点检测确定水平线以上为感兴趣区域，在感兴趣区域使用squeezedet算法进行红绿灯检测和识别，但是对于摄像头固定安装后，红绿灯的成像区域分布也固定了，消失点的检测增加了时间开销，同时squeezedet算法在硬件上对矩阵乘法运算不太友好，运行时间开销大。
发明内容
本申请提供一种交通信号灯的分类方法、装置及电子设备，以解决相关技术中进行交通信号灯分类时，定位精度底低，分类准确度较差且不易部署等问题。
本申请第一方面实施例提供一种交通信号灯的分类方法，包括以下步骤：获取车辆周围的环境图像；将所述环境图像输入预先训练得到的位置检测模型，输出所述环境图像中交通信号灯区域；将携带有所述交通信号灯区域的环境图像输入预先训练得到的分类模型中，输出所述交通信号灯的实际类别，其中，所述分类模型包括残差层和分类层，所述残差层用于根据所述交通信号灯区域从所述环境图像中抠出交通信号灯图像，所述分类层用于识别所述交通信号灯图像得到所述实际类别。
根据上述技术手段，本申请实施例可以采用检测定位与分类两步的方式，实现对交通信号灯的检测和分类，使用残差设计的分类网络具有很强的鲁棒性，并且定位精度高，分类准确度高。
可选地，所述位置检测模型训练过程包括：获取一个或多个测试场景的采样图像；标注所述采样图像中交通信号灯的实际位置，得到位置检测框；根据所述位置检测框识别所述采样图像中交通信号灯的分布区域，根据所述分布区域对所述采样图像进行裁剪，得到每个采样图像的交通信号灯区域；根据所述每个采样图像的交通信号灯区域生成位置检测训练数据集，利用所述位置检测训练数据集对YOLOV5算法进行模型训练，得到所述位置检测模型。
根据上述技术手段，本申请实施例可以对采样图像的原始图像进行裁剪后，使用改良后的YOLOV5进行模型训练，获取位置检测模型，提高了定位的精度。
可选地，所述分类模型的训练过程包括：获取携带有交通信号灯的真实类别标签的分类训练数据集；将所述分类训练数据集中的训练图像输入所述残差层，输出所述训练图像的交通信号灯图像，并将所述交通信号灯图像输入所述分类层，输出所述交通信号灯的预测类别；根据所述真实类别和所述预测类别计算训练误差，直到所述训练误差小于或等于预设误差时，停止迭代训练，得到所述分类模型。
根据上述技术手段，本申请实施例可以利用残差层获取训练图像的交通信号灯图像，再将交通信号灯图像输入分类层，输出交通信号灯的预测类别，计算真实类别和预测类别的训练差值，当训练差值满足条件时，生成分类模型，以便后续对交通信号灯进行分类识别，提高了系统的精确度。
可选地，所述获取携带有交通信号灯的真实类别标签的分类训练数据集，包括：获取一个或多个测试场景的采样图像；标注所述采样图像中交通信号灯的实际类别，得到所述采样图像的真实类别标签；将所述采样图像输入所述位置检测模型，输出所述采样图像中交通信号灯区域，并根据所述交通信号灯区域从所述采样图像中抠出交通信号灯图像；根据所述交通信号灯图像和携带有所述真实类别标签的采样图像生成所述分类训练数据集。
根据上述技术手段，本申请实施例可以从场景的采样图像中扣出交通信号灯图像，根据交通信号灯图像和携带有真实类别标签的采样图像生成分类训练数据集，以便后续进行分类模型的训练，为分类模型训练提供数据。
可选地，所述分类模型的训练过程中，对竖直长条形和水平长条形的交通信号灯进行数据增强训练。
根据上述技术手段，本申请实施例对竖直长条形和水平长条形的交通信号灯进行数据增强训练，提高了对交通信号灯的分类精度。
本申请第二方面实施例提供一种交通信号灯的分类方法，包括以下步骤：获取携带有交通信号灯的真实类别标签的分类训练数据集；将所述分类训练数据集中的训练图像输入残差层，输出所述训练图像的交通信号灯图像，并将所述交通信号灯图像输入所述分类层，输出所述交通信号灯的预测类别；根据所述真实类别和所述预测类别计算训练误差，直到所述训练误差小于或等于预设误差时，停止迭代训练，得到所述分类模型，利用所述分类模型对图像中的交通信号灯进行分类，得到所述交通信号灯的实际类别。
可选地，在利用所述分类模型对交通信号灯图像中的交通信号灯进行分类之前，还包括：获取携带有交通信号灯区域的位置检测训练数据集；利用所述位置检测训练数据集对YOLOV5算法进行模型训练，得到所述位置检测模型，利用所述位置检测模型检测图像中的交通信号灯区域。
本申请三方面实施例提供一种交通信号灯的分类装置，包括：第一获取模块，用于获取车辆周围的环境图像；第一输出模块，用于将所述环境图像输入预先训练得到的位置检测模型，输出所述环境图像中交通信号灯区域；第一分类模块，用于将携带有所述交通信号灯区域的环境图像输入预先训练得到的分类模型中，输出所述交通信号灯的实际类别，其中，所述分类模型包括残差层和分类层，所述残差层用于根据所述交通信号灯区域从所述环境图像中抠出交通信号灯图像，所述分类用于识别所述交通信号灯图像得到所述实际类别。
本申请第四方面实施例提供一种交通信号灯的分类装置，包括：第二获取模块，用于获取携带有交通信号灯的真实类别标签的分类训练数据集；第二输出模块，用于将所述分类训练数据集中的训练图像输入残差层，输出所述训练图像的交通信号灯图像，并将所述交通信号灯图像输入所述分类层，输出所述交通信号灯的预测类别；第二分类模块，用于根据所述真实类别和所述预测类别计算训练误差，直到所述训练误差小于或等于预设误差时，停止迭代训练，得到所述分类模型，利用所述分类模型对图像中的交通信号灯进行分类，得到所述交通信号灯的实际类别。
本申请第五方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的交通信号灯的分类方法。
由此，本申请至少具有如下有益效果：
(1)本申请实施例可以采用检测定位与分类两步的方式，实现对交通信号灯的检测和分类，使用残差设计的分类网络具有很强的鲁棒性，并且定位精度高，分类准确度高。
(2)本申请实施例可以对采样图像的原始图像进行裁剪后，使用改良后的YOLOV5进行模型训练，获取位置检测模型，提高了定位的精度。
(3)本申请实施例可以利用残差层获取训练图像的交通信号灯图像，再将交通信号灯图像输入分类层，输出交通信号灯的预测类别，计算真实类别和预测类别的训练差值，当训练差值满足条件时，生成分类模型，以便后续对交通信号灯进行分类识别，提高了系统的精确度。
(4)本申请实施例可以从场景的采样图像中扣出交通信号灯图像，根据交通信号灯图像和携带有真实类别标签的采样图像生成分类训练数据集，以便后续进行分类模型的训练，为分类模型训练提供数据。
(5)本申请实施例对竖直长条形和水平长条形的交通信号灯进行数据增强训练，提高了对交通信号灯的分类精度。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种交通信号灯的分类方法的流程图；
图2为根据本申请实施例提供的对采样图像裁剪的示意图；
图3为根据本申请实施例提供的红绿灯分类网络的结构图；
图4为根据本申请实施例提供的竖直长条形和水平长条形数据增强示意图；
图5为根据本申请实施例提供的一种交通信号灯的分类方法的流程图；
图6为根据本申请实施例提供的交通信号灯的分类装置的示例图；
图7为根据本申请实施例提供的交通信号灯的分类装置的示例图；
图8为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的交通信号灯的分类方法、装置及电子设备。针对上述背景技术中提到的目前红绿灯的检测分类算法可以分为基于传统视觉算法、基于深度学习的方法，基于传统的视觉算法计算速度慢，容易过拟合，造成检测和分类精度低，基于深度学习算法红绿灯在图像成像偏小，且颜色差异不大，目标检测算法同时回归位置和分类难度大大增加的问题，本申请提供了一种交通信号灯的分类方法，在该方法中，通过统计红绿灯在图像中的位置，对原始图像进行裁，使用改良后YOLOV5算法对红绿灯进行检测，随后使用一个残差网络对抠出的红绿灯进行分类，将分类拆解为定位和识别两步。由此，解决了相关技术中进行交通信号灯分类时，定位精度底低，分类准确度较差且不易部署等问题。
具体而言，图1为本申请实施例所提供的一种交通信号灯的分类方法的流程示意图。
如图1所示，该交通信号灯的分类方法包括以下步骤：
在步骤S101中，获取车辆周围的环境图像。
可以理解的是，本申请实施例可以在检测交通信号灯类型时，通过多种方式采集包括交通信号灯的图像，比如，可以通过车载摄像头等采集图像，其中，交通信号灯可以包括各种类型的红绿灯等，不作具体限定。
在步骤S102中，将环境图像输入预先训练得到的位置检测模型，输出环境图像中交通信号灯区域。
在本申请实施例中，位置检测模型训练过程包括：获取一个或多个测试场景的采样图像；标注采样图像中交通信号灯的实际位置，得到位置检测框；根据位置检测框识别采样图像中交通信号灯的分布区域，根据分布区域对采样图像进行裁剪，得到每个采样图像的交通信号灯区域；根据每个采样图像的交通信号灯区域生成位置检测训练数据集，利用位置检测训练数据集对YOLOV5算法进行模型训练，得到位置检测模型。
其中，本申请实施例可以在挡风玻璃后安装摄像头，并且对摄像头内外参进行标定，对每个测试场景进行采样。
具体而言，位置检测模型训练过程为：对每个测试场景进行采样，获取采样图像；对采样图像中的红绿灯位置进行标注，获取位置检测框；根据位置检测框识别交通信号灯的分布区域[xs:xe,ys:ye]，其中，xs为图像中水平方向像素坐标起始值，xe为图像中水平方向像素坐标终止值，ys为图像中水平方向像素坐标起始值，ye为图像中水平方向像素坐标终止值；根据获得的交通信号灯的分布区域对采样图像进行裁剪(裁剪示意图如图2所示)，获取到每个采样图像的交通信号灯区域；根据交通信号灯区域制作位置检测训练数据集，使用位置检测训练数据集使用改良后YOLOV5算法进行模型训练，得到位置检测模型。
在步骤S103中，将携带有交通信号灯区域的环境图像输入预先训练得到的分类模型中，输出交通信号灯的实际类别，其中，分类模型包括残差层和分类层，残差层用于根据交通信号灯区域从环境图像中抠出交通信号灯图像，分类用于识别交通信号灯图像得到实际类别。
在本申请实施例中，分类模型的训练过程包括：获取携带有交通信号灯的真实类别标签的分类训练数据集；将分类训练数据集中的训练图像输入残差层，输出训练图像的交通信号灯图像，并将交通信号灯图像输入分类层，输出交通信号灯的预测类别；根据真实类别和预测类别计算训练误差，直到训练误差小于或等于预设误差时，停止迭代训练，得到分类模型。
其中，输入的训练图像大小可以为64*64等，可以根据实际训练需求具体设置，不作具体限定。
可以理解的是，本申请实施例构建一个全连接分类网络lightclassify，分类网络输入图像大小可以为64×64，一共包含2层卷积层，3层残差块，以及1个线性分类层，将训练图像输入残差层，获取训练图像的交通信号灯图像，将交通信号灯图像输入分类曾，输出交通信号灯的预测类别，根据真实类别和预测类别计算训练误差，当训练误差满足条件时，得到分类模型，从而可以将携带有交通信号灯区域的环境图像输入分类模型获取到交通信号灯的实际类别。交通信号灯分类网路lightclassify的结构图如图3所示。
其中，获取携带有交通信号灯的真实类别标签的分类训练数据集，包括：获取一个或多个测试场景的采样图像；标注采样图像中交通信号灯的实际类别，得到采样图像的真实类别标签；将采样图像输入位置检测模型，输出采样图像中交通信号灯区域，并根据交通信号灯区域从采样图像中抠出交通信号灯图像；根据交通信号灯图像和携带有真实类别标签的采样图像生成分类训练数据集。
具体而言，获取携带有交通信号灯的真实类别标签的分类训练数据集的步骤如下：获取测试场景的采样图像；对图像中的交通信号灯的类别信息进行标注，得到采样图像的真实标签；将采样蚃输入位置检测模型，输出采样图像中的交通信号灯区域，从采样图像中扣出交通信号灯图像，扣出的图像分辨率可以为64*64等；根据交通信号灯图像和携带有真实类别标签的采样图像生成分类训练数据集。
在本申请实施例中，分类模型的训练过程中，对竖直长条形和水平长条形的交通信号灯进行数据增强训练。
需要说明的是，在分类模型的训练过程中，对直长条形和水平长条形的交通信号灯进行数据增强训练，可以提升交通信号灯的分类精度，如图4所示。
根据本申请实施例提出的交通信号灯的分类方法，可以采用检测定位与分类两步的方式，实现对交通信号灯的检测和分类，使用残差设计的分类网络具有很强的鲁棒性，并且定位精度高，分类准确度高；可以对采样图像的原始图像进行裁剪后，使用改良后的YOLOV5进行模型训练，获取位置检测模型，提高了定位的精度；可以利用残差层获取训练图像的交通信号灯图像，再将交通信号灯图像输入分类层，输出交通信号灯的预测类别，计算真实类别和预测类别的训练差值，当训练差值满足条件时，生成分类模型，以便后续对交通信号灯进行分类识别，提高了系统的精确度；可以从场景的采样图像中扣出交通信号灯图像，根据交通信号灯图像和携带有真实类别标签的采样图像生成分类训练数据集，以便后续进行分类模型的训练，为分类模型训练提供数据；对竖直长条形和水平长条形的交通信号灯进行数据增强训练，提高了对交通信号灯的分类精度。
图5为根据本申请实施例提供的一种交通信号灯的分类方法的流程图，包括以下步骤：
在步骤S201中，获取携带有交通信号灯的真实类别标签的分类训练数据集。
在步骤S202中，将分类训练数据集中的训练图像输入残差层，输出训练图像的交通信号灯图像，并将交通信号灯图像输入分类层，输出交通信号灯的预测类别。
可以理解的是，本申请实施例可以将分类训练数据集中的训练图像输入分类网络的残差层输出训练图像的交通信号灯图像，将交通信号灯图像输入分类网络的分类层，输出交通信号灯的预测类别。
在步骤S203中，根据真实类别和预测类别计算训练误差，直到训练误差小于或等于预设误差时，停止迭代训练，得到分类模型，利用分类模型对图像中的交通信号灯进行分类，得到交通信号灯的实际类别。
可以理解的是，本申请实施例可以根据真实类别和预设类别计算训练误差，当训练误差满足条件时，停止训练，获取分类模型，利用模型获取分类结果，得到交通信号灯的实际类型。
在本申请实施例中，在利用分类模型对交通信号灯图像中的交通信号灯进行分类之前，还包括：获取携带有交通信号灯区域的位置检测训练数据集；利用位置检测训练数据集对YOLOV5算法进行模型训练，得到位置检测模型，利用位置检测模型检测图像中的交通信号灯区域。
可以理解的是，本申请实施例在利用分类模型分类交通信号前，需要获取带有交通信号灯区域的位置检测训练数据集，利用位置检测训练数据集对YOLOV5算法进行模型训练，得到位置检测模型，利用其检测图像中的交通信号灯区域，实现了检测定位与分类两步的方式，采用改良后的YOLOV5提升了对红绿灯的检测定位精度，基于残差设计的分类网络具有很强的鲁棒性。
下面通过一个具体实施例来阐述上述实施例的交通信号灯的分类方法，步骤如下：
步骤1：在挡风玻璃后安装摄像头，并对摄像头内外参进行标定。对每个场景进行采样，对图像中的红绿灯位置以及类别信息进行标注；
步骤2：对标注完红绿灯数据集中的2D框进行统计，根据统计结果获得图像中红绿灯分布区域[xs:e,s:e]，其中，xs为图像中水平方向像素坐标起始值，xe为图像中水平方向像素坐标终止值，ys为图像中水平方向像素坐标起始值，ye为图像中水平方向像素坐标终止值。
步骤3：根据上一步获得红绿灯分布区域对原始图像进行裁剪，并制作红绿灯位置检测数据集。
步骤4：使用红绿灯位置检测数据集使用改良后YOLOV5算法进行模型训练。
步骤5：将训练好YOLOV5在未标注的图像的推理，推理结果中不包含红绿灯的检测框，扣出作为训练反样本，与之前标注的数据一同构建红绿灯分类数据集。构建一个全连接分类网络lightclassify，分类网络输入图像大小为64×64，一共包含2层卷积层，3层残差块，以及1个线性分类层，进行模型训练，获得分类结果。
在本申请的一种红绿灯检测分类算法中，步骤5对步骤4中获得到红绿灯区域进行抠出，resize到64×64分辨率，分类流程如下：
步骤5.1：红绿灯分类网络lightclassify的网络结构图，如图3所示。
步骤5.2：在训练过程中针对于竖直长条形和水平长条形进行数据增强。
综上，本申请实施例提出的交通信号灯的分类方法，采用检测定位与分类两步的方式，采用改良后的YOLOV5提升了对红绿灯的检测定位精度，基于残差设计的分类模型具有很强的鲁棒性，提高了模型在交通信号灯的分类能力，此外，在嵌入式平台易部署，推理速度快，增加了城市道路自动驾驶的安全性。
其次参照附图描述根据本申请实施例提出的交通信号灯的分类装置。
图6、图7是本申请实施例的交通信号灯的分类装置的方框示意图。
如图6所示，该交通信号灯的分类装置10包括：第一获取模块101、第一输出模块102和第一分类模块103。
其中，第一获取模块101用于获取车辆周围的环境图像；第一输出模块102用于将环境图像输入预先训练得到的位置检测模型，输出环境图像中交通信号灯区域；第一分类模块103用于将携带有交通信号灯区域的环境图像输入预先训练得到的分类模型中，输出交通信号灯的实际类别，其中，分类模型包括残差层和分类层，残差层用于根据交通信号灯区域从环境图像中抠出交通信号灯图像，分类用于识别交通信号灯图像得到实际类别。
需要说明的是，前述交通信号灯的分类方法实施例的解释说明也适用于该实施例的交通信号灯的分类装置，此处不再赘述。
根据本申请实施例提出的交通信号灯的分类装置，可以采用检测定位与分类两步的方式，实现对交通信号灯的检测和分类，使用残差设计的分类网络具有很强的鲁棒性，并且定位精度高，分类准确度高；可以对采样图像的原始图像进行裁剪后，使用改良后的YOLOV5进行模型训练，获取位置检测模型，提高了定位的精度；可以利用残差层获取训练图像的交通信号灯图像，再将交通信号灯图像输入分类层，输出交通信号灯的预测类别，计算真实类别和预测类别的训练差值，当训练差值满足条件时，生成分类模型，以便后续对交通信号灯进行分类识别，提高了系统的精确度；可以从场景的采样图像中扣出交通信号灯图像，根据交通信号灯图像和携带有真实类别标签的采样图像生成分类训练数据集，以便后续进行分类模型的训练，为分类模型训练提供数据；对竖直长条形和水平长条形的交通信号灯进行数据增强训练，提高了对交通信号灯的分类精度。
如图7所示，该交通信号灯的分类装置20包括：第一获取模块201、第一输出模块202和第一分类模块203。
其中，第二获取模块201用于获取携带有交通信号灯的真实类别标签的分类训练数据集；第二输出模块202用于将分类训练数据集中的训练图像输入残差层，输出训练图像的交通信号灯图像，并将交通信号灯图像输入分类层，输出交通信号灯的预测类别；第二分类模块203用于根据真实类别和预测类别计算训练误差，直到训练误差小于或等于预设误差时，停止迭代训练，得到分类模型，利用分类模型对图像中的交通信号灯进行分类，得到交通信号灯的实际类别。
需要说明的是，前述交通信号灯的分类方法实施例的解释说明也适用于该实施例的交通信号灯的分类装置，此处不再赘述。
根据本申请实施例提出的交通信号灯的分类装置，采用检测定位与分类两步的方式，采用改良后的YOLOV5提升了对红绿灯的检测定位精度，基于残差设计的分类模型具有很强的鲁棒性，提高了模型在交通信号灯的分类能力，此外，在嵌入式平台易部署，推理速度快，增加了城市道路自动驾驶的安全性。
图8为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
处理器802执行程序时实现上述实施例中提供的交通信号灯的分类方法。
进一步地，电子设备还包括：
通信接口803，用于存储器801和处理器802之间的通信。
存储器801，用于存放可在处理器802上运行的计算机程序。
存储器801可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器801、处理器802和通信接口803独立实现，则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
处理器802可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种交通信号灯的分类方法，其特征在于，包括以下步骤：
获取车辆周围的环境图像；
将所述环境图像输入预先训练得到的位置检测模型，输出所述环境图像中交通信号灯区域；
将携带有所述交通信号灯区域的环境图像输入预先训练得到的分类模型中，输出所述交通信号灯的实际类别，其中，所述分类模型包括残差层和分类层，所述残差层用于根据所述交通信号灯区域从所述环境图像中抠出交通信号灯图像，所述分类层用于识别所述交通信号灯图像得到所述实际类别。
2.根据权利要求1所述的方法，其特征在于，所述位置检测模型训练过程包括：
获取一个或多个测试场景的采样图像；
标注所述采样图像中交通信号灯的实际位置，得到位置检测框；
根据所述位置检测框识别所述采样图像中交通信号灯的分布区域，根据所述分布区域对所述采样图像进行裁剪，得到每个采样图像的交通信号灯区域；
根据所述每个采样图像的交通信号灯区域生成位置检测训练数据集，利用所述位置检测训练数据集对YOLOV5算法进行模型训练，得到所述位置检测模型。
3.根据权利要求1所述的方法，其特征在于，所述分类模型的训练过程包括：
获取携带有交通信号灯的真实类别标签的分类训练数据集；
将所述分类训练数据集中的训练图像输入所述残差层，输出所述训练图像的交通信号灯图像，并将所述交通信号灯图像输入所述分类层，输出所述交通信号灯的预测类别；
根据所述真实类别和所述预测类别计算训练误差，直到所述训练误差小于或等于预设误差时，停止迭代训练，得到所述分类模型。
4.根据权利要求3所述的方法，其特征在于，所述获取携带有交通信号灯的真实类别标签的分类训练数据集，包括：
获取一个或多个测试场景的采样图像；
标注所述采样图像中交通信号灯的实际类别，得到所述采样图像的真实类别标签；
将所述采样图像输入所述位置检测模型，输出所述采样图像中交通信号灯区域，并根据所述交通信号灯区域从所述采样图像中抠出交通信号灯图像；
根据所述交通信号灯图像和携带有所述真实类别标签的采样图像生成所述分类训练数据集。
5.根据权利要求3所述的方法，其特征在于，所述分类模型的训练过程中，对竖直长条形和水平长条形的交通信号灯进行数据增强训练。
6.一种交通信号灯的分类方法，其特征在于，包括以下步骤：
获取携带有交通信号灯的真实类别标签的分类训练数据集；
将所述分类训练数据集中的训练图像输入残差层，输出所述训练图像的交通信号灯图像，并将所述交通信号灯图像输入所述分类层，输出所述交通信号灯的预测类别；
根据所述真实类别和所述预测类别计算训练误差，直到所述训练误差小于或等于预设误差时，停止迭代训练，得到所述分类模型，利用所述分类模型对图像中的交通信号灯进行分类，得到所述交通信号灯的实际类别。
7.根据权利要求6所述的方法，其特征在于，在利用所述分类模型对交通信号灯图像中的交通信号灯进行分类之前，还包括：
获取携带有交通信号灯区域的位置检测训练数据集；
利用所述位置检测训练数据集对YOLOV5算法进行模型训练，得到所述位置检测模型，利用所述位置检测模型检测图像中的交通信号灯区域。
8.一种交通信号灯的分类装置，其特征在于，包括：
第一获取模块，用于获取车辆周围的环境图像；
第一输出模块，用于将所述环境图像输入预先训练得到的位置检测模型，输出所述环境图像中交通信号灯区域；
第一分类模块，用于将携带有所述交通信号灯区域的环境图像输入预先训练得到的分类模型中，输出所述交通信号灯的实际类别，其中，所述分类模型包括残差层和分类层，所述残差层用于根据所述交通信号灯区域从所述环境图像中抠出交通信号灯图像，所述分类用于识别所述交通信号灯图像得到所述实际类别。
9.一种交通信号灯的分类装置，其特征在于，包括：
第二获取模块，用于获取携带有交通信号灯的真实类别标签的分类训练数据集；
第二输出模块，用于将所述分类训练数据集中的训练图像输入残差层，输出所述训练图像的交通信号灯图像，并将所述交通信号灯图像输入所述分类层，输出所述交通信号灯的预测类别；
第二分类模块，用于根据所述真实类别和所述预测类别计算训练误差，直到所述训练误差小于或等于预设误差时，停止迭代训练，得到所述分类模型，利用所述分类模型对图像中的交通信号灯进行分类，得到所述交通信号灯的实际类别。
10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的交通信号灯的分类方法。
CN202211500769.0A 2022-11-28 2022-11-28 交通信号灯的分类方法、装置及电子设备 Pending CN115761699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211500769.0A CN115761699A (zh) 2022-11-28 2022-11-28 交通信号灯的分类方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211500769.0A CN115761699A (zh) 2022-11-28 2022-11-28 交通信号灯的分类方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115761699A true CN115761699A (zh) 2023-03-07

Family

ID=85339277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211500769.0A Pending CN115761699A (zh) 2022-11-28 2022-11-28 交通信号灯的分类方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115761699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953464A (zh) * 2023-12-26 2024-04-30 北京鉴智科技有限公司 一种交通信号灯的识别方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953464A (zh) * 2023-12-26 2024-04-30 北京鉴智科技有限公司 一种交通信号灯的识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN113468967B (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN113554643B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN114581887B (zh) 车道线的检测方法、装置、设备和计算机可读存储介质
CN110688902B (zh) 一种检测停车位内车辆区域的方法及装置
CN112036385B (zh) 库位修正方法、装置、电子设备及可读存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN116484971A (zh) 车辆的自动驾驶感知自学习方法、装置及电子设备
CN110909598A (zh) 一种基于深度学习的非机动车道交通违法行驶识别方法
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
Bu et al. A UAV photography–based detection method for defective road marking
CN114820679A (zh) 图像标注方法、装置、电子设备和存储介质
CN115761699A (zh) 交通信号灯的分类方法、装置及电子设备
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
CN114332814A (zh) 一种停车框识别方法、装置、电子设备及存储介质
CN114120260B (zh) 可行驶区域识别方法及其系统、计算机设备、存储介质
CN113435350A (zh) 一种交通标线检测方法、装置、设备和介质
CN117789160A (zh) 一种基于聚类优化的多模态融合目标检测方法及系统
CN112528944A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN114120259A (zh) 一种空车位识别方法及其系统、计算机设备、存储介质
CN116343148A (zh) 车道线检测方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination