CN112818853A - 一种交通要素识别方法、装置、设备及储存介质 - Google Patents

一种交通要素识别方法、装置、设备及储存介质 Download PDF

Info

Publication number
CN112818853A
CN112818853A CN202110137953.2A CN202110137953A CN112818853A CN 112818853 A CN112818853 A CN 112818853A CN 202110137953 A CN202110137953 A CN 202110137953A CN 112818853 A CN112818853 A CN 112818853A
Authority
CN
China
Prior art keywords
traffic
image frame
preset
network
signal lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110137953.2A
Other languages
English (en)
Other versions
CN112818853B (zh
Inventor
曹容川
王祎男
张天奇
关瀛洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202110137953.2A priority Critical patent/CN112818853B/zh
Publication of CN112818853A publication Critical patent/CN112818853A/zh
Application granted granted Critical
Publication of CN112818853B publication Critical patent/CN112818853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种交通要素识别方法、装置、设备及储存介质，该方法包括：通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；将所述多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征图；对多个所述特征识别图进行对应的交通要素进行识别，得到对应类别的交通要素识别结果。本实施例的技术方案可以通过一套卷积网络识别预设的交通要素，满足自动驾驶对多种交通要素进行识别的性能要求。

Description

一种交通要素识别方法、装置、设备及储存介质
技术领域
本发明实施例涉及自动驾驶技术，尤其涉及一种交通要素识别方法、装置、设备及储存介质。
背景技术
目前自动驾驶交通目标识别技术已经从传统的特征提取方法转移到深度学习方法来实现。
现有技术中基于自动驾驶图像感知的方案大多是通过SSD(Single ShotMultiBox Detector)、Yolo(You only look once)等一阶段检测算法实时检测并分类交通信息，但这些单一模型框架并不能达到自动驾驶的检测性能。
发明内容
本发明实施例提供一种交通要素识别方法、装置、设备及储存介质，以实现满足自动驾驶对多种交通要素进行识别的性能要求。
第一方面，本发明实施例提供了一种交通要素识别方法，包括：
通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；
将所述多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图；
对多个所述特征识别图进行对应的交通要素进行识别，得到对应类别的交通要素识别结果。
第二方面，本发明实施例还提供了一种交通要素识别装置，包括：
特征集提取模块，用于通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；
特征识别图检测模块，用于将所述多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图；
交通要素识别模块，用于对多个所述特征识别图进行对应的交通要素进行识别，得到对应类别的交通要素识别结果。
第三方面，本发明实施例还提供了一种交通要素识别设备，所述交通要素识别设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的交通要素识别方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所提供的交通要素识别方法。
本发明实施例通过主干卷积网络和直流卷积网络组成的一套卷积网络识别图像中交通要素，解决单一模型框架并不能达到自动驾驶的检测性能问题，实现提高自动驾驶中多种交通要素识别的效率的效果。
附图说明
图1是本发明实施例一中的一种交通要素识别方法的流程图；
图2是本发明实施例二中的一种交通要素识别方法的流程图；
图3是本发明实施例三中的一种交通要素识别装置的结构示意图；
图4是本发明实施例四中的一种交通要素识别设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种交通要素识别方法的流程图，本实施例可适用于自动驾驶汽车行驶过程中，识别摄像头拍摄的图像中的交通要素的情况，该方法可以由交通要素识别装置来执行，该装置可以由硬件和/或软件来实现，该方法具体包括如下步骤：
步骤110、通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；
其中，图像帧可以是车载摄像机拍摄到的图像帧，车载摄像机可以根据预先设定的帧率进行拍摄，例如可以是30fps帧率。主干卷积网络可以是resnet深度卷积网络，用于提取图像帧的多尺度特征图，组成多尺度特征集。
步骤120、将多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图；
其中，图像帧经过多尺度的特征提取之后，可以将特征提取得到的多尺度特征集送入多个支流卷积网络，多个支流卷积网络与主干卷积网络构成一套卷积网络，从而对预设的多个交通要素进行识别。支流卷积网络可以包括支流物体检测网络和支流语义分割网络。而将多尺度特征集送入上述的多个支流卷积网络，检测得到对应的多个特征识别图，包括：通过支流物体检测网络检测图像帧中物体，得到包含预设物体类别和对应的物体位置的特征图；通过支流语义分割网络对图像帧进行像素分类，得到多个预设细粒度的像素分类图像。支流物体检测网络用于检测图像帧中的物体，这其中包括车辆行驶中的障碍物和交通灯，以便进行障碍物的细分识别。支流语义分割网络用于分割出不同预设细粒度的像素分类图像，以便提取车道线和检测交通标志。
步骤130、对多个特征识别图进行对应的交通要素进行识别，得到对应类别的交通要素识别结果。
其中，支流卷积网络根据多尺度特征集识别出了图像帧中的物体和输出图像帧的细粒度图像。那么对于物体需要进一步识别物体中的障碍物和交通灯，而障碍物的识别需要确定障碍物类别和障碍物位置，其中，障碍物类别包括车辆和行人等。交通灯需要判断交通灯位置和当前点亮的哪个颜色的灯。而根据细粒度图像需要确定语义分割结果，提取出车道线的信息进行车道线拟合，提取出的交通标示，确定交通标志信息。
本发明要解决当前深度学习目标识别框架单一且识别效果差的问题，提出了一整套深度学习的解决方案，从模型框架、跟踪算法、位置优化等一系列流程，能够进一步提升识别的准确性和鲁棒性，达到非常好的识别效果。
本实施例的技术方案，主干卷积网络和直流卷积网络组成的一套卷积网络识别图像中交通要素，解决单一模型框架并不能达到自动驾驶的检测性能问题，实现提高自动驾驶中多种交通要素识别的效率的效果。
实施例二
图2为本发明实施例二提供的一种交通要素识别方法的流程图，本实施例的技术方案在上述技术方案的基础上进一步细化，具体包括：
步骤210、通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；
步骤220、将多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图；
步骤230、通过障碍物识别网络识别障碍物类别特征图，得到车辆类别细分信息和行人类别细分信息；其中，障碍物类别特征图中包含物体的轮廓，障碍物识别网络识别出物体中属于障碍物的部分，包括车辆和行人，车辆类别细分信息包括车辆位置信息，行人类别细分信息包括行人位置信息。
步骤240、通过交通灯识别网络识别交通灯类别特征图，得到交通信号灯类别细分信息；其中，交通灯类别特征图包含交通灯的轮廓，交通灯识别网络识别出交通信号灯类别细分信息，交通信号灯类别细分信息包括交通灯位置和当前点亮的哪个颜色的灯。
步骤250、通过交通标志识别网络识别像素分类图像，提取交通标志类别细分信息；其中，交通标志识别网络输入为依靠支流语义分割网络从图像帧中提取的交通标志图像，识别出交通标志的细分类别。
步骤260、通过车道线拟合网络根据像素分类图像，提取车道线类别细分信息。其中，车道线拟合网络输入为依靠支流语义分割网络从图像帧中提取的车道线的信息，最终得出车道线拟合方程结果。
可以理解的是，步骤230-260的执行顺序可以不分先后，例如可以同步执行。
可选的，通过交通灯识别网络识别交通灯类别特征图，得到交通信号灯类别细分信息，包括：
通过卷积神经网络根据交通灯类别特征图，识别出交通信号灯亮灯情况和交通信号灯坐标；其中，交通信号灯一般包含红灯、绿灯和黄灯，需要识别点亮的是哪个颜色的灯，以及交通信号灯在图像帧中的坐标。
针对当前图像帧及其预设相关范围图像帧中的交通信号灯亮灯情况和交通信号灯坐标，通过卡尔曼滤波算法，确定当前图像帧中交通信号灯位置和速度。其中，针对交通信号灯来说，是目前深度学习中难以攻克的问题，其存在各地交通灯形状不同，光线变化大导致交通灯与背景区分不够，识别率降低等问题。所以单纯的深度学习无法解决自动驾驶所需要的识别精度和鲁棒性。我们加入跟踪算法，根据当前图像帧的在前一定数量的图像帧和在后一定数量的图像帧中交通信号灯的坐标，对交通信号灯进行跟踪识别。
可选的，在针对当前图像帧及其预设相关范围图像帧中的交通信号灯亮灯情况和交通信号灯坐标，通过卡尔曼滤波算法，确定当前图像帧中交通信号灯位置和速度之前，还包括：
判断当前图像帧、预设数量的在前图像帧和预设数量的在后图像帧中是否缺失交通灯目标；其中，图像帧是按照一定帧率进行拍摄的，由于交通信号灯作为光源是闪烁的，虽然人眼看到是恒亮的，但摄像头会捕捉到频闪的图片，会出现亮度减弱甚至完全变黑的情况，这时就需要通过跟踪算法进行处理。缺失交通灯目标是指摄像头拍摄到处于完全熄灭状态的交通信号灯，或者某一帧的交通信号灯被遮挡导致没有识别的情况。预设数量可以是3-5个，例如3个，也就是当前图像帧在前的3个图像帧和在后的3个图像帧。
若当前图像帧、在前图像帧和在后图像帧中的至少一个缺少交通灯目标，则查找缺失交通灯目标的图像帧的置信度；其中，如果上述图像帧中间至少一个图像帧中缺失了交通信号灯，则查找缺失交通信号灯的图像帧在进行交通信号灯细分信息识别时的置信度。
若缺失交通灯目标的图像帧的置信度大于设定阈值，则将缺失交通灯目标的图像帧置于识别范围中。其中，预先设定的设定阈值和缺失交通灯目标的图像帧的置信度进行对比，将缺失交通灯目标的图像帧重新做一次阈值判定，如果其置信度大于设定阈值就将其重新加入识别范围。这样会将误检测与频闪造成的影响降到最低。卡尔曼滤波算法，在本实施例中，状态变量设置为目标的位置以及速度，即xk＝[px,py,vx,vy]T，可以建立直角坐标系，px和py是目标在图像中的位置坐标，Vx和Vy是目标在图像中沿坐标轴方向的分解速度，Xk的均值为
Figure BDA0002927480370000071
协方差矩阵为Pk，则卡尔曼滤波算法的更新过程可以表示为：
Figure BDA0002927480370000072
其中Fk,Bk,uk,Qk分别为变换矩阵，输入矩阵，输入向量以及外部噪声的协方差矩阵。系统的测量值为zk，其协方差矩阵为Rk，观察方程为
Figure BDA0002927480370000073
则更新之后的状态的最优估计可以通过如下方法计算：
Figure BDA0002927480370000074
可选的，在针对当前图像帧及其预设相关范围图像帧中的交通信号灯亮灯情况和交通信号灯坐标，通过卡尔曼滤波算法，确定当前图像帧中交通信号灯位置和速度之后，还包括：
根据当前图像帧中交通信号灯位置与9个预设锚框范围进行对比，确定当前图像帧中交通信号灯位置所属的预设锚框；其中，9个预设锚框由图像帧分为3行3列得到，中间的预设锚框设置有第一阈值，与中间的预设锚框边缘相连的4个预设锚框设置有第二阈值，处于图像帧四个角的预设锚框设置有第三阈值，第一阈值、第二阈值和第三阈值依次减小；
将卷积神经网络识别出的交通信号灯亮灯情况的置信度与当前图像帧中交通信号灯位置所属的预设锚框对应的阈值进行比较；
若交通信号灯亮灯情况的置信度小于当前图像帧中交通信号灯位置所属的预设锚框对应的阈值，则删除当前图像帧识别得到的交通信号灯类别细分信息。
其中，针对位置坐标信息，自动驾驶主要关注于距离停止线0m-40m距离的交通信号灯检测效果，所以我们将摄像头实时拍摄的图片分为3×3的九个锚框anchor，在中间的anchor设置较高的阈值，与它相连的4个anchor的阈值偏低，四个角的阈值最低，通过将卷积网络输出的置信度与阈值比较，筛除置信度低于目标所属预设锚框的识别结果，这样可以明显提升识别精度。同时，能有效的过滤掉突然间出现在概率较低的anchor中的误识别，能够大幅度提升识别效果。
实施例三
图3为本发明实施例三提供的一种交通要素识别装置的结构示意图，该交通要素识别装置，包括：
特征集提取模块310，用于通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；
特征识别图检测模块320，用于将多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图；
交通要素识别模块330，用于对多个特征识别图进行对应的交通要素识别，得到对应类别的交通要素识别结果。
本实施例的技术方案，主干卷积网络和直流卷积网络组成的一套卷积网络识别图像中交通要素，解决单一模型框架并不能达到自动驾驶的检测性能问题，实现提高自动驾驶中多种交通要素识别的效率的效果。
可选的，特征识别图检测模块，包括：
物体检测单元，用于通过支流物体检测网络检测图像帧中物体，得到包含预设物体类别和对应的物体位置的特征图；
像素分类单元，用于通过支流语义分割网络对图像帧进行像素分类，得到多个预设细粒度的像素分类图像。
可选的，交通要素识别模块，包括：
障碍物识别单元，用于通过障碍物识别网络识别障碍物类别特征图，得到车辆类别细分信息和行人类别细分信息；
交通信号灯识别单元，用于通过交通灯识别网络识别交通灯类别特征图，得到交通信号灯类别细分信息；
交通标志识别单元，用于通过交通标志识别网络识别像素分类图像，提取交通标志类别细分信息；
车道线识别单元，用于通过车道线拟合网络根据像素分类图像，提取车道线类别细分信息。
可选的，交通标志识别单元，具体用于：
通过卷积神经网络根据交通灯类别特征图，识别出交通信号灯亮灯情况和交通信号灯坐标；
针对当前图像帧及其预设相关范围图像帧中的交通信号灯亮灯情况和交通信号灯坐标，通过卡尔曼滤波算法，确定当前图像帧中交通信号灯位置和速度。
可选的，交通标志识别单元，还具体用于：
在针对当前图像帧及其预设相关范围图像帧中的交通信号灯亮灯情况和交通信号灯坐标，通过卡尔曼滤波算法，确定当前图像帧中交通信号灯位置和速度之前，判断当前图像帧、预设数量的在前图像帧和预设数量的在后图像帧中是否缺失交通灯目标；
若当前图像帧、在前图像帧和在后图像帧中的至少一个缺少交通灯目标，则查找缺失交通灯目标的图像帧的置信度；
若缺失交通灯目标的图像帧的置信度大于设定阈值，则将缺失交通灯目标的图像帧置于识别范围中。
可选的，交通标志识别单元，还具体用于：
在针对当前图像帧及其预设相关范围图像帧中的交通信号灯亮灯情况和交通信号灯坐标，通过卡尔曼滤波算法，确定当前图像帧中交通信号灯位置和速度之后，根据当前图像帧中交通信号灯位置与9个预设锚框范围进行对比，确定当前图像帧中交通信号灯位置所属的预设锚框；其中，9个预设锚框由图像帧分为3行3列得到，中间的预设锚框设置有第一阈值，与中间的预设锚框边缘相连的4个预设锚框设置有第二阈值，处于图像帧四个角的预设锚框设置有第三阈值，第一阈值、第二阈值和第三阈值依次减小；
将卷积神经网络识别出的交通信号灯亮灯情况的置信度与当前图像帧中交通信号灯位置所属的预设锚框对应的阈值进行比较；
若交通信号灯亮灯情况的置信度小于当前图像帧中交通信号灯位置所属的预设锚框对应的阈值，则删除当前图像帧识别得到的交通信号灯类别细分信息。
本发明实施例所提供的交通要素识别装置可执行本发明任意实施例所提供的交通要素识别方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种交通要素识别设备的结构示意图，如图4所示，该交通要素识别设备包括处理器410、存储器420、输入装置430和输出装置440；交通要素识别设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；交通要素识别设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的交通要素识别方法对应的程序指令/模块(例如，交通要素识别装置中的特征集提取模块310、特征识别图检测模块320和交通要素识别模块330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行交通要素识别设备的各种功能应用以及数据处理，即实现上述的交通要素识别方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至交通要素识别设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与交通要素识别设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种交通要素识别方法，包括：
通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；
将所述多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图；
对多个所述特征识别图进行对应的交通要素进行识别，得到对应类别的交通要素识别结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的交通要素识别方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述交通要素识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种交通要素识别方法，其特征在于，包括：
通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；
将所述多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图；
对多个所述特征识别图进行对应的交通要素进行识别，得到对应类别的交通要素识别结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图，包括：
通过支流物体检测网络检测所述图像帧中物体，得到包含预设物体类别和对应的物体位置的特征图；
通过支流语义分割网络对所述图像帧进行像素分类，得到多个预设细粒度的像素分类图像。
3.根据权利要求2所述的方法，其特征在于，所述对多个所述特征识别图进行对应的交通要素进行识别，得到对应类别的交通要素识别结果，包括：
通过障碍物识别网络识别障碍物类别特征图，得到车辆类别细分信息和行人类别细分信息；
通过交通灯识别网络识别交通灯类别特征图，得到交通信号灯类别细分信息；
通过交通标志识别网络识别所述像素分类图像，提取交通标志类别细分信息；
通过车道线拟合网络根据所述像素分类图像，提取车道线类别细分信息。
4.根据权利要求3所述的方法，其特征在于，所述通过交通灯识别网络识别交通灯类别特征图，得到交通信号灯类别细分信息，包括：
通过卷积神经网络根据交通灯类别特征图，识别出交通信号灯亮灯情况和交通信号灯坐标；
针对当前图像帧及其预设相关范围图像帧中的所述交通信号灯亮灯情况和所述交通信号灯坐标，通过卡尔曼滤波算法，确定所述当前图像帧中交通信号灯位置和速度。
5.根据权利要求4所述的方法，其特征在于，在所述针对当前图像帧及其预设相关范围图像帧中的所述交通信号灯亮灯情况和所述交通信号灯坐标，通过卡尔曼滤波算法，确定所述当前图像帧中交通信号灯位置和速度之前，还包括：
判断所述当前图像帧、预设数量的在前图像帧和预设数量的在后图像帧中是否缺失交通灯目标；
若所述当前图像帧、所述在前图像帧和所述在后图像帧中的至少一个缺少交通灯目标，则查找缺失交通灯目标的图像帧的置信度；
若所述缺失交通灯目标的图像帧的置信度大于设定阈值，则将所述缺失交通灯目标的图像帧置于识别范围中。
6.根据权利要求4所述的方法，其特征在于，在所述针对当前图像帧及其预设相关范围图像帧中的所述交通信号灯亮灯情况和所述交通信号灯坐标，通过卡尔曼滤波算法，确定所述当前图像帧中交通信号灯位置和速度之后，还包括：
根据所述当前图像帧中交通信号灯位置与9个预设锚框范围进行对比，确定所述当前图像帧中交通信号灯位置所属的所述预设锚框；其中，9个所述预设锚框由图像帧分为3行3列得到，中间的所述预设锚框设置有第一阈值，与中间的所述预设锚框边缘相连的4个所述预设锚框设置有第二阈值，处于所述图像帧四个角的所述预设锚框设置有第三阈值，所述第一阈值、所述第二阈值和所述第三阈值依次减小；
将所述卷积神经网络识别出的所述交通信号灯亮灯情况的置信度与所述当前图像帧中交通信号灯位置所属的所述预设锚框对应的阈值进行比较；
若所述交通信号灯亮灯情况的置信度小于所述当前图像帧中交通信号灯位置所属的所述预设锚框对应的阈值，则删除所述当前图像帧识别得到的所述交通信号灯类别细分信息。
7.一种交通要素识别装置，其特征在于，包括：
特征集提取模块，用于通过主干卷积网络提取获取到的图像帧的多尺度特征，得到多尺度特征集；
特征识别图检测模块，用于将所述多尺度特征集送入多个支流卷积网络，检测得到对应的多个特征识别图；
交通要素识别模块，用于对多个所述特征识别图进行对应的交通要素进行识别，得到对应类别的交通要素识别结果。
8.根据权利要求7所述的装置，特征识别图检测模块，包括：
物体检测单元，用于通过支流物体检测网络检测所述图像帧中物体，得到包含预设物体类别和对应的物体位置的特征图；
像素分类单元，用于通过支流语义分割网络对所述图像帧进行像素分类，得到多个预设细粒度的像素分类图像。
9.一种交通要素识别设备，其特征在于，所述交通要素识别设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的交通要素识别方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的交通要素识别方法。
CN202110137953.2A 2021-02-01 2021-02-01 一种交通要素识别方法、装置、设备及储存介质 Active CN112818853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110137953.2A CN112818853B (zh) 2021-02-01 2021-02-01 一种交通要素识别方法、装置、设备及储存介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110137953.2A CN112818853B (zh) 2021-02-01 2021-02-01 一种交通要素识别方法、装置、设备及储存介质

Publications (2)

Publication Number Publication Date
CN112818853A true CN112818853A (zh) 2021-05-18
CN112818853B CN112818853B (zh) 2022-07-19

Family

ID=75861240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110137953.2A Active CN112818853B (zh) 2021-02-01 2021-02-01 一种交通要素识别方法、装置、设备及储存介质

Country Status (1)

Country Link
CN (1) CN112818853B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220081011A1 (en) * 2020-09-15 2022-03-17 Volkswagen Aktiengesellschaft Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function
CN115063979A (zh) * 2022-08-19 2022-09-16 合肥工业大学 一种智能网联环境下的交通信息量化方法及其系统
TWI798022B (zh) * 2022-03-10 2023-04-01 台灣智慧駕駛股份有限公司 一種道路指示物件的提醒方法及其系統

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170093210A1 (en) * 2006-03-28 2017-03-30 Wireless Environment, Llc Emergency lighting device with remote lighting
CN109409190A (zh) * 2018-08-21 2019-03-01 南京理工大学 基于梯度直方图和Canny边缘检测器的行人检测方法
CN109492651A (zh) * 2018-11-01 2019-03-19 国网山东省电力公司青岛供电公司 一种设备信号灯的智能识别方法
CN109886282A (zh) * 2019-02-26 2019-06-14 腾讯科技（深圳）有限公司 对象检测方法、装置、计算机可读存储介质和计算机设备
CN110069986A (zh) * 2019-03-13 2019-07-30 北京联合大学 一种基于混合模型的交通信号灯识别方法及系统
CN110879949A (zh) * 2018-09-05 2020-03-13 北京市商汤科技开发有限公司 基于融合神经网络的图像处理及网络的生成方法和装置
CN111160206A (zh) * 2019-12-24 2020-05-15 国汽(北京)智能网联汽车研究院有限公司 一种交通环境元素视觉感知方法及装置
CN111192302A (zh) * 2020-01-02 2020-05-22 东南大学 一种基于运动平滑性和ransac算法的特征匹配方法
CN111222454A (zh) * 2020-01-03 2020-06-02 暗物智能科技(广州)有限公司 训练多任务目标检测模型、多任务目标检测的方法及系统
CN111539480A (zh) * 2020-04-27 2020-08-14 上海鹰瞳医疗科技有限公司 多类别医学图像识别方法及设备
CN111767878A (zh) * 2020-07-03 2020-10-13 中国科学院自动化研究所 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN111860255A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质
CN112001235A (zh) * 2020-07-13 2020-11-27 浙江大华汽车技术有限公司 车辆通行信息的生成方法、装置和计算机设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170093210A1 (en) * 2006-03-28 2017-03-30 Wireless Environment, Llc Emergency lighting device with remote lighting
CN109409190A (zh) * 2018-08-21 2019-03-01 南京理工大学 基于梯度直方图和Canny边缘检测器的行人检测方法
CN110879949A (zh) * 2018-09-05 2020-03-13 北京市商汤科技开发有限公司 基于融合神经网络的图像处理及网络的生成方法和装置
CN109492651A (zh) * 2018-11-01 2019-03-19 国网山东省电力公司青岛供电公司 一种设备信号灯的智能识别方法
CN109886282A (zh) * 2019-02-26 2019-06-14 腾讯科技（深圳）有限公司 对象检测方法、装置、计算机可读存储介质和计算机设备
CN110069986A (zh) * 2019-03-13 2019-07-30 北京联合大学 一种基于混合模型的交通信号灯识别方法及系统
CN111160206A (zh) * 2019-12-24 2020-05-15 国汽(北京)智能网联汽车研究院有限公司 一种交通环境元素视觉感知方法及装置
CN111192302A (zh) * 2020-01-02 2020-05-22 东南大学 一种基于运动平滑性和ransac算法的特征匹配方法
CN111222454A (zh) * 2020-01-03 2020-06-02 暗物智能科技(广州)有限公司 训练多任务目标检测模型、多任务目标检测的方法及系统
CN111539480A (zh) * 2020-04-27 2020-08-14 上海鹰瞳医疗科技有限公司 多类别医学图像识别方法及设备
CN111767878A (zh) * 2020-07-03 2020-10-13 中国科学院自动化研究所 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN111860255A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质
CN112001235A (zh) * 2020-07-13 2020-11-27 浙江大华汽车技术有限公司 车辆通行信息的生成方法、装置和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KARSTEN BEHRENDT 等: "A deep learning approach to traffic lights: Detection, tracking, and classification", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
刘俊婷: "基于计算机视觉的交通信号灯检测与识别的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
王凡杰: "基于深度学习的交通场景目标检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220081011A1 (en) * 2020-09-15 2022-03-17 Volkswagen Aktiengesellschaft Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function
US11904898B2 (en) * 2020-09-15 2024-02-20 Volkswagen Aktiengesellschaft Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function
TWI798022B (zh) * 2022-03-10 2023-04-01 台灣智慧駕駛股份有限公司 一種道路指示物件的提醒方法及其系統
CN115063979A (zh) * 2022-08-19 2022-09-16 合肥工业大学 一种智能网联环境下的交通信息量化方法及其系统

Also Published As

Publication number Publication date
CN112818853B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN112818853B (zh) 一种交通要素识别方法、装置、设备及储存介质
CN108830199B (zh) 识别交通灯信号的方法、装置、可读介质及电子设备
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
Chen et al. A real-time vision system for nighttime vehicle detection and traffic surveillance
WO2018130016A1 (zh) 一种基于监控视频的停车检测方法及装置
CN110414559B (zh) 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
CN111611905B (zh) 一种可见光与红外融合的目标识别方法
US7724962B2 (en) Context adaptive approach in vehicle detection under various visibility conditions
CN101587622B (zh) 基于视频图像智能分析的森林烟火检测与识别方法及设备
KR101935010B1 (ko) 영상 기반 차량 번호판 인식 장치 및 방법
US10445602B2 (en) Apparatus and method for recognizing traffic signs
Romdhane et al. An improved traffic signs recognition and tracking method for driver assistance system
CN111680632A (zh) 基于深度学习卷积神经网络的烟火检测方法及系统
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN109215364B (zh) 交通信号识别方法、系统、设备和存储介质
CN108052917A (zh) 一种基于新旧时相变化发现的违章建筑自动识别的方法
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
CN111027475A (zh) 一种基于视觉的实时交通信号灯识别方法
Chen Nighttime vehicle light detection on a moving vehicle using image segmentation and analysis techniques
Salarian et al. A vision based system for traffic lights recognition
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN112863194B (zh) 一种图像处理方法、装置、终端及介质
CN115049954B (zh) 目标识别方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant