CN111881739A - 一种汽车尾灯状态识别方法 - Google Patents

一种汽车尾灯状态识别方法 Download PDF

Info

Publication number
CN111881739A
CN111881739A CN202010565899.7A CN202010565899A CN111881739A CN 111881739 A CN111881739 A CN 111881739A CN 202010565899 A CN202010565899 A CN 202010565899A CN 111881739 A CN111881739 A CN 111881739A
Authority
CN
China
Prior art keywords
tail
state
output
tail lamp
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010565899.7A
Other languages
English (en)
Other versions
CN111881739B (zh
Inventor
戴亮亮
张卡
何佳
尼秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qingxin Internet Information Technology Co ltd
Original Assignee
Anhui Qingxin Internet Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qingxin Internet Information Technology Co ltd filed Critical Anhui Qingxin Internet Information Technology Co ltd
Priority to CN202010565899.7A priority Critical patent/CN111881739B/zh
Publication of CN111881739A publication Critical patent/CN111881739A/zh
Application granted granted Critical
Publication of CN111881739B publication Critical patent/CN111881739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种汽车尾灯状态识别方法，属于计算机视觉和辅助驾驶技术领域，包括：获取待识别的车尾图像，并输入至预先训练好的尾灯状态识别模型，该尾灯状态识别模型包括特征提取网络和尾灯状态判别网络；利用特征提取网络提取车尾图像的尾灯特征向量；利用尾灯状态判别网络对尾灯特征向量进行处理，识别出汽车尾灯的状态。本发明设计基于注意力机制的卷积‑循环神经网络直接在车尾图像中提取尾灯特征，并推理尾灯前后时刻的亮度变化，能够稳定有效地识别复杂环境下的汽车尾灯状态。

Description

一种汽车尾灯状态识别方法
技术领域
本发明涉及计算机视觉和辅助驾驶技术领域，特别涉及一种汽车尾灯状态识别方法。
背景技术
尾灯状态是驾驶员判断前方车辆行驶意图的主要依据。在日间行驶时，驾驶员由于注意力不集中、视距、光照强度等因素影响，可能无法有效的接收到前方车辆的尾灯示警信息，导致车辆驾驶预判不及时，从而引发交通安全问题。因此，快速有效的汽车尾灯状态识别，是辅助驾驶领域亟待解决的问题。
基于视觉的汽车尾灯状态识别主要是通过分析包含汽车尾灯的图像数据，从而识别出尾灯的类型及点亮状态，达到预判前方车辆驾驶意图的目的。现有的汽车尾灯分析方法主要有以下几种：
(1)基于颜色统计的阈值分割法。该类方法通常利用颜色空间变换将车尾图像转换到特定的颜色空间进行筛选，然后对不同类型的尾灯的“关闭”与“点亮”状态设定特定的颜色阈值，从而进行尾灯分割，达到尾灯状态识别的目的。该类方法的优势是速度快、不依赖于尾灯的精确定位；但对于颜色及光照敏感，准确度、鲁棒性较差。
(2)基于连续帧的帧差法。该类方法通过选取特定间隔的连续汽车尾灯图，利用帧间差分的方法，对比相邻时刻的尾灯颜色变化，达到识别尾灯状态的目的。这类方法引入了时序相关性，一定程度地解决了光照干扰。但仍对颜色较为敏感，且依赖于尾灯区域的定位及对齐，实际实现较难。
(3)基于机器学习的分类法。该类方法通过设计并训练一个尾灯状态分类器(如支持向量机、贝叶斯分类器等)，对尾灯区域的图像特征进行分类，达到尾灯状态识别的目的。这类方法识别精度较高，对光照、背景的干扰能力较强。但在实际应用中，该类方法识别准确率依赖于尾灯的检测精度，且受车距导致的尾灯图像分辨率影响，识别结果在时序上不够平滑。
发明内容
本发明的目的在于克服上述背景技术中的不足，以稳定有效识别复杂环境下的汽车尾灯状态。
为实现以上目的，采用一种汽车尾灯状态识别方法，包括如下步骤：
获取待识别的车尾图像，并输入至预先训练好的尾灯状态识别模型，该尾灯状态识别模型包括特征提取网络和尾灯状态判别网络；
利用特征提取网络提取车尾图像的尾灯特征向量；
利用尾灯状态判别网络对尾灯特征向量进行处理，识别出汽车尾灯的状态。
进一步地，所述特征提取网络包括基干网络和空间注意力模块，基干网络的输出与空间注意力模块连接；
基干网络包括卷积层Conv0、全局最大池化层MaxPooling0、全局平均池化层Global AvgPooling和残差模块ResNeXt block0、ResNeXt block1和ResNeXt block2，卷积层Conv0的输入为所述待识别的车尾图像、输出与全局最大池化层MaxPooling0的输入连接，全局最大池化层MaxPooling0的输出依次经残差模块ResNeXt block0、ResNeXt block1和ResNeXt block2后与全局平均池化层Global AvgPooling的输入连接。
进一步地，所述空间注意力模块包括空间注意力模块Spatial AttentionModule0、Spatial Attention Module1和Spatial Attention Module2；
所述残差模块ResNeXt block0、ResNeXt block1和ResNeXt block2的输出分别与所述空间注意力模块Spatial Attention Module0、Spatial Attention Module1和Spatial Attention Module2的输入连接，
所述残差模块ResNeXt block0的输出与所述空间注意力模块Spatial AttentionModule0的输出的Hadamard积作为所述残差模块ResNeXt block1的输入；所述残差模块ResNeXt block1的输出与所述空间注意力模块Spatial Attention Module1的输出的Hadamard积作为所述残差模块ResNeXt block2的输入；所述残差模块ResNeXt block2的输出与所述空间注意力模块Spatial Attention Module2的输出的Hadamard积作为所述全局平均池化层Global AvgPooling的输入，所述全局平均池化层Global AvgPooling的输出为所述尾灯特征向量。
进一步地，所述残差模块包括卷积层Conv_a、分组卷积Group_Conv、卷积层Conv_c、卷积层Conv_b和卷积层Conv_d，输入图像经卷积层Conv_a和卷积层Conv_b输入，卷积层Conv_a的输出与分组卷积Group_Conv输入连接，分组卷积Group_Conv的输出与卷积层Conv_c输入连接，卷积层Conv_b的输出和卷积层Conv_c的输出经concatenate操作拼接处理后作为卷积层Conv_d的输入，卷积层Conv_d的输出为特征图。
进一步地，所述空间注意力模块包括全局平均池化层、全局最大池化层、拼接层和卷积层Conv，全局平均池化层和全局最大池化层的输入为所述残差模块输出的特征图，全局平均池化层和全局最大池化层的输出经拼接层拼接处理后作为卷积层Conv的输入，卷积层Conv的输出经sigmoid函数激活操作处理得到注意力权重矩阵。
进一步地，灯状态判别网络包括门限循环单元层、时序注意力模块和尾灯状态分类器，门限循环单元层包括两个单层循环结构GRU Layer0和GRU Layer1，时序注意力模块的输入与单层循环结构GRU Layer0连接、输出与单层循环结构GRU Layer1连接，单层循环结构GRU Layer1的输出与尾灯状态分类器连接。
进一步地，所述时序注意力模块用于利用全连接层和Softmax激活操作对所述单层循环结构GRU Layer0的输出结果进行时序权重分配，具体计算方式如下：
Figure BDA0002547818130000041
其中，hin和hout分别为所述GRU Layer0各时刻的输出状态和注意力权重分配后的时序特征结果，f(·)为全连接操作。
进一步地，所述尾灯状态识别模型的训练步骤包括：
获取车尾序列样本训练集，集合中的车尾序列样本为按照时序关系将n张连续的车尾局部图构成的图像序列，每张车尾局部图上标注有尾灯状态信息；
设置所述尾灯状态识别模型的损失函数和学习率；
利用车尾序列样本对所述尾灯状态识别模型进行训练，得到所述预先训练好的尾灯状态识别模型。
进一步地，所述获取车尾序列样本训练集，包括：
获取不同场景下的尾灯变化视频数据；
将尾灯变化视频数据转换为连续帧图像，并利用目标检测算法获取各帧图像中目标车辆的汽车尾部区域，得到车尾局部图；
根据尾灯的状态对每张车位局部图进行状态标注，并按照时序关系，将每n张连续的标注有状态信息的车尾局部图序列集合作为所述车尾序列样本；
根据所述车尾序列样本，构建所述车尾序列样本训练集。
进一步地，在所述尾灯状态识别模型的训练过程中，还包括：
使用余弦退火策略对所述学习率进行动态调整。
与现有技术相比，本发明存在以下技术效果：深度学习由于其优越的性能及泛化能力，已经成为了视觉领域的常用算法。其中，卷积神经网络能够有效地提取图像高维特征，注意力机制提升了神经网络对有效区域的关注程度，而循环神经网络擅于学习时序相关性。本发明设计基于注意力机制的卷积-循环神经网络直接在车尾图像中提取尾灯特征，并推理尾灯前后时刻的亮度变化，能够稳定有效地识别复杂环境下的汽车尾灯状态。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种汽车尾灯状态识别方法的流程图；
图2是本发明整体设计流程图；
图3是尾灯状态识别模型的整体结构图；
图4是特征提取网络的结构图；
图5是残差模块的结构图；
图6是空间注意力模块的结构图；
图7是尾灯状态判别网络的结构图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种汽车尾灯状态识别方法，包括如下步骤S1至S3：
S1、获取待识别的车尾图像，并输入至预先训练好的尾灯状态识别模型，该尾灯状态识别模型包括特征提取网络和尾灯状态判别网络；
S2、利用特征提取网络提取车尾图像的尾灯特征向量；
S3、利用尾灯状态判别网络对尾灯特征向量进行处理，识别出汽车尾灯的状态。
本实施例所设计尾灯状态识别模型使用了卷积-循环神经网络和注意力机制，可解决现有尾灯识别技术对尾灯定位精度的依赖问题，同时时序信息的引入，克服了现有技术对光照、色差等颜色信息过于敏感等难题，提高了尾灯状态识别结果在时序上的稳定性和准确度。
如图2-3所示，本实施例中在利用计尾灯状态识别模型对任意获取的待识别车尾图像进行尾灯状态识别前，还包括设计尾灯状态识别模型和对模型进行训练。
本实施例中的尾灯状态识别模型，首先利用卷积神经网络(CNN)提取车尾序列样本中图像帧的高维特征，再利用递归神经网络(RNN)推理各帧之间的时序相关性，这种结合空间和时序特征的方式，大大提升了模型的识别精度和时序稳定性。另外，模型在卷积网络中设计了空间注意力结构(CNN-Attention)，能够有效提高CNN对车尾图像中的尾灯局部区域的关注程度，使得模型不依赖于车尾灯的精确定位；同时设计了时序注意力结构(RNN-Attention)，增强了RNN对尾灯状态变化的敏感程度。
如图4所示，所设计的尾灯状态识别模型包括特征提取网络和尾灯状态判别网络，其中特征提取网络采用卷积神经网络，尾灯状态判别网络采用递归神经网络。特征提取网络包括基干网络(Backbone)和空间注意力模块(Spatial Attention Module)，特征提取网络的输入是尺寸为128×128的车尾RGB图像，输出为提取到的128维尾灯特征向量。在本实施例中，卷积网络的核尺寸用高×宽表示，特征图尺寸通过高×宽×通道数(H×W×C)来表示。
需要说明的是，在卷积神经网络中，如无特殊说明，每个卷积层均包含批归一化层(Batch Normalization)和非线性激活(Activation)操作。其中，非线性激活操作采用Mish函数，具体表达式如下：
f(x)＝x·tanh(ln(1+ex))，
其中，f(x)为mish函数，其中x为输入特征图，tanh(·)为双曲正切函数，ln(·)为以常数e为底数的对数函数，f(x)连续可导，在避免封顶饱和的同时对负值有更好的微小梯度。
进一步地，所述基干网络如图4所示，卷积层Conv0的核尺寸为7×7、步长为2×2，大的核尺寸能够增大卷积核的感受野，有效的提取输入图像的全局抽象特征，配合核尺寸为4×4、步长为2×2的最大池化层MaxPooling0，能够快速减小特征图尺寸，并保留特征的平移和旋转不变性；ResNeXt block0、ResNeXt block1、ResNeXt block2为三个包含分组卷积的残差模块。如图5所示，该残差模块首先使用核尺寸为1×1、步长为1×1的卷积层Conv_a对特征图进行通道数(C)降维。然后，利用组数(group)为32的分组卷积Group_Conv扩大网络宽度，提升网络的特征学习能力。接着，使用核尺寸为1×1、步长为2×2的卷积层Conv_c减小特征图尺寸并恢复通道数，同时，残差跳跃连接通过核尺寸为3×3、步长为2×2的卷积层Conv_b计算。最后，利用核尺寸为3×3，步长为1×1的卷积层Conv_d进行特征融合，得到残差结构的输出特征图；如图3所示，基干网络的最后，通过全局平均池化操作(GlobalAverage Pooling)将残差结构的输出特征图映射成128维的特征向量。
进一步地，所述空间注意力模块，即通过学习权重分配，使网络更加关注特征图的有效区域，所述空间注意力模块包括空间注意力模块Spatial Attention Module0、Spatial Attention Module1和Spatial Attention Module2；
所述残差模块ResNeXt block0、ResNeXt block1和ResNeXt block2的输出分别与所述空间注意力模块Spatial Attention Module0、Spatial Attention Module1和Spatial Attention Module2的输入连接，
所述残差模块ResNeXt block0的输出与所述空间注意力模块Spatial AttentionModule0的输出的Hadamard积作为所述残差模块ResNeXt block1的输入；所述残差模块ResNeXt block1的输出与所述空间注意力模块Spatial Attention Module1的输出的Hadamard积作为所述残差模块ResNeXt block2的输入；所述残差模块ResNeXt block2的输出与所述空间注意力模块Spatial Attention Module2的输出的Hadamard积作为所述全局平均池化层Global AvgPooling的输入，所述全局平均池化层Global AvgPooling的输出为所述尾灯特征向量。
简单来说，在本实施例中，空间注意力模块能够帮助基干网络从车尾图像中自动识别尾灯的有效区域，避免了现有尾灯识别方法对尾灯定位精度地依赖。如图6所示，空间注意力模块首先利用全局平均池化操作和全局最大池化操作分别将尺寸为H×W×C的输入特征图进行通道压缩，拼接获得1个尺寸为H×W×2的空域敏感矩阵。然后通过一个核尺寸为5×5、步长为1×1的卷积层进行特征映射，结合sigmoid激活操作，得到尺寸为H×W的注意力权重矩阵，所述注意力权重矩阵的每个元素均为0～1的小数，表示输入特征图对应位置的特征值在尾灯识别任务中的重要程度。因此，最终输入特征图(H×W×C)与注意力权重矩阵(H×W)的Hadamard积即为注意力增强后的特征图，具体计算方式如下：
fout＝fin*σ(conv([gmax(fin)，gavg(fin)]))
其中，fin和fout分别为输入特征(即残差模块输出的特征图)和注意力增强后的特征，σ(·)为sigmoid激活函数，conv表示卷积操作，gmax(·)和gavg(·)分别表示全局最大池化操作和全局平均池化操作，*表示表示Hadamard乘积操作，即矩阵对应维度元素直接相乘。
进一步地，设计的尾灯状态判别网络如图7所示，所述尾灯状态判别网络包括门限循环单元(GRU)层、时序注意力模块(Temporal Attention)和尾灯状态分类器(Classifier)，门限循环单元层包括两个单层循环结构GRU Layer0和GRU Layer1，时序注意力模块的输入与单层循环结构GRU Layer0连接、输出与单层循环结构GRU Layer1连接，单层循环结构GRU Layer1的输出与尾灯状态分类器连接。
其中，GRU层对时序特征敏感，能够学习车尾灯前后时刻的状态变化，提高了模型对光照变化、灯罩色差等颜色差异的抗干扰能力，保证了识别结果的稳定性和有效性；时序注意力模块在尾灯状态发生变化时，能够有效提高GRU层对该时刻特征的关注程度，使网络对尾灯变化更具有判别能力，提升了模型对尾灯状态的识别精度。网络的输入为由上述卷积神经网络提取到的车尾特征序列，尺寸为车尾序列样本长度×特征长度，即8×128；网络的输出为车尾序列样本中各帧图像的尾灯状态，尺寸为8×3。
进一步地，所述循环神经网络包含的2个GRU层(GRU Layer0和GRU Layerl)，均为单层循环结构，隐含节点个数分别为128和256，网络输出每个时刻的时序相关性特征。
进一步地，所述时序注意力模块如图7所示，利用全连接层和Softmax激活操作对GRU Layer0的输出结果进行时序权重分配，达到尾灯状态动态关注的目的，具体计算方式如下：
Figure BDA0002547818130000091
其中，hin和hout分别为GRU Layer0各时刻的输出状态和注意力权重分配后的时序特征结果，f(·)为全连接操作，*表示表示Hadamard乘积操作，即矩阵对应元素相乘。
进一步地，所述尾灯状态分类器，对各时刻的尾灯状态进行判别，由2个分别包含128和3个隐含节点的全连接层组成，通过Sigmoid激活操作对输出结果进行非线性映射，得到车尾序列样本中各帧图像的尾灯状态标签。
进一步地，所述尾灯状态识别模型的训练步骤包括：
(1)采集并标注包含汽车尾灯变化的视频数据，获得车尾序列样本训练集：
首先，采集各场景下不同车型、光照条件、拍摄角度和距离下的尾灯变化视频数据。具体视频内容包括刹车灯、左转向灯、右转向灯、应急灯共4种尾灯的“点亮”与“关闭”动作序列；
然后，将上述各视频数据转化为连续帧图像，利用目标检测算法(如YOLO、SSD等)获取各帧图像中目标车辆的汽车尾部区域，得到车尾局部图x；
接着，根据各车灯的“关闭”或“点亮”情况对每张车尾局部图进行状态标注。标注标签y为k维向量，各维度分别代表所属类型尾灯是否点亮，具体可表示为：
y＝[l1,l2,...,lk]T
其中，l∈[0,1]，分别表示所属类别的尾灯是“关闭”或“点亮”状态。另外，由于在本实施例中共采集了4种尾灯类型，但在实际情况中应急灯“点亮”即左、右转向灯同时“点亮”，因此，在本实施例中k＝3。
最后，按照时序关系，将每n张连续的车尾局部图的序列集合作为一个上述车尾序列样本，得到所述的车尾序列样本训练集。具体的，对于每个车尾序列训练样本X，均包含n张连续车尾局部图像：
X＝[x1,x2,...,xn]
则其对应的尾灯状态标签为Y＝[y1,y2,...,yn]；在本实施例中，选择使用连续的8张车尾局部图作为一个车尾序列样本，因此n＝8。
(2)设置尾灯状态识别模型的目标损失函数和学习率等条件，并结合训练集对尾灯状态识别模型的网络参数进行训练优化：
所述目标损失函数为二值交叉熵损失，初始学习率设为0.01，在网络训练过程中，使用余弦退火策略对学习率进行动态调整。最终得到的最优神经网络模型能够在实际场景中对车尾序列图像进行推理，从而识别尾灯状态变化。
进一步地，在利用所述尾灯状态识别模型在实际场景中实时识别汽车尾灯状态时，由于所述尾灯状态识别模型的能够同时识别连续8帧车尾图像的尾灯状态，在实际使用场景中，可设置模型的推理时间为8帧时间，减少模型推理的时间代价。则，具体的实时尾灯识别过程为：
首先，图像采集设备实时采集场景图像，确认目标车辆的车尾区域，并缓存车尾图像；然后，在时刻为t0时，获取缓存的最近8帧车尾图像，缩放到尺寸为128×128，利用所述最优尾灯状态识别模型识别这8张车尾图像的尾灯状态；最后，每隔8帧重复一次上述操作，达到目标车辆尾灯状态实时识别的目的。
本发明提供的技术方案与已有的公知技术相比，具有如下显著效果：
(1)本发明所设计的尾灯状态识别模型为一种端到端的卷积-循环神经网络模型，其结合卷积神经网络的图像特征提取能力和循环神经网络的时序特征提取能力，显著提高了尾灯状态识别的稳定性和准确性。
(2)本发明在尾灯状态识别模型中设计了空间注意力模块和时序注意力模块。其中，空间注意力模块增强了车尾图像中的尾灯特征，克服了现有方法对尾灯区域的定位依赖；时序注意力模块使模型更加关注序列中尾灯的状态变化，提高了网络模型对尾灯状态的判别性能。
(3)本发明结合了图像序列的时序信息，在实际应用中，解决了现有尾灯状态识别方法由于不同时刻光照强度不同、不同车型的灯罩色差等颜色变化导致的识别效果鲁棒差等问题。同时，序列信息的应用，使得识别结果在连续时刻上更加平滑稳定，有利于驾驶意图分析、驾驶预警等辅助驾驶工作的开展。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种汽车尾灯状态识别方法，其特征在于，包括：
获取待识别的车尾图像，并输入至预先训练好的尾灯状态识别模型，该尾灯状态识别模型包括特征提取网络和尾灯状态判别网络；
利用特征提取网络提取车尾图像的尾灯特征向量；
利用尾灯状态判别网络对尾灯特征向量进行处理，识别出汽车尾灯的状态。
2.如权利要求1所述的汽车尾灯状态识别方法，其特征在于，所述特征提取网络包括基干网络和空间注意力模块，基干网络的输出与空间注意力模块连接；
基干网络包括卷积层Conv0、全局最大池化层MaxPooling0、全局平均池化层GlobalAvgPooling和残差模块ResNeXt block0、ResNeXt block1和ResNeXt block2，卷积层Conv0的输入为所述待识别的车尾图像、输出与全局最大池化层MaxPooling0的输入连接，全局最大池化层MaxPooling0的输出依次经残差模块ResNeXt block0、ResNeXt block1和ResNeXtblock2后与全局平均池化层Global AvgPooling的输入连接。
3.如权利要求2所述的汽车尾灯状态识别方法，其特征在于，所述空间注意力模块包括空间注意力模块Spatial Attention Module0、Spatial Attention Module1和SpatialAttention Module2；
所述残差模块ResNeXt block0、ResNeXt block1和ResNeXt block2的输出分别与所述空间注意力模块Spatial Attention Module0、Spatial Attention Module1和SpatialAttention Module2的输入连接，
所述残差模块ResNeXt block0的输出与所述空间注意力模块Spatial AttentionModule0的输出的Hadamard积作为所述残差模块ResNeXt block1的输入；所述残差模块ResNeXt block1的输出与所述空间注意力模块Spatial Attention Module1的输出的Hadamard积作为所述残差模块ResNeXt block2的输入；所述残差模块ResNeXt block2的输出与所述空间注意力模块Spatial Attention Module2的输出的Hadamard积作为所述全局平均池化层GlobalAvgPooling的输入，所述全局平均池化层Global AvgPooling的输出为所述尾灯特征向量。
4.如权利要求2所述的汽车尾灯状态识别方法，其特征在于，所述残差模块包括卷积层Conv_a、分组卷积Group_Conv、卷积层Conv_c、卷积层Conv_b和卷积层Conv_d，输入图像经卷积层Conv_a和卷积层Conv_b输入，卷积层Conv_a的输出与分组卷积Group_Conv输入连接，分组卷积Group_Conv的输出与卷积层Conv_c输入连接，卷积层Conv_b的输出和卷积层Conv_c的输出经concatenate操作拼接处理后作为卷积层Conv_d的输入，卷积层Conv_d的输出为特征图。
5.如权利要求3所述的汽车尾灯状态识别方法，其特征在于，所述空间注意力模块包括全局平均池化层、全局最大池化层、拼接层和卷积层Conv，全局平均池化层和全局最大池化层的输入为所述残差模块输出的特征图，全局平均池化层和全局最大池化层的输出经拼接层拼接处理后作为卷积层Conv的输入，卷积层Conv的输出经sigmoid函数激活操作处理得到注意力权重矩阵。
6.如权利要求1所述的汽车尾灯状态识别方法，其特征在于，灯状态判别网络包括门限循环单元层、时序注意力模块和尾灯状态分类器，门限循环单元层包括两个单层循环结构GRU Layer0和GRU Layer1，时序注意力模块的输入与单层循环结构GRU Layer0连接、输出与单层循环结构GRU Layer1连接，单层循环结构GRU Layer1的输出与尾灯状态分类器连接。
7.如权利要求6所述的汽车尾灯状态识别方法，其特征在于，所述时序注意力模块用于利用全连接层和Softmax激活操作对所述单层循环结构GRU Layer0的输出结果进行时序权重分配，具体计算方式如下：
Figure FDA0002547818120000021
其中，hin和hout分别为所述GRU Layer0各时刻的输出状态和注意力权重分配后的时序特征结果，f(·)为全连接操作。
8.如权利要求1所述的汽车尾灯状态识别方法，其特征在于，所述尾灯状态识别模型的训练步骤包括：
获取车尾序列样本训练集，集合中的车尾序列样本为按照时序关系将n张连续的车尾局部图构成的图像序列，每张车尾局部图上标注有尾灯状态信息；
设置所述尾灯状态识别模型的损失函数和学习率；
利用车尾序列样本对所述尾灯状态识别模型进行训练，得到所述预先训练好的尾灯状态识别模型。
9.如权利要求8所述的汽车尾灯状态识别方法，其特征在于，所述获取车尾序列样本训练集，包括：
获取不同场景下的尾灯变化视频数据；
将尾灯变化视频数据转换为连续帧图像，并利用目标检测算法获取各帧图像中目标车辆的汽车尾部区域，得到车尾局部图；
根据尾灯的状态对每张车位局部图进行状态标注，并按照时序关系，将每n张连续的标注有状态信息的车尾局部图序列集合作为所述车尾序列样本；
根据所述车尾序列样本，构建所述车尾序列样本训练集。
10.如权利要求8所述的汽车尾灯状态识别方法，其特征在于，在所述尾灯状态识别模型的训练过程中，还包括：
使用余弦退火策略对所述学习率进行动态调整。
CN202010565899.7A 2020-06-19 2020-06-19 一种汽车尾灯状态识别方法 Active CN111881739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010565899.7A CN111881739B (zh) 2020-06-19 2020-06-19 一种汽车尾灯状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010565899.7A CN111881739B (zh) 2020-06-19 2020-06-19 一种汽车尾灯状态识别方法

Publications (2)

Publication Number Publication Date
CN111881739A true CN111881739A (zh) 2020-11-03
CN111881739B CN111881739B (zh) 2024-06-21

Family

ID=73157068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010565899.7A Active CN111881739B (zh) 2020-06-19 2020-06-19 一种汽车尾灯状态识别方法

Country Status (1)

Country Link
CN (1) CN111881739B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699804A (zh) * 2020-12-31 2021-04-23 杭州电子科技大学 一种基于注意力和局部特征的密集场景牛身份识别方法
CN112733818A (zh) * 2021-03-30 2021-04-30 深圳佑驾创新科技有限公司 基于注意力机制的车灯状态识别方法、装置、终端和介质
CN113111862A (zh) * 2021-05-13 2021-07-13 北京理工大学 一种基于动作-状态联合学习的车辆尾灯状态识别方法
CN113378949A (zh) * 2021-06-22 2021-09-10 昆明理工大学 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN114548203A (zh) * 2021-12-07 2022-05-27 广州华农大智慧农业科技有限公司 一种基于Cycle-GAN与ResNeXt的蔬菜病害识别方法
DE102022200136A1 (de) 2022-01-10 2023-07-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung aktivierter Leuchten an einem Fahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550701A (zh) * 2015-12-09 2016-05-04 福州华鹰重工机械有限公司 实时图像提取识别方法及装置
US20180143966A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Spatial Attention Model for Image Captioning
CN108600701A (zh) * 2018-05-02 2018-09-28 广州飞宇智能科技有限公司 一种基于深度学习判断视频行为的监控系统和方法
CN109711227A (zh) * 2017-10-25 2019-05-03 北京京东尚科信息技术有限公司 交通灯识别方法、交通灯识别装置及计算机可读存储介质
CN110210358A (zh) * 2019-05-24 2019-09-06 北京大学 一种基于双向时序图的视频描述生成方法和装置
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN111133447A (zh) * 2018-02-18 2020-05-08 辉达公司 适于自主驾驶的对象检测和检测置信度

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550701A (zh) * 2015-12-09 2016-05-04 福州华鹰重工机械有限公司 实时图像提取识别方法及装置
US20180143966A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Spatial Attention Model for Image Captioning
CN109711227A (zh) * 2017-10-25 2019-05-03 北京京东尚科信息技术有限公司 交通灯识别方法、交通灯识别装置及计算机可读存储介质
CN111133447A (zh) * 2018-02-18 2020-05-08 辉达公司 适于自主驾驶的对象检测和检测置信度
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108600701A (zh) * 2018-05-02 2018-09-28 广州飞宇智能科技有限公司 一种基于深度学习判断视频行为的监控系统和方法
CN110210358A (zh) * 2019-05-24 2019-09-06 北京大学 一种基于双向时序图的视频描述生成方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NAINA DHINGRA等: "Res3ATN - Deep 3D Residual Attention Network for Hand Gesture Recognition", 《2019 INTERNATIONAL CONFERENCE ON 3D VISION (3DV)》, 31 October 2019 (2019-10-31), pages 491 - 501 *
SITENG HUANG等: "DSANet: Dual Self-Attention Network for Multivariate Time Series Forecasting", 《CIKM \'19: PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT》, 3 November 2019 (2019-11-03), pages 2129, XP055789196, DOI: 10.1145/3357384.3358132 *
白博等: "多尺度级联R-FCN的尾灯检测算法研究", 《计算机工程与应用》, vol. 56, no. 6, 28 March 2019 (2019-03-28), pages 194 - 200 *
贺强: "深度神经网络在视频行为识别中的应用研究", 《中国优秀硕士学位论文全文数据库：信息科技辑》, no. 1, 15 January 2020 (2020-01-15), pages 1 - 79 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699804A (zh) * 2020-12-31 2021-04-23 杭州电子科技大学 一种基于注意力和局部特征的密集场景牛身份识别方法
CN112699804B (zh) * 2020-12-31 2024-03-15 易采天成(郑州)信息技术有限公司 一种基于注意力和局部特征的密集场景牛身份识别方法
CN112733818A (zh) * 2021-03-30 2021-04-30 深圳佑驾创新科技有限公司 基于注意力机制的车灯状态识别方法、装置、终端和介质
CN112733818B (zh) * 2021-03-30 2021-08-13 深圳佑驾创新科技有限公司 基于注意力机制的车灯状态识别方法、装置、终端和介质
CN113111862A (zh) * 2021-05-13 2021-07-13 北京理工大学 一种基于动作-状态联合学习的车辆尾灯状态识别方法
CN113111862B (zh) * 2021-05-13 2022-12-13 北京理工大学 一种基于动作-状态联合学习的车辆尾灯状态识别方法
CN113378949A (zh) * 2021-06-22 2021-09-10 昆明理工大学 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN114548203A (zh) * 2021-12-07 2022-05-27 广州华农大智慧农业科技有限公司 一种基于Cycle-GAN与ResNeXt的蔬菜病害识别方法
DE102022200136A1 (de) 2022-01-10 2023-07-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung aktivierter Leuchten an einem Fahrzeug

Also Published As

Publication number Publication date
CN111881739B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN111881739B (zh) 一种汽车尾灯状态识别方法
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
CN110069986A (zh) 一种基于混合模型的交通信号灯识别方法及系统
CN108090411A (zh) 使用计算机视觉和深度学习进行交通信号灯检测和分类
CN104517103A (zh) 一种基于深度神经网络的交通标志分类方法
CN105975915A (zh) 一种基于多任务卷积神经网络的前方车辆参数识别方法
WO2015056890A1 (ko) 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
CN104463241A (zh) 一种智能交通监控系统中的车辆类型识别方法
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN111738300A (zh) 一种交通标志及信号灯检测和识别的优化算法
CN109670450B (zh) 一种基于视频的人车物检测方法
CN112733818B (zh) 基于注意力机制的车灯状态识别方法、装置、终端和介质
CN110969647A (zh) 一种整合车辆的识别跟踪与车灯检测的方法
CN106919939A (zh) 一种交通标识牌跟踪识别方法及系统
Acunzo et al. Context-adaptive approach for vehicle detection under varying lighting conditions
Gholamalinejad et al. Irvd: A large-scale dataset for classification of iranian vehicles in urban streets
CN114519848A (zh) 一种运动意图确定方法、装置、设备及存储介质
CN114359196A (zh) 雾气检测方法及系统
CN115171001A (zh) 基于改进ssd的增强热红外图像上车辆检测方法及系统
CN109993083A (zh) 一种夜间车辆识别的方法
Pratama et al. Frame rate optimization in traffic sign detection
CN115909276A (zh) 基于改进YOLOv5的复杂天气下小交通标志目标检测方法
Nine et al. Traffic Light and Back-light Recognition using Deep Learning and Image Processing with Raspberry Pi
CN113191255A (zh) 一种基于移动机器人的交通标志识别方法
CN113743226A (zh) 一种日间前车灯语识别及预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant