CN111191482A - 一种刹车灯识别方法、装置及电子设备 - Google Patents

一种刹车灯识别方法、装置及电子设备 Download PDF

Info

Publication number
CN111191482A
CN111191482A CN201811350533.7A CN201811350533A CN111191482A CN 111191482 A CN111191482 A CN 111191482A CN 201811350533 A CN201811350533 A CN 201811350533A CN 111191482 A CN111191482 A CN 111191482A
Authority
CN
China
Prior art keywords
network
mask
inputting
target image
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811350533.7A
Other languages
English (en)
Other versions
CN111191482B (zh
Inventor
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811350533.7A priority Critical patent/CN111191482B/zh
Publication of CN111191482A publication Critical patent/CN111191482A/zh
Application granted granted Critical
Publication of CN111191482B publication Critical patent/CN111191482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种刹车灯识别方法、装置及电子设备，该方法包括：将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域；将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置；将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。本申请提高了识别开启的尾灯所在区域的准确率，从而可以提高刹车灯的识别准确率，使得高级驾驶辅助系统更助于提高行车安全。

Description

一种刹车灯识别方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种刹车灯识别方法、装置及电子设备。
背景技术
高级驾驶辅助系统(Advanced Driver Assistant System，ADAS)可以利用车载的多类传感器，实时收集车内外的环境数据，进而实现静态或动态物体的辨识、侦测与追踪，从而协助驾驶者在最短时间内察觉到潜在的危险，以提高行车安全。通过高级驾驶辅助系统识别物体以实现的功能中包括对刹车灯的识别。
在相关技术中，通过建立车辆识别的样本库来识别车载摄像机拍摄的图像中的车辆，然后将检测出的图像中车辆所在的位置设置为感兴趣区域(Region of Interest，ROI)，然后将上述感兴趣区域内的图像通过色彩空间变换来得到其中的红色区域，将上述红色区域认定为车灯所在的区域，最后基于上述红色区域之间的相对位置来识别前车的刹车灯。
然而，通过色彩空间变换确定出的车灯所在的区域往往并不准确，导致识别刹车灯的准确率低下，比如，若车辆本身颜色为红色，会对车灯区域检测造成干扰。
发明内容
有鉴于此，本申请提供一种刹车灯识别方法、装置及电子设备，用于提高刹车灯的识别准确率，从而使得高级驾驶辅助系统更助于提高行车安全。
具体地，本申请是通过如下技术方案实现的：
一种刹车灯识别方法，包括：
将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域；
将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置；
将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。
在所述刹车灯识别方法中，所述目标检测网络至少包括：基础特征提取网络、区域推荐网络和感兴趣区域池化层；
所述将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图，包括：
将所述目标图像输入至所述基础特征提取网络，得到特征图，并将该特征图输出给所述区域推荐网络；
从所述区域推荐网络中得到多个感兴趣区域，并将该特征图和所述多个感兴趣区域输入所述感兴趣区域池化层，得到多个指定尺寸的特征图。
在所述刹车灯识别方法中，所述目标检测网络的基础特征提取网络为MobileNet；所述MobileNet包括多个深度卷积层和多个点卷积层；
所述将所述目标图像输入至所述基础特征提取网络，得到特征图，包括：
将所述目标图像输入至所述MobileNet，以由所述MobileNet基于所述深度卷积层和所述点卷积层对所述目标图像进行计算，得到特征图。
在所述刹车灯识别方法中，所述将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，包括：
将所述指定尺寸的特征图输入至所述全卷积神经网络，以由所述全卷积神经网络对各个指定尺寸的特征图进行上采样处理、并对上采样后的特征图的每一像素进行分类得到对应的掩模。
在所述刹车灯识别方法中，所述将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，包括：
将所述掩模输入至所述刹车灯识别网络，以由所述刹车灯识别网络利用团块分布的逻辑从掩模确定出对应的分类结果。
在所述刹车灯识别方法中，所述目标图像为预设时长内采集的图像序列；所述方法还包括：
基于所述图像序列中每一图像确定是否存在刹车灯；
若基于任一图像确定存在刹车灯，则确定存在刹车灯。
一种刹车灯识别装置，包括：
确定单元，用于将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域；
分割单元，用于将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置；
识别单元，用于将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。
在所述刹车灯识别装置中，所述目标检测网络至少包括：基础特征提取网络、区域推荐网络和感兴趣区域池化层；
所述确定单元，进一步用于：
将所述目标图像输入至所述基础特征提取网络，得到特征图，并将该特征图输出给所述区域推荐网络；
从所述区域推荐网络中得到多个感兴趣区域，并将该特征图和所述多个感兴趣区域输入所述感兴趣区域池化层，得到多个指定尺寸的特征图。
在所述刹车灯识别装置中，所述分割单元，进一步用于：
将所述指定尺寸的特征图输入至所述全卷积神经网络，以由所述全卷积神经网络对各个指定尺寸的特征图进行上采样处理、并对上采样后的特征图的每一像素进行分类得到对应的掩模。
在所述刹车灯识别装置中，所述目标图像为预设时长内采集的图像序列；所述装置还包括：
所述识别单元，进一步用于基于所述图像序列中每一图像的刹车灯识别结果确定是否存在刹车灯；若任一图像的刹车灯识别结果中存在刹车灯，则确定存在刹车灯。
一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的机器可执行指令，其中，所述处理器执行所述机器可执行指令时实现如下方法：
将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域；
将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置；
将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。
在本申请技术方案中，本方案应用了深度学习的方法，可以从存在车辆的感兴趣区域中分割出不同形态的开启的尾灯，从而可以准确地识别出尾灯所在的区域，进一步地，利用刹车灯识别网络对尾灯所在的区域进行判断以确定开启的尾灯是否为刹车灯；
由于通过全卷积神经网络提高了识别开启的尾灯所在区域的准确率，从而可以提高刹车灯的识别准确率，使得高级驾驶辅助系统更助于提高行车安全。
附图说明
图1是本申请示出的一种刹车识别方法的流程图；
图2是本申请示出的一种刹车识别方法的流程示意图；
图3是本申请示出的一种目标检测网络的基础特征提取网络的处理示意图；
图4是本申请示出的一种二值掩模的示意图；
图5是本申请示出的一种刹车识别方法的装置的实施例框图；
图6是本申请示出的一种刹车识别方法的装置的硬件结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对现有技术方案和本发明实施例中的技术方案作进一步详细的说明。
本申请技术方案基于目标检测网络、全卷积神经网络(Fully ConvolutionalNetworks，FCN)和刹车灯识别网络实现。
其中，本申请中的目标检测网络可以是Faster RCNN(Faster Regions with CNNfeatures)，因此，该目标检测网络包括基础特征提取网络(Convolutional NeuralNetwork，CNN)、区域推荐网络(Region Proposal Networks，RPN)、感兴趣区域池化层(Region of Interest Pooling，ROI Pooling)和判别网络。
目标检测网络的基础特征提取网络用于从图像中提取特征图(feature map)。提取到的特征图交由区域推荐网络，由区域推荐网络确定待检测的目标在特征图中可能存在的位置，并输出表征上述位置的感兴趣区域(Region of Interest)。其中，区域推荐网络输出的一个特征图的感兴趣区域为N*4的矩阵，N表示感兴趣区域的数目，矩阵第一列为ROI左上角横坐标，第二列为ROI左上角纵坐标，第三列为ROI右下角横坐标，第四列为ROI右下角纵坐标。
感兴趣区域池化层用于将感兴趣区域映射至上述特征图，然后对感兴趣区域内的特征图进行池化处理，输出指定尺寸的特征图。
判别网络用于基于上述指定尺寸的特征图确定待检测的目标的类别，并对利用边框回归修正感兴趣区域的位置。
全卷积神经网络用于对上述指定尺寸的特征图进行上采样，对上采用后的特征图中每个像素都产生一个预测，从而在上采样后的特征图上进行逐像素分类。本申请中，全卷积神经网络可以对打亮的尾灯所在的位置(像素)输出1，对不存在打亮的尾灯的位置(像素)输出0，最终获得上述图像上打亮的尾灯所在区域的掩模(mask)。
刹车灯识别网络基于上述掩模，通过团块分布的逻辑判断上述图像中是否存在刹车灯。其中，上述刹车灯识别网络可以是自定义的网络模型，包括多个卷积层、多个池化层、至少一个全连接层和分类函数。
在简单地介绍过本申请涉及的神经网络后，下面介绍对上述神经网络的训练和应用过程。为实现本申请技术方案，首先需对上述神经网络进行训练。
首先，可搭建上述目标检测网络、全卷积神经网络和刹车灯识别网络。
其次，获取对目标检测网络进行端到端训练的样本图像，其中，上述样本图像标记有图像中车辆的坐标信息和对应于坐标信息的类别标签，该坐标信息包括车辆的边界框(bounding box)的左上角坐标和右下角坐标，若边界框内有车则对应的类别标签可为1，否则为0。
利用上述目标检测网络输出上述样本图像中车辆的坐标信息和类别信息，然后根据上述目标检测网络输出的坐标信息与已标记的坐标信息之间的差异，以及，上述目标检测网络输出的类别信息与已标记的类别标签之间的差异，对上述目标检测网络的网络参数进行训练。
通过一定数量的样本图像对上述目标检测网络训练后，获得可实现车辆定位和检测的目标检测网络。具体而言，获得可有效提取特征图的基础特征提取网络、可准确判定车辆所在的感兴趣区域的区域推荐网络、可判断感兴趣区域内是否存在车辆及修正车辆的边界框的判别网络。
进一步地，获取对全卷积神经网络进行训练的样本图像，其中，上述样本图像标记有对应的掩模，该掩模指示样本图像中打亮的尾灯的位置；该掩模可以是二值掩模，此时，图像中开启尾灯的区域在二值掩模上的各像素点的值为1，其余区域在二值掩模上各像素点的值为0。
利用上述全卷积神经网络输出上述样本图像的掩模，然后根据上述全卷积神经网络输出的掩模和已标记的掩模之间的差异，对上述全卷积神经网络的网络参数进行训练。
通过一定数量的样本图像对上述全卷积神经网络训练后，获得能够对图像进行分割的全卷积神经网络。
最后，获取对刹车灯识别网络进行训练的样本图像，其中，上述样本图像为掩模，上述样本图像标记有掩模对应的图像中是否存在刹车灯的标签，比如，若存在刹车灯则标记1，若不存在刹车灯则标记0。利用上述刹车灯判别网络输出的判断结果和已标记的标签之前的差异，对上述刹车灯判别网络的网络参数进行训练。
通过一定数量的样本图像对上述刹车灯识别网络训练后，获得能够基于图像对应的掩模判断图像中是否存在刹车灯的刹车灯识别网络。
在训练获得上述神经网络后，可以技术上述神经网络实现对刹车灯的识别，下面介绍应用上述神经网络以识别刹车灯的过程。
参见图1，为本申请示出的一种刹车灯识别方法的流程图，该方法包括以下步骤：
步骤101：将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域。
其中，该方法可以应用于电子设备，该电子设备可以包括车载摄像机，或与车道摄像机对接的智能设备。
上述目标图像为车载摄像机采集到的车辆前方的图像。需要指出的是，在将上述目标图像输入至上述目标检测网络之前，首先需对上述目标图像预处理为指定尺寸大小。
目标图像输入至上述目标检测网络，以由上述目标检测网络确定出所述目标图像的特征图和该特征图的多个感兴趣区域、并基于所述特征图和所述多个感兴趣区域计算出对应于各个感兴趣区域的指定尺寸的特征图。
具体地，首先，上述目标检测网络的基础特征提取网络可以对输入的上述目标图像进行计算得到特征图，并输出给上述目标检测网络的区域推荐网络和感兴趣区域池化层。其中，上述基础特征提取网络可以包括多个卷积层、多个ReLu(Rectified LinearUnit，整流线性单元)激励层和多个池化层。
为更直观地说明本申请技术方案，参见图2，为本申请示出的一种刹车识别方法的流程示意图。其中，虚线框内的是神经网络，实线框内的是处理流程中得到的结果。如图2所示，“Conv layers”为上述目标检测网络的基础特征提取网络，“Region ProposalNetworks”为上述目标检测网络的区域推荐网络，“ROI pooling”为上述目标检测网络的感兴趣区域池化层，“Classification(1)”为上述目标检测网络的判别网络。“FullyConvolutional Networks”为上述全卷积神经网络。“Classification(2)”为上述刹车灯识别网络。
在图2中，基础特征提取网络对目标图像计算得到特征图的过程即为“Image”输入至“Conv layers”后得到“feature map”的过程。
在示出的一种实施方式中，为减少基础特征提取网络的计算量，提高电子设备识别刹车灯的速率，可以用MobileNet网络作为基础特征提取网络。由于MobileNet网络可以将标准的卷积核分解为深度卷积核和点卷积核，通过深度卷积核和点卷积核对上述目标图像进行计算，相比标准的卷积核而言，大大降低了计算量。
参见图3，为本申请示出的一种目标检测网络的基础特征提取网络的处理示意图。如图3所示，基础特征提取网络包括多个卷积层、多个深度卷积层和多个点卷积层。
图3中卷积层标记的括弧内，若数值为(2,33)则表示卷积核的尺寸为3×3，2表示卷积计算时的步长；若括弧内不存在步长，则默认步长为1。
基于图3中的基础特征提取网络，从指定尺寸为224×224×3的目标图像中计算出尺寸为7×7×256的特征图。
进一步地，上述目标检测网络的区域推荐网络从输入的上述特征图中确定出多个感兴趣区域，并输出给上述目标检测网络的感兴趣区域池化层。
具体的，上述区域推荐网络可以先在上述特征图中标定初始的检测框(anchor)，然后判断其中存在待检测的目标(本申请中的待检测的目标为车辆)前景检测框(foreground anchor)和不存在待检测的目标的背景检测框(background anchor)，进而通过边框回归修正前景检测框的位置。
区域推荐网络在判断前景检测框和背景检测框时，会相应地输出检测框为前景检测框的置信度以及检测框为背景检测框的置信度。在通过边框回归修正前景检测框的位置后，可以基于各前景检测框的置信度的大小，选择置信度大的指定数量的修正后的前景检测框作为感兴趣区域。区域推荐网络推荐的感兴趣区域即为可能存在车辆的区域。
在图2中，区域推荐网络计算得到感兴趣区域的过程即为“feature map”输入至“Region Proposal Networks”后得到“Proposal boxes”的过程，其中，Proposal boxes为感兴趣区域的位置信息，比如(x1，y1，x2，y2)，(x1，y1)表示感兴趣区域的左上角坐标，(x2，y2)表示感兴趣区域的右下角坐标。
需要说明的是，区域推荐网络从特征图中确定出的多个感兴趣区域的尺寸大小可能是不同的，后续流程中，需将感兴趣区域内的特征图抠出后进行处理。而在通常情况下，神经网络训练完成后，各个网络层输入的图像尺寸是固定的。
为将感兴趣区域内的特征图处理为指定尺寸，在获得上述目标图像的特征图和该特征图的多个感兴趣区域后，可以将特征图和多个感兴趣区域输入至目标检测网络的感兴趣区域池化层。
上述感兴趣区域池化层可以基于多个感兴趣区域对输入的上述特征图进行池化处理，得到多个指定尺寸的特征图。具体地，上述感兴趣区域池化层将多个感兴趣区域映射至上述特征图，然后将每一感兴趣区域内的特征图划分为指定数量的部位后，对各部位进行池化处理，从而得到对应于各感兴趣区域的指定尺寸的特征图。
比如：将任一感兴趣区域的特征图横向和纵向分别划分一次，得到四个部位，然后对各个部位进行最大池化处理，得到各个部位的最大值，从而得到尺寸为2×2的特征图。
在获得与感兴趣区域的数量相同的多个指定尺寸的特征图后，可以从上述指定尺寸的特征图确定出开启的尾灯的分割图。具体详见下文相关描述。
在图2中，感兴趣区域池化层基于特征图和感兴趣区域计算得到指定尺寸的特征图的过程即为“Proposal boxes”和“feature map”输入至“ROI pooling”后得到“Proposalfeature map”的过程。
步骤102：将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置。
电子设备可以将上述多个指定尺寸的特征图输入至已训练的全卷积神经网络。
上述全卷积神经网络可以对每一指定尺寸的特征图进行上采样处理(放大图像)，使得特征图的尺寸恢复为上述目标图像的尺寸。进一步地，对上采样后的特征图中每一像素进行分类，从而得到每一指定尺寸的特征图的掩模。
通过该措施，可以准确地确定出开启的尾灯在上述目标图像中的位置。
在图2中，全卷积神经网络对指定尺寸的特征图计算得到掩模的过程即为“Proposal feature map”输入至“Fully Convolutional Networks”后得到“mask”的过程。
参见图4，为本申请示出的一种二值掩模的示意图，如图4所示，二值掩模中黑色部位的像素为1，其余部位的像素为0，表示黑色部位存在打亮的尾灯。
步骤103：将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。
在获得每一指定尺寸的特征图的掩模后，可通过已训练的刹车灯识别网络对上述掩模进行处理，由刹车灯识别网络的分类函数输出对应于掩模的分类结果。其中，该分类结果表征上述掩模中开启的尾灯是否为刹车灯。作为一种实施例，若输出的分类结果为0，则该掩模内不存在刹车灯，若输出的分类结果为1，则该掩模内存在刹车灯。
刹车灯基于上述目标图像的特征图对应的掩模完成判断后，即可确定上述目标图像内是否存在刹车灯。
在图2中，刹车灯识别网络基于分割图确定是否存在刹车灯的过程即为“mask”输入至“Classification(2)”后得到“Cls_prob”的过程。
在本申请实施例中，由于自然场景的复杂性，电子设备采集到的目标图像的成像效果可能会影响刹车灯识别的准确性。为保证准确地识别出实际场景中刹车灯，电子设备可以基于短时间内采集到的一系列图像判断是否存在刹车灯。
在这种情况下，上述目标图像可以是预设时长内采集的图像序列，其中，上述预设时长可以基于实际应用效果配置，比如，可以是刹车灯一次打亮的时长。
电子设备基于上述图像序列中的每一图像是否存在刹车灯，然后基于每一图像的刹车灯识别结果，确定实际的刹车灯识别结果。具体地，只要基于任一图像确定存在刹车灯，即可确定当前车辆前方存在刹车灯。
综上所述，在本申请技术方案中，利用了深度学习的方法从目标图像中确定车辆所在位置的感兴趣区域，然后将感兴趣区域对应的指定尺寸的特征图交由全卷积神经网络分割出开启的尾灯的掩模，从而利用团块分布的逻辑从掩模确定是否存在刹车灯；
此外，利用MobileNet作为基础特征提取网络对目标图像进行计算，可更快速地获得目标图像的特征图，提高了识别刹车灯的速率；而以图像序列作为刹车灯的判断依据，可更准确地获得判断结果。
与前述刹车灯识别方法的实施例相对应，本申请还提供了刹车灯识别装置的实施例。
参见图5，为本申请示出的一种刹车灯识别装置的实施例框图：
如图5所示，该刹车灯识别装置50包括：
确定单元510，用于将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域。
分割单元520，用于将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置。
识别单元530，用于将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。
在本例中，所述目标检测网络至少包括：基础特征提取网络、区域推荐网络和感兴趣区域池化层；
所述确定单元510，进一步用于：
将所述目标图像输入至所述基础特征提取网络，得到特征图，并将该特征图输出给所述区域推荐网络；
从所述区域推荐网络中得到多个感兴趣区域，并将该特征图和所述多个感兴趣区域输入所述感兴趣区域池化层，得到多个指定尺寸的特征图。
在本例中，所述目标检测网络的基础特征提取网络为MobileNet；所述MobileNet包括多个深度卷积层和多个点卷积层；
所述确定单元510，进一步用于：
将所述目标图像输入至所述MobileNet，以由所述MobileNet基于所述深度卷积层和所述点卷积层对所述目标图像进行计算，得到特征图。
在本例中，所述分割单元520，进一步用于：
将所述指定尺寸的特征图输入至所述全卷积神经网络，以由所述全卷积神经网络对各个指定尺寸的特征图进行上采样处理、并对上采样后的特征图的每一像素进行分类得到对应的掩模。
在本例中，所述识别单元530，进一步用于：
将所述掩模输入至所述刹车灯识别网络，以由所述刹车灯识别网络利用团块分布的逻辑从掩模确定出对应的分类结果。
在本例中，所述目标图像为预设时长内采集的图像序列；所述装置还包括：
所述识别单元530，进一步用于基于所述图像序列中每一图像的刹车灯识别结果确定是否存在刹车灯；若任一图像的刹车灯识别结果中存在刹车灯，则确定存在刹车灯。
本申请刹车灯识别装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将机器可读存储介质中对应的机器可执行指令读取到内存中运行形成的。
从硬件层面而言，如图6所示，为本申请刹车灯识别装置所在电子设备的一种硬件结构图，该电子设备可包括处理器601、存储有机器可执行指令的的机器可读存储介质602。处理器601与机器可读存储介质602可经由系统总线603通信。处理器601通过加载并执行机器可读存储介质602存储的机器可执行指令，能够实现上述刹车灯识别。
本文中提到的机器可读存储介质602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种刹车灯识别方法，其特征在于，包括：
将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域；
将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置；
将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。
2.根据权利要求1所述的方法，其特征在于，所述目标检测网络至少包括：基础特征提取网络、区域推荐网络和感兴趣区域池化层；
所述将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图，包括：
将所述目标图像输入至所述基础特征提取网络，得到特征图，并将该特征图输出给所述区域推荐网络；
从所述区域推荐网络中得到多个感兴趣区域，并将该特征图和所述多个感兴趣区域输入所述感兴趣区域池化层，得到多个指定尺寸的特征图。
3.根据权利要求2所述的方法，其特征在于，所述目标检测网络的基础特征提取网络为MobileNet；所述MobileNet包括多个深度卷积层和多个点卷积层；
所述将所述目标图像输入至所述基础特征提取网络，得到特征图，包括：
将所述目标图像输入至所述MobileNet，以由所述MobileNet基于所述深度卷积层和所述点卷积层对所述目标图像进行计算，得到特征图。
4.根据权利要求1所述的方法，其特征在于，所述将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，包括：
将所述指定尺寸的特征图输入至所述全卷积神经网络，以由所述全卷积神经网络对各个指定尺寸的特征图进行上采样处理、并对上采样后的特征图的每一像素进行分类得到对应的掩模。
5.根据权利要求1所述的方法，其特征在于，所述将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，包括：
将所述掩模输入至所述刹车灯识别网络，以由所述刹车灯识别网络利用团块分布的逻辑从掩模确定出对应的分类结果。
6.根据权利要求1所述的方法，其特征在于，所述目标图像为预设时长内采集的图像序列；所述方法还包括：
基于所述图像序列中每一图像确定是否存在刹车灯；
若基于任一图像确定存在刹车灯，则确定存在刹车灯。
7.一种刹车灯识别装置，其特征在于，包括：
确定单元，用于将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域；
分割单元，用于将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置；
识别单元，用于将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。
8.根据权利要求7所述的装置，其特征在于，所述目标检测网络至少包括：基础特征提取网络、区域推荐网络和感兴趣区域池化层；
所述确定单元，进一步用于：
将所述目标图像输入至所述基础特征提取网络，得到特征图，并将该特征图输出给所述区域推荐网络；
从所述区域推荐网络中得到多个感兴趣区域，并将该特征图和所述多个感兴趣区域输入所述感兴趣区域池化层，得到多个指定尺寸的特征图。
9.根据权利要求7所述的装置，其特征在于，所述分割单元，进一步用于：
将所述指定尺寸的特征图输入至所述全卷积神经网络，以由所述全卷积神经网络对各个指定尺寸的特征图进行上采样处理、并对上采样后的特征图的每一像素进行分类得到对应的掩模。
10.根据权利要求7所述的装置，其特征在于，所述目标图像为预设时长内采集的图像序列；所述装置还包括：
所述识别单元，进一步用于基于所述图像序列中每一图像的刹车灯识别结果确定是否存在刹车灯；若任一图像的刹车灯识别结果中存在刹车灯，则确定存在刹车灯。
11.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的机器可执行指令，其中，所述处理器执行所述机器可执行指令时实现如下方法：
将目标图像输入至已训练的目标检测网络，得到多个指定尺寸的特征图；其中，所述指定尺寸的特征图对应于所述目标图像中的感兴趣区域；
将所述指定尺寸的特征图输入已训练的用于尾灯分割的全卷积神经网络，得到各指定尺寸的特征图的掩模，所述掩模指示所述目标图像中开启的尾灯的位置；
将所述掩模输入至已训练的刹车灯识别网络，获得对应于所述掩模的分类结果，该分类结果表征所述掩模中开启的尾灯是否为刹车灯。
CN201811350533.7A 2018-11-14 2018-11-14 一种刹车灯识别方法、装置及电子设备 Active CN111191482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811350533.7A CN111191482B (zh) 2018-11-14 2018-11-14 一种刹车灯识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811350533.7A CN111191482B (zh) 2018-11-14 2018-11-14 一种刹车灯识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111191482A true CN111191482A (zh) 2020-05-22
CN111191482B CN111191482B (zh) 2023-04-28

Family

ID=70710478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811350533.7A Active CN111191482B (zh) 2018-11-14 2018-11-14 一种刹车灯识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111191482B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989956A (zh) * 2021-02-20 2021-06-18 潍柴动力股份有限公司 基于感兴趣区域的红绿灯识别方法、系统及存储介质
CN113724250A (zh) * 2021-09-26 2021-11-30 新希望六和股份有限公司 一种基于双光相机的动物目标计数方法
CN114049487A (zh) * 2021-11-29 2022-02-15 江苏科技大学 一种基于机器视觉的多种类汽车车灯检测方法、装置及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0939653A (ja) * 1995-07-26 1997-02-10 Nissan Motor Co Ltd 車両用表示灯
US20080239078A1 (en) * 2006-11-21 2008-10-02 Harman Becker Automotive Systems Gmbh Video image presentation system
US20110164789A1 (en) * 2008-07-14 2011-07-07 National Ict Australia Limited Detection of vehicles in images of a night time scene
US20150278616A1 (en) * 2014-03-27 2015-10-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法
CN108021856A (zh) * 2016-10-31 2018-05-11 比亚迪股份有限公司 车辆尾灯识别方法、装置及车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0939653A (ja) * 1995-07-26 1997-02-10 Nissan Motor Co Ltd 車両用表示灯
US20080239078A1 (en) * 2006-11-21 2008-10-02 Harman Becker Automotive Systems Gmbh Video image presentation system
US20110164789A1 (en) * 2008-07-14 2011-07-07 National Ict Australia Limited Detection of vehicles in images of a night time scene
US20150278616A1 (en) * 2014-03-27 2015-10-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video
CN108021856A (zh) * 2016-10-31 2018-05-11 比亚迪股份有限公司 车辆尾灯识别方法、装置及车辆
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989956A (zh) * 2021-02-20 2021-06-18 潍柴动力股份有限公司 基于感兴趣区域的红绿灯识别方法、系统及存储介质
CN113724250A (zh) * 2021-09-26 2021-11-30 新希望六和股份有限公司 一种基于双光相机的动物目标计数方法
CN114049487A (zh) * 2021-11-29 2022-02-15 江苏科技大学 一种基于机器视觉的多种类汽车车灯检测方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN111191482B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
US10429193B2 (en) Method and apparatus for generating high precision map
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
US10650257B2 (en) Method and device for identifying the signaling state of at least one signaling device
US20190122059A1 (en) Signal light detection
JP5747549B2 (ja) 信号機検出装置及びプログラム
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
CN110135318B (zh) 过车记录的确定方法、装置、设备及存储介质
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN110956081B (zh) 车辆与交通标线位置关系的识别方法、装置及存储介质
US20230005278A1 (en) Lane extraction method using projection transformation of three-dimensional point cloud map
CN111401133A (zh) 目标数据增广方法、装置、电子设备和可读存储介质
CN111382625A (zh) 道路标识识别方法、装置及电子设备
US9569676B2 (en) Computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
CN112597846A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN111753592A (zh) 交通标志识别方法、装置、计算机设备和存储介质
CN113792600B (zh) 一种基于深度学习的视频抽帧方法和系统
KR101620425B1 (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
CN113569812A (zh) 未知障碍物的识别方法、装置和电子设备
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN115984796A (zh) 一种图像标注方法及系统
CN112784817B (zh) 车辆所在车道检测方法、装置、设备及存储介质
CN113780189A (zh) 一种基于U-Net改进的车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant