CN111680580A - 一种闯红灯的识别方法、装置、电子设备及存储介质 - Google Patents

一种闯红灯的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111680580A
CN111680580A CN202010441240.0A CN202010441240A CN111680580A CN 111680580 A CN111680580 A CN 111680580A CN 202010441240 A CN202010441240 A CN 202010441240A CN 111680580 A CN111680580 A CN 111680580A
Authority
CN
China
Prior art keywords
target
determining
target vehicle
image
process maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010441240.0A
Other languages
English (en)
Inventor
周星宇
张二路
毛雷
张德兵
周瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deepglint Information Technology Co ltd
Original Assignee
Beijing Deepglint Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deepglint Information Technology Co ltd filed Critical Beijing Deepglint Information Technology Co ltd
Priority to CN202010441240.0A priority Critical patent/CN111680580A/zh
Publication of CN111680580A publication Critical patent/CN111680580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例中提供了一种闯红灯的识别方法、装置、电子设备及存储介质，该方法包括：获取至少一组待识别图像；对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并对三张过程图车道线进行分割，确定三张过程图中目标车道线和目标停止线的位置；确定三张过程图中红绿灯的位置、种类和颜色；根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯。采用本申请中的方案，能够准确、高效地识别闯红灯这一行为。

Description

一种闯红灯的识别方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种闯红灯的识别方法、装置、电子设备及存储介质。
背景技术
近年来，人工智能在全球范围内迅速崛起，影响了我们生活的方方面面。在智能交通系统中，结合高清摄像机，依靠视频图像处理技术，实时地对经过的车辆进行全天候检测、抓拍与记录。
现有的闯红灯识别方法主要依赖于人工对前端抓拍的车辆图像进行审核，确定是否闯红灯。
发明人认为，采用现有技术中的人工审核方式，通过人工对前端抓拍图进行审核来识别车辆是否闯红灯，存在如下缺陷：1.前端识别功能弱，违法识别的准确率低，废片很多；2.目前完全依靠人工审核抓拍合成图像，成本高，效率低；3.人工处理速度慢，人力资源有限，无法及时处理所有的数据。4.人工审核误审率高，很多违法图被审核为废片。
发明内容
本申请实施例中提供了一种闯红灯的识别方法、装置、电子设备及存储介质，用于解决现有技术中人工审核识别准确率不高的问题。
根据本申请实施例的第一个方面，提供了一种闯红灯的识别方法，包括：获取至少一组待识别图像；其中，一组待识别图像包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像；对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并对三张过程图车道线进行分割，确定三张过程图中目标车道线和目标停止线的位置；确定三张过程图中红绿灯的位置、种类和颜色；根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯。
根据本申请实施例的第二个方面，提供了一种闯红灯的识别装置，包括：获取模块，用于获取至少一组待识别图像；其中，一组待识别图像包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像；车辆检测模块，用于对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；车道线分割模块，用于对三张过程图车道线进行分割，确定三张过程图中目标车道线和目标停止线的位置；红绿灯识别模块，用于确定三张过程图中红绿灯的位置、种类和颜色；确定模块，用于根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯。
根据本申请实施例的第三个方面，提供了一种电子设备，电子设备包括：显示器，存储器，一个或多个处理器；以及一个或多个模块，一个或多个模块被存储在存储器中，并被配置成由一个或多个处理器执行，一个或多个模块包括用于执行上述方法中各个步骤的指令。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现上述方法。
采用本申请实施例中提供的闯红灯的识别方法、装置、电子设备及存储介质，对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并进行车道线分割和红绿灯识别；然后根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯；能够全自动地、准确、高效地识别闯红灯这一行为。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请实施例一的闯红灯的识别方法的流程图；
图2示出了根据本申请实施例二的闯红灯的识别装置的结构框图；
图3示出了根据本申请实施例三的电子设备的结构示意图。
具体实施方式
传统的安防技术和系统具备一定的智能化,但新一代人工智能带来的是更加颠覆性的变化。基于深度学习算法的人工智能可以很好地解决众多传统智能算法无法解决的问题,也给安防领域带来巨大变化：准确率更高，环境适应性更强,识别种类更丰富。
基于这一思想，本申请中提出了一种闯红灯的自动识别方法、装置、电子设备及存储介质，通过对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并进行车道线分割和红绿灯识别；然后根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯；能够全自动地、准确、高效地识别闯红灯这一行为。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一
图1示出了根据本申请实施例一的闯红灯识别方法的流程图。
如图1所示，根据本申请实施例一的闯红灯识别方法包括如下步骤：
S101，获取至少一组待识别图像；其中，一组待识别图像包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像。
在具体实施时，可以在在获取至少一组待识别图像之前，还包括：获取原始输入图像；将原始输入图像划分为多个区域，根据所述多个区域的曝光程序的不同，预设不同的权重系数；根据所述多个区域分别对应的权重系数，确定图像的最佳曝光率；根据所述最佳曝光率合成曝光图像；根据所述原始输入图像和所述合成的曝光图像，得到增强的图像；将所述增强的图像作为待识别图像。
由于光照或者相机的曝光原因，原始抓拍图有很多曝光较差的图,不利于视觉算法识别。直方图均衡化被广泛用于增强对比度，但基于直方图均衡化会导致过度增强和不切实际的结果；Retinex理论也用于改善图像效果,增强细节,但在高对比度区域容易产生伪像。本专利采用新的框架改善图像效果,首先学习一个权重系数,对于那些曝光良好的区域，获得较大的权重值，曝光不足的区域得到小的权重值,然后寻找图像的最佳曝光率,合成曝光好的图像,最后将输入图像和合成图通过计算的权重系数进行加权,得到增强的图像。该方法得到的结果失真更少,获得更好的细节。
在具体实施时，可以通过前端抓拍机来抓拍多张待识别图像；并存储在疑似违法数据库中。具体地，在存储时，还可以将待识别图像一组一组地存放；一组通常对应于一个目标车辆；一组图像通常包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像。具体地，还可以将每组图像拼接为一张2*2的图像。本申请对此均不作限制。在具体实施时，放大图通常包括目标车辆的整体放大图，当然也包括车牌。
在具体实施时，可以从该疑似违法数据库中获取待识别图像，也可以从前端抓拍机中直接获取待识别图像，本申请对此不作限制。
S102，对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆。
在具体实施时，根据目标车辆的车牌确定三张过程图中的目标车辆，具体可以包括：对三张过程图中的多个车辆执行车牌检测；将放大图中的车牌与多个车辆的车牌进行对比；当车牌一致时，确定目标车辆。
在具体实施时，根据目标车辆的特征确定三张过程图中的目标车辆，具体可以包括：对三张过程图中的多个车辆执行特征提取；将放大图中的车辆特征与多个车辆的特征进行对比；根据对比结果，确定目标车辆。
在具体实施时，还可以先针对放大图中的车辆进行车牌检测，矫正，识别，确定目标车辆的车牌。如果过程图中车辆一般行驶较远，如果出现车牌号无法看清或者被其它车辆遮挡的情况；在确定目标车辆的车牌后，可以进一步提取放大图中车辆的特征，通过特征对比技术，例如，REID技术，定位目标在三张过程图的位置。
S103，对三张过程图中的车道线进行分割，确定三张过程图中目标车道线和目标停止线的位置；确定三张过程图中红绿灯的位置、种类和颜色。
在具体实施时，可以利用deeplab v3深度学习分割网络对车道线进行分割，确定车道线和停止线的位置；通过红绿灯检测识别算法定位红绿灯的位置，识别红绿灯的种类和颜色。
在具体实施时，相比DeepLabv3，可以进一步采用v3+网络，v3+网络引入了Decoder模块，其将底层特征与高层特征进一步融合，提升分割边界准确度。从某种意义上看，DeepLabv3+在DilatedFCN基础上引入了EcoderDecoder的思路。但deeplabv3+仍存在一些问题，以及车道线分割任务的特殊性，对网络结构和训练做以下改进:
1.分割网络如果没有下采样层，特征图一直保持原始大小，计算量是非常大的。而网络前面的特征图，其保持了较多的空间位置信息，但是语义会差一些，但是这些空间信息对于精确分割也是至关重要的。Deeplabv3+在stride＝16的Deeplabv3模型的输出上采样为原来的4倍,然后和网络下采样1/4的特征图(ResNet中的Conv2层的输出)连接(concat),再使用3*3卷积处理后双线性差值上采样4被后得到最终的结果,虽然相比deeplabv3得到更好的结果,但是decode部分还是比较粗糙.为了得到更精细的结果,Deeplabv3模型的输出上采样2倍后,将网络下采样1/8的特征图(Resnet中Block2层的输出)进行连接,为了降低网络的参数量,block2层的输出先使用1*1的卷积降维,concat连接改成sum,不增加特征层的通道数,再将网络上采样2倍,后续的操作和deeplabv3+的操作相同。
2.损失函数使用的交叉熵,为了解决样本分布不均匀的问题,属于车道线的像素远小于背景的像素,给每张训练图像的车道线和背景不同的损失权重:
Figure BDA0002504230840000061
其中,p为对应类别在总体样本中出现的概率，c是超参数，可以取例如1.02，使得权重的取值区间为[1,50])。
3.车道线分割和其它任务的区别是对边缘分割的要求较高,因为需要判断车轮是否压线,所以对每一张标注图像都计算一个权重图，来补偿训练集中每类像素的不同频率，使网络更注重学习分割边界,下面是车道线区域的权重图
Figure BDA0002504230840000062
其中,wclass是上面用于平衡类别出现频率的权重,d(x)代表到最近车道线边界的距离的平方。基于经验我们设定w0为10,σ为5。
4.激活函数使用EReLU，而非ReLU,具有relu的优势，没有神经元坏死问题，且输出均值接近0,有负数饱和区域，从而对噪声有一些鲁棒性.
具体地，红绿灯的种类包括直行、左转、右转；红绿灯的颜色包括：红色、绿色和黄色。红绿灯的位置包括当前路口、下一路口等。
应当理解，步骤S102和S103之前没有严格的时序关系，可以先后执行S102和S103，也可以先执行S103和S102；也可以同时执行S102和S103，本申请对此均不作限制。
S104，根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯。
在具体实施时，根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯，具体可以包括：根据目标车辆的位置和目标车道线和目标停止线的位置，确定三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置；相对位置包括未过停止线、越过停止线较短距离、越过停止线较长距离；根据目标车辆越过目标停止线较长距离的图像，判断目标车辆的行驶方向；根据目标车辆的行驶方向、红绿灯的位置和种类，确定目标红绿灯；当三张过程图中所述目标红绿灯颜色均为红色时，确定所述目标车辆闯红灯。
在具体实施时，一般原图大小为1500*2000像素,而红绿灯只有20-30像素,目标太小,容易漏检；一个有效的办法是增大输入图像的大小,但是输入图像太大会导致GPU显存增加,给训练和最终使用带来困难.所以对图像进行裁剪,原始大图裁剪成12张,为了防止截取到红绿灯,彼此之间有30个像素的重叠,在小图中检测红绿灯的位置,综合各个结果得到红绿灯的位置,此方法可以降低显存,在使用的时候可以多张同时计算,降低计算时间；在SSD检测算法中引入FPN(图像金字塔网络)结构,将不同的feature map(特征图)融合,优化小目标检测效果.
在具体实施时，右转红绿灯相比较少,为了样本更加平衡,通过对左转红绿灯左右翻转扩大样本量；本专利把红绿灯的类别和颜色用同一个网络中进行学习,网络的全连接层连接两个分支,一个分支用于训练红绿灯类别,一个分支用于训练红绿灯颜色,对两个个分支的loss进行加权平均,loss选择FocalLoss,相比crossEntropy,该损失函数困难样本挖掘,降低了大量简单负样本在训练中所占的权重.
在具体实施时，目标车辆的行驶方向包括直行、左转、右转。具体地，根据目标车辆越过目标停止线较长距离的图像，可以判断出车辆是否转向，以及转向的方向，如果车辆没有转向，则判断车辆的行驶方向是直行；如果车辆向左转向，则判断车辆的行驶方向左转；如果车辆向右转向，则判断车辆的行驶方向是右转。
在具体实施时，如果目标车辆左转，则确定目标红绿灯是当前路口左转红绿灯；如果目标车辆右转，则确定目标红绿灯是当前路口右转红绿灯；如果目标车辆直行，则确定目标红绿灯是当前路口直行红绿灯。
在具体实施时，根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯，具体可以包括：当三张过程图中的目标车辆在未过停止线、越过停止线较短距离、越过停止线较长距离时，目标红绿灯颜色均为红色时，确定目标车辆闯红灯。
在具体实施时，根据所述目标车辆越过目标停止线较长距离的图像，判断所述目标车辆的行驶方向，具体可以采用以下方式：将图像中的目标车辆输入训练好的角度回归模型，输出目标车辆的角度，进而得到车辆的行驶方向。
在具体实施时，车辆的2D检测框无法判断车辆的方向，虽然3D检测框获得车辆在空间上的信息，但是3D检测框的标注成本比较昂贵，且3D模型的速度相对较慢，无法满足实时性的需要；为了解决这一问题，本专利增加车辆角度回归模型，通过车辆前轮和后轮标定车辆的角度，采用深度学习回归算法得到具体数值，取值为[0,180]度；2D检测框和车辆行驶角度，可以精确的判断车辆最终的行驶方向，但增加的时间消耗不超过0.1ms。
在具体实施时，车牌检测、车辆特征对比、车道线分割和识别均可以采用现有技术中的深度学习卷积神经网络技术实现，红绿灯的位置还可以通过现有技术中的深度学习目标检测算法SSD得到，红绿灯的种类和颜色还可以通过现有技术中的卷积神经网络resnet得到；本申请在此不赘述。
采用本申请实施例中提供的闯红灯的识别方法，对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并进行车道线分割和红绿灯识别；然后根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯；能够全自动地、准确、高效地识别闯红灯这一行为。
采用本申请实施例中提供的闯红灯的识别方法，对多个卷积神经网络模块组合，全自动识别抓拍图是否违法。相比于人工审核，本发明功能强大，智能化程度高，违法判断精度高，审核高效；能够实现实时监测，并得到完整的监测信息，场景适应性强，可以处理白天，黑夜，雨天和雪天等场景的数据。另外，对于红绿灯是否遮挡或损坏，车道线是否磨损，摄像头位置是否移动等均能够有效识别。
基于同一发明构思，本申请实施例中还提供了一种闯红灯的识别装置，由于该装置解决问题的原理与本申请实施例一所提供的方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
实施例二
图2示出了根据本申请实施例二的闯红灯的识别装置的结构框图。
如图2所示，根据本申请实施例二的闯红灯的识别装置200包括：获取模块201，用于获取至少一组待识别图像；其中，一组待识别图像包括四张图像；四张图像包括目标车辆的放大图和三张过程图；三张过程图是分别包括目标车辆在路口三个不同位置的图像；车辆检测模块202，用于对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；车道线分割模块203，用于对三张过程图车道线进行分割，确定三张过程图中目标车道线和目标停止线的位置；红绿灯识别模块204，用于确定三张过程图中红绿灯的位置、种类和颜色；确定模块205，用于根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯。
在具体实施时，根据本申请实施例二的闯红灯的识别装置200还包括：增强模块，用于获取原始输入图像；将原始输入图像划分为多个区域，根据所述多个区域的曝光程序的不同，预设不同的权重系数；根据所述多个区域分别对应的权重系数，确定图像的最佳曝光率；根据所述最佳曝光率合成曝光图像；根据所述原始输入图像和所述合成的曝光图像，得到增强的图像；将所述增强的图像作为待识别图像。
在具体实施时，车辆检测模块具体可以用于：对三张过程图中的多个车辆执行车牌检测；将放大图中的车牌与多个车辆的车牌进行对比；当车牌一致时，确定目标车辆。
在具体实施时，车辆检测模块具体可以用于：对三张过程图中的多个车辆执行特征提取；将放大图中的车辆特征与多个车辆的特征进行对比；根据对比结果，确定目标车辆。
在具体实施时，车道线分割模块，具体可以用于利用深度学习分割网络对所述三张过程图中的车道线进行分割；红绿灯识别模块，具体可以用于通过红绿灯检测识别算法确定所述三张过程图中红绿灯的位置、种类和颜色。
在具体实施时，所述深度学习分割网络的输出上采样2倍后，将网络下采样1/8的特征图进行连接，block2层的输出使用1*1的卷积降维，再将网络上采样2倍。
在具体实施时，所述深度学习分割网络中的每张训练图像的车道线和背景为不同的损失权重：
Figure BDA0002504230840000101
其中，p为对应类别在总体样本中出现的概率，c是预设的超参数。
在具体实施时，所述深度学习分割网络中对每一张标注图像计算一个权重图，车道线区域的权重图如下：
Figure BDA0002504230840000102
其中，d(x)代表到最近车道线边界的距离的平方；w0和σ为经验值。
在具体实施时，所述深度学习分割网络激活函数使用EReLU。
在具体实施时，装置还包括：裁剪模块，用于将各过程图裁剪为X张小图；各相邻小图彼此之间重叠N个像素；红绿灯识别模块，具体用于：在各过程图对应的X张小图中检测红绿灯的位置，并根据各个结果得到各过程图中红绿灯的位置。
在具体实施时，红绿灯识别模块还用于：在训练样本中，对左转红绿灯左右翻转扩大所述右转红绿灯的样本量；确定用于识别红绿灯的种类和颜色的网络；所述网络的全连接层连接两个分支，一个分支用于识别红绿灯种类，另一个分支用于识别红绿灯颜色；所述两个分支的损失函数采用FocalLoss函数。
在具体实施时，确定模块具体可以用于：根据所述目标车辆的位置和所述目标车道线和目标停止线的位置，确定所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置；所述相对位置包括未过停止线、越过停止线较短距离、越过停止线较长距离；根据所述目标车辆越过目标停止线较长距离的图像，判断所述目标车辆的行驶方向；根据所述目标车辆的行驶方向、红绿灯的位置和种类，确定目标红绿灯；当三张过程图中所述目标红绿灯颜色均为红色时，确定所述目标车辆闯红灯。
在具体实施时，根据所述目标车辆越过目标停止线较长距离的图像，判断所述目标车辆的行驶方向，具体可以采用以下方式：将图像中的目标车辆输入训练好的角度回归模型，输出目标车辆的角度，进而得到车辆的行驶方向。
采用本申请实施例中提供的闯红灯的识别装置，对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并进行车道线分割和红绿灯识别；然后根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯；能够全自动地、准确、高效地识别闯红灯这一行为。
采用本申请实施例中提供的闯红灯的识别装置，对多个卷积神经网络模块组合，全自动识别抓拍图是否违法。相比于人工审核，本发明功能强大，智能化程度高，违法判断精度高，审核高效；能够实现实时监测，并得到完整的监测信息，场景适应性强，可以处理白天，黑夜，雨天和雪天等场景的数据。另外，对于红绿灯是否遮挡或损坏，车道线是否磨损，摄像头位置是否移动等均能够有效识别。
基于同一发明构思，本申请实施例中还提供了一种电子设备，由于该设备解决问题的原理与本申请实施例一所提供的方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
实施例三
图3示出了根据本申请实施例三的电子设备的结构示意图。
如图3所示，根据本申请实施例三的电子设备300包括：显示器301，存储器302，一个或多个处理器303；以及一个或多个模块，一个或多个模块被存储在存储器中，并被配置成由一个或多个处理器执行，一个或多个模块包括用于执行本申请实施例一的闯红灯的识别方法中各个步骤的指令。
采用本申请实施例中提供的电子设备，对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并进行车道线分割和红绿灯识别；然后根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯；能够全自动地、准确、高效地识别闯红灯这一行为。
采用本申请实施例中提供的电子设备，对多个卷积神经网络模块组合，全自动识别抓拍图是否违法。相比于人工审核，本发明功能强大，智能化程度高，违法判断精度高，审核高效；能够实现实时监测，并得到完整的监测信息，场景适应性强，可以处理白天，黑夜，雨天和雪天等场景的数据。另外，对于红绿灯是否遮挡或损坏，车道线是否磨损，摄像头位置是否移动等均能够有效识别。
基于同一发明构思，本申请实施例中还提供了一种计算机可读存储介质，由于该计算机可读存储介质解决问题的原理与本申请实施例一所提供的方法相似，因此该计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。
实施例四
根据本申请实施例四的计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现上述方法。
采用本申请实施例中提供的计算机可读存储介质，对放大图执行车牌检测和特征提取，并根据目标车辆的车牌或特征确定三张过程图中的目标车辆；并进行车道线分割和红绿灯识别；然后根据三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定目标车辆是否闯红灯；能够全自动地、准确、高效地识别闯红灯这一行为。
采用本申请实施例中提供的计算机可读存储介质，对多个卷积神经网络模块组合，全自动识别抓拍图是否违法。相比于人工审核，本发明功能强大，智能化程度高，违法判断精度高，审核高效；能够实现实时监测，并得到完整的监测信息，场景适应性强，可以处理白天，黑夜，雨天和雪天等场景的数据。另外，对于红绿灯是否遮挡或损坏，车道线是否磨损，摄像头位置是否移动等均能够有效识别。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (26)

1.一种闯红灯的识别方法，其特征在于，包括：
获取至少一组待识别图像；其中，一组待识别图像包括四张图像；所述四张图像包括目标车辆的放大图和三张过程图；所述三张过程图是分别包括所述目标车辆在路口三个不同位置的图像；
对所述放大图执行车牌检测和特征提取，根据所述目标车辆的车牌或特征确定所述三张过程图中的目标车辆；并对所述三张过程图车道线进行分割，确定所述三张过程图中目标车道线和目标停止线的位置；确定所述三张过程图中红绿灯的位置、种类和颜色；
根据所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定所述目标车辆是否闯红灯。
2.根据权利要求1所述的方法，其特征在于，在获取至少一组待识别图像之前，还包括：
获取原始输入图像；
将原始输入图像划分为多个区域，根据所述多个区域的曝光程序的不同，预设不同的权重系数；
根据所述多个区域分别对应的权重系数，确定图像的最佳曝光率；
根据所述最佳曝光率合成曝光图像；
根据所述原始输入图像和所述合成的曝光图像，得到增强的图像；
将所述增强的图像作为待识别图像。
3.根据权利要求1所述的方法，其特征在于，根据所述目标车辆的车牌确定所述三张过程图中的目标车辆，具体包括：
对所述三张过程图中的多个车辆执行车牌检测；
将所述放大图中的车牌与多个车辆的车牌进行对比；
当车牌一致时，确定目标车辆。
4.根据权利要求1所述的方法，其特征在于，根据所述目标车辆的特征确定所述三张过程图中的目标车辆，具体包括：
对所述三张过程图中的多个车辆执行特征提取；
将所述放大图中的车辆特征与多个车辆的特征进行对比；
根据对比结果，确定目标车辆。
5.根据权利要求1所述的方法，其特征在于，
对所述三张过程图车道线进行分割，具体包括：利用深度学习分割网络对所述三张过程图中的车道线进行分割；
确定所述三张过程图中红绿灯的位置、种类和颜色，具体包括：通过红绿灯检测识别算法确定所述三张过程图中红绿灯的位置、种类和颜色。
6.根据权利要求5所述的方法，其特征在于，所述深度学习分割网络的输出上采样2倍后，将网络下采样1/8的特征图进行连接，block2层的输出使用1*1的卷积降维，再将网络上采样2倍。
7.根据权利要求5所述的方法，其特征在于，所述深度学习分割网络中的每张训练图像的车道线和背景为不同的损失权重：
Figure FDA0002504230830000021
其中，p为对应类别在总体样本中出现的概率，c是预设的超参数。
8.根据权利要求7所述的方法，其特征在于，所述深度学习分割网络中对每一张标注图像计算一个权重图，车道线区域的权重图如下：
Figure FDA0002504230830000022
其中，d(x)代表到最近车道线边界的距离的平方；w0和σ为经验值。
9.根据权利要求5所述的方法，其特征在于，所述深度学习分割网络激活函数使用EReLU。
10.根据权利要求5所述的方法，其特征在于，在确定所述三张过程图中红绿灯的位置之前，还包括：
将各过程图裁剪为X张小图；各相邻小图彼此之间重叠N个像素；
通过红绿灯检测识别算法确定所述三张过程图中红绿灯的位置，具体包括：在各过程图对应的X张小图中检测红绿灯的位置，并根据各个结果得到各过程图中红绿灯的位置。
11.根据权利要求5所述的方法，其特征在于，在确定所述三张过程图中红绿灯的种类和颜色之前，还包括：
在训练样本中，对左转红绿灯左右翻转扩大所述右转红绿灯的样本量；
确定用于识别红绿灯的种类和颜色的网络；所述网络的全连接层连接两个分支，一个分支用于识别红绿灯种类，另一个分支用于识别红绿灯颜色；所述两个分支的损失函数采用FocalLoss函数。
12.根据权利要求1所述的方法，其特征在于，根据所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定所述目标车辆是否闯红灯，具体包括：
根据所述目标车辆的位置和所述目标车道线和目标停止线的位置，确定所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置；所述相对位置包括未过停止线、越过停止线较短距离、越过停止线较长距离；
根据所述目标车辆越过目标停止线较长距离的图像，判断所述目标车辆的行驶方向；
根据所述目标车辆的行驶方向、红绿灯的位置和种类，确定目标红绿灯；
当三张过程图中所述目标红绿灯颜色均为红色时，确定所述目标车辆闯红灯。
13.一种闯红灯的识别装置，其特征在于，包括：
获取模块，用于获取至少一组待识别图像；其中，一组待识别图像包括四张图像；所述四张图像包括目标车辆的放大图和三张过程图；所述三张过程图是分别包括所述目标车辆在路口三个不同位置的图像；
车辆检测模块，用于对所述放大图执行车牌检测和特征提取，并根据所述目标车辆的车牌或特征确定所述三张过程图中的目标车辆；
车道线分割模块，用于对所述三张过程图车道线进行分割，确定所述三张过程图中目标车道线和目标停止线的位置；
红绿灯识别模块，用于确定所述三张过程图中红绿灯的位置、种类和颜色；
确定模块，用于根据所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置以及目标红绿灯颜色，确定所述目标车辆是否闯红灯。
14.根据权利要求13所述的装置，其特征在于，还包括：
增强模块，用于获取原始输入图像；将原始输入图像划分为多个区域，根据所述多个区域的曝光程序的不同，预设不同的权重系数；根据所述多个区域分别对应的权重系数，确定图像的最佳曝光率；根据所述最佳曝光率合成曝光图像；根据所述原始输入图像和所述合成的曝光图像，得到增强的图像；将所述增强的图像作为待识别图像。
15.根据权利要求13所述的装置，其特征在于，车辆检测模块具体用于：
对所述三张过程图中的多个车辆执行车牌检测；
将所述放大图中的车牌与多个车辆的车牌进行对比；
当车牌一致时，确定目标车辆。
16.根据权利要求13所述的装置，其特征在于，车辆检测模块具体用于：
对所述三张过程图中的多个车辆执行特征提取；
将所述放大图中的车辆特征与多个车辆的特征进行对比；
根据对比结果，确定目标车辆。
17.根据权利要求13所述的装置，其特征在于，
车道线分割模块，具体用于利用深度学习分割网络对所述三张过程图中的车道线进行分割；
红绿灯识别模块，具体用于通过红绿灯检测识别算法确定所述三张过程图中红绿灯的位置、种类和颜色。
18.根据权利要求17所述的装置，其特征在于，所述深度学习分割网络的输出上采样2倍后，将网络下采样1/8的特征图进行连接，block2层的输出使用1*1的卷积降维，再将网络上采样2倍。
19.根据权利要求17所述的装置，其特征在于，所述深度学习分割网络中的每张训练图像的车道线和背景为不同的损失权重：
Figure FDA0002504230830000051
其中，p为对应类别在总体样本中出现的概率，c是预设的超参数。
20.根据权利要求20所述的装置，其特征在于，所述深度学习分割网络中对每一张标注图像计算一个权重图，车道线区域的权重图如下：
Figure FDA0002504230830000052
其中，d(x)代表到最近车道线边界的距离的平方；w0和σ为经验值。
21.根据权利要求17所述的装置，其特征在于，所述深度学习分割网络激活函数使用EReLU。
22.根据权利要求17所述的装置，其特征在于，还包括：
裁剪模块，用于将各过程图裁剪为X张小图；各相邻小图彼此之间重叠N个像素；
红绿灯识别模块，具体用于：在各过程图对应的X张小图中检测红绿灯的位置，并根据各个结果得到各过程图中红绿灯的位置。
23.根据权利要求17所述的装置，其特征在于，红绿灯识别模块还用于：
在训练样本中，对左转红绿灯左右翻转扩大所述右转红绿灯的样本量；
确定用于识别红绿灯的种类和颜色的网络；所述网络的全连接层连接两个分支，一个分支用于识别红绿灯种类，另一个分支用于识别红绿灯颜色；所述两个分支的损失函数采用FocalLoss函数。
24.根据权利要求13所述的装置，其特征在于，确定模块具体用于：
根据所述目标车辆的位置和所述目标车道线和目标停止线的位置，确定所述三张过程图中的目标车辆分别与目标车道线和目标停止线的相对位置；所述相对位置包括未过停止线、越过停止线较短距离、越过停止线较长距离；
根据所述目标车辆越过目标停止线较长距离的图像，判断所述目标车辆的行驶方向；
根据所述目标车辆的行驶方向、红绿灯的位置和种类，确定目标红绿灯；
当三张过程图中所述目标红绿灯颜色均为红色时，确定所述目标车辆闯红灯。
25.一种电子设备，其特征在于，所述电子设备包括：显示器，存储器，一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行权利要求1-12中任一所述方法中各个步骤的指令。
26.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-12任一项所述的方法。
CN202010441240.0A 2020-05-22 2020-05-22 一种闯红灯的识别方法、装置、电子设备及存储介质 Pending CN111680580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010441240.0A CN111680580A (zh) 2020-05-22 2020-05-22 一种闯红灯的识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010441240.0A CN111680580A (zh) 2020-05-22 2020-05-22 一种闯红灯的识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111680580A true CN111680580A (zh) 2020-09-18

Family

ID=72452686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010441240.0A Pending CN111680580A (zh) 2020-05-22 2020-05-22 一种闯红灯的识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111680580A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766115A (zh) * 2021-01-08 2021-05-07 广州紫为云科技有限公司 基于交通出行场景违章智能的分析方法、系统及存储介质
CN112863194A (zh) * 2021-01-20 2021-05-28 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
CN113408413A (zh) * 2021-06-18 2021-09-17 苏州科达科技股份有限公司 应急车道的识别方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949579A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的闯红灯违法自动审核方法
CN110009913A (zh) * 2019-03-27 2019-07-12 江苏智通交通科技有限公司 一种闯红灯车辆的非现场执法图片智能审核方法和系统
CN110991221A (zh) * 2019-10-16 2020-04-10 合肥湛达智能科技有限公司 一种基于深度学习的动态交通闯红灯识别方法
CN111160183A (zh) * 2019-12-20 2020-05-15 华瑞新智科技（北京）有限公司 一种车辆闯红灯检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949579A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的闯红灯违法自动审核方法
CN110009913A (zh) * 2019-03-27 2019-07-12 江苏智通交通科技有限公司 一种闯红灯车辆的非现场执法图片智能审核方法和系统
CN110991221A (zh) * 2019-10-16 2020-04-10 合肥湛达智能科技有限公司 一种基于深度学习的动态交通闯红灯识别方法
CN111160183A (zh) * 2019-12-20 2020-05-15 华瑞新智科技（北京）有限公司 一种车辆闯红灯检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766115A (zh) * 2021-01-08 2021-05-07 广州紫为云科技有限公司 基于交通出行场景违章智能的分析方法、系统及存储介质
CN112863194A (zh) * 2021-01-20 2021-05-28 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
CN113408413A (zh) * 2021-06-18 2021-09-17 苏州科达科技股份有限公司 应急车道的识别方法、系统及装置
CN113408413B (zh) * 2021-06-18 2023-03-24 苏州科达科技股份有限公司 应急车道的识别方法、系统及装置

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
WO2022126377A1 (zh) 检测车道线的方法、装置、终端设备及可读存储介质
US20190122059A1 (en) Signal light detection
CN111680580A (zh) 一种闯红灯的识别方法、装置、电子设备及存储介质
CN108038416B (zh) 车道线检测方法及系统
CN111209777A (zh) 车道线检测方法、装置、电子设备及可读存储介质
CN114092917B (zh) 一种基于mr-ssd的被遮挡交通标志检测方法及系统
CN112528917A (zh) 斑马线区域识别方法、装置、电子设备和存储介质
Shopa et al. Traffic sign detection and recognition using OpenCV
CN113901961B (zh) 车位检测方法、装置、设备及存储介质
Wang et al. The research on edge detection algorithm of lane
CN101369312B (zh) 检测图像中交叉口的方法和设备
CN106022268A (zh) 一种限速标识的识别方法和装置
CN111652033A (zh) 基于OpenCV的车道线检测方法
CN114511832B (zh) 车道线分析方法、装置、电子设备及存储介质
CN116883868A (zh) 基于自适应图像去雾的无人机智能巡航检测方法
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN111723805B (zh) 一种信号灯的前景区域识别方法及相关装置
CN112863194B (zh) 一种图像处理方法、装置、终端及介质
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
Ying et al. An illumination-robust approach for feature-based road detection
CN114821510B (zh) 基于改进U-Net网络的车道线检测方法及装置
Liu et al. Accurate lane detection for self-driving cars: An approach based on color filter adjustment and k-means clustering filter
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN112446292B (zh) 一种2d图像显著目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination