CN110532990A - 转向灯使用状态识别方法、装置、计算机设备及存储介质 - Google Patents
转向灯使用状态识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110532990A CN110532990A CN201910833309.1A CN201910833309A CN110532990A CN 110532990 A CN110532990 A CN 110532990A CN 201910833309 A CN201910833309 A CN 201910833309A CN 110532990 A CN110532990 A CN 110532990A
- Authority
- CN
- China
- Prior art keywords
- turn signal
- image
- lamp
- frame
- turn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000007689 inspection Methods 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种转向灯使用状态识别方法、装置、计算机设备及存储介质。该方法包括：获取目标车辆所对应的多帧视频图片；通过目标检测模型检测并裁剪出各帧所述视频图片中的转向灯图像；从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像；按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像；通过分类模型检测所述转向灯的拼接图像，识别所述转向灯的使用状态。通过利用连续的图片序列形成拼接图像捕捉到转向灯的闪烁状态，并利用分类模型对图片序列形成的拼接图像进行检测，减弱成像质量差对判断目标车辆是否违法的干扰，提升了判断目标车辆是否违法的准确率。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种转向灯使用状态识别方法、装置、计算机设备及存储介质。
背景技术
随着社会经济的迅速发展、城市发展进程的加快，城市人口的不断增加，人民生活水平的不断提高，私家车的数量不断增多，导致城市交通问题也越来越多。
为了能够更高效地审核在车辆变道或者转向时发生的交通事故，目前已经开始广泛采用视频监控作为收集交通行政执法证据的重要手段。而非现场智能违法审核也成为一种更优选的方式。其主要通过从事故现场获取的一张包含目标车辆的图像和在事故发生时间段内目标车辆的视频进行审核。
在传统技术中，利用获取到的转向灯闪烁图像和视频判断目标车辆是否违法时，存在误判的技术问题。
发明内容
基于此，有必要针对传统技术中存在的对目标车辆是否违法误判的技术问题，提供一种转向灯使用状态的识别方法、装置、计算机设备及存储介质。
一种转向灯使用状态的识别方法，所述方法包括：获取目标车辆所对应的多帧视频图片；通过目标检测模型检测并裁剪出各帧所述视频图片中的转向灯图像；从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像；按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像；通过分类模型检测所述转向灯的拼接图像，识别所述转向灯的使用状态。
上述转向灯使用状态的识别方法，通过利用连续的图片序列形成拼接图像捕捉到转向灯的闪烁状态，并利用分类模型对图片序列形成的拼接图像进行检测，减弱成像质量差对判断目标车辆是否违法的干扰，避免误判，并提升了判断目标车辆是否违法的准确率。
附图说明
图1为一个实施例中转向灯使用状态的识别方法的应用环境图；
图2a为一个实施例中转向灯使用状态的识别方法的流程示意图；
图2b为一个实施例中目标车辆所对应的多帧视频图片的示意图；
图2c为一个实施例中在目标车辆的视频图片中检测转向灯的示意图；
图2d为一个实施例中裁剪得到多帧转向灯图像的示意图；
图2e为一个实施例中右转向灯的拼接图像的示意图；
图2f为一个实施例中左转向灯的拼接图像的示意图；
图3a为一个实施例中转向灯使用状态的识别方法的流程示意图；
图3b至图3d为一个实施例中转向灯图像在视频图片中的位置的示意图；
图4a为一个实施例中生成目标检测模型的流程示意图；
图4b为一个实施例中目标车辆图像的示意图；
图4c为一个实施例中标注各目标车辆图像中转向灯的位置的示意图；
图5为一个实施例中检测并裁剪各帧视频图片中的转向灯图像的流程示意图；
图6为一个实施例中生成分类模型的流程示意图；
图7为一个实施例中构建正样本集的流程示意图；
图8为一个实施例中构建负样本集的流程示意图；
图9为一个实施例中转向灯使用状态的识别方法的流程示意图；
图10为一个实施例中转向灯使用状态的识别方法的流程示意图；
图11为一个实施例中转向灯使用状态的识别装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参见图1，本申请一个实施例提供的应用环境的示意图。该应用环境可以包括：第一计算机设备110、第二计算机设备120和图像采集设备130。其中，第一计算机设备110和第二计算机设备120是指具有较强的数据存储和计算能力的电子设备，例如第一计算机设备110、第二计算机设备120可以是PC(Personal Computer，个人计算机)或服务器。通过视频采集设备130对行驶车辆进行视频采集，得到行驶车辆的视频文件，并通过网络连接将行驶车辆的视频文件发送至第一计算机设备110。在对行驶车辆转向灯使用状态进行审核之前，需要技术人员在第二计算机设备120上构建目标检测模型，并通过第二计算机设备120对构建的目标检测模型进行训练。技术人员也可以在第二计算机设备120上构建分类模型，并通过第二计算机设备120对构建的分类模型进行训练。完成训练的目标检测模型、分类模型可以从第二计算机设备120发布至第一计算机设备110中，第一计算机设备110可以获取目标车辆的视频文件和目标车辆的标准图像，根据目标车辆的标准图像从目标车辆的视频文件中获取目标车辆所对应的多帧视频图片。从而通过目标检测模型检测并裁剪出各帧视频图片中的转向灯图像；从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像；按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像；通过分类模型检测转向灯的拼接图像，识别转向灯的使用状态。可以理解的是，第一计算机设备110也可以采用终端的形式，终端可以是诸如手机、平板电脑、电子书阅读器、多媒体播放设备、可穿戴设备、PC等电子设备。终端通过目标检测模型、分类模型完成转向灯使用状态的识别工作。
在一个实施例中，如图2a所示，提供了一种转向灯使用状态的识别方法，以该方法应用于图1中的第一计算机设备110为例进行说明，包括以下步骤：
S210、获取目标车辆所对应的多帧视频图片。
其中，目标车辆是指处于变更车道状态的驾驶车辆。通过视频采集设备对行驶车辆的转向灯使用状态进行视频采集，采集到的视频文件可以保存在视频采集设备本地，也可以通过有线连接方式或者无线连接方式发送至第一计算机设备或者与第一计算机设备通信连接的服务器。视频文件由多帧连续的视频图片组成。在这些视频图片中，有些图片中包括目标车辆，有些图片并没有包括目标车辆。具体地，当核实驾驶车辆变更车道或者转向时发生交通事故的原因时，如图2b所示，可以使用目标车辆跟踪算法从视频文件中获取目标车辆所对应的多帧视频图片。目标车辆所对应的多帧视频图片也可以是事先处理并保存在第一计算机设备本地或者与第一计算机设备通信连接的服务器，则从第一计算机设备本地或者与第一计算机设备通信连接的服务器获取目标车辆所对应的多帧视频图片。
S220、通过目标检测模型检测并裁剪出各帧视频图片中的转向灯图像。
其中，目标检测模型是指从待检测图像中将感兴趣的目标(比如目标车辆的转向灯)分割开来的机器学习模型。比如，目标检测模型可以是基于深度学习的SSD(singleshot multibox detection)目标检测算法模型，SSD可以是通过单个深度神经网络。具体地，首先，如图2c所示，通过目标检测模型将转向灯在目标车辆的视频图片中检测出来，并采用矩形框标示。其次，如图2d所示，将检测到的转向灯从各帧视频图片中裁减或者截取出来，得到转向灯图像。
S230、从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像；
S240、按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像。
具体地，如图2d所示，对目标车辆所对应的多帧视频图片进行裁剪，获得多帧转向灯图像。可以每隔N帧从裁剪得到的多帧转向灯图像中选取一帧图片，直至完成预设数量帧的转向灯图像的选择。进一步地，裁剪得到的多帧转向灯图像与目标车辆所对应的多帧视频图片具有相同的时序信息。按照时序信息将选择的预设数量帧的转向灯图像进行拼接，可以得到转向灯的拼接图像。优选的，从裁剪出的转向灯图像中，等间隔地选择16帧的转向灯图像，使用双线性插值将这些图片调整到统一尺寸，并按照时序信息拼接成4*4样式的拼接图像，如图2e和2f所示。
S250、通过分类模型检测转向灯的拼接图像，识别转向灯的使用状态。
其中，分类模型是指用于图像分类的高度模块化网络，分类模型可以采用Resnet18分类网络对转向灯的拼接图像进行分类。且ResNet是残差网络(ResidualNetwork)的缩写，是一种作为许多计算机视觉任务主干的经典神经网络。具体地，将转向灯的拼接图像输入至分类模型，通过分类模型中各层的卷积处理，对转向灯的拼接图像的特征进行提取，识别转向灯的使用状态。
需要说明的是，一方面，预设数量帧是根据实际情况而设定的，可以是4、9、16、12等。拼接图像的样式n*m也可以根据实际情况而设定，本申请对预设数量帧、以及拼接图像的样式不做限定。另一方面，从裁剪出的转向灯图像中等间隔地选择预设数量帧的转向灯图像，这些选择的转向灯图像可以构成转向灯图像组合。本申请对构成的转向灯图像组合的数量不做限定，即可以多个循环地从裁剪出的转向灯图像中等间隔地选择预设数量帧的转向灯图像，构成多个转向灯图像组合。即可以从裁剪得到的转向灯图像中等间隔的选择多个转向灯图像组合，每个转向灯图像组合可以拼接成一帧转向灯的拼接图像，即可得到多帧转向灯的拼接图像。将多帧转向灯的拼接图像依次输入分类模型，利用分类模型检测每次输入的转向灯的拼接图像，识别转向灯的使用状态。可以理解的是，并不是需要将每帧转向灯的拼接图像均输入分类模型，比如，从裁剪得到的转向灯图像中，通过上述选择和拼接操作，得到X帧转向灯的拼接图像。在核实目标车辆变道时是否开启转向灯时，在输入第Y(Y＜X)帧至分类模型时，已经识别出目标车辆开启了转向灯，则不需要输入第Y+1帧至分类模型。当然，最后一帧(第X帧)转向灯的拼接图像输入至分类模型时，依旧没有识别出目标车辆开启了转向灯，则说明该目标车辆没有开启转向灯。
在传统技术中，主要基于单张或者若干张非连续拍摄图片进行判别，并使用传统图像处理方法，直接基于如像素值、亮度值等进行转向灯的亮灭判断。利用不连续图片进行判断并不能捕捉到转向灯闪的状态从而导致误判，而且还容易受距离或者环境光线等问题的干扰。而在本实施例中，通过获取目标车辆所对应的多帧视频图片，利用目标检测模型检测并裁剪出各帧视频图片中的转向灯图像；从裁剪出的转向灯图像中等间隔地选择预设数量帧的转向灯图像；按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像；通过分类模型检测转向灯的拼接图像识别转向灯的使用状态。通过利用连续的图片序列形成拼接图像捕捉到转向灯的闪烁状态，并利用分类模型对图片序列形成的拼接图像进行检测，减弱成像质量差对判断目标车辆是否违法的干扰，提升了判断目标车辆是否违法的准确率。
在一个实施例中，如图3a所示，通过目标检测模型检测并裁剪出各帧视频图片中的转向灯图像，包括：
S310、通过目标检测模型检测转向灯图像在各帧视频图片中的位置；
S320、根据转向灯图像在各帧视频图片中的位置，判断转向灯图像是否与左转向灯或右转向灯对应，并从各帧视频图片中将左转向灯或右转向灯裁剪出来。
其中，目标检测算法指的是利用滑动窗口对一张目标车辆的视频图片进行扫描以找出该张图像中所包含的转向灯并计算出转向灯位置的算法。目标检测算法的输出包括转向灯的外接矩形或者转向灯外接矩形框在目标车辆的视频图片中的坐标。具体地，将目标车辆所对应的多帧视频图片依次输入目标检测模型，利用目标检测模型对转向灯图像在每帧视频图片中的位置进行计算。由于目标车辆在进行变道或者转弯时是区分左右的，当目标车辆在右转时，需要识别右转向灯的使用状态。当目标车辆在左转时，需要识别左转向灯的使用状态。而且，右转向灯与左转向灯在目标车辆的视频图片中的位置差异较大。因此，在利用目标检测模型检测到转向灯图像后，需要根据转向灯图像在目标车辆的视频图片中的位置判断转向灯图像是否与左转向灯或右转向灯对应。进一步地，为了后续得到转向灯的拼接图像，当需要识别右转向灯的使用状态时，根据转向灯图像在各帧视频图片中的位置，从各帧视频图片中将右转向灯裁剪出来。当需要识别左转向灯的使用状态时，根据转向灯图像在各帧视频图片中的位置，从各帧视频图片中将左转向灯裁剪出来。
从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像，包括：
S330、从裁剪出的左转向灯图像或者右转向灯图像中，等间隔地选择多组预设数量帧的左转向灯图像或者右转向灯图像。
具体地，当需要识别右转向灯的使用状态时，对目标车辆所对应的多帧视频图片进行裁剪，获得多帧右转向灯图像。可以每隔N帧从裁剪得到的多帧右转向灯图像中选取一帧图片，直至完成预设数量帧的右转向灯图像的选择，如前文，可以选择多个包括预设数量帧的右转向灯图像的组合，在此不再赘述。或者
当需要识别左转向灯的使用状态时，对目标车辆所对应的多帧视频图片进行裁剪，获得多帧左转向灯图像。可以每隔N帧从裁剪得到的多帧左转向灯图像中选取一帧图片，直至完成预设数量帧的左转向灯图像的选择，如前文，可以选择多个包括预设数量帧的左转向灯图像的组合，在此不再赘述。
按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像，包括：
S340、按照时序信息将选择的左转向灯图像或右转向灯图像进行拼接，得到左转向灯拼接图像或右转向灯的拼接图像。
具体地，裁剪得到的多帧左转向灯图像或者右转向灯图像与目标车辆所对应的多帧视频图片具有相同的时序信息。如图2e所示，按照时序信息将选择的预设数量帧的右转向灯图像进行拼接，可以得到右转向灯的拼接图像；或者，如图2f，按照时序信息将选择的预设数量帧的左转向灯图像进行拼接，可以得到左转向灯的拼接图像。
通过分类模型检测转向灯的拼接图像，识别转向灯的使用状态，包括：
S350、通过分类模型检测左转向灯拼接图像或右转向灯的拼接图像，识别左转向灯或右转向灯的使用状态。
具体地，将左转向灯的拼接图像输入至分类模型，通过分类模型中各层的卷积处理，对左转向灯的拼接图像的特征进行提取，识别左转向灯的使用状态。或者，将右转向灯的拼接图像输入至分类模型，通过分类模型中各层的卷积处理，对右转向灯的拼接图像的特征进行提取，识别右转向灯的使用状态。
本实施例中，从目标车辆的多帧视频图片中获取多帧左转向灯图像或者多帧右转向灯图像，并利用多帧左转向灯图像或者多帧右转向灯图像中的等间隔的预设数量帧的左转向灯图像或者右转向灯图像，按照时序信息拼接形成左转向灯拼接图像或右转向灯的拼接图像，利用分类模型对左转向灯拼接图像或右转向灯的拼接图像进行检测，识别左转向灯或右转向灯的使用状态，则有效识别出左转向灯或右转向灯的闪烁信息，从而可以正确判断目标车辆是否违法，提升了判断目标车辆是否违法的准确率和鲁棒性。而且，在利用拼接图片识别转向灯的使用状态时，提高了对刹车灯等其他车灯的抗干扰能力。
在一个实施例中，视频图片在竖直方向上设有中轴线。根据转向灯图像在各帧视频图片中的位置，判断转向灯图像是否与左转向灯或右转向灯对应，包括：当检测到转向灯的数量为一个且转向灯图像的位置相对于中轴线偏左时，确定转向灯图像与左转向灯对应。当检测到转向灯的数量为一个且转向灯图像的位置相对于中轴线偏右时，确定转向灯图像与右转向灯对应。当检测到转向灯的数量为两个时，确定位置偏左的转向灯图像与左转向灯对应，确定位置偏右的转向灯图像与右转向灯对应。当检测到转向灯的数量大于两个时，选择竖直方向距离相近且水平方向距离较远的两个转向灯为目标车辆的左转向灯和右转向灯，并确定位置偏左的转向灯图像与左转向灯对应，确定位置偏右的转向灯图像与右转向灯对应。
具体地，如图3b所示，通过目标检测模型检测到目标车辆的视频图片中只包括一个转向灯，将该转向灯的位置与视频图片的中轴线的位置进行比较，若转向灯位于中轴线的左侧时，确定转向灯图像与左转向灯对应。
通过目标检测模型检测到目标车辆的视频图片中只包括一个转向灯，将该转向灯的位置与视频图片的中轴线的位置进行比较，若转向灯位于中轴线的右侧时，确定转向灯图像与右转向灯对应。
如图3c所示，通过目标检测模型检测到目标车辆的视频图片中只包括两个转向灯，将各转向灯的位置与视频图片的中轴线的位置进行比较，位于中轴线的左侧的转向灯为左转向灯，位于中轴线的右侧的转向灯为右转向灯。
如图3d所示，通过目标检测模型检测到目标车辆的视频图片中数量大于2的转向灯，由于左转向灯和右转向灯在水平方向上位于一条直线上，即左转向灯和右转向灯在竖直方向距离相近且水平方向距离较远，则可以根据这一布局特征以及检测到的位置，从数量大于2的转向灯中选择两个作为目标车辆的左转向灯和右转向灯。进一步地，将各转向灯的位置与视频图片的中轴线的位置进行比较，位于中轴线的左侧的转向灯为左转向灯，位于中轴线的右侧的转向灯为右转向灯。
在一个实施例中，如图4a所示，目标检测模型的生成，包括以下步骤：
S410、构建目标车辆图像的样本集；
S420、标注各目标车辆图像中转向灯的位置和类别、除转向灯之外背景图像的类别；
S430、根据各目标车辆图像、转向灯的位置和类别和除转向灯之外背景图像的类别，训练目标检测模型。
其中，目标车辆图像包括转向灯和除转向灯之外背景图像。具体地，如图4b所示，获取目标车辆的一张目标车辆图像，通过目标车辆跟踪算法获取目标车辆的视频图片序列。利用目标车辆的视频图片序列构建目标车辆图像的样本集。样本集中的目标车辆图像包含一辆目标车辆，可以将样本集中的目标车辆图像的尺寸调整为同一尺寸，比如392*392。对调整尺寸后的目标车辆图像进行标注，为了提升目标检测模型的准确率，标注的类别包括两类，分别是转向灯和背景类。背景类可以包括其他装饰灯、或者与转向灯分离开的其他车灯。通过将相似的目标加入模型的训练使得目标检测模型具有更高的准确率。进一步地，如图4c所示，还需要标注各目标车辆图像中转向灯的位置，比如，转向灯相对于图片原点的相对位置坐标(x，y，w，h)，其中，(x，y)可以是转向灯中心关于图像坐标原点的位置，也可以是转向灯外接矩形框的一个顶点，比如左上角的顶点，w和h分别表示转向灯外接矩形框的宽和高。完成了对各目标车辆图像的标注后，根据各目标车辆图像、转向灯的位置和类别和除转向灯之外背景图像的类别，训练目标检测模型。在模型训练的过程中，损失函数(Loss Function)用于衡量预测值与真实值之间的误差，损失函数值一般为非负数，损失函数值越小表示误差越小。目标检测模型训练所使用的损失函数包括两部分，一部分是位置回归损失(Lloc)，另一部分是置信度损失(Lconf)。具体为：
其中，Lconf为置信损失，Lloc为为定位损失，表示两者的权重，1为预测框，g为真实框，c为置信度。本实施例所使用的损失函数为本领所公知，在此不再赘述。
在一个实施例中，如图5所示，通过目标检测模型检测并裁剪出各帧视频图片中的转向灯图像，包括以下步骤：
S510、将各帧视频图片输入目标检测模型；
S520、通过目标检测模型检测转向灯图像在各帧视频图片中的位置和类别，并计算转向灯图像属于所预测的类别的置信度；
S530、若置信度满足预设条件，则根据转向灯图像在各帧视频图片中的位置，标注并裁剪出各帧视频图片中的转向灯图像。
具体地，获取目标车辆所对应的多帧视频图片，将各帧视频图片输入目标检测模型，目标检测模型预测转向灯图像在各帧视频图片中的位置和类别，预测的位置可以是转向灯相对于图片原点的相对位置坐标(x，y，w，h)。预测的类别可以是转向灯或者除转向灯之外背景图像，并计算检测到转向灯类别的置信度conf。若置信度大于预设阈值或者满足预设条件，根据转向灯图像在各帧视频图片中的位置，标注并裁剪出各帧视频图片中的转向灯图像。
在一个实施例中，如图6所示，转向灯使用状态包括开启和关闭。分类模型的生成，包括以下步骤：
S610、构建目标车辆转向灯开启状态时的正样本集和目标车辆转向灯关闭状态时的负样本集。
具体地，一方面，获取目标车辆开启转向灯的车辆图像序列，开启转向灯的车辆图像序列包括多帧转向灯开启的车辆图像，各转向灯开启的车辆图像包括转向灯开启图像。利用目标检测模型从各开启转向灯的车辆图像中裁剪或者截取转向灯开启图像，根据裁剪或者截取的转向灯开启图像构建目标车辆转向灯开启状态时的正样本集。另一方面，获取目标车辆关闭转向灯的车辆图像序列，关闭转向灯的车辆图像序列包括多帧转向灯关闭的车辆图像，各转向灯关闭的车辆图像包括转向灯关闭图像。利用目标检测模型从各关闭转向灯的车辆图像中裁剪或者截取转向灯关闭图像，根据裁剪或者截取的转向灯关闭图像构建目标车辆转向灯开启状态时的负样本集。
S620、根据正样本集中的各转向灯开启图像、各转向灯开启图像所标注的类别、负样本集中的各转向灯关闭图像以及各转向灯关闭图像所标注的类别训练分类模型。
具体地，正样本集包括多张转向灯开启图像，对正样本集中的各转向灯开启图像进行标注，从而根据正样本集中的各转向灯开启图像、各转向灯开启图像所标注的类别对分类模型进行训练。负样本集包括多张转向灯关闭图像，对负样本集中的各转向灯关闭图像的类别进行标注，并根据负样本集中的各转向灯关闭图像、各转向灯关闭图像所标注的类别对分类模型进行训练。进一步地，分类模型训练使用交叉熵分类损失函数，具体公式如下。本实施例所使用的交叉熵分类损失函数为本领所公知，在此不再赘述。
本实施例中，通过构建包括多张转向灯开启图像的正样本集和包括多张转向灯关闭图像的负样本集，并标注正样本集中各转向灯开启图像及负样本集中各转向灯关闭图像的类别，从而根据正样本集中的各转向灯开启图像、各转向灯开启图像所标注的类别、负样本集中的各转向灯关闭图像以及各转向灯关闭图像所标注的类别训练分类模型，提升了分类模型的性能。
在一个实施例中，如图7所示，构建目标车辆转向灯开启状态时的正样本集，包括以下步骤：
S710、获取目标车辆开启转向灯时的多帧第一视频图片；
S720、标注出获取到的各帧第一视频图片中的转向灯为左转向灯或右转向灯；
S730、从已标注的各帧第一视频图片中裁剪出多帧左转向灯开启图像或多帧右转向灯开启图像；
S740、从裁剪出的多帧左转向灯开启图像或多帧右转向灯开启图像中，等间隔地选择预设数量帧左转向灯开启图像或预设数量帧右转向灯开启图像构成多个左转向灯开启图像组合或多个右转向灯开启图像组合；
S750、按照时序信息将构成的多个左转向灯开启图像组合或多个右转向灯开启图像组合中的图像进行拼接，得到各左转向灯开启图像组合所对应的左转向灯开启的拼接图像或各右转向灯开启图像组合所对应的右转向灯开启的拼接图像；
S760、根据各左转向灯开启图像组合所对应的左转向灯开启的拼接图像或各右转向灯开启图像组合所对应的右转向灯开启的拼接图像，生成目标车辆转向灯开启状态时的正样本集。
具体地，为了构建正样本集，获取目标车辆开启转向灯时的多帧第一视频图片。目标车辆的多帧第一视频图片可以是事先处理并保存在第二计算机设备本地或者与第二计算机设备通信连接的服务器，则从第二计算机设备本地或者与第二计算机设备通信连接的服务器获取目标车辆所对应的多帧第一视频图片。一方面，通过目标检测模型对各帧第一视频图片进行检测，获得各帧第一视频图片中转向灯的位置，并使用矩形框标示出各帧第一视频图片中转向灯；利用上述的判断左转向灯或者右转向灯的算法对矩形框标示出的转向灯与左转向灯或者右转向灯对应。另一方面，通过人工标注的形式各帧第一视频图片中的转向灯进行标注，并同时标注出转向灯为左转向灯或者右转向灯。
接着，从已标注的各帧第一视频图片中裁剪出多帧左转向灯开启图像，从裁剪出的多帧左转向灯开启图像中，等间隔地选择预设数量帧左转向灯开启图像构成多个左转向灯开启图像组合，按照时序信息将构成的多个左转向灯开启图像组合中的图像进行拼接，得到各左转向灯开启图像组合所对应的左转向灯开启的拼接图像，且各左转向灯开启图像组合所对应的左转向灯开启的拼接图像属于目标车辆转向灯开启状态时的正样本集的一部分。从已标注的各帧第一视频图片中裁剪出多帧右转向灯开启图像，从裁剪出的多帧右转向灯开启图像中，等间隔地选择预设数量帧右转向灯开启图像构成多个右转向灯开启图像组合，按照时序信息将构成的多个右转向灯开启图像组合中的图像进行拼接，得到各右转向灯开启图像组合所对应的右转向灯开启的拼接图像，且各右转向灯开启图像组合所对应的右转向灯开启的拼接图像属于目标车辆转向灯开启状态时的正样本集的另一部分。
示例性地，开启转向灯时的多帧第一视频图片的帧序为(25,300)，其中25是开启转向灯的初始帧，300为开启转向灯的最后一帧。假设我们从裁剪出的多帧转向灯开启图像中等间隔地选择16帧转向灯开启图像。拼接的图片组合为：(25,35,45,55,65,75,85,95,105,115,125,135,145,155,165,175)、(26,36,46,56,66,76,...176)、(27,37,47,57,67,77,...177)...直到(150,160,170,180,190,200,210,220,230,240,250,260,270,280,290,300)。以25帧的视频文件(即每秒25帧)为例进行说明，根据普通车辆转向灯的跳变频率为1HZ的情况，可以每隔10帧采样出图，一共采样4*4＝16张，则包含的时间段等于16*10/25＝2.66秒。该时间段持续1s以上，可以包含2次完整的闪烁信息。
本实施例中，通过目标检测模型和人工标注两种形式对目标车辆的每一帧第一视频图片均进行标注，利用标注出来的各帧第一视频图片进行隔帧排列使用，目标车辆的第一视频图片可以拼接组合出大量不同的训练图片，极大地增加了数据的利用率，提高了分类模型的性能，降低人工标注成本。
在一个实施例中，如图8所示，构建目标车辆转向灯关闭状态时的负样本集，包括以下步骤：
S810、获取目标车辆关闭转向灯时的多帧第二视频图片；
S820、标注出获取到的各帧第二视频图片中转向灯为左转向灯或右转向灯；
S830、从已标注的各帧第二视频图片中裁剪出多帧左转向灯关闭图像或多帧右转向灯关闭图像；
S840、从裁剪出的多帧左转向灯关闭图像或多帧右转向灯关闭图像中，等间隔地选择预设数量帧左转向灯关闭图像或预设数量帧右转向灯关闭图像构成多个左转向灯关闭图像组合或多个右转向灯关闭图像组合；
S850、按照时序信息将构成的多个左转向灯关闭图像组合或多个右转向灯关闭图像组合中的图像进行拼接，得到各左转向灯关闭图像组合所对应的左转向灯关闭的拼接图像或各右转向灯关闭图像组合所对应的右转向灯关闭的拼接图像；
S860、根据各左转向灯关闭图像组合所对应的左转向灯关闭的拼接图像或各右转向灯关闭图像组合所对应的右转向灯关闭的拼接图像，生成目标车辆转向灯关闭状态时的负样本集。
具体地，为了构建负样本集，获取目标车辆关闭转向灯时的多帧第二视频图片。目标车辆的多帧第二视频图片可以是事先处理并保存在第二计算机设备本地或者与第二计算机设备通信连接的服务器，则从第二计算机设备本地或者与第二计算机设备通信连接的服务器获取目标车辆所对应的多帧第二视频图片。一方面，通过目标检测模型对各帧第二视频图片进行检测，获得各帧第二视频图片中转向灯的位置，并使用矩形框标示出各帧第二视频图片中转向灯；利用上述的判断左转向灯或者右转向灯的算法对矩形框标示出的转向灯与左转向灯或者右转向灯对应。另一方面，通过人工标注的形式各帧第二视频图片中的转向灯进行标注，并同时标注出转向灯为左转向灯或者右转向灯。
接着，从已标注的各帧第二视频图片中裁剪出多帧左转向灯关闭图像，从裁剪出的多帧左转向灯关闭图像中，等间隔地选择预设数量帧左转向灯关闭图像构成多个左转向灯关闭图像组合，按照时序信息将构成的多个左转向灯关闭图像组合中的图像进行拼接，得到各左转向灯关闭图像组合所对应的左转向灯关闭的拼接图像，且各左转向灯关闭图像组合所对应的左转向灯关闭的拼接图像属于目标车辆转向灯关闭状态时的负样本集的一部分。从已标注的各帧第二视频图片中裁剪出多帧右转向灯关闭图像，从裁剪出的多帧右转向灯关闭图像中，等间隔地选择预设数量帧右转向灯关闭图像构成多个右转向灯关闭图像组合，按照时序信息将构成的多个右转向灯关闭图像组合中的图像进行拼接，得到各右转向灯关闭图像组合所对应的右转向灯关闭的拼接图像，且各右转向灯关闭图像组合所对应的右转向灯关闭的拼接图像属于目标车辆转向灯关闭状态时的负样本集的另一部分。
本实施例中，通过目标检测模型和人工标注两种形式对目标车辆的每一帧第二视频图片均进行标注，利用标注出来的各帧第二视频图片进行隔帧排列使用，目标车辆的第二视频图片可以拼接组合出大量不同的训练图片，大大增加了数据的利用率，提高了分类模型的性能，降低人工标注成本。
在一个实施例中，获取目标车辆所对应的多帧视频图片，包括：获取目标车辆的标准图像和视频文件；根据目标车辆的标准图像从目标车辆的视频文件中获取目标车辆所对应的多帧视频图片。
其中，目标车辆的标准图像包括清晰可见的目标车辆，可以是视频文件中的视频图片，比如视频文件的第一帧；也可以是其他的目标车辆清晰可见的图片。具体地，目标车辆的标准图像和视频文件可以是事先处理并保存在第一计算机设备本地或者与第一计算机设备通信连接的服务器，则从第一计算机设备本地或者与第一计算机设备通信连接的服务器获取目标车辆的标准图像和视频文件。通过目标车辆跟踪算法根据目标车辆的标准图像从目标车辆的视频文件中获取目标车辆所对应的视频图片序列，目标车辆所对应的视频图片序列包括多帧目标车辆的视频图片组成。目标车辆跟踪算法可以是开源的Siamese-RPN(Siamese-Region Proposal Network)模型，为本领域技术人员所公知，在此不再赘述。
在一个实施例中，该方法还包括：当目标车辆处于变更车道或者转弯的行驶状态时，若识别到转向灯处于关闭状态，则判定目标车辆违法；若识别到转向灯处于开启状态，则判定目标车辆不违法。
具体地，当目标车辆处于变更车道或者转弯的行驶状态时，目标车辆需要开启转向灯以提醒后续的车辆。比如，当目标车辆向右变更车道或者转弯时，需要开启右转向灯，此时对右转向灯的使用状态进行识别，识别到右转向灯处于关闭状态，则判定目标车辆违法；若识别到右转向灯处于开启状态，则判定目标车辆不违法。当目标车辆向左变更车道或者转弯时，需要开启左转向灯，此时对左转向灯的使用状态进行识别，识别到左转向灯处于关闭状态，则判定目标车辆违法；若识别到左转向灯处于开启状态，则判定目标车辆不违法。
在一个实施例中，本申请提供一种转向灯使用状态的识别方法，以目标车辆处于向右变更车道或者向右转弯的行驶状态为例进行说明，如图9所示，该方法包括以下步骤：
S902、构建目标车辆图像的样本集，目标车辆图像包括转向灯和除转向灯之外背景图像。
S904、标注各目标车辆图像中转向灯的位置和类别、除转向灯之外背景图像的类别。
S906、根据各目标车辆图像、转向灯的位置和类别和除转向灯之外背景图像的类别，训练目标检测模型。
S908、构建目标车辆转向灯开启状态时的正样本集和目标车辆转向灯关闭状态时的负样本集。
S910、根据正样本集中的各转向灯开启图像、各转向灯开启图像所标注的类别、负样本集中的各转向灯关闭图像以及各转向灯关闭图像所标注的类别训练分类模型。
其中，正样本集包括：左转向灯开启的拼接图像、右转向灯开启的拼接图像。负样本集包括：左转向灯关闭的拼接图像、右转向灯关闭的拼接图像。
S912、获取目标车辆的标准图像和视频文件。
S914、根据目标车辆的标准图像从目标车辆的视频文件中获取目标车辆所对应的多帧视频图片。
S916、通过目标检测模型检测转向灯图像在各帧视频图片中的位置。
S918、根据转向灯图像在各帧视频图片中的位置，判断转向灯图像是否与左转向灯或右转向灯对应，并从各帧视频图片中将右转向灯裁剪出来。
其中，视频图片在竖直方向上设有中轴线；当检测到转向灯的数量为一个且转向灯图像的位置相对于中轴线偏左时，确定转向灯图像与左转向灯对应；当检测到转向灯的数量为一个且转向灯图像的位置相对于中轴线偏右时，确定转向灯图像与右转向灯对应；当检测到转向灯的数量为两个时，确定位置偏左的转向灯图像与左转向灯对应，确定位置偏右的转向灯图像与右转向灯对应；当检测到转向灯的数量大于两个时，选择竖直方向距离相近且水平方向距离较远的两个转向灯为目标车辆的左转向灯和右转向灯，并确定位置偏左的转向灯图像与左转向灯对应，确定位置偏右的转向灯图像与右转向灯对应。
S920、从裁剪出的右转向灯图像中，等间隔地选择多组预设数量帧的右转向灯图像。
S922、按照时序信息将选择的右转向灯图像进行拼接，得到右转向灯的拼接图像。
S924、通过分类模型检测右转向灯的拼接图像，识别右转向灯的使用状态。
其中，若识别到右转向灯处于关闭状态，则判定目标车辆违法；若识别到右转向灯处于开启状态，则判定目标车辆不违法。
可以理解的是，若目标车辆处于向左变更车道或者向左转弯的行驶状态时，则只需要检测左转向灯的使用状态，并不需要检测右转向灯的使用状态。同理，若目标车辆处于向右变更车道或者向右转弯的行驶状态时，则只需要检测右转向灯的使用状态，并不需要检测左转向灯的使用状态。
在一个实施例中，本申请提供一种转向灯使用状态的识别方法，如图10所示，该方法包括以下步骤：
S1010、获取目标车辆的行驶方向及目标车辆所对应的多帧视频图片。
具体地，当审核目标车辆是否违法时，判断目标车辆的行驶方向与目标车辆的转向灯使用状态使用状态是否一致。因此需要获取目标车辆的行驶方向和目标车辆所对应的多帧视频图片。
S1020、根据目标车辆的行驶方向，确定待识别转向灯。
其中，待识别转向灯是指与目标车辆的行驶方向对应的需要开启的转向灯，并识别该转向灯的使用状态。具体地，在目标车辆在行驶过程中，若目标车辆右转，则根据目标车辆右转的行驶方向确定右转向灯为待识别转向灯，以进一步地判断右转向灯的使用状态与目标车辆的行驶方向是否匹配。若目标车辆需要左转，则根据目标车辆左转的行驶方向确定左转向灯为待识别转向灯，以进一步地判断左转向灯的使用状态与目标车辆的行驶方向是否匹配。
S1030、通过目标检测模型检测并裁剪出各帧视频图片中的待识别转向灯图像。
具体地，若待识别转向灯为右转向灯，则通过目标检测模型检测并裁剪出各帧视频图片中的右转向灯图像。若待识别转向灯为左转向灯，则通过目标检测模型检测并裁剪出各帧视频图片中的左转向灯图像。
S1040、从裁剪出的待识别转向灯图像中，等间隔地选择预设数量帧的待识别转向灯图像。
具体地，若待识别转向灯为右转向灯，对目标车辆所对应的多帧视频图片进行裁剪，获得多帧右转向灯图像。可以每隔N帧从裁剪得到的多帧右转向灯图像中选取一帧图片，直至完成预设数量帧的右转向灯图像的选择。若待识别转向灯为左转向灯，对目标车辆所对应的多帧视频图片进行裁剪，获得多帧左转向灯图像。可以每隔N帧从裁剪得到的多帧左转向灯图像中选取一帧图片，直至完成预设数量帧的左转向灯图像的选择。
S1050、按照时序信息将选择的待识别转向灯图像进行拼接，得到待识别转向灯的拼接图像。
具体地，若待识别转向灯为右转向灯，裁剪得到的多帧右转向灯图像与目标车辆所对应的多帧视频图片具有相同的时序信息。按照时序信息将选择的预设数量帧的右转向灯图像进行拼接，可以得到右转向灯的拼接图像。若待识别转向灯为左转向灯，裁剪得到的多帧左转向灯图像与目标车辆所对应的多帧视频图片具有相同的时序信息。按照时序信息将选择的预设数量帧的左转向灯图像进行拼接，可以得到左转向灯的拼接图像。
S1060、通过分类模型检测待识别转向灯的拼接图像，识别待识别转向灯的使用状态。
具体地，若待识别转向灯为右转向灯，将右转向灯的拼接图像输入至分类模型，通过分类模型中各层的卷积处理，对右转向灯的拼接图像的特征进行提取，识别右转向灯的使用状态。若待识别转向灯为左转向灯，将左转向灯的拼接图像输入至分类模型，通过分类模型中各层的卷积处理，对左转向灯的拼接图像的特征进行提取，识别左转向灯的使用状态。
S1070、将待识别转向灯的使用状态与目标车辆的行驶方向进行匹配，在匹配时，则判定目标车辆不违法。
具体地，若目标车辆的行驶方向为右转，待识别转向灯为右转向灯，仅需要有识别右转向灯是否处于开启状态，当识别到右转向灯处于开启状态时，即右转向灯的使用状态与目标车辆右转的行驶方向匹配，判定目标车辆不违法。若目标车辆的行驶方向为左转，待识别转向灯为左转向灯，仅需要有识别左转向灯是否处于开启状态，当识别到左转向灯处于开启状态时，即左转向灯的使用状态与目标车辆右转的行驶方向匹配，判定目标车辆不违法。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，本申请提供一种转向灯使用状态的识别装置1100，如图11所示，该装置包括：
获取模块1110，用于获取目标车辆所对应的多帧视频图片；
检测模块1120，用于通过目标检测模型检测并裁剪出各帧视频图片中的转向灯图像；
选择模块1130，用于从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像；
拼接模块1140，用于按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像；
识别模块1150，用于通过分类模型检测转向灯的拼接图像，识别转向灯的使用状态。
关于转向灯使用状态的识别装置的具体限定可以参见上文中对于转向灯使用状态的识别方法的限定，在此不再赘述。上述转向灯使用状态的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种转向灯使用状态的识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的方法步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的方法步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种转向灯使用状态的识别方法，其特征在于，所述方法包括：
获取目标车辆所对应的多帧视频图片；
通过目标检测模型检测并裁剪出各帧所述视频图片中的转向灯图像；
从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像；
按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像；
通过分类模型检测所述转向灯的拼接图像，识别所述转向灯的使用状态。
2.根据权利要求1所述的方法，其特征在于，所述通过目标检测模型检测并裁剪出各帧所述视频图片中的转向灯图像，包括：
通过目标检测模型检测所述转向灯图像在各帧所述视频图片中的位置；
根据所述转向灯图像在各帧所述视频图片中的位置，判断所述转向灯图像是否与左转向灯或右转向灯对应，并从各帧所述视频图片中将所述左转向灯或所述右转向灯裁剪出来；
所述从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像，包括：
从裁剪出的左转向灯图像或者右转向灯图像中，等间隔地选择多组预设数量帧的左转向灯图像或者右转向灯图像；
所述按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像，包括：
按照时序信息将选择的左转向灯图像或右转向灯图像进行拼接，得到左转向灯拼接图像或右转向灯的拼接图像；
所述通过分类模型检测所述转向灯的拼接图像，识别所述转向灯的使用状态，包括：
通过分类模型检测所述左转向灯拼接图像或所述右转向灯的拼接图像，识别所述左转向灯或所述右转向灯的使用状态。
3.根据权利要求2所述的方法，其特征在于，所述视频图片在竖直方向上设有中轴线；所述根据所述转向灯图像在各帧所述视频图片中的位置，判断所述转向灯图像是否与左转向灯或右转向灯对应，包括：
当检测到所述转向灯的数量为一个且所述转向灯图像的位置相对于所述中轴线偏左时，确定所述转向灯图像与左转向灯对应；
当检测到所述转向灯的数量为一个且所述转向灯图像的位置相对于所述中轴线偏右时，确定所述转向灯图像与右转向灯对应；
当检测到所述转向灯的数量为两个时，确定位置偏左的所述转向灯图像与左转向灯对应，确定位置偏右的所述转向灯图像与右转向灯对应；
当检测到所述转向灯的数量大于两个时，选择竖直方向距离相近且水平方向距离较远的两个转向灯为目标车辆的左转向灯和右转向灯，并确定位置偏左的所述转向灯图像与左转向灯对应，确定位置偏右的所述转向灯图像与右转向灯对应。
4.根据权利要求1所述的方法，其特征在于，所述目标检测模型的生成，包括：
构建目标车辆图像的样本集，所述目标车辆图像包括转向灯和除所述转向灯之外背景图像；
标注各目标车辆图像中转向灯的位置和类别、除所述转向灯之外背景图像的类别；
根据所述各目标车辆图像、所述转向灯的位置和类别和除所述转向灯之外背景图像的类别，训练所述目标检测模型。
5.根据权利要求4所述的方法，其特征在于，所述通过目标检测模型检测并裁剪出各帧所述视频图片中的转向灯图像，包括：
将各帧所述视频图片输入所述目标检测模型；
通过所述目标检测模型检测所述转向灯图像在各帧所述视频图片中的位置和类别，并计算所述转向灯图像属于所预测的类别的置信度；
若所述置信度满足预设条件，则根据所述转向灯图像在各帧所述视频图片中的位置，标注并裁剪出各帧所述视频图片中的转向灯图像。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
当所述目标车辆处于变更车道或者转弯的行驶状态时，若识别到所述转向灯处于关闭状态，则判定所述目标车辆违法；若识别到所述转向灯处于开启状态，则判定所述目标车辆不违法。
7.一种转向灯使用状态的识别方法，其特征在于，所述方法包括：
获取目标车辆的行驶方向及目标车辆所对应的多帧视频图片；
根据所述目标车辆的行驶方向，确定待识别转向灯；
通过目标检测模型检测并裁剪出各帧所述视频图片中的待识别转向灯图像；
从裁剪出的待识别转向灯图像中，等间隔地选择预设数量帧的待识别转向灯图像；
按照时序信息将选择的待识别转向灯图像进行拼接，得到待识别转向灯的拼接图像；
通过分类模型检测所述待识别转向灯的拼接图像，识别所述待识别转向灯的使用状态；
将所述待识别转向灯的使用状态与所述目标车辆的行驶方向进行匹配，在匹配时，则判定所述目标车辆不违法。
8.一种转向灯使用状态的识别装置，其特征在于，所述装置包括：
获取模块，用于获取目标车辆所对应的多帧视频图片；
检测模块，用于通过目标检测模型检测并裁剪出各帧所述视频图片中的转向灯图像；
选择模块，用于从裁剪出的转向灯图像中，等间隔地选择预设数量帧的转向灯图像；
拼接模块，用于按照时序信息将选择的转向灯图像进行拼接，得到转向灯的拼接图像；
识别模块，用于通过分类模型检测所述转向灯的拼接图像，识别所述转向灯的使用状态。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910833309.1A CN110532990A (zh) | 2019-09-04 | 2019-09-04 | 转向灯使用状态识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910833309.1A CN110532990A (zh) | 2019-09-04 | 2019-09-04 | 转向灯使用状态识别方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110532990A true CN110532990A (zh) | 2019-12-03 |
Family
ID=68666877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910833309.1A Pending CN110532990A (zh) | 2019-09-04 | 2019-09-04 | 转向灯使用状态识别方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110532990A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724607A (zh) * | 2020-07-01 | 2020-09-29 | 上海眼控科技股份有限公司 | 转向灯使用检测方法、装置、计算机设备和存储介质 |
| CN111815959A (zh) * | 2020-06-19 | 2020-10-23 | 浙江大华技术股份有限公司 | 一种车辆违章的检测方法、装置以及计算机可读存储介质 |
| CN111881741A (zh) * | 2020-06-22 | 2020-11-03 | 浙江大华技术股份有限公司 | 车牌识别方法、装置、计算机设备和计算机可读存储介质 |
| CN112668391A (zh) * | 2020-11-25 | 2021-04-16 | 上海眼控科技股份有限公司 | 一种车辆行为识别方法、装置、设备及存储介质 |
| CN112699781A (zh) * | 2020-12-29 | 2021-04-23 | 上海眼控科技股份有限公司 | 车灯状态检测方法、装置、计算机设备和可读存储介质 |
| CN112785850A (zh) * | 2020-12-29 | 2021-05-11 | 上海眼控科技股份有限公司 | 车辆变道未打灯的识别方法及装置 |
| CN112949470A (zh) * | 2021-02-26 | 2021-06-11 | 上海商汤智能科技有限公司 | 车辆变道转向灯识别方法、装置、设备及存储介质 |
| CN113050615A (zh) * | 2019-12-26 | 2021-06-29 | 浙江吉利汽车研究院有限公司 | 一种驾驶安全控制方法、装置、电子设备及存储介质 |
| CN113361458A (zh) * | 2021-06-29 | 2021-09-07 | 北京百度网讯科技有限公司 | 基于视频的目标对象识别方法、装置、车辆及路侧设备 |
| CN113392679A (zh) * | 2020-03-13 | 2021-09-14 | 富士通株式会社 | 车辆转向信号的识别装置及方法、电子设备 |
| CN114973055A (zh) * | 2022-03-25 | 2022-08-30 | 成都臻识科技发展有限公司 | 车辆运动状态检测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105005772A (zh) * | 2015-07-20 | 2015-10-28 | 北京大学 | 一种视频场景检测方法 |
| CN105975915A (zh) * | 2016-04-28 | 2016-09-28 | 大连理工大学 | 一种基于多任务卷积神经网络的前方车辆参数识别方法 |
| CN108509907A (zh) * | 2018-03-30 | 2018-09-07 | 北京市商汤科技开发有限公司 | 车灯检测方法、实现智能驾驶的方法、装置、介质及设备 |
| CN109308490A (zh) * | 2018-09-07 | 2019-02-05 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109858393A (zh) * | 2019-01-11 | 2019-06-07 | 平安科技（深圳）有限公司 | 车辆违规识别方法、系统、计算机设备和存储介质 |
-
2019
- 2019-09-04 CN CN201910833309.1A patent/CN110532990A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105005772A (zh) * | 2015-07-20 | 2015-10-28 | 北京大学 | 一种视频场景检测方法 |
| CN105975915A (zh) * | 2016-04-28 | 2016-09-28 | 大连理工大学 | 一种基于多任务卷积神经网络的前方车辆参数识别方法 |
| CN108509907A (zh) * | 2018-03-30 | 2018-09-07 | 北京市商汤科技开发有限公司 | 车灯检测方法、实现智能驾驶的方法、装置、介质及设备 |
| CN109308490A (zh) * | 2018-09-07 | 2019-02-05 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109858393A (zh) * | 2019-01-11 | 2019-06-07 | 平安科技（深圳）有限公司 | 车辆违规识别方法、系统、计算机设备和存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113050615A (zh) * | 2019-12-26 | 2021-06-29 | 浙江吉利汽车研究院有限公司 | 一种驾驶安全控制方法、装置、电子设备及存储介质 |
| CN113050615B (zh) * | 2019-12-26 | 2023-11-07 | 浙江吉利汽车研究院有限公司 | 一种驾驶安全控制方法、装置、电子设备及存储介质 |
| CN113392679A (zh) * | 2020-03-13 | 2021-09-14 | 富士通株式会社 | 车辆转向信号的识别装置及方法、电子设备 |
| CN111815959A (zh) * | 2020-06-19 | 2020-10-23 | 浙江大华技术股份有限公司 | 一种车辆违章的检测方法、装置以及计算机可读存储介质 |
| CN111881741A (zh) * | 2020-06-22 | 2020-11-03 | 浙江大华技术股份有限公司 | 车牌识别方法、装置、计算机设备和计算机可读存储介质 |
| CN111724607A (zh) * | 2020-07-01 | 2020-09-29 | 上海眼控科技股份有限公司 | 转向灯使用检测方法、装置、计算机设备和存储介质 |
| CN112668391A (zh) * | 2020-11-25 | 2021-04-16 | 上海眼控科技股份有限公司 | 一种车辆行为识别方法、装置、设备及存储介质 |
| CN112699781A (zh) * | 2020-12-29 | 2021-04-23 | 上海眼控科技股份有限公司 | 车灯状态检测方法、装置、计算机设备和可读存储介质 |
| CN112785850A (zh) * | 2020-12-29 | 2021-05-11 | 上海眼控科技股份有限公司 | 车辆变道未打灯的识别方法及装置 |
| CN112949470A (zh) * | 2021-02-26 | 2021-06-11 | 上海商汤智能科技有限公司 | 车辆变道转向灯识别方法、装置、设备及存储介质 |
| CN113361458A (zh) * | 2021-06-29 | 2021-09-07 | 北京百度网讯科技有限公司 | 基于视频的目标对象识别方法、装置、车辆及路侧设备 |
| CN114973055A (zh) * | 2022-03-25 | 2022-08-30 | 成都臻识科技发展有限公司 | 车辆运动状态检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532990A (zh) | 转向灯使用状态识别方法、装置、计算机设备及存储介质 | |
| CN108388888B (zh) | 一种车辆识别方法、装置和存储介质 | |
| CN110378236B (zh) | 基于深度学习的车辆身份识别模型构建、识别方法和系统 | |
| Ding et al. | Crowd density estimation using fusion of multi-layer features | |
| CN109784150B (zh) | 基于多任务时空卷积神经网络的视频驾驶员行为识别方法 | |
| CN105354986A (zh) | 汽车司机驾驶状态监测系统及方法 | |
| CN110717414A (zh) | 一种目标检测追踪方法、装置及设备 | |
| CN107862705A (zh) | 一种基于运动特征和深度学习特征的无人机小目标检测方法 | |
| CN110490212A (zh) | 钼靶影像处理设备、方法和装置 | |
| CN108921100A (zh) | 一种基于可见光图像与红外图像融合的人脸识别方法及系统 | |
| CN109670441A (zh) | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 | |
| CN205230272U (zh) | 汽车司机驾驶状态监测系统 | |
| CN110033002A (zh) | 基于多任务级联卷积神经网络的车牌检测方法 | |
| CN109961068A (zh) | 图像识别、训练、搜索方法和装置及设备、介质 | |
| CN110119726A (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
| CN106203391A (zh) | 基于智能眼镜的人脸识别方法 | |
| CN110459064A (zh) | 车辆违法行为检测方法、装置、计算机设备 | |
| CN109214336A (zh) | 一种车窗标志物检测方法及装置 | |
| CN101996308A (zh) | 人脸认证方法及系统、人脸模型训练方法及系统 | |
| CN112434566B (zh) | 客流统计方法、装置、电子设备及存储介质 | |
| CN112966736B (zh) | 一种基于多视角匹配与局部特征融合的车辆再识别方法 | |
| Khalifa et al. | A novel multi-view pedestrian detection database for collaborative intelligent transportation systems | |
| CN109977818A (zh) | 一种基于空间特征和多目标检测的动作识别方法及系统 | |
| CN109831648A (zh) | 防盗远程监控方法、装置、设备及存储介质 | |
| Wang et al. | Collaborative 3d object detection for autonomous vehicles via learnable communications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231229 |