CN108875600A - 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 - Google Patents

一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN108875600A
CN108875600A CN201810543801.0A CN201810543801A CN108875600A CN 108875600 A CN108875600 A CN 108875600A CN 201810543801 A CN201810543801 A CN 201810543801A CN 108875600 A CN108875600 A CN 108875600A
Authority
CN
China
Prior art keywords
vehicle
data
yolo
target vehicle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810543801.0A
Other languages
English (en)
Inventor
王福建
李建元
温晓岳
陈涛
沈坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enjoyor Co Ltd
Original Assignee
Enjoyor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enjoyor Co Ltd filed Critical Enjoyor Co Ltd
Priority to CN201810543801.0A priority Critical patent/CN108875600A/zh
Publication of CN108875600A publication Critical patent/CN108875600A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Abstract

本申请实施例提供了一种基于YOLO的车辆信息检测和跟踪方法、装置及计算机存储介质，其中，该方法包括：获取待检测的视频数据；通过预设的基于YOLO的车辆目标检测模型对待测图像进行检测，以确定待测图像中的目标车辆；通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对待测图像进行检测，以获取目标车辆车标检测结果、颜色检测结果；根据目标车辆车标检测结果和/或目标车辆颜色检测结果锁定目标车辆，并通过数据关联对目标车辆进行跟踪。由于该方案通过利用基于YOLO的检测模型直接对待测图像进行检测，识别出目标车辆，以及目标车辆的车标和颜色，进而准确地锁定目标车辆进行相应跟踪，从而解决了现有方法存在的实施过程复杂、处理效率低的技术问题。

Description

一种基于YOLO的车辆信息检测和跟踪方法、装置及计算机存 储介质
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种基于YOLO的车辆信息检测和跟踪方法、装置及计算机存储介质。
背景技术
随着技术的发展与普及，利用计算机视觉技术自动检测识别范围区内的车辆在城市监控、交通疏导、智能驾驶等领域逐渐受到越来越多的关注和重视。
目前，现有的车辆跟踪方法大多是通过基于相应的特征提取方案（例如HOG、SURF等）对先将图像分成多个图像区块，再分别对多个图像区块中的车辆特征（例如车牌等特征）分别进行识别检测，再综合从多个图像区块中识别出的车辆特征，确定目标车辆的基本特征信息，例如确定出目标车辆的车牌信息，再结合目标车辆的基本信息锁定目标车辆，对目标车辆进行进一步的跟踪。上述方法由于受限于实现机理，往往不能直接对待测图像进行识别检测，而必须先分区块再综合识别，因此实施过程较为繁琐。此外，现有方法实施时大多需要依赖某些具体的识别算法，而这种识别算法通常较为复杂，导致处理时处理效率相对较低。综上可知，现有方法具体实施时，往往存在的实施过程复杂、处理效率低、占用资源量大的技术问题。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于YOLO的车辆信息检测和跟踪方法和装置，以解决现有方法中存在的车辆识别跟踪速率低、准确度差的技术问题，达到能高效、精确地识别目标车辆，并即时对所获取的视频数据中的目标车辆进行实时跟踪的技术效果。
本申请实施例提供了一种基于YOLO的车辆信息检测和跟踪方法，包括：获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像；通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆；通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果；根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
在一个实施方式中，所述基于YOLO的车辆目标检测模型按照以下方式建立：获取第一样本数据，其中，所述第一样本数据为包含有车辆的图像数据；对所述第一样本数据进行车辆标注，并将标注后的第一样本数据分为第一训练集和第一测试集；利用所述第一训练集对YOLO神经网络进行训练，并利用所述第一测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆目标检测模型。
在一个实施方式中，所述第一样本数据具体可以为包含有真实车辆形状和大小的图像数据，或包含有虚拟车辆形状和大小的图像数据，或包含有真实车辆形状和大小的图像数据和包含有虚拟车辆形状和大小的图像数据的合集。
在一个实施方式中，所述基于YOLO的车辆车标检测模型按照以下方式建立：获取第二样本数据，其中，所述第二样本数据为包含有车辆车标的车辆图像数据；对所述第二样本数据进行车标标注，并将标注后的第二样本数据分为第二训练集和第二测试集；利用所述第二训练集对YOLO神经网络进行训练，并利用所述第二测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆车标检测模型。
在一个实施方式中，所述包含有车辆车标的车辆图像数据为车辆的车头（或车尾）照片。
在一个实施方式中，所述基于YOLO的车辆颜色检测模型按照以下方式建立：获取第三样本数据，其中，所述第三样本数据为包含有车辆颜色的车辆图像数据；对所述第三样本数据进行颜色标注，并将标注后的第三样本数据分为第三训练集和第三测试集；利用所述第三训练集对YOLO神经网络进行训练，并利用所述第三测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆颜色检测模型。
在一个实施方式中，通过数据关联对待检测的视频数据中的目标车辆进行跟踪，包括：获取所述待检测的视频数据中的当前帧的待测图像中的目标车辆的观测数据；将所述当前帧的待测图像中的目标车辆的观测数据与轨迹列表中的轨迹数据进行数据关联，得到关联结果；根据所述关联结果，对所述待检测的视频数据中的目标车辆进行跟踪。
在一个实施方式中，将所述当前帧的待测图像中的目标车辆的观测数据与轨迹列表中的轨迹数据进行数据关联，得到关联结果，包括：通过联合概率数据关联法，将所述当前帧的待测图像中的目标车辆的观测数据与所述轨迹列表中的轨迹数据进行数据关联，得到所述关联结果。
在一个实施方式中，在获取所述待检测的视频数据中的当前帧的待测图像中的目标车辆的观测数据后，所述方法还包括：对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理，得到滤波后的当前帧的待测图像中的目标车辆的观测数据。
在一个实施方式中，对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理，包括：通过扩展卡尔曼滤波器对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理。
本申请实施例还提供了一种基于YOLO的车辆信息检测和跟踪装置，包括：获取模块，用于获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像；第一检测模块，用于通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆；第二检测模块，用于通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果；跟踪模块，用于根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
本申请实施例还提供了一种基于YOLO的车辆信息检测和跟踪计算机存储介质，其上存储有计算机程序，所述程序被执行时实现以下步骤：获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像；通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆；通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果；根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
在本申请实施例中，由于利用预先训练好的基于YOLO的检测模型直接对待测图像进行检测，以识别出待测图像中的目标车辆，以及目标车辆的车标和颜色，进而准确地确定出目标车辆的基本特征信息，以锁定目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行较为有效的跟踪监控，从而解决了现有方法存在的实施过程复杂、处理效率低、占用资源量大的技术问题，达到能高效、精确地识别分析目标车辆的基本特征信息，并即时地对所获取的视频数据中的目标车辆进行实时跟踪的技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施方式提供的车辆信息检测和跟踪方法的处理流程图；
图2是根据本申请实施方式提供的车辆信息检测和跟踪装置的组成结构图；
图3是基于本申请实施例提供的车辆信息检测和跟踪计算机存储介质组成结构示意图；
图4是在一个场景示例中应用本申请实施例提供的车辆信息检测和跟踪方法和装置的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
考虑到现有的车辆识别跟踪方法，大多由于受限于实现机理，在识别检测的过程中往往不能直接对待测图像进行识别检测，而需要先将待测图像分成多个图像区块，再通过某些识别算法分别对各个图像区块中的车辆特征进行单独的识别检测，最后将多个图像区块的识别检测结果进行综合分析，以整体地确定出目标车辆的基本特征信息，这样实施时，实施过程相对较为复杂，势必会增加处理器的负担，导致处理效率相对较低。此外，在实际的应用场景中，所获取的数据往往是包含有大量待测图像的视频数据（例如交通监控视频）。现有方法对于单帧图像中的车辆信息的识别检测就已经占用掉了大量的资源和时间。因此，基于现有方法往往很难对实时获取的包含有大量待测图像的视频数据进行即时性处理，即现有方法实用性也相对较差。针对产生上述技术问题的根本原因，本申请考虑可以利用预先训练好的基于YOLO的检测模型直接对待测图像进行识别检测，具体的，可以先通过预设的基于YOLO的车辆目标检测模型确定出待测图像中的目标车辆；再通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型等确定出关于目标车辆车标检测结果、颜色检测结果；进而可以根据目标车辆车标检测结果和/或所述目标车辆颜色检测结果确定目标车辆的基本特征信息，锁定目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行较为有效的跟踪，从而解决了现有方法存在的实施过程复杂、处理效率低、占用资源量大的技术问题，达到能高效、精确地识别分析目标车辆的基本特征信息，并即时地对所获取的视频数据中的目标车辆进行实时跟踪的技术效果。
基于上述思考思路，本申请实施例提供了一种基于YOLO的车辆信息检测和跟踪方法。具体请参阅图1所示的根据本申请实施方式提供的车辆跟踪方法的处理流程图。本申请实施例提供的车辆跟踪方法，具体实施时，可以包括以下步骤。
S11：获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像。
在本实施方式中，上述待检测的视频数据具体可以是实时获取的交通监控视频。例如，具体可以是某路口的监控摄像头实时拍摄的监控视频。其中，上述待检测的视频数据具体可以由多帧图像（或图片）数据构成。
在一个实施方式中，考虑到后续对车辆的检测是以图像为单位进行的，在获取待检测的视频数据后，所述方法具体还可以包括：根据所述待检测的视频数据获取多帧待测图像，这样具体实施时，可以通过对视频数据中的各帧图像数据分别进行相应的检测、处理完成对上述视频数据的检测、处理。
在一个实施方式中，上述待检测的视频数据通常会包含有数量庞大的图像，且其中可能还会存在许多图像在内容上近似程度极高。实际上对上述内容极为近似的图像都分别进行逐一检测对于车辆的识别跟踪是没有必要的。因此如果对每一个视频数据中所有的图像都不作取舍地逐一进行检测势必会浪费大量的计算资源和处理时间。为了提高检测效率，避免对包含几乎完全相同内容的图像进行重复检测处理，上述方法具体实施时还可以从所获取的待检测的视频数据中筛选出多帧图像作为待测图像进行后续的检测、处理。具体的，可以按照预设时间间隔，从所述待检测的视频数据中抽取图像作为待测图像。例如，可以每隔10秒抽取视频数据中的一帧图像作为待测图像。当然，上述所列举的从待检测的视频数据中抽取多帧待测图像的方式只是为更好地说明本申请实施方式。具体实施时，也可以根据具体情况和精度要求，选择其他合适的方式从上述待检测的视频数据中获取多帧待测图像。对此，本申请不作限定。
S12：通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆。
在一个实施方式中，为了兼顾检测的精度和效率，具体实施时，可以通过预设的车辆目标检测模型对所述待测图像进行检测，以从待测图像中分辨出车辆，并将待测图像中的车辆确定为目标车辆。其中，上述预设的基于YOLO的车辆目标检测模型具体可以是利用YOLO卷积神经网络目标算法（You Only Look Once，以下简称YOLO）预先通过学习、训练建立的分别用于检测识别图像中的车辆的分类模型。
在本实施方式中，上述YOLO具体可以理解为是一种基于深度学习的目标检测（object detection）算法，该算法主要是把物体检测问题处理成回归问题，可以利用一个卷积神经网络结构根据输入的图像预测物体边界框和类别概率。YOLO区别于现有方法所采用的R-CNN（Regions with CNN features）、Fast R-CNN（Fast Regions with CNNfeatures）等，具有处理速度快、误差小、准确度高等特点。
YOLO具体实现时，可以将输入的图像先划分成S×S的网格单元。假如目标的中心落在网格单元内，则该网格单元负责检测该目标，而每个网格单元又可以用于预测边界框和可信分。其中，上述可信分可以用于表征了在边界框架中包含有目标的可信程度，以及所预测的边界框中包含目标的准确性。具体的实施时，可以按照以下方式定义上述可信分：当所有网格单元内都未出现目标时，可以确定可信分为零。此外，可信分还等于预测边界框和真实目标之间的交集（IOU），包含有目标的网格单元同时满足预测条件的概率。上述预测边界框的过程具体可以被编码为张量来进行相应预测。
需要补充的是，YOLO的网络架构是基于神经网络建立的。其中，YOLO的检测网络共有24个卷积层，用于提取图像特征；此外，YOLO还有2个用于预测输出概率和位置坐标的全连接层。具体的，YOLO可以使用一半的分辨率预处理卷积层，之后再将分辨率加倍进行检测，从而提高检测的效率，以满足对实时获取的视频数据进行即时的检测、处理的目标。
在一个实施方式中，本申请实施方式所涉及的预设的基于YOLO的车辆检测模型具体可以是预设的基于改进的YOLO的车辆检测模型。其中，上述改进的YOLO可以记为YOLO2（也可以记为YOLOv2），具体可以是一个基于YOLO对YOLO进行相应改进后的模型或算法。
具体实施时，YOLO2可以是按照以下方式对YOLO进行相应的改进后获得的：在YOLO的所有卷积层上添加了批量标准化，以提高了网络的收敛性，消除了对其他正则化的依赖，从而提高检测车辆的车标和颜色时的收敛效率和稳定性；将YOLO的分类网络先以448×448的分辨率在ImageNet上对10个epochs进行微调，留出时间调整滤波器以适应较高的分辨率，然后微调所得网络进行高分辨率下的图像检测，以提高检测精度；移除了YOLO的全连接层，并且去掉了网络中的一个池化层，让卷积层的输出能有更高的分辨率，进一步提高了检测精度。
在一个实施方式中，除上述所列举的改进以外，为了进一步提高检测车辆的效率和准确度，还可以包括采用以下措施对YOLO进行进一步的改进以获取效果更好的YOLO2：收缩YOLO的网络规模，例如将YOLO的网络规模由448调整为416，并保证只有一个中心单元格，从而以相对小的精度损失换取了相对较大的召回率提升，进一步提高了检测的效率；使用K-Means聚类在训练集中寻找较优的anchor框尺寸，以提高检测的精度；采用有强约束的定位方法，稳定了模型或算法的迭代过程，以提高模型或算法的稳定性；添加了一个用于联系高、低分辨率的传递层，将相邻特征堆叠到不同通道，以提高了对小目标的检测能力，进一步提高了检测车辆的精度；在建模的训练过程中每迭代10个batch，会随机的调整输入尺度，以便当输入的图片尺寸较小时检测速度较快，图片尺寸较大的时则精度较高，从而能够在速度和精度上进行权衡，改善了检测效果。
在一个实施方式中，为了能够再进一步地提高检测效率，具体实施时，还可以参考多种其他的分类模型，进而可以基于YOLO提出一种包含有19个卷积层和5个最大值池化层的Darknet-19模型，这样检测每张图片只需要占有相对较少的计算资源和时间。同时，还可以对分类器进行进一步的训练，具体的，可以使用了标准的数据扩大方法；可以对检测器进行进一步训练，具体的，可以去掉了原网络最后一个卷积层，转而增加了三个的卷积层，并且在上述三个的卷积层的后面分别都跟一个的卷积层。此外，还可以遍历ImageNet的标签，然后在WordNet中寻找该标签到根节点的路径。具体的，如果路径只有一条，则将该路径直接加入到分层树结构中。对于包含有多条路径的标签，则可以将最短的路径加入到分层树结构，从而形成WordTree层次模型。其中，分类时的概率计算可以为该节点到根节点的所有条件概率之积。还可以使用3个priors限制输入的大小，当网络遇到的检测数据集中的图像时正常反向传播损失，对于分类损失，只反向传播等于或高于标签相应水平的损失，并假设IOU最少为0.3，根据上述假设进行相应的反向传播。这样可以使得所采用的YOLO能够同时兼顾检测效率和精度，以实现对实时获取的视频数据进行即时的检测、处理，具备较好的实用性。
在一个实施方式中，所述基于YOLO的车辆目标检测模型具体可以按照以下方式建立：
S1：获取第一样本数据，其中，所述第一样本数据具体可以为包含有各种车辆形状、大小的图像数据；
S2：对所述第一样本数据进行车辆标注，并将标注后的第一样本数据分为第一训练集和第一测试集；
S3：利用所述第一训练集对YOLO神经网络进行训练，并利用所述第一测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆目标检测模型。
在一个实施方式中，为了扩展车辆识别的样本数据的数量和类型，提高基于上述车辆识别的样本数据所建立的基于YOLO的车辆目标检测模型的模型精度，上述车辆识别的样本数据具体可以包括：包含有真实车辆形状、大小的图像数据，和包含有虚拟车辆形状、大小的图像数据。
其中，上述包含有真实车辆形状、大小的图像数据具体可以是通过摄像头等拍摄设备在真实环境中拍摄得到的真实车辆的图像数据。例如可以是在城市十字路口通过监控探头拍摄到的真实的车辆的视频和照片等。
然而包含有虚拟车辆形状、大小的图像数据不同于上述包含有真实车辆形状、大小的图像数据。上述包含有虚拟车辆形状、大小的图像数据中的图像主体不是真实环境中的真实车辆，而是虚拟环境中的虚拟车辆。
具体的，上述包含有虚拟车辆形状、大小的图像数据可以按照以下方式获取：通过计算机等设备利用软件程序建立车辆监控模拟模型，其中，上述车辆监控模型包括：模拟的监控场景、模拟的监控设备、模拟车辆；通过上述车辆监控模拟模型中的模拟监控设备采集在模拟监控场景（即虚拟环境）中的模拟车辆（即虚拟车辆）的图像数据作为上述包含有虚拟车辆形状、大小的图像数据。这样可以消除仅依靠包含有真实车辆形状、大小的图像数据作为样本数据建模时所存在的局限性。因为通常获取的包含有真实车辆形状、大小的图像数据中所涵盖的车辆形状、大小的类型往往是不够全面的，例如可能会缺少某些车型的照片，或者缺少某些特殊场景（例如火灾、地震等）状况下的图像数据，导致所建立的车辆目标检测模型也不够全面、完整，精度也相对较低。在本实施方式中，由于综合使用上述包含有真实车辆形状、大小的图像数据和包含有虚拟车辆形状、大小的图像数据，得到更加全面、完整的车辆识别的样本数据，进而可以基于上述更加全面、完整的车辆识别的样本数据，建立出具有更高模型精度的基于YOLO的车辆目标检测模型。
在一个实施方式中，通过计算机等设备利用软件程序建立车辆监控模拟模型，具体实施时，可以包括：在3ds Max里用其脚本语言MAXScript建立道路交通场景（为了便于后续的图像处理可以将场景中路面的背景色设置为同一种颜色，例如黑色），作为上述模拟的监控场景；通过绘图软件生成多种车辆模型作为模拟车辆，并将上述多种车辆模型加入所建立的模拟的监控场景中，并在3ds Max里生成动画文件，以模拟道路交通场景中车辆行驶的过程；在上述模拟的监控场景，选择合适的角度设置采集器作为模拟的监控设备，以采集上述场景中以路面为主要背景的模拟车辆的图片，将上述场景中以路面为主要背景的模拟车辆的图片作为包含有虚拟车辆形状、大小的图像数据。
此外，还需要说明的是，在通过上述车辆监控模拟模型获取上述包含有虚拟车辆形状、大小的图像数据后，可以直接通过与车辆监控模拟模型相连的程序插件自动对所获取的图像数据进行车辆标注。这样可以减少后续另外对样本数据进行标注的时间成本和资源负担，提高建模效率。具体的，例如，可以将上述车辆监控模拟模型与MATLAB相连，所采集的包含有虚拟车辆形状、大小的图像数据会直接输送到MATLAB中；再通过MATLAB对所接收的图像数据进行图像处理分析，即：通过检索图像中的非背景色（例如非黑色）像素以提取其中各个车辆的外轮廓框，并做出相应的标注，以生成相应的样本标注文件，从而完成了对所获取的包含有虚拟车辆形状、大小的图像数据的直接标注，提高了处理效率。
在一个实施方式中，上述对所述车辆识别的样本数据进行车辆标注，具体实施时，可以包括以下内容：利用矩形框框出样本数据中的车辆，并把样本数据中的车辆的位置和车型信息写在相应的文本文件（*.txt）中。具体的，上述文本文件所记录的信息包括：Type、Xc、Yc、W、H。其中，Type表示车型编号，分为小型车辆（记为0）、中型车辆（记为1）、大型车辆（记为2）；Xc表示矩形框中心的x坐标与样本数据的图片宽度的比值；Yc表示矩形框中心的y坐标与样本数据的图片高度的比值；W表示矩形框的宽度与样本数据的图片宽度的比值；H为矩形框的高度与样本数据的图片高度的比值。当然需要说明的是，上述所列举的实施方式只是一种示意性说明。具体实施时，也可以根据具体情况采用其他合适的方式对所述样本数据进行标注。对此，本申请不作限定。
在一个实施方式中，通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆，具体可以是，将待测图像作为输入数据直接输入上述预设的基于YOLO的车辆目标检测模型中，上述基于YOLO的车辆目标检测模型可以直接对待测图像中的物体对象进行检测识别，识别出图像中的车辆，并将图像中的车辆框出作为目标车辆。
在一个实施方式中，在通过预设的基于YOLO的车辆目标检测模型检测并框出出待测图像中的目标车辆后，还可以在所框出的目标车辆标注出通过基于YOLO的车辆目标检测模型识别得到的车型大小信息，例如：小型车辆、中型车辆、大型车辆等。
S13：通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果。
在一个实施方式中，在识别确定出待测图像中的目标车辆后，进一步的，还可以识别确定出目标车辆车标检测结果（即目标车辆的车标）和/或目标车辆颜色检测结果（即目标车辆的颜色）等更为具体的特征信息，并将上述特征信息作为目标车辆的基本特征信息，以更加准确地锁定目标车辆，进行后续的数据分析处理。例如，具体应用时，现场工作人员可以在道路现场结合所确定的目标车辆车标检测结果、目标车辆颜色检测结果更加精确地寻找到违规车辆进行跟踪。
在一个实施方式中，考虑在机器利用视频数据进行具体分析的过程中，重要的是通过检测出车辆的标识特征确定车辆的基本特征信息（例如，车辆的ID，车辆的颜色、车辆的车标等），从而机器可以获取到目标车辆更加精细的特征信息，并更加准确地将目标车辆同其他车辆区分开来，以锁定目标车辆。进一步的，针对具体的机器识别过程，往往要求能够准确地识别出车辆的车标、颜色等辨识度较高的特征信息，而并不需要精确地识别确定出车标等标识特征的具体位置。基于上述考虑，具体实施时，可以考虑在一定程度上舍弃对车辆的标识特征的定位精度，即避免采用现有方法所使用的由于需要精确定位导致计算成本较高的检测模型或算法，而是选择使用不需要先精确定位，但能较准确地检测识别出标识特征，且计算效率较高的检测模型或算法对待测图像进行检测，以提高车辆检测的效率。进一步的，为了提高车辆识别的准确度，获取更加丰富准确的车辆的基本特征信息，具体实施时，可以选择车辆的车标、车辆的颜色等不易被人为修改的标识特征作为车辆检测的标识特征进行检测识别。
在一个实施方式中，为了兼顾检测的精度和效率，具体实施时，可以通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果。其中，上述预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型具体可以是利用YOLO卷积神经网络目标识别算法预先通过学习、训练建立的分别用于车辆车标的检测识别、车辆颜色的检测识别的分类模型。
在一个实施方式中，具体实施时，可以按照以下方式建立上述基于YOLO的车辆车标检测模型。
Q1：获取第二样本数据，其中，所述第二样本数据为包含有车辆车标的车辆图像数据；
Q2：对所述第二样本数据进行车标标注，并将标注后的第二样本数据分为第二训练集和第二测试集；
Q3：利用所述第二训练集对YOLO神经网络进行训练，并利用所述第二测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆车标检测模型。
在一个实施方式中，获取第二样本数据，具体可以包括以下内容：获取监控视频（例如，路口摄像头拍摄的交通监控视频）；从所述监控视频中抽取包含有车辆车标的车辆图像数据（例如照片）作为上述第二样本数据。
在一个实施方式中，上述对所述第二样本数据进行车标标注，具体实施时可以包括以下内容：在第二样本数据中的各个图像上标注出图像中出现的车辆的车标所对应的车标指示符号，以便YOLO神经网络可以通过训练自我学习。例如，可以对包含有福特汽车的车标的图像上标注车标指示符号“Ford”。
在一个实施方式中，对所述第二样本数据进行车标标注，具体实施时，可以按照以下方式进行：将第二样本数据（例如bb.jpg）中的包含车标的区域用矩形框框出，并将第二样本数据的矩形框中的车标位置和信息记录在相应的文本文件（例如bb.txt）中。其中，上述文本文件所记录的信息包括：Brand、Xc、Yc、W、H。其中，Brand表示车辆品牌（即车标）编号，分为：Toyota（记为0）、Audi（记为1）等等；Xc表示矩形框中心的x坐标与样本数据的图片宽度的比值；Yc表示矩形框中心的y坐标与样本数据的图片高度的比值；W表示矩形框的宽度与样本数据的图片宽度的比值；H为矩形框的高度与样本数据的图片高度的比值。这里Xc=0.5，Yc=0.75，W=0.5，H=0.45，即把包含车标的车头（或车尾）主要区域进行训练和识别。将收集的大量汽车图片人工按品牌分类好后，相应的样本文本文件（如bb.txt）由程序自动生成，提高了处理效率。
当然需要说明的是，上述所列举的实施方式只是一种示意性说明。具体实施时，也可以根据具体情况采用其他合适的方式对所述第二样本数据进行车标标注。对此，本申请不作限定。
在一个实施方式中，上述将标注后的第二样本数据分为第二训练集和第二测试集，具体可以是按照预设比例将标注后的第二样本数据中的一部分作为第二训练集，将剩下的样本数据作为第二测试集。其中，所述第二训练集具体可以是用于训练学习基于YOLO的车辆车标检测模型的YOLO神经网络，所述第二测试集具体可以是用于测试调整训练后的基于YOLO的车辆车标检测模型的YOLO神经网络。其中，上述预设比例具体可以根据精度要求确定。具体的，上述预设比例的数值可以设置为50%。当然，上述所列举的50%只是一种示意性说明，不应当构成对本申请实施方式的不当限定。
在一个实施方式中，考虑到所建立的基于YOLO的车辆车标检测模型的目标是检测识别出图像中车辆的车标，即确定车辆对应的品牌，而不需要检测车标的具体位置。但是，现有方法所使用的样本数据的大多是包含有完整车辆的图片，其中，车标的面积会相对较小，不便于进行针对车辆车标的基于YOLO的模型训练，反而还会增加干扰。为了提高训练的效果，可以采用包含有车标的车头照片作为第二样本数据用于训练建立检测效果相对较好的基于YOLO的车辆车标检测模型。当然，上述所列举的车头照片只是一种示意性说明，具体实施时也可以选择使用其他类型的能够突出车标的图像数据，例如，包含有车标的车尾照片等作为第二样本数据。对此，本申请不作限定。
在一个实施方式中，为了提高建立基于YOLO的车辆车标检测模型的效率，可以对YOLO中卷积神经网络架构进行相应的设计，并且可以利用ImageNet对YOLO中的浅层网络部分的权重先进行训练（可以看作是一个已经学习好的深度神经网络自动特征提取器），这样，可以有效地加快建立所述基于YOLO的车辆车标检测模型过程中参数学习和项目部署的进程和效率。
在一个实施方式中，具体实施时，可以按照以下方式建立上述基于YOLO的车辆颜色检测模型按照以下方式建立。
R1：获取第三样本数据，其中，所述第三样本数据为包含有车辆颜色的车辆图像数据；
R2：对所述第三样本数据进行颜色标注，并将标注后的第三样本数据分为第三训练集和第三测试集；
R3：利用所述第三训练集对YOLO神经网络进行训练，并利用所述第三测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆颜色检测模型。
在一个实施方式中，获取第三样本数据，具体可以包括以下内容：获取监控视频（例如，路口摄像头拍摄的交通监控视频）；从所述监控视频中抽取包含有车辆颜色的图像数据作为上述第三样本数据。
在一个实施方式中，上述对对所述第三样本数据进行颜色标注，具体实施时可以包括以下内容：在第三样本数据中的各个图像上标注出图像中出现的车辆的颜色所对应的颜色指示符号，以便YOLO神经网络可以通过训练自我学习。例如，可以对包含有白色汽车的图像上标注颜色指示符号“white”。
在一个实施方式中，对所述第三样本数据进行颜色标注，具体实施时，可以按照以下方式进行：将第三样本数据（例如cc.jpg）中的车辆用矩形框框出，并将第三样本数据的矩形框中的车辆位置和车身颜色信息记录在相应的文本文件（例如cc.txt）中。其中，上述文本文件所记录的信息包括：Color、Xc、Yc、W、H。其中，Color 表示车身颜色编号，分为：black（记为0）、blue（记为1）等等；Xc表示矩形框中心的x坐标与样本数据的图片宽度的比值；Yc表示矩形框中心的y坐标与样本数据的图片高度的比值；W表示矩形框的宽度与样本数据的图片宽度的比值；H为矩形框的高度与样本数据的图片高度的比值。这里Xc=0.5，Yc=0.5，W=0.95，H=0.95，即把汽车图片整体进行训练和识别。将收集的大量汽车图片人工按颜色分类好后，相应的样本文本文件（如cc.txt）由程序自动生成，提高了处理效率。
当然需要说明的是，上述所列举的实施方式只是一种示意性说明。具体实施时，也可以根据具体情况采用其他合适的方式对所述第三样本数据进行颜色标注。对此，本申请不作限定。
在一个实施方式中，上述将标注后的第三样本数据分为第三训练集和第三测试集，具体可以是按照预设比例将标注后的第三样本数据中的一部分作为第三训练集，将剩下的样本数据作为第三测试集。其中，所述第三训练集用于训练学习基于YOLO的车辆颜色检测模型的YOLO神经网络，所述第三测试集用测试调整训练后的基于YOLO的车辆颜色检测模型的YOLO神经网络。其中，上述预设比例具体可以根据精度要求确定。具体的，上述预设比例的数值可以设置为50%。当然，上述所列举的50%只是一种示意性说明，不应当构成对本申请实施方式的不当限定。
在本实施方式中，需要补充的是，对于基于YOLO的车辆颜色检测模型也可以参阅基于YOLO的车辆车标检测模型的建立过程。本申请不作赘述。
在本实施方式中，具体通过上述预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果，即识别出待测图像中目标车辆的车标、目标车辆的颜色。
具体的，例如，可以根据目标车辆车标检测结果，检测出待测图像中目标车辆的车标为“Ford”，即确定出目标车辆为福特牌汽车；也可以根据车辆颜色检测结果，检测出待测图像中目标车辆的颜色为“white”，即确定出目标车辆为白色的汽车。具体的，还可以同时结合目标车辆车标检测结果和目标车辆颜色检测结果，在待测图像中目标车辆的边上展示“Ford”“white”的特征信息，以便可以自动获取更加丰富、准确的目标车辆的基本特征信息，同时也便于更加准确地锁定目标车辆，以便后续的跟踪处理。
在一个实施方式中，在获取目标车辆车标检测结果、目标车辆颜色检测结果后，所述方法还可以包括以下内容：通过边界框框出目标车辆；并在所述边界框上标注所述目标车辆的标识特征信息，以更加准确地锁定目标车辆。例如，还可以某目标车辆的边界框的右上角标注“白色福特”等特征信息。
在一个实施方式中，本申请实施方式所涉及的预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型具体可以是预设的基于改进的YOLO的车辆车标检测模型、预设的基于改进的YOLO的车辆颜色检测模型，即上述YOLO2（也可以记为YOLOv2）。
S14：根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
在本实施方式中，在确定出目标车辆车标检测结果、目标车辆颜色检测结果后，可以根据目标车辆车标检测结果、目标车辆颜色检测结果获取更加丰富精细的目标车辆的基本特征信息；同时，也可以根据目标车辆车标检测结果和/或目标车辆颜色检测结果更加准确地锁定目标车辆，为工作人员提供更多的目标车辆的特征信息。例如，可以为现场工作人员提供更加详实的车辆特征信息，便于现场工作人员针对违规车辆进行监控处理。
在本实施方式中，需要说明的是，在通过车辆颜色和/或车辆车标确定出目标车辆之后，如何使用数据关联来将当前帧的待测图像中的车辆观测量或观测数据与轨迹列表中的目标轨迹数据进行关联十分重要。尤其是当前帧的待测图像中可能会存在多个车辆目标和多个车辆观测数据时，如果不能将车辆目标和它对应的车辆观测数据进行正确匹配，则将不能产生正确的结果，容易出现跟踪的误差。
在一个实施方式中，考虑到上述情形，为了能够准确地进行目标车辆和观测数据匹配以便能够准确地对目标车辆进行跟踪，上述通过数据关联对待检测的视频数据中的目标车辆进行跟踪，具体实施时可以包括以下内容。
S1：获取所述待检测的视频数据中的当前帧的待测图像中的目标车辆的观测数据；
S2：将所述当前帧的待测图像中的目标车辆的观测数据与轨迹列表中的轨迹数据进行数据关联，得到关联结果；
S3：根据所述关联结果，对所述待检测的视频数据中的目标车辆进行跟踪。
在一个实施方式中，为了能够进行更加精准的匹配，即得到更加准确的关联结果，上述将所述当前帧的待测图像中的目标车辆的观测数据与轨迹列表中的轨迹数据进行数据关联，得到关联结果，具体实施时，可以包括：通过联合概率数据关联法，将所述当前帧的待测图像中的目标车辆的观测数据与所述轨迹列表中的轨迹数据进行数据关联，得到所述关联结果。当然，具体的，还可以先获取历史视频数据，利用联合概率数据关联法建立并训练好用于车辆跟踪的车辆跟踪模型，以便后续可以直接利用该车辆跟踪模型对视频数据中的车辆进行相应跟踪。
其中，轨迹列表指的是目标车辆位置随时间变化的一个列表。即每一个目标车辆都对应着一个轨迹列表，保存着目标车辆位置信息的变化情况。将一个轨迹列表内的所有位置串起来，画在图上，就是目标的轨迹。
在本实施方式中，上述联合概率数据关联法（Joint Probabilistic DataAssociation，JPDA）具体可以理解为是数据互联模型，具体是将概率数据关联（Probabilistic Data Association，PDA）应用到多目标跟踪领域的自然拓展。其中，上述PDA具体可以是用于单目标跟踪。该模型具体思想可以包括以下内容。
定义关联事件为以下形式：
其中，k表示当前帧的编号，表示当前帧内的观测总数，i表示关联的观测序号，表 示第k帧的所有观测值。
并确定对应的关联概率为：。
对于一个泊松分布的虚警模型，则可以表示为：
其中，表示检测概率，表示落入门限的概率，表示均匀分布，表示高斯分布，表示高斯分布的变量，表示高斯分布的方差。
确定了关联概率之后，则需要估计的概率密度，具体可以通过以下加权和的形式来计算：
其中，K表示Kalman增益。
以上是对N个关联事件的加权和，相应的，可以将协方差更新为以下形式：
需要说明的是，上述协方差的大小实际上是和车辆的运动方程和观测方程有关，具体的是基于车辆的运动模型和观测模型建立对应的车辆的运动方程和观测方程的，而上述车辆的运动模型和观测模型又是一种对车辆运动和观测的数学抽象。因此，具体实施时可以通过调整上述协方差的大小以调节上述数学抽象与实际情况的吻合度，进一步改善对目标车辆进行跟踪的准确度。
在本申请实施例中，相较于现有方法，由于利用预先训练好的基于YOLO的检测模型直接对待测图像进行检测，以识别出待测图像中的目标车辆，以及目标车辆的车标和颜色，进而准确地确定出目标车辆的基本特征信息，以锁定目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行较为有效的跟踪，从而解决了现有方法存在的实施过程复杂、处理效率低、占用资源量大的技术问题，达到能高效、精确地识别分析目标车辆的基本特征信息，并即时地对所获取的视频数据中的目标车辆进行实时跟踪的技术效果。
在一个实施方式中，又考虑到所获取的车辆的观测数据中难免会存在误差，为减少上述误差导致的对车辆跟踪的精确度的影响，在获取所述待检测的视频数据中的当前帧的待测图像中的目标车辆的观测数据，所述方法具体实施时还可以包括以下内容：对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理，得到滤波后的当前帧的待测图像中的目标车辆的观测数据。
在一个实施方式中，为了进一步减少上述观测数据的误差，上述对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理，具体实施时，可以包括以下内容：通过扩展卡尔曼滤波器对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理。
在本实施方式中，扩展卡尔曼滤波器（Extended Kalman Filter，EKF）是线性卡尔曼滤波器（Kalman Filter）的一种变种。当该估计的运动模型比较复杂，常规的线性的运动方程和观测方程不足以描述时，需要引入非线性的模型提高精度。这时线性卡尔曼滤波器就不适用了，可以使用泰勒展开对线性卡尔曼滤波器进行非线性化，以获取可以处理非线性情形的扩展卡尔曼滤波器。其中，扩展卡尔曼滤波器的算法思想具体可以用以下算式描述：
其中，表示均值，t表示当前时间，g表示运动方程，表示运动方程的雅克比形式，表示运动方程的噪声，表示 Kalman增益，是观测方程的雅克比形式，表示观测噪声，表示t时刻的观测值，h表示观测方程。
在本实施方式中，需要补充的是，线性卡尔曼滤波器中的线性预测具体可以被EKF中的非线性扩展代替。另外，EKF中使用的是雅克比矩阵和而不是线性卡尔曼滤波器中的、和，且雅克比矩阵对应着线性卡尔曼滤波中的、，描述的是运动方程；而雅克比矩阵对应着线性卡尔曼滤波中的，代表着观测方程中的变换矩阵。
在本实施方式中，需要说明的是，上述所列举的通过扩展卡尔曼滤波器对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理只是为了更好地说明本申请实施方式。具体实施时，也可以根据具体情况和精度要求，选择使用其他合适的能够进行非线性预测的滤波器对当前帧的待测图像中的目标车辆的观测数据进行滤波处理。对此，本申请不作限定。
从以上的描述中，可以看出，本申请实施例提供的车辆跟踪方法，由于利用预先训练好的基于YOLO的检测模型直接对待测图像进行检测，以识别出待测图像中的目标车辆，以及目标车辆的车标和颜色，进而准确地确定出目标车辆的基本特征信息，以锁定目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行较为有效的跟踪，从而解决了现有方法存在的实施过程复杂、处理效率低、占用资源量大的技术问题，达到能高效、精确地识别分析目标车辆的基本特征信息，并即时地对所获取的视频数据中的目标车辆进行实时跟踪的技术效果；又通过具体综合联合概率数据关联算法和扩展卡尔曼滤波算法对目标车辆进行具体跟踪，达到对车辆进行精准跟踪的目的。
基于同一发明构思，本发明实施例中还提供了一种基于YOLO的车辆信息检测和跟踪装置，如下面的实施例所述。由于车辆跟踪装置解决问题的原理与车辆跟踪方法相似，因此车辆跟踪装置的实施可以参见车辆跟踪方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”是可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。请参阅图2，是本申请实施例提供的车辆跟踪装置的一种组成结构图，该装置具体可以包括：获取模块21、第一检测模块22、第二检测模块23、跟踪模块24，下面对该结构进行具体说明。
获取模块21，具体可以用于获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像；
第一检测模块22，具体可以用于通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆；
第二检测模块23，具体可以用于通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果；
跟踪模块24，具体可以用于根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
在一个实施方式中，所述装置具体还可以包括建模模块，建模模块具体可以用于预先建立所述基于YOLO的车辆目标检测模型、基于YOLO的车辆车标检测模型、基于YOLO的车辆颜色检测模型等。
在一个实施方式中，上述建模模块具体实施时，可以按照以下程序建立所述基于YOLO的车辆目标检测模型：获取第一样本数据，其中，所述第一样本数据具体可以为包含有各种车辆形状、大小的图像数据；对所述第一样本数据进行车辆标注，并将标注后的第一样本数据分为第一训练集和第一测试集；利用所述第一训练集对YOLO神经网络进行训练，并利用所述第一测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆目标检测模型。
在一个实施方式中，上述建模模块具体实施时，可以按照以下程序建立所述基于YOLO的车辆车标检测模型：获取第二样本数据，其中，所述第二样本数据为包含有车辆车标的车辆图像数据；对所述第二样本数据进行车标标注，并将标注后的第二样本数据分为第二训练集和第二测试集；利用所述第二训练集对YOLO神经网络进行训练，并利用所述第二测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆车标检测模型。
在一个实施方式中，所述包含有车辆的图像数据具体可以为车辆的车头照片。需要说明的是，上述所列举的车辆的车头照片只是一种示意性说明。具体实施时，也可以获取其他能完整、清楚地显示出车标的照片，例如车尾照片等。对于上述包含有车辆的图像数据的具体内容本申请不作限定。
在一个实施方式中，上述建模模块具体实施时，可以按照以下程序建立所述基于YOLO的车辆颜色检测模型：获取第三样本数据，其中，所述第三样本数据为包含有车辆颜色的车辆图像数据；对所述第三样本数据进行颜色标注，并将标注后的第三样本数据分为第三训练集和第三测试集；利用所述第三训练集对YOLO神经网络进行训练，并利用所述第三测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆颜色检测模型。
在一个实施方式中，为了能够通过数据关联对待检测的视频数据中的目标车辆进行跟踪，上述跟踪模块24具体可以包括以下结构单元：
获取单元，具体可以用于获取所述待检测的视频数据中的当前帧的待测图像中的目标车辆的观测数据；
关联单元，具体可以用于将所述当前帧的待测图像中的目标车辆的观测数据与轨迹列表中的轨迹数据进行数据关联，得到关联结果；
跟踪单元，具体可以用于根据所述关联结果，对所述待检测的视频数据中的目标车辆进行跟踪。
在一个实施方式中，上述关联单元具体实施时，可以按照以下程序执行：通过联合概率数据关联法，将所述当前帧的待测图像中的目标车辆的观测数据与所述轨迹列表中的轨迹数据进行数据关联，得到所述关联结果。
在一个实施方式中，为了减少获取的观测数据的误差，所述跟踪模块24具体还可以包括滤波单元。上述滤波单元具体可以用于对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理，得到滤波后的当前帧的待测图像中的目标车辆的观测数据。
在一个实施方式中，为了改善滤波效果，上述滤波单元具体实施时，可以通过扩展卡尔曼滤波器对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理。当然，上述所列举的扩展卡尔曼滤波器只是为了更好地说明本申请实施方式。具体实施时，也可以根据具体情况和精度要求选择使用其他合适的非线性滤波器进行滤波处理。对此，本申请不作限定。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，上述实施方式阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，在本说明书中，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
此外，在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤（等）不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
从以上的描述中，可以看出，本申请实施例提供的车辆跟踪装置，由于通过第一检测模块、第二检测模块利用预先训练好的基于YOLO的检测模型直接对待测图像进行检测，以识别出待测图像中的目标车辆，以及目标车辆的车标和颜色，进而准确地确定出目标车辆的基本特征信息，以锁定目标车辆，并通过跟踪模块通过数据关联对待检测的视频数据中的目标车辆进行较为有效的跟踪，从而解决了现有方法存在的实施过程复杂、处理效率低、占用资源量大的技术问题，达到能高效、精确地识别分析目标车辆的基本特征信息，并即时地对所获取的视频数据中的目标车辆进行实时跟踪的技术效果；又通过跟踪模块具体结合联合概率数据关联算法和扩展卡尔曼滤波算法对目标车辆进行具体跟踪，达到对车辆进行精准跟踪的目的。
本申请实施方式还提供了一种电子设备，具体可以参阅图3所示的基于本申请实施例提供的车辆跟踪方法的电子设备组成结构示意图，所述电子设备具体可以包括输入设备31、处理器32、存储器33。其中，所述输入设备31具体可以用于输入待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像。所述处理器32具体可以用于通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆；通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果；根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。所述存储器33具体可以用于存储预设的基于YOLO的车辆目标检测模型、预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型以及处理器32产生的其他中间数据。
在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数据的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
在本实施方式中，该电子设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
本申请实施方式中还提供了一种基于车辆跟踪方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像；通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆；通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果；根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
在本实施方式中，上述存储介质包括但不限于随机存取存储器（Random AccessMemory, RAM）、只读存储器（Read-Only Memory, ROM）、缓存（Cache）、硬盘（Hard DiskDrive, HDD）或者存储卡（Memory Card）。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
在一个具体实施场景示例中，应用本申请实施例的提供车辆跟踪方法和装置对实时获取的某辖区交通监控视频中的车辆进行即时的跟踪处理。具体可以结合图4所示的在一个场景示例中应用本申请实施例提供的车辆跟踪方法和装置的流程示意图，参阅以下内容执行。
P1：获取第一样本数据，建立基于YOLO的车辆目标检测模型。
P2：获取第二样本数据，建立基于YOLO的车辆车标检测模型。
在本实施方式中，上述用作第二样本数据的数据集（即车标识别样本）具体可以是由OpenITS提供的车辆车标重识别数据集，其中上述数据主要来自某城市卡口车辆图像，由高清摄像头拍摄数据集中包含最常见的10种车辆款式，因而共有10种待检测识别的车标，共10000张图像。其中，每个车辆款式里各有100个不同的车辆ID，即100个不同的车辆。在同一车辆款式里的100个车辆ID，它们的外观近乎相同，差异大部分只在于车窗部分的个性化标识，如年检标志等。此外，每个车辆ID包含有10张图像，这10张图像拍摄于不同的道路卡口，光照、尺度以及姿态均不尽相同，相应的同一车辆也可能会具有不同的外观。先对这个数据集针对车标识别的任务，并重新进行了数据标注，再把数据进一步更改成YOLO适配的格式。
在本实施方式中，在建立了基于YOLO的车辆车标检测模型后，对上述模型识别车标的准确率作了测试，以确定该模型是否符合精度要求。具体可以参阅表1所示的车标检测识别的测试结果表，表中每行的训练样本数500，测试样本数500，表中是测试正确的样本数，基本上可达到100%的精度。
表1 车标识别的测试结果表
logo\训练次数 100 500 2000 10000
01-丰田 500 499 500 500
02-丰田 500 498 500 499
03-丰田 500 500 500 500
04-别克 472 500 500 500
05-大众 488 500 500 500
P3：获取第三样本数据，建立基于YOLO的车辆颜色检测模型。
在本实施方式中，上述用作第三样本数据的数据集（即颜色识别样本）具体可以是来自某大学的媒体和通信实验室实验数据。其中，该数据集中包含8种不同颜色的车辆，在做好相应的标注工作后，把数据进一步更改成YOLO适配的格式。具体的，可以将数据集按照50%的预设比例分为第三训练集和第三测试集，进行训练和测试。测试得到的结果如表2所示的颜色识别的测试精度结果表。从最后的结果可以看出，除了绿车之外，其余的识别精度都很高。
表2 颜色识别的测试精度结果表
颜色\训练次数 2000 5000 10000 23000 45000
黑色black 0.968 0.978 0.978 0.979 0.975
蓝色blue 0.970 0.983 0.987 0.974 0.990
青色cyan 0.985 1.000 0.978 0.992 0.992
灰色gray 0.897 0.921 0.907 0.886 0.920
绿色green 0.887 0.804 0.842 0.846 0.842
红色red 0.994 0.981 0.993 0.995 0.994
白色white 0.917 0.923 0.927 0.966 0.953
黄色yellow 0.972 0.989 0.993 0.989 0.982
P4：获取历史视频数据，建立车辆跟踪模型。
在本实施方式中，上述历史视频数据具体可以是在道路卡口和路口采集的，其中，上述数据可以是包含了多个车辆的数据集。此外，上述数据中还包含了不同时段、不同天气、不同路况下在不同路段的车流，因而后续训练得到的模型网络会具有更好的泛化性能。
在本实施方式中，上述历史视频数据的原始形态是视频格式，可以将视频格式的数据先转换为图像数据，并注意去掉多帧间相似度过高的图片（例如车辆停在停车线前的情况）以避免多次输入近似过高的数据进行训练，使得参与训练的数据具有多样性。然后，针对任务需求，可以对数据进行标注。具体的，可以根据颜色来区分不同车辆，例如图4所示的流程。但是当然也可以按照其他规则来划分。例如，还可以采用车型的大小来区分，具体的可以将车辆分成small（小型）， medium（中型），和large（大型）等以便在视频数据中区分不同的目标车辆，对不同的目标车辆分别进行跟踪。
P5：获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像；
在本实施方式中，具体实施时，所输入的待检测的数据可以是视频数据，也可以是图像数据。本实施方式仅以视频数据为例进行说明。
P6：通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆。
P7：通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果。
在本实施方式中，具体实施时，可以通过训练好的YOLO（即预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型）进行检测，以确定针对待测图像的车辆车标检测结果（即车标识别结果）、车辆颜色检测结果（即颜色识别结果）。
P8：根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
在本实施方式中，上述通过基于数据关联的车辆跟踪模型对待检测的视频数据中的目标车辆进行跟踪具体可以包括综合联合概率数据关联算法（JPDA）和扩展卡尔曼滤波（EKF）对目标车辆进行跟踪处理。
在本实施方式中，具体的，可以利用不同的边界框分别框出视频数据中各帧图像里各个不同的目标车辆，并且在边界框的左上角显示所框出车辆的特征标识信息，例如可以显示目标车辆的颜色、车标甚至车型大小以示区分，进而可以视频数据中多个车辆分别进行即时、有效的跟踪。
通过上述场景示例，验证了本申请实施例提供的车辆监控方法和装置，由于利用预先训练好的基于YOLO的检测模型直接对待测图像进行检测，以识别出待测图像中的目标车辆，以及目标车辆的车标和颜色，进而准确地确定出目标车辆的基本特征信息，以锁定目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行较为有效的跟踪，确实解决了现有方法存在的实施过程复杂、处理效率低、占用资源量大的技术问题，达到能高效、精确地识别分析目标车辆的基本特征信息，并即时地对所获取的视频数据中的目标车辆进行实时跟踪的技术效果。
尽管本申请内容中提到不同的具体实施例，但是，本申请并不局限于必须是行业标准或实施例所描述的情况等，某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、处理、输出、判断方式等的实施例，仍然可以属于本申请的可选实施方案范围之内。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境）。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，移动终端，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的实施方式包括这些变形和变化而不脱离本申请。

Claims (11)

1.一种基于YOLO的车辆信息检测和跟踪方法，其特征在于，包括：
获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像；
通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆；
通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果；
根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述基于YOLO的车辆目标检测模型按照以下方式建立：
获取第一样本数据，其中，所述第一样本数据为包含有车辆的图像数据；
对所述第一样本数据进行车辆标注，并将标注后的第一样本数据分为第一训练集和第一测试集；
利用所述第一训练集对YOLO神经网络进行训练，并利用所述第一测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆目标检测模型。
3.根据权利要求2所述的方法，其特征在于，所述第一样本数据具体可以为包含有真实车辆形状和大小的图像数据，或包含有虚拟车辆形状和大小的图像数据，或包含有真实车辆形状和大小的图像数据和包含有虚拟车辆形状和大小的图像数据的合集。
4.根据权利要求1所述的方法，其特征在于，所述基于YOLO的车辆车标检测模型按照以下方式建立：
获取第二样本数据，其中，所述第二样本数据为包含有车辆车标的车辆图像数据；
对所述第二样本数据进行车标标注，并将标注后的第二样本数据分为第二训练集和第二测试集；
利用所述第二训练集对YOLO神经网络进行训练，并利用所述第二测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆车标检测模型；
对于第二样本数据，其特征在于，所述包含有车辆车标的车辆图像数据为车辆的车头或车尾照片。
5.根据权利要求1所述的方法，其特征在于，所述基于YOLO的车辆颜色检测模型按照以下方式建立：
获取第三样本数据，其中，所述第三样本数据为包含有车辆颜色的车辆图像数据；
对所述第三样本数据进行颜色标注，并将标注后的第三样本数据分为第三训练集和第三测试集；
利用所述第三训练集对YOLO神经网络进行训练，并利用所述第三测试集对所述训练后的YOLO神经网络进行测试，以建立所述基于YOLO的车辆颜色检测模型。
6.根据权利要求1所述的方法，其特征在于，通过数据关联对待检测的视频数据中的目标车辆进行跟踪，包括：
获取所述待检测的视频数据中的当前帧的待测图像中的目标车辆的观测数据；
将所述当前帧的待测图像中的目标车辆的观测数据与轨迹列表中的轨迹数据进行数据关联，得到关联结果；根据所述关联结果，对所述待检测的视频数据中的目标车辆进行跟踪；
其中，所述轨迹列表指的是目标车辆位置随时间变化的一个列表。
7.根据权利要求6所述的方法，其特征在于，将所述当前帧的待测图像中的目标车辆的观测数据与轨迹列表中的轨迹数据进行数据关联，得到关联结果，包括：
通过联合概率数据关联法，将所述当前帧的待测图像中的目标车辆的观测数据与所述轨迹列表中的轨迹数据进行数据关联，得到所述关联结果。
8.根据权利要求6所述的方法，其特征在于，在获取所述待检测的视频数据中的当前帧的待测图像中的目标车辆的观测数据后，所述方法还包括：
对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理，得到滤波后的当前帧的待测图像中的目标车辆的观测数据。
9.根据权利要求8所述的方法，其特征在于，对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理，包括：
通过扩展卡尔曼滤波器对所述当前帧的待测图像中的目标车辆的观测数据进行滤波处理。
10.一种基于YOLO的车辆信息检测和跟踪装置，其特征在于，包括：
获取模块，用于获取待检测的视频数据，其中，所述待检测的视频数据包括多帧待测图像；
第一检测模块，用于通过预设的基于YOLO的车辆目标检测模型对所述待测图像进行检测，以确定待测图像中的目标车辆；
第二检测模块，用于通过预设的基于YOLO的车辆车标检测模型、预设的基于YOLO的车辆颜色检测模型对所述待测图像进行检测，以获取目标车辆车标检测结果、目标车辆颜色检测结果；
跟踪模块，用于根据所述目标车辆车标检测结果和/或所述目标车辆颜色检测结果锁定所述目标车辆，并通过数据关联对待检测的视频数据中的目标车辆进行跟踪。
11.一种基于YOLO的车辆信息检测和跟踪计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被执行时实现权利要求1至9中任一项所述方法的步骤。
CN201810543801.0A 2018-05-31 2018-05-31 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 Pending CN108875600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810543801.0A CN108875600A (zh) 2018-05-31 2018-05-31 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810543801.0A CN108875600A (zh) 2018-05-31 2018-05-31 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质

Publications (1)

Publication Number Publication Date
CN108875600A true CN108875600A (zh) 2018-11-23

Family

ID=64335906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810543801.0A Pending CN108875600A (zh) 2018-05-31 2018-05-31 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN108875600A (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740441A (zh) * 2018-12-10 2019-05-10 平安科技（深圳）有限公司 基于图像识别的目标检测方法、装置及终端设备
CN109816024A (zh) * 2019-01-29 2019-05-28 电子科技大学 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN109871763A (zh) * 2019-01-16 2019-06-11 清华大学 一种基于yolo的特定目标跟踪方法
CN109902629A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种复杂交通场景下的实时车辆目标检测模型
CN109978043A (zh) * 2019-03-19 2019-07-05 新华三技术有限公司 一种目标检测方法及装置
CN110175533A (zh) * 2019-05-07 2019-08-27 平安科技（深圳）有限公司 高架桥交通状况实时监测方法、装置、终端及存储介质
CN110222604A (zh) * 2019-05-23 2019-09-10 复钧智能科技(苏州)有限公司 基于共享卷积神经网络的目标识别方法和装置
CN110245577A (zh) * 2019-05-23 2019-09-17 复钧智能科技(苏州)有限公司 目标车辆识别方法、装置及车辆实时监控系统
CN110263622A (zh) * 2019-05-07 2019-09-20 平安科技（深圳）有限公司 列车火情监测方法、装置、终端及存储介质
CN110399884A (zh) * 2019-07-10 2019-11-01 浙江理工大学 一种特征融合自适应锚框模型车辆检测方法
CN110516761A (zh) * 2019-09-03 2019-11-29 成都容豪电子信息科技有限公司 基于深度学习的目标检测系统、方法、存储介质及终端
CN110647818A (zh) * 2019-08-27 2020-01-03 北京易华录信息技术股份有限公司 一种遮挡目标物体的识别方法及装置
CN110807123A (zh) * 2019-10-29 2020-02-18 中国科学院上海微系统与信息技术研究所 车辆长度计算方法、装置、系统、计算机设备及存储介质
CN110837807A (zh) * 2019-11-11 2020-02-25 内蒙古大学 一种套牌车辆的识别方法及系统
CN110942005A (zh) * 2019-11-21 2020-03-31 网易（杭州）网络有限公司 物体识别方法及装置
CN110969135A (zh) * 2019-12-05 2020-04-07 中南大学 自然场景中的车标识别方法
CN111178158A (zh) * 2019-12-10 2020-05-19 山东大学 一种骑车人检测方法及系统
CN111209905A (zh) * 2020-04-23 2020-05-29 北京慧智数据科技有限公司 一种基于深度学习与ocr技术相结合的污损遮挡号牌识别方法
CN111259777A (zh) * 2020-01-13 2020-06-09 天地伟业技术有限公司 一种端到端的多任务车辆品牌识别方法
CN111383246A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 条幅检测方法、装置及设备
CN111401241A (zh) * 2020-03-16 2020-07-10 中国民用航空飞行学院 基于卷积神经网络的海上民用航空器搜寻方法及装置
WO2020147410A1 (zh) * 2019-01-14 2020-07-23 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN111652907A (zh) * 2019-12-25 2020-09-11 珠海大横琴科技发展有限公司 一种基于数据关联的多目标跟踪方法、装置及电子设备
CN111666898A (zh) * 2020-06-09 2020-09-15 北京字节跳动网络技术有限公司 用于识别车辆所属类别的方法和装置
US10776655B1 (en) * 2019-04-09 2020-09-15 Banjo, Inc. Estimating color of vehicles on a roadway
CN111782552A (zh) * 2020-08-07 2020-10-16 广州极点三维信息科技有限公司 一种基于区域划分的自动测试方法和装置
CN111931545A (zh) * 2019-05-13 2020-11-13 杭州海康威视数字技术股份有限公司 号牌识别方法及装置
CN112036421A (zh) * 2019-05-16 2020-12-04 搜狗（杭州）智能科技有限公司 一种图像处理方法、装置和电子设备
US10867380B1 (en) 2019-07-01 2020-12-15 Sas Institute Inc. Object and data point tracking to control system in operation
CN112329592A (zh) * 2020-10-30 2021-02-05 北京百度网讯科技有限公司 机场协同决策方法、装置、设备以及存储介质
WO2021027890A1 (zh) * 2019-08-15 2021-02-18 杭州海康威视数字技术股份有限公司 车牌图像生成方法、装置及计算机存储介质
CN112434700A (zh) * 2020-11-25 2021-03-02 创新奇智(上海)科技有限公司 车牌识别方法、装置、设备及存储介质
US11055861B2 (en) 2019-07-01 2021-07-06 Sas Institute Inc. Discrete event simulation with sequential decision making
CN113196291A (zh) * 2019-01-23 2021-07-30 动态Ad有限责任公司 自动选择用于注释的数据样本
CN114201890A (zh) * 2022-02-16 2022-03-18 苏州博宇鑫交通科技有限公司 一种高速公路异常事件场景库构建方法
CN115546472A (zh) * 2022-11-29 2022-12-30 城云科技（中国）有限公司 一种路面车辆重识别方法、装置及应用
CN116563770A (zh) * 2023-07-10 2023-08-08 四川弘和数智集团有限公司 车辆颜色的检测方法、装置及设备和介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226697A (zh) * 2013-04-07 2013-07-31 布法罗机器人科技（苏州）有限公司 快速车辆跟踪方法及装置
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN105678804A (zh) * 2016-01-06 2016-06-15 北京理工大学 一种耦合目标检测与数据关联的实时在线多目标跟踪方法
CN105741546A (zh) * 2016-03-18 2016-07-06 重庆邮电大学 路侧设备与车传感器融合的智能车辆目标跟踪系统及方法
CN105809126A (zh) * 2016-03-04 2016-07-27 重庆邮电大学 Dsrc与车载传感器融合的智能车辆目标跟踪系统及方法
CN107134144A (zh) * 2017-04-27 2017-09-05 武汉理工大学 一种用于交通监控的车辆检测方法
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及系统
CN107491748A (zh) * 2017-08-09 2017-12-19 电子科技大学 一种基于视频的目标车辆提取方法
CN107665353A (zh) * 2017-09-15 2018-02-06 平安科技（深圳）有限公司 基于卷积神经网络的车型识别方法、装置、设备及计算机可读存储介质
CN107886523A (zh) * 2017-11-01 2018-04-06 武汉大学 基于无人机多源影像的车辆目标运动速度检测方法
CN107992819A (zh) * 2017-11-29 2018-05-04 青岛海信网络科技股份有限公司 一种车辆属性结构化特征的确定方法与装置
WO2018087771A1 (en) * 2016-11-14 2018-05-17 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Spatialized verbalization of visual scenes
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226697A (zh) * 2013-04-07 2013-07-31 布法罗机器人科技（苏州）有限公司 快速车辆跟踪方法及装置
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN105678804A (zh) * 2016-01-06 2016-06-15 北京理工大学 一种耦合目标检测与数据关联的实时在线多目标跟踪方法
CN105809126A (zh) * 2016-03-04 2016-07-27 重庆邮电大学 Dsrc与车载传感器融合的智能车辆目标跟踪系统及方法
CN105741546A (zh) * 2016-03-18 2016-07-06 重庆邮电大学 路侧设备与车传感器融合的智能车辆目标跟踪系统及方法
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及系统
WO2018087771A1 (en) * 2016-11-14 2018-05-17 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Spatialized verbalization of visual scenes
CN107134144A (zh) * 2017-04-27 2017-09-05 武汉理工大学 一种用于交通监控的车辆检测方法
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法
CN107491748A (zh) * 2017-08-09 2017-12-19 电子科技大学 一种基于视频的目标车辆提取方法
CN107665353A (zh) * 2017-09-15 2018-02-06 平安科技（深圳）有限公司 基于卷积神经网络的车型识别方法、装置、设备及计算机可读存储介质
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN107886523A (zh) * 2017-11-01 2018-04-06 武汉大学 基于无人机多源影像的车辆目标运动速度检测方法
CN107992819A (zh) * 2017-11-29 2018-05-04 青岛海信网络科技股份有限公司 一种车辆属性结构化特征的确定方法与装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANIBAL OLLERO等著: "《ROBOT 2017：Third Iberian Robotics Conference：Volume 2 (Advances in Intelligent Systems and Computing Book 694) 》", 31 December 2017 *
张俊等: "一种基于目标检测和联合概率数据关联的多目标跟踪方法", 《工业控制计算机》 *
武汉体育学院教务处编: "《武汉体育学院 广告学专业本科教学大纲 2013年版》", 31 December 2013, 武汉体育学院教务处 *
罗霄，罗庆生编著: "《工业机器人技术基础与应用分析》", 31 March 2018, 北京理工大学出版社 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740441A (zh) * 2018-12-10 2019-05-10 平安科技（深圳）有限公司 基于图像识别的目标检测方法、装置及终端设备
CN111383246A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 条幅检测方法、装置及设备
CN111383246B (zh) * 2018-12-29 2023-11-07 杭州海康威视数字技术股份有限公司 条幅检测方法、装置及设备
WO2020147410A1 (zh) * 2019-01-14 2020-07-23 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质
CN109871763A (zh) * 2019-01-16 2019-06-11 清华大学 一种基于yolo的特定目标跟踪方法
CN113196291A (zh) * 2019-01-23 2021-07-30 动态Ad有限责任公司 自动选择用于注释的数据样本
CN109816024A (zh) * 2019-01-29 2019-05-28 电子科技大学 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN109902629A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种复杂交通场景下的实时车辆目标检测模型
CN109978043A (zh) * 2019-03-19 2019-07-05 新华三技术有限公司 一种目标检测方法及装置
US10776655B1 (en) * 2019-04-09 2020-09-15 Banjo, Inc. Estimating color of vehicles on a roadway
CN110263622A (zh) * 2019-05-07 2019-09-20 平安科技（深圳）有限公司 列车火情监测方法、装置、终端及存储介质
CN110175533A (zh) * 2019-05-07 2019-08-27 平安科技（深圳）有限公司 高架桥交通状况实时监测方法、装置、终端及存储介质
CN111931545A (zh) * 2019-05-13 2020-11-13 杭州海康威视数字技术股份有限公司 号牌识别方法及装置
CN111931545B (zh) * 2019-05-13 2023-10-31 杭州海康威视数字技术股份有限公司 号牌识别方法及装置
CN112036421A (zh) * 2019-05-16 2020-12-04 搜狗（杭州）智能科技有限公司 一种图像处理方法、装置和电子设备
CN110245577A (zh) * 2019-05-23 2019-09-17 复钧智能科技(苏州)有限公司 目标车辆识别方法、装置及车辆实时监控系统
CN110222604A (zh) * 2019-05-23 2019-09-10 复钧智能科技(苏州)有限公司 基于共享卷积神经网络的目标识别方法和装置
US11176691B2 (en) 2019-07-01 2021-11-16 Sas Institute Inc. Real-time spatial and group monitoring and optimization
US11176692B2 (en) 2019-07-01 2021-11-16 Sas Institute Inc. Real-time concealed object tracking
US11055861B2 (en) 2019-07-01 2021-07-06 Sas Institute Inc. Discrete event simulation with sequential decision making
US10867380B1 (en) 2019-07-01 2020-12-15 Sas Institute Inc. Object and data point tracking to control system in operation
CN110399884B (zh) * 2019-07-10 2021-08-20 浙江理工大学 一种特征融合自适应锚框模型车辆检测方法
CN110399884A (zh) * 2019-07-10 2019-11-01 浙江理工大学 一种特征融合自适应锚框模型车辆检测方法
CN112396076A (zh) * 2019-08-15 2021-02-23 杭州海康威视数字技术股份有限公司 车牌图像生成方法、装置及计算机存储介质
WO2021027890A1 (zh) * 2019-08-15 2021-02-18 杭州海康威视数字技术股份有限公司 车牌图像生成方法、装置及计算机存储介质
CN110647818A (zh) * 2019-08-27 2020-01-03 北京易华录信息技术股份有限公司 一种遮挡目标物体的识别方法及装置
CN110516761A (zh) * 2019-09-03 2019-11-29 成都容豪电子信息科技有限公司 基于深度学习的目标检测系统、方法、存储介质及终端
CN110807123A (zh) * 2019-10-29 2020-02-18 中国科学院上海微系统与信息技术研究所 车辆长度计算方法、装置、系统、计算机设备及存储介质
CN110837807A (zh) * 2019-11-11 2020-02-25 内蒙古大学 一种套牌车辆的识别方法及系统
CN110942005A (zh) * 2019-11-21 2020-03-31 网易（杭州）网络有限公司 物体识别方法及装置
CN110969135B (zh) * 2019-12-05 2023-04-18 中南大学 自然场景中的车标识别方法
CN110969135A (zh) * 2019-12-05 2020-04-07 中南大学 自然场景中的车标识别方法
CN111178158B (zh) * 2019-12-10 2024-02-23 山东大学 一种骑车人检测方法及系统
CN111178158A (zh) * 2019-12-10 2020-05-19 山东大学 一种骑车人检测方法及系统
CN111652907A (zh) * 2019-12-25 2020-09-11 珠海大横琴科技发展有限公司 一种基于数据关联的多目标跟踪方法、装置及电子设备
CN111652907B (zh) * 2019-12-25 2021-08-27 珠海大横琴科技发展有限公司 一种基于数据关联的多目标跟踪方法、装置及电子设备
CN111259777A (zh) * 2020-01-13 2020-06-09 天地伟业技术有限公司 一种端到端的多任务车辆品牌识别方法
CN111401241A (zh) * 2020-03-16 2020-07-10 中国民用航空飞行学院 基于卷积神经网络的海上民用航空器搜寻方法及装置
CN111209905A (zh) * 2020-04-23 2020-05-29 北京慧智数据科技有限公司 一种基于深度学习与ocr技术相结合的污损遮挡号牌识别方法
CN111666898A (zh) * 2020-06-09 2020-09-15 北京字节跳动网络技术有限公司 用于识别车辆所属类别的方法和装置
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN111782552B (zh) * 2020-08-07 2021-05-18 广州极点三维信息科技有限公司 一种基于区域划分的自动测试方法和装置
CN111782552A (zh) * 2020-08-07 2020-10-16 广州极点三维信息科技有限公司 一种基于区域划分的自动测试方法和装置
CN112329592A (zh) * 2020-10-30 2021-02-05 北京百度网讯科技有限公司 机场协同决策方法、装置、设备以及存储介质
CN112434700A (zh) * 2020-11-25 2021-03-02 创新奇智(上海)科技有限公司 车牌识别方法、装置、设备及存储介质
CN114201890A (zh) * 2022-02-16 2022-03-18 苏州博宇鑫交通科技有限公司 一种高速公路异常事件场景库构建方法
CN115546472B (zh) * 2022-11-29 2023-02-17 城云科技（中国）有限公司 一种路面车辆重识别方法、装置及应用
CN115546472A (zh) * 2022-11-29 2022-12-30 城云科技（中国）有限公司 一种路面车辆重识别方法、装置及应用
CN116563770A (zh) * 2023-07-10 2023-08-08 四川弘和数智集团有限公司 车辆颜色的检测方法、装置及设备和介质
CN116563770B (zh) * 2023-07-10 2023-09-29 四川弘和数智集团有限公司 车辆颜色的检测方法、装置及设备和介质

Similar Documents

Publication Publication Date Title
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN110263774B (zh) 一种人脸检测方法
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN104572804B (zh) 一种视频物体检索的方法及其系统
US10043097B2 (en) Image abstraction system
CN106874826A (zh) 人脸关键点跟踪方法和装置
CN107481279A (zh) 一种单目视频深度图计算方法
CN105893946A (zh) 一种正面人脸图像的检测方法
CN109376631A (zh) 一种基于神经网络的回环检测方法及装置
CN109711416A (zh) 目标识别方法、装置、计算机设备和存储介质
CN110490238A (zh) 一种图像处理方法、装置及存储介质
CN109948593A (zh) 基于结合全局密度特征的mcnn人群计数方法
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN106845341A (zh) 一种基于虚拟号牌的无牌车辆识别方法
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN110414571A (zh) 一种基于特征融合的网站报错截图分类方法
CN107767416A (zh) 一种低分辨率图像中行人朝向的识别方法
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN109003291A (zh) 目标跟踪方法及装置
CN108875456A (zh) 目标检测方法、目标检测装置和计算机可读存储介质
Yin et al. G2Grad-CAMRL: an object detection and interpretation model based on gradient-weighted class activation mapping and reinforcement learning in remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123