CN110245577A - 目标车辆识别方法、装置及车辆实时监控系统 - Google Patents
目标车辆识别方法、装置及车辆实时监控系统 Download PDFInfo
- Publication number
- CN110245577A CN110245577A CN201910436309.8A CN201910436309A CN110245577A CN 110245577 A CN110245577 A CN 110245577A CN 201910436309 A CN201910436309 A CN 201910436309A CN 110245577 A CN110245577 A CN 110245577A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- logo
- determined
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012544 monitoring process Methods 0.000 title claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 43
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 description 10
- 238000005070 sampling Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标车辆识别方法，用于从含有多个待判定车辆的待测视频中识别出目标车辆，其特征在于根据目标车辆的车牌以及车标从待测视频的各个待判定车辆中判定出目标车辆，其中车标分析的方法包含如下步骤：步骤S1，对待测图像进行预处理；步骤S2，获得全部待判定车辆的位置；步骤S3，根据待判定车辆的位置获取各个待判定车辆的图像部分；步骤S4，将待判定车辆的图像部分输入车标获取网络模型，获得各个待判定车辆的车标。本发明还提供了实现该目标车辆识别方法的目标车辆识别装置以及含有该装置的车辆实时监控系统。
Description
技术领域
本发明属于计算机视觉、人工智能技术领域，具体涉及一种目标车辆识别方法、装置以及含有该装置的车辆实时监控系统。
背景技术
目标车辆识别是交通管理领域中的一个重要研究课题。例如，当肇事车辆逃逸时，需要获取相关区域的大量监控视频，从视频的图像帧中所含有的大量车辆中找到该肇事车辆，从而进行追踪；在交通监管系统中，若检查到超速等行为，也需要根据视频中的超速车辆信息从车辆数据库中找到对应车辆。
现有技术中，目标车辆的识别主要利用图像分析技术分析得到车牌号，然后根据车牌号分析得出目标车辆。然而，若目标车辆为套牌车，则其车牌号与实际不符，无法仅依靠车牌号准确查找到目标车辆。
为了提高目标车辆识别的准确性，现有技术中还出现了一些利用特征提取器提取车辆其他特征，然后采用这些其他特征进行综合分析判定目标车辆的方法。例如，通过图像分析及机器学习的方法从待测图像或待测图片帧中获取各个车辆的颜色、车型等特征，然后综合这些特征进行相似度分析，从而从图像或图片帧的多个车辆中判定出目标车辆。然而，由于不同的特征的特点各自不同，需要使用不同的图像分析方法和机器学习模型(例如，颜色分析通常采用分析并计算车身上占比最多的颜色的形式，车型分析则通常采用提取车脸、车轮数量、车窗等进行综合判断的方式)，因此，一方面，这种多特征分析的方法在前期需要会耗费大量时间精力来建立和完善分析方法和模型；另一方面，在目标车辆识别时，需要运行多个不同的分析方法及模型，运算量较大，在需要从大量视频中查找目标车辆的场合下，识别效率就较为低下；同时，由于识别时运算量较大，而视频所含有的帧图像非常多，若抽样间隔太大则有可能遗漏关键图片帧导致漏查，若抽样间隔小则可能导致无法及时完成识别，使得目标车辆的实时识别难以实现。
发明内容
针对上述技术问题，发明人针对不同的车辆特征进行了研究，发现车标是车辆识别的关键特征，将其与车牌识别等结合起来，可以大大提高车辆识别的可靠；进一步，发明人还发现，通过经过特定训练的卷积神经网络模型可以在无需耗费大量计算量的情况下有效地获取车辆的车标特征，从而与车牌特征结合进行目标车辆识别。
基于上述发现，本发明提出了了一种可靠性高、计算量小的目标车辆识别方法和装置、系统，具体提出了如下技术方案：
本发明提供了一种目标车辆识别方法，用于从含有多个待判定车辆的待测视频中识别出目标车辆，其特征在于，按照预定方法从待测视频中依次获取图片帧作为待测图像进行车牌分析及车标分析，获取待判定车辆的车牌以及车标，根据目标车辆的车牌以及车标从待测视频的各个待判定车辆中判定出目标车辆，其中车标分析的方法包含如下步骤：步骤S1，对待测图像进行预处理得到预处理图像；步骤S2，将预处理图像输入车辆检测网络模型，获得全部待判定车辆的位置；步骤S3，根据待判定车辆的位置从预处理图像中获取各个待判定车辆的图像部分；步骤S4，将待判定车辆的图像部分输入车标获取网络模型，获得各个待判定车辆的车标，车标获取网络模型的获得过程包括如下步骤：步骤T1，搭建具有预定层数且含有与车标属性相对应的全连接层的卷积神经网络模型并进行初始化；步骤T2，构建含有多个车辆及其车标标记的训练图像作为训练集；步骤T3，将训练集输入初始化后的卷积神经网络模型进行训练，直至卷积神经网络模型中各层参数收敛，得到训练好的卷积神经网络模型作为车标获取网络模型。
本发明提供的目标车辆识别方法，还可以具有这样的技术特征，其中，步骤S1中的预处理过程包括如下步骤：步骤S1-1，将每张待测图像尺寸统一；步骤S1-2，依次将各张待测图像中的每个像素点的值除以255从而将图像归一化得到预处理图像。
本发明提供的目标车辆识别方法，还可以具有这样的技术特征，其中，车辆检测网络模型为YOLOv3车辆检测网络模型。
本发明提供的目标车辆识别方法，还可以具有这样的技术特征，其中，具有预定层数的卷积神经网络模型为Resnet18网络模型，预定层数为18。
本发明提供的目标车辆识别方法，还可以具有这样的技术特征，其中，从待测视频中获取待测图像的预定方法为：依次抽取待测视频的各个图片帧存入图像队列，然后按时间顺序依次从图像队列中取出各个图片帧，对图片帧使用拉普拉斯方差算法进行帧质量分析，随后将质量清晰的图片帧作为待测图像。
本发明提供的目标车辆识别方法，还可以具有这样的技术特征，其中，拉普拉斯方差算法包括如下步骤：步骤H1，依次将图像队列中的图片帧转变为灰度图；步骤H2，利用拉普拉斯掩膜对灰度图进行卷积计算；步骤H3，计算方差值；步骤H4，将计算出来的方差值与预定义的阈值比较，将低于阈值的图片帧作为模糊图像进行舍弃操作，将高于阈值的图片帧设定为待测图像。
进一步，本发明还提供了一种目标车辆识别装置，用于从含有多个待判定车辆的待测视频中识别出目标车辆，其特征在于，包括：待测图像获取部，从待测视频中依次获取图片帧作为待测图像；车牌获取部，从待测图像中获取待判定车辆的车牌；车标获取部，从待测图像中获取待判定车辆的车标；以及目标判定部，根据目标车辆的车牌以及车标从待判定车辆中判定出目标车辆，其中车标获取部包括：预处理单元，对待测图像进行预处理得到预处理图像；车辆位置检测单元，将预处理图像输入车辆检测网络模型，获得全部待判定车辆的位置；图像部分获取单元，根据待判定车辆的位置从预处理图像中获取各个待判定车辆的图像部分；车标获取单元，将待判定车辆的图像部分输入车标获取网络模型，获得各个待判定车辆的车标，车标获取网络模型的获得过程包括如下步骤：步骤T1，搭建具有预定层数且含有与车标属性相对应的全连接层的卷积神经网络模型并进行初始化；步骤T2，构建含有多个车辆及其车标标记的训练图像作为训练集；步骤T3，将训练集输入初始化后的卷积神经网络模型进行训练，直至卷积神经网络模型中各层参数收敛，得到训练好的卷积神经网络模型作为车标获取网络模型。
进一步，本发明还提供了一种车辆实时监控系统，用于实时获取与车辆相关的监控视频并从该监控视频中实时查找目标车辆，其特征在于，包括：视频获取装置，实时获取监控视频；以及目标车辆识别装置，与视频获取装置通信连接，将该视频获取装置实时获取的监控视频作为待测视频并从该待测中识别出目标车辆后进行输出，其中，目标车辆识别装置为如上所述的目标车辆识别装置。
发明作用和效果
根据本发明提供的目标车辆识别方法、装置及系统，由于采用车辆检测网络模型获取了预处理图像中的待判定车辆的位置，根据待判定车辆的位置将对应的图像部分输入车标获取网络模型获得了各个待判定车辆的车标，且目标车辆识别基于该获得的车标以及其他现有技术方法获得的车牌进行，因此可以在计算量小的情况下就准确地识别出视频中的目标车辆，在抽样间隔小的情况下也能够及时完成识别，使得识别效率高、实时识别能够准确实现。
附图说明
图1是本发明实施例的待测图像中待判定车辆的车标分析流程图；
图2是本发明实施例中的模型整体结构示意图；
图3是本发明实施例中采用的YOLOv3车辆检测网络模型框架中Darknet的残差网络层结构图；
图4是本发明实施例中采用的Resnet18车标获取网络模型中残差网络层结构图；
图5是本发明变形例的车辆实时监控系统的构成框图。
具体实施方式
本实施例中所使用的一个数据集为利用开源标定软件LabelImg构建的带有标注和标签的图片库而得到，具体地，该数据集为Compcars。Compcars是由香港中文大学发布的一个大规模车辆细粒度属性识别和确认数据集。该数据集包含来自互联网场景和自然监控场景下的图片。互联网车辆图片包含163个厂家的1716种汽车型号，总共有136726张包含全车身的图片和27618张包含部分车身(例如车灯)的图片。全车身图片标记了坐标框，视角。每个车型还标记了5种车辆性能的不同属性，包括最大车速、排量、车门数、车座数和汽车品牌。监控场景图片包含了50000张车辆前脸图片。该数据集可以完成以下视觉任务：细粒度分类、属性预测和车型确认。本实施例中，利用开源标定软件LabelImg根据各个汽车品牌进行了车标的对应标记，从而将其作为含有车标信息的数据集使用。
本实施例中还采用了另一个数据集，即UA-DETRAC数据集。该数据集不仅在各个含有车辆的图像中标注了车辆的位置，而且标注了车型。具体地，该数据集包括在中国北京和天津的24个不同地点使用Cannon EOS 550D摄像机拍摄的10小时的视频。录像以每秒25帧(fps)录制，分辨率为960×540像素。UA-DETRAC数据集中有超过14万个图像帧，手动标注了8250个车辆，总计有121万个标记的物体边界框。
另外，本实施实现需要硬件平台一张GTX1080Ti显卡，用于GPU加速。
以下结合附图对实施例进行具体说明。
<实施例>
本实施例直接对待测视频进行处理。首先，依次抽取待测视频的各个图片帧存入图像队列，然后按时间顺序依次从图像队列中取出各个图片帧，对图片帧使用拉普拉斯方差算法进行帧质量分析，确保图片帧质量清晰。随后，将质量清晰的图片帧作为待测图像进行车牌分析及车标分析。
本实施例中，拉普拉斯方差算法包括如下步骤：
步骤H1，依次将图像队列中的图片帧转变为灰度图；
步骤H2，利用拉普拉斯掩膜对灰度图进行卷积计算；
步骤H3，计算方差值；
步骤H4，将计算出来的方差值与预定义的阈值比较，将低于阈值的作为模糊图像进行舍弃操作，将高于阈值的设定为待测图像。
本实施例中，车牌分析参考现有技术的方法进行，在此不再赘述；车标分析的主要过程包括：步骤S1，对待测图像进行预处理得到预处理图像；步骤S2，将预处理图像输入车辆检测网络模型，获得全部待判定车辆的位置；步骤S3，根据待判定车辆的位置从预处理图像中获取各个待判定车辆的图像部分；步骤S4，将待判定车辆的图像部分输入车标获取网络模型，获得各个待判定车辆的车标。以下结合附图进行具体说明。
图1是本发明实施例的待测图像中待判定车辆的车标分析流程图。
如图1所示，实施例的待测图像中待判定车辆的车标分析过程包括如下步骤：
步骤S1，对待测图像进行预处理得到预处理图像。
本实施例中，待测图像的预处理过程包括如下步骤：
步骤S1-1，将每张待测图像尺寸统一为416×416(即416像素×416像素)；
步骤S1-2，将待测图像中的每个像素点的值除以255从而将图像归一化，得到预处理图像。
步骤S2，得到上述预处理图像后即可将该预处理图像输入车辆检测网络模型，获得待测图像中的全部待判定车辆的位置。
本实施例的车辆检测网络模型为采用现有深度学习框架Pytorch搭建YOLOv3的车辆检测网络模型，将该YOLOv3车辆检测网络模型训练后得到。YOLOv3是一个端到端的One-Stage对象检测网络模型，该网络模型输入待测图像后可直接输出图像中对象的位置和识别(即对象在一种属性类型下的属性)，在特定应用场景下具有既保证准确率又满足高效率处理要求的优点。本实施例中，利用该YOLOv3车辆检测网络模型同时获得待判定车辆的位置，其搭建过程如下：
首先，使用k均值聚类算法在训练数据集上得到9个先验包围盒，这9个先验包围盒作为车辆检测包围盒生成的基础。这个先验包围盒按照尺寸大小分为大、中、小三组，由于先验包围盒是在特定场景下生成的，并且，最终车辆检测包围盒以先验包围盒为基础生成，因此，能够获得较好的检测效果。
接下来，使用卷积神经网络搭建YOLOv3框架，该框架由卷积操作和上采样操作组成，其中，多个卷积操作采用了残差网络结构，该结构由两路数据(一路是两个卷积层级联的数据和一路原始数据)相加求和构成，并且网络结构中每一个卷积层之后都做批量规范化(Batch Normalization)和激活(Leaky ReLU)操作。
图2是本发明实施例中的模型整体结构示意图，图3是本发明实施例中采用的YOLOv3车辆检测网络模型框架中Darknet的残差网络层结构图。
如图2及图3所示，YOLOv3车辆检测网络模型包括Darknet的残差网络层结构。该YOLOv3车辆检测网络模型具体包括如下结构：
(1)网络输入，车辆检测网络输入经预处理的图像，图像大小为416×416，张量形状为N3×416×416。
(2)53个卷积层，包括：
a)卷积操作C1，由1个卷积操作组成(卷积核大小为3×3，卷积核个数为32，滑动步长为1，填充为1，输出形状为N×32×416×416)；
b)卷积操作C2，由1个卷积层(卷积核大小为3×3，卷积核个数为64，滑动步长为2，填充为1，输出为N×64×208×208)和1个残差网络结构组成；
c)卷积操作C3，由1个卷积层(卷积核大小为3×3，卷积核个数为128，滑动步长为2，填充为1，输出为N×128×104×104)和2个残差网络结构组成；
d)卷积操作C4，由1个卷积层(卷积核大小为3×3，卷积核个数为256，滑动步长为2，填充为1，输出为N×256×52×52)和8个残差网络结构组成；
e)卷积操作C5，由1个卷积层(卷积核大小为3×3，卷积核个数为512，滑动步长为2，填充为1，输出为N×512×26×26)和8个残差网络结构组成；
f)卷积操作C6，由1个卷积层(卷积核大小为3×3，卷积核个数为1024，滑动步长为2，填充为1，输出为N×1024×13×13)和4个残差网络结构组成。
(3)一系列卷积、上采样和堆积操作：
a)卷积操作C7，由7个卷积层组成，输出为N×27×13×13，用来最终预测车辆位置和车型属性；
b)将卷积操作C7第5个卷积层的输出作为分支导出，分支形状为N×512×13×13，再经过一个卷积层C8(卷积核大小为1×1，卷积核个数为256，填充为0，输出为N×256×13×13)，再对输出进行上采样操作，得到张量形状为N×256×26×26，再将该张量与C5操作得到的张量进行堆积操作，得到形状N×768×26×26的张量；最后对该张量进行卷积操作C9，该卷积操作与C7类似，输出为N×27×26×26，用来最终预测车辆位置；
c)将卷积操作C9第5个卷积层的输出作为分支导出，分支形状为N×256×26×26，再经过一个卷积层C10(卷积核大小为1×1，卷积核个数为128，填充为0，输出为N×128×26×26)，再对输出进行上采样操作，得到张量形状为N×128×52×52，再将该张量与C4操作得到的张量进行堆积操作，得到形状N×384×52×52的张量；最后对该张量进行卷积操作C11，该卷积操作与C7、C9类似，输出为N×27×52×52，用来最终预测车辆位置。
(4)上一步分别得出三种形状的张量，N×27×13×13，N×27×26×26,N×27×52×52，分别用来预测检测目标中的大目标、中目标和小目标以及车型。N×27×13×13张量具有较大的有效感受野，其与大的先验包围盒结合生成预测包围盒预测大目标车辆位置；N×27×13×13张量的有效感受野最小，其与小的先验包围盒结合生成预测包围盒预测小目标车辆位置；N×27×26×26张量具有中等大小的有效感受野，与中等大小的先验包围盒结合生成包围盒预测中等目标车辆位置。
上述YOLOv3车辆检测网络模型搭建完成后，将包含多张训练图像的训练集输入搭建好的对象检测网络模型进行模型训练，得到训练好的对象检测网络模型作为对象检测部。
本实施例的YOLOv3车辆检测网络模型采用数据集UA-DETRAC作为训练数据。具体训练过程如下：先将数据进行预处理，预处理方式与步骤S1基本相同，但在其基础上加入了随机水平翻转操作实现数据集增强。训练集分批输入YOLOv3车辆检测网络模型进行训练，每次进入YOLOv3车辆检测网络模型的训练图像批次大小为16，一共迭代训练100轮。另外，训练开始前模型的各卷积层参数为随机设置。模型训练过程中，每次迭代(即一批训练图像经过模型)后，模型最后一层计算损失误差。YOLOv3车辆检测、车型识别网络模型采用MSELoss(均方损失)和SoftMax Loss(交叉熵损失)相结合的方式计算预测包围盒、车型误差。最后，将计算得到的损失误差反向传播，更新网络模型参数。模型训练完成条件与常规的卷积神经网络模型相同，即各层网络参数收敛即完成训练。
经过上述迭代训练并在迭代过程中进行误差计算和反向传播，达到各层网络参数收敛即获得训练完成的车辆检测网络模型。另外，上述训练集中虽然包含车型信息，但在模型训练时仅作为训练误差参考使用，其相关车型结果输出在后续分析过程中不使用。
将预处理图像输入车辆检测网络模型，获得待测图像中的全部待判定车辆的位置后，即可进入步骤S3。
步骤S3，根据待判定车辆的位置从预处理图像中获取各个待判定车辆的图像部分。即，在步骤S2得到预处理图像中的待判定车辆的位置后，对预处理图像进行裁切提取处理，获得每一个待判定车辆的单独的图像部分，然后进入步骤S4。
步骤S4，将待判定车辆的图像部分输入车标获取网络模型，获得各个待判定车辆的车标。
本实施例中，车标获取网络模型的构建过程如下：
步骤T1，搭建含有与车标属性相对应的全连接层的卷积神经网络模型并进行初始化。
图4是本发明实施例中采用的Resnet18车标获取网络模型中残差网络层结构图。
如图2及图4所示，本实施例采用Resnet18作为车标获取网络模型，该Resnet18的层数为18层，并且其含有一个全连接层。其中，卷积层采用了残差网络结构，该结构由两路数据(一路是两个卷积层级联的数据和一路原始数据)相加求和构成，每层卷积之后都有批量规范化(Batch Normalization)操作，激活(ReLU)操作是在第一层卷积之后以及两路数据相加之后。
上述车标获取网络模型具体包括如下结构：
(1)网络输入，具体输入标记了车标的图像，图像大小为224×224，张量形状为n×3×224×224。
(2)多个卷积层，包括：
a)卷积操作C12，由1个卷积层(卷积核大小为7×7，卷积核个数为64，滑动步长为2，填充为3，输出形状为n×64×112×112)和一个最大池化层(核大小为3×3，滑动步长为2，填充为1，输出形状为n×64×56×56)组成。
b)卷积操作C13，由两个残差网络结构组成，两个残差网络卷积层核大小均为3×3，卷积核个数均为64，滑动步长均为1，填充均为1，输出形状为n×64×56×56。
c)卷积操作C14，由两个残差网络结构组成，其中第一个残差网络结构卷积层滑动步长为2，所以该卷积操作带有下采样操作，最终输出形状为n×128×28×28。
d)卷积操作C15、C16与卷积操作C14类似，只有卷积核个数不同，C16输出形状为n×512×7×7。
(3)平均池化操作，将前面多次卷积得到的形状为n×512×7×7的张量进行池化操作，得到一个形状为n×512×1×1的张量。
(4)将上一步得到的张量作为车标全连接层的输入，用于最终得到车标。
步骤T2，上述模型构建完成后，即可构建含有多个车辆及其车标标记的训练图像作为训练集。该训练集由Compcars数据集中添加车标标记后得到，即，根据Compcars数据集中所含的汽车品牌标记，对应地利用开源标定软件LabelImg添加车标标记，得到的数据集即为训练集。
步骤T3，将训练集输入初始化后的卷积神经网络模型进行训练，直至卷积神经网络模型中各层参数收敛，得到训练好的卷积神经网络模型作为车标获取网络模型。输入时，仅需输入训练图像及其对应的车标标记，该数据集所含有的其他标记信息则不用输入。
步骤T3的具体训练过程与YOLOv3车辆检测网络模型的训练过程类似，即，先将训练集的图像进行预处理，图像尺寸resize为224×224，再进行归一化和规范化操作，然后将训练集分批输入进行训练；模型训练过程中，每次迭代(即一批训练图像经过模型)后，模型最后一层计算损失误差，最后，将计算得到的损失误差反向传播，更新网络模型参数。以上过程一共迭代100轮，各层网络参数收敛即完成训练。
经过以上模型和构建过程，即可得到车标获取网络模型，该车标获取网络模型含有一个与车标相对应的全连接层。然后，即可将经过步骤S3得到的各个待判定车辆的图像部分输入车标获取网络模型，得到待判定车辆的车标。然后，结合已经获得的待判定车辆的车牌，即可进行目标车辆识别，具体识别规则可以根据需要设定。例如，当需要在视频中查找目标车辆时，可以根据车牌及车标进行匹配分析，当车牌与车标均符合时，说明该待判定车辆为目标车辆；当其中仅有一个符合时，说明该待判定车辆不是目标车辆。若当前的待测图像中没有目标车辆，也可以立刻开始下一个待测图像的分析，从而与视频的图片帧获取进行同步。
实施例作用与效果
根据上述实施例提供的目标车辆识别方法，由于采用车辆检测网络模型获取了预处理图像中的待判定车辆的位置，根据待判定车辆的位置将对应的图像部分输入车标获取网络模型获得了各个待判定车辆的车标，且目标车辆识别基于该获得的车标以及其他现有技术方法获得的车牌进行，因此可以在计算量小的情况下就准确地识别出视频中的目标车辆，在抽样间隔小的情况下也能够及时完成识别，使得识别效率高、实时识别能够准确实现。
实施例中，由于车辆检测网络模型采用One-Stage对象检测框架YOLOv3，在满足准确率要求的同时，极大地提高了车辆检测的效率；而车标获取网络模型采用了Resnet-18，即，其层数为18层，层数相对较少，具有在保证了正确率的同时减少卷积运算，最大程度地提高效率的优点。在其他实施例中，也可以采用其他特定层数的模型；发明人发现，本发明中，采用层数为20以下的模型，其计算量均足够小，能够保证实时视频中的目标车辆识别要求。
实施例中，依次抽取待测视频的图片帧，利用拉普拉斯方差算法进行帧质量分析，随后将质量清晰的图片帧作为待测图像，该方法能够筛除清晰度不够的图片帧，同时还能够保证视频的清晰图片帧能够最大程度地保留，因此，能够在保留待测视频的信息的前提下减少一些不必要的计算量。
综合以上几种方法，本实施例的目标车辆识别方法能够在计算量尽量小的前提下实现准确、及时的目标车辆识别，十分适合应用于视频监控的目标车辆实时识别中。
<变形例>
本变形例提供了一种基于实施例的目标车辆识别方法的目标车辆识别装置及含有该装置的车辆实时监控系统。
图5是本发明变形例的车辆实时监控系统的构成框图。
如图5所示，变形例的车辆实时监控系统100包括视频获取装置10以及目标车辆识别装置20。
其中，视频获取装置10实时获取监控视频，例如，交通监控视频、社区安防监控视频、社区/商业区车辆管理监控视频等等。
目标车辆识别装置20与通信连接，将该视频获取装置10实时获取的监控视频作为待测视频并从该待测中识别出目标车辆后进行输出，该目标车辆识别装置20包括：
从待测视频中依次获取图片帧作为待测图像的待测图像获取部21、从待测图像中获取待判定车辆车牌的车牌获取部22、从待测图像中获取待判定车辆车标的车标获取部23、根据目标车辆的车牌以及车标从待判定车辆中判定出目标车辆的目标判定部24以及控制部25、通信部26。
其中，控制部25用于控制目标车辆识别装置20各个构成部分的工作，通信部26用于进行目标车辆识别装置20各个构成部分之间以及目标车辆识别装置20与视频获取装置10的数据交换。
车标获取部23包括对待测图像进行预处理得到预处理图像的预处理单元、将预处理图像输入车辆检测网络模型从而获得全部待判定车辆的位置的车辆位置检测单元、根据待判定车辆的位置从预处理图像中获取各个待判定车辆的图像部分的图像部分获取单元以及将待判定车辆的图像部分输入车标获取网络模型，获得各个待判定车辆车标的车标获取单元。
另外，目标车辆识别装置20中还含有已经训练完成并且打包形成相应模型运行程序的车辆检测网络模型以及车标获取网络模型，该两个模型的获取方法与实施例相同，在此不再赘述。该目标车辆识别装置20主要用于进行目标车辆识别，其工作过程与实施例的目标车辆识别方法的步骤基本相同，在此不再赘述。
本变形例的车辆实时监控系统100主要用于交通监控、社区安防监控、社区/商业区车辆管理监控，其可以根据需要从获得的监控视频中查找到目标车辆。
Claims (8)
1.一种目标车辆识别方法，用于从含有多个待判定车辆的待测视频中识别出目标车辆，其特征在于，按照预定方法从所述待测视频中依次获取图片帧作为待测图像进行车牌分析及车标分析，获取所述待判定车辆的车牌以及车标，根据所述目标车辆的车牌以及车标从所述待测视频的各个待判定车辆中判定出所述目标车辆，其中所述车标分析的方法包含如下步骤：
步骤S1，对待测图像进行预处理得到预处理图像；
步骤S2，将所述预处理图像输入车辆检测网络模型，获得全部所述待判定车辆的位置；
步骤S3，根据所述待判定车辆的所述位置从所述预处理图像中获取各个待判定车辆的图像部分；
步骤S4，将所述待判定车辆的所述图像部分输入车标获取网络模型，获得各个所述待判定车辆的车标，
所述车标获取网络模型的获得过程包括如下步骤：
步骤T1，搭建具有预定层数且含有与车标属性相对应的全连接层的卷积神经网络模型并进行初始化；
步骤T2，构建含有多个车辆及其车标标记的训练图像作为训练集；
步骤T3，将所述训练集输入初始化后的所述卷积神经网络模型进行训练，直至所述卷积神经网络模型中各层参数收敛，得到训练好的所述卷积神经网络模型作为所述车标获取网络模型。
2.根据权利要求1所述的目标车辆识别方法，其特征在于：
其中，步骤S1中的所述预处理过程包括如下步骤：
步骤S1-1，将每张所述待测图像尺寸统一；
步骤S1-2，依次将各张所述待测图像中的每个像素点的值除以255从而将图像归一化得到所述预处理图像。
3.根据权利要求1所述的目标车辆识别方法，其特征在于：
其中，所述车辆检测网络模型为YOLOv3车辆检测网络模型。
4.根据权利要求1所述的目标车辆识别方法，其特征在于：
其中，具有所述预定层数的所述卷积神经网络模型为Resnet18网络模型，所述预定层数为18。
5.根据权利要求1所述的目标车辆识别方法，其特征在于：
其中，从所述待测视频中获取所述待测图像的所述预定方法为：依次抽取所述待测视频的各个图片帧存入图像队列，然后按时间顺序依次从所述图像队列中取出各个所述图片帧，对图片帧使用拉普拉斯方差算法进行帧质量分析，随后将质量清晰的所述图片帧作为所述待测图像。
6.根据权利要求5所述的目标车辆识别方法，其特征在于：
其中，所述拉普拉斯方差算法包括如下步骤：
步骤H1，依次将所述图像队列中的所述图片帧转变为灰度图；
步骤H2，利用拉普拉斯掩膜对所述灰度图进行卷积计算；
步骤H3，计算方差值；
步骤H4，将计算出来的所述方差值与预定义的阈值比较，将低于所述阈值的所述图片帧作为模糊图像进行舍弃操作，将高于阈值的所述图片帧设定为待测图像。
7.一种目标车辆识别装置，用于从含有多个待判定车辆的待测视频中识别出目标车辆，其特征在于，包括：
待测图像获取部，从所述待测视频中依次获取图片帧作为待测图像；
车牌获取部，从所述待测图像中获取所述待判定车辆的车牌；
车标获取部，从所述待测图像中获取所述待判定车辆的车标；以及
目标判定部，根据所述目标车辆的车牌以及车标从所述待判定车辆中判定出所述目标车辆，
其中所述车标获取部包括：
预处理单元，对待测图像进行预处理得到预处理图像；
车辆位置检测单元，将所述预处理图像输入车辆检测网络模型，获得全部所述待判定车辆的位置；
图像部分获取单元，根据所述待判定车辆的所述位置从所述预处理图像中获取各个待判定车辆的图像部分；
车标获取单元，将所述待判定车辆的所述图像部分输入车标获取网络模型，获得各个所述待判定车辆的车标，
所述车标获取网络模型的获得过程包括如下步骤：
步骤T1，搭建具有预定层数且含有与车标属性相对应的全连接层的卷积神经网络模型并进行初始化；
步骤T2，构建含有多个车辆及其车标标记的训练图像作为训练集；
步骤T3，将所述训练集输入初始化后的所述卷积神经网络模型进行训练，直至所述卷积神经网络模型中各层参数收敛，得到训练好的所述卷积神经网络模型作为所述车标获取网络模型。
8.一种车辆实时监控系统，用于实时获取与车辆相关的监控视频并从该监控视频中实时查找目标车辆，其特征在于，包括：
视频获取装置，实时获取所述监控视频；以及
目标车辆识别装置，与所述视频获取装置通信连接，将该视频获取装置实时获取的所述监控视频作为待测视频并从该待测中识别出所述目标车辆后进行输出，
其中，所述目标车辆识别装置为权利要求7所述的目标车辆识别装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910436309.8A CN110245577A (zh) | 2019-05-23 | 2019-05-23 | 目标车辆识别方法、装置及车辆实时监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910436309.8A CN110245577A (zh) | 2019-05-23 | 2019-05-23 | 目标车辆识别方法、装置及车辆实时监控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110245577A true CN110245577A (zh) | 2019-09-17 |
Family
ID=67884866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910436309.8A Pending CN110245577A (zh) | 2019-05-23 | 2019-05-23 | 目标车辆识别方法、装置及车辆实时监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110245577A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751195A (zh) * | 2019-10-12 | 2020-02-04 | 西南交通大学 | 一种基于改进YOLOv3的细粒度图像分类方法 |
| CN110929632A (zh) * | 2019-11-19 | 2020-03-27 | 复旦大学 | 面向复杂场景的车辆目标检测方法及装置 |
| CN111062381A (zh) * | 2019-10-17 | 2020-04-24 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车牌位置检测方法 |
| CN112232371A (zh) * | 2020-09-17 | 2021-01-15 | 福州大学 | 一种基于YOLOv3与文本识别的美式车牌识别方法 |
| CN112800813A (zh) * | 2019-11-13 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046196A (zh) * | 2015-06-11 | 2015-11-11 | 西安电子科技大学 | 基于级联卷积神经网络的前车车辆信息结构化输出方法 |
| CN107481238A (zh) * | 2017-09-20 | 2017-12-15 | 众安信息技术服务有限公司 | 图像质量评估方法及装置 |
| CN107808126A (zh) * | 2017-10-11 | 2018-03-16 | 苏州科达科技股份有限公司 | 车辆检索方法及装置 |
| CN108875600A (zh) * | 2018-05-31 | 2018-11-23 | 银江股份有限公司 | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 |
| CN108986094A (zh) * | 2018-07-20 | 2018-12-11 | 南京开为网络科技有限公司 | 用于人脸识别用训练图像库的数据自动更新方法 |
| WO2019051941A1 (zh) * | 2017-09-15 | 2019-03-21 | 平安科技（深圳）有限公司 | 车型识别方法、装置、设备及计算机可读存储介质 |
| US20190095730A1 (en) * | 2017-09-25 | 2019-03-28 | Beijing University Of Posts And Telecommunications | End-To-End Lightweight Method And Apparatus For License Plate Recognition |
-
2019
- 2019-05-23 CN CN201910436309.8A patent/CN110245577A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046196A (zh) * | 2015-06-11 | 2015-11-11 | 西安电子科技大学 | 基于级联卷积神经网络的前车车辆信息结构化输出方法 |
| WO2019051941A1 (zh) * | 2017-09-15 | 2019-03-21 | 平安科技（深圳）有限公司 | 车型识别方法、装置、设备及计算机可读存储介质 |
| CN107481238A (zh) * | 2017-09-20 | 2017-12-15 | 众安信息技术服务有限公司 | 图像质量评估方法及装置 |
| US20190095730A1 (en) * | 2017-09-25 | 2019-03-28 | Beijing University Of Posts And Telecommunications | End-To-End Lightweight Method And Apparatus For License Plate Recognition |
| CN107808126A (zh) * | 2017-10-11 | 2018-03-16 | 苏州科达科技股份有限公司 | 车辆检索方法及装置 |
| CN108875600A (zh) * | 2018-05-31 | 2018-11-23 | 银江股份有限公司 | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 |
| CN108986094A (zh) * | 2018-07-20 | 2018-12-11 | 南京开为网络科技有限公司 | 用于人脸识别用训练图像库的数据自动更新方法 |
Non-Patent Citations (6)
| Title |
|---|
| HEECHUL JUNG, MIN-KOOK CHOI, JIHUN JUNG, JIN-HEE LEE, SOON KWON: "ResNet-Based Vehicle Classification", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN》 * |
| HEECHUL JUNG, MIN-KOOK CHOI, JIHUN JUNG, JIN-HEE LEE, SOON KWON: "ResNet-Based Vehicle Classification", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN》, 31 December 2017 (2017-12-31), pages 61 - 67 * |
| SHUO YANG等: "Fast vehicle logo detection in complex scenes", 《OPTICS & LASER TECHNOLOGY》 * |
| SHUO YANG等: "Fast vehicle logo detection in complex scenes", 《OPTICS & LASER TECHNOLOGY》, 28 February 2019 (2019-02-28), pages 196 - 201 * |
| YI ZHANG等: "An improved tiny-yolov3 pedestrian detection algorithm", <HTTPS://DOI.ORG/10.1016/J.IJLEO.2019.02.038>, pages 17 - 23 * |
| YIKUI ZHAI等: ""Deep Convolutional Neural Network for Facial Expression Recognition"", pages 211 - 223 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751195A (zh) * | 2019-10-12 | 2020-02-04 | 西南交通大学 | 一种基于改进YOLOv3的细粒度图像分类方法 |
| CN110751195B (zh) * | 2019-10-12 | 2023-02-07 | 西南交通大学 | 一种基于改进YOLOv3的细粒度图像分类方法 |
| CN111062381A (zh) * | 2019-10-17 | 2020-04-24 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车牌位置检测方法 |
| CN111062381B (zh) * | 2019-10-17 | 2023-09-01 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车牌位置检测方法 |
| CN112800813A (zh) * | 2019-11-13 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法及装置 |
| WO2021093780A1 (zh) * | 2019-11-13 | 2021-05-20 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法及装置 |
| CN112800813B (zh) * | 2019-11-13 | 2024-06-07 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法及装置 |
| CN110929632A (zh) * | 2019-11-19 | 2020-03-27 | 复旦大学 | 面向复杂场景的车辆目标检测方法及装置 |
| CN112232371A (zh) * | 2020-09-17 | 2021-01-15 | 福州大学 | 一种基于YOLOv3与文本识别的美式车牌识别方法 |
| CN112232371B (zh) * | 2020-09-17 | 2022-06-10 | 福州大学 | 一种基于YOLOv3与文本识别的美式车牌识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245577A (zh) | 目标车辆识别方法、装置及车辆实时监控系统 | |
| CN109919031B (zh) | 一种基于深度神经网络的人体行为识别方法 | |
| CN111598030B (zh) | 一种航拍图像中车辆检测和分割的方法及系统 | |
| CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
| CN111310862A (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN110222604A (zh) | 基于共享卷积神经网络的目标识别方法和装置 | |
| CN109508715A (zh) | 一种基于深度学习的车牌定位和识别方法 | |
| CN110298387A (zh) | 融入像素级attention机制的深度神经网络目标检测方法 | |
| CN108039044B (zh) | 基于多尺度卷积神经网络的车辆智能排队的系统及方法 | |
| CN106599789A (zh) | 视频类别识别方法和装置、数据处理装置和电子设备 | |
| CN109948553A (zh) | 一种多尺度密集人群计数方法 | |
| CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
| CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
| CN111104903A (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN108229300A (zh) | 视频分类方法、装置、计算机可读存储介质和电子设备 | |
| CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN109934170B (zh) | 一种基于计算机视觉的矿山资源统计方法 | |
| CN114627447A (zh) | 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统 | |
| CN114241053A (zh) | 基于改进的注意力机制FairMOT多类别跟踪方法 | |
| CN112084890A (zh) | 基于gmm和cqfl的多尺度识别交通信号标志的方法 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN111914911A (zh) | 一种基于改进深度相对距离学习模型的车辆再识别方法 | |
| CN113139489A (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
| CN114267025A (zh) | 基于高分辨率网络与轻量注意力机制的交通标志检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190917 |