CN116740124A - 一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法 - Google Patents

一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法 Download PDF

Info

Publication number
CN116740124A
CN116740124A CN202310655750.1A CN202310655750A CN116740124A CN 116740124 A CN116740124 A CN 116740124A CN 202310655750 A CN202310655750 A CN 202310655750A CN 116740124 A CN116740124 A CN 116740124A
Authority
CN
China
Prior art keywords
license plate
vehicle
yolov8
improved
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310655750.1A
Other languages
English (en)
Inventor
蓝如师
魏陈浩
杨睿
罗笑南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning Guidian Electronic Technology Research Institute Co ltd
Guilin University of Electronic Technology
Original Assignee
Nanning Guidian Electronic Technology Research Institute Co ltd
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanning Guidian Electronic Technology Research Institute Co ltd, Guilin University of Electronic Technology filed Critical Nanning Guidian Electronic Technology Research Institute Co ltd
Priority to CN202310655750.1A priority Critical patent/CN116740124A/zh
Publication of CN116740124A publication Critical patent/CN116740124A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及小目标检测与多目标跟踪技术领域，具体涉及一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，将车辆检测跟踪与车牌识别融合在一个统一的系统中，通过以下步骤实现联合检测，首先采用改进YOLOv8算法对车辆与车牌进行检测，再使用基于匈牙利算法的BOT‑SORT跟踪算法进行车辆目标跟踪，同时使用LPRNet进行车牌识别，通过使用了可变形卷积操作代替标准卷积，可根据图像改变感受野大小，同时添加了MHSA注意力网络，在保证轻量化的同时，大大提升了物体检测精度，同时本发明将车辆多目标跟踪和车牌识别集成在一个系统中，使用方便，容易部署在边缘设备中。

Description

一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法
技术领域
本发明涉及小目标检测与多目标跟踪技术领域，具体涉及一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法。
背景技术
随着机动车数量不断攀升，道路交通环境变得越来越错综复杂，交通安全问题也变得更加突出。因此智能交通系统应运而生，旨在缓解交通安全问题。而在实现交通智能化的过程中，准确地识别道路上的机动车是至关重要的任务之一。
过去，由于目标识别算法主要基于传统的机器学习算法，其准确性和性能受到一定限制。随着深度学习技术的发展和广泛应用，目标识别算法的准确性和性能得到了极大提高。目前现有的目标检测技术仍然存在着缺陷和不足：首先，目标检测器不适合小目标检测，当目标在画面中占比较小超过检测器的可检测尺寸时，漏检或误判的概率会。其次，目标检测器对光照、旋转和遮挡敏感，目标的光照变化、旋转或遮挡往往会导致检测器性能下降，目标检测的精度和速度对目标跟踪的影响巨大，在背景变化、光照变化和目标变形等情景下，目标检测精度下降进一步导致跟踪器失效。针对目标检测和目标跟踪技术仍有巨大的提升空间。
发明内容
本发明的目的在于提供一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，旨在通过轻量化网络提高车牌小目标识别准确率的同时集成多目标跟踪功能，提高易用性。
为实现上述目的，本发明提供了一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，包括下列步骤：
步骤1：传入同时具有车辆标记框和车牌标记框两种标签的图片数据集进行训练；
步骤2：使用改进的YOLOv8网络对所传入的车辆图像进行车辆与车牌两个目标的检测与定位，分别获得车辆检测结果和车牌检测结果；
步骤3：使用基于匈牙利算法的BOT-SORT跟踪算法对所述车辆检测结果进行计算处理，输出画面中每个车辆的边界框和ID；
步骤4：将车牌检测结果中的车牌区域裁切下来输入LPRNet网络进行车牌识别；
步骤5：通过计算车辆边界框与车牌边界框的交并比，将步骤3得到的车辆ID与步骤4得到的车牌信息进行匹配。
可选的，所述图片数据集采用经过标注的中国城市车牌开源数据集CCPD，原始数据集中仅包含车牌标注信息，对部分数据集进行了重构，重新标注了数据集中车辆的标签信息，从而生成了车辆和车牌两种标签。
可选的，所述改进的YOLOv8网络中的改进具体为将原始YOLOv8模型Backbone主干网络中标准卷积替换为DCN可变形卷积，同时在SPPF层下增加MHSA多头注意力网络，以及增加尺寸大小为160x160的特征图用于检测4x4以上的小尺寸目标。
可选的，对所传入的车辆图像进行车辆与车牌两个目标的检测与定位的过程，包括下列步骤：
对传入的图像经过预处理后送入Backbone主干网络进行处理，经过两层标准卷积进处理，经过两层标准卷积进行浅层特征提取得到特征图，随后送入C2F和DCN卷积层中做进一步的特征提取，最后特征图经过SPPF层被转换为固定大小的特征向量送入MHSA进行注意力操作，在提高性能的同时时间复杂度降低；
通过PAN-FPN网络对车辆进行多尺度特征融合预测，在Backbone主干网络第2层增加160x160的特征输出，作为增加的小目标检测层，再过两个分支进行卷积操作后分别使用VFL计算分类损失，CIOU计算回归损失，总体损失函数的公式如下：
L＝LVFL+LCIOU
其中LVFL表示VFL损失函数，LCIOU表示CIOU损失，包括中心点距离、长宽比和重叠面积三项。
可选的，基于匈牙利算法的BOT-SORT跟踪算法对所述车辆检测结果进行计算处理的过程，包括下列步骤：
将步骤2中所提取的目标物体分配唯一的ID，利用Simamese网络对每个目标计算其特征向量以及目标物体的位置大小信息，随后利用特征向量对不同帧中的目标采用匈牙利算法进行匹配；
对匹配结果进行状态更新，利用Kalman滤波器对每个目标的状态进行估计，并将跟踪器的位置、速度和加速度状态进行更新；
采用FastReID中SBS和ResNeSt50作为Backbone主干网络，同时使用指数移动平均方式更新策略配合进行目标重识别。
可选的，LPRNet网络进行车牌识别的过程，包括下列步骤：
对步骤2中生成的车牌识别框进行裁切，将裁切后的车牌图片Resize为94x24大小的图片送入Backbone主干网络中进行处理；
Backbone主干网络以RGB图像作为输入，与基于RNN的LSTM不同的是LPRNet的Backbone主干网络采用核大小为1x13的宽卷积核用于提取局部字符上下文信息；
采用CTC损失方法进行训练，对输入X进行损失计算，公式如下：
其中pt(at|X)表示后验概率，t＝1,…,T,表示时间变量，随后使用Greedy Search算法获得最终的预测结果，其原理为取每个时间片概率最高的节点作为输出，GreedySearch算法公式为：
A*＝argmaxПt＝1Tpt(at|X)。
可选的，交并比的计算公式如下：
其中B1，B2分别表示车牌边界框和车辆目标框，阈值设置为0.7，当IOU大于0.7则表示车牌与车辆ID匹配。
本发明提供了一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，将车辆检测跟踪与车牌识别融合在一个统一的系统中，通过以下步骤实现联合检测，首先采用改进YOLOv8算法对车辆与车牌进行检测，再使用基于匈牙利算法的BOT-SORT跟踪算法进行车辆目标跟踪，同时使用LPRNet进行车牌识别，通过使用了可变形卷积操作代替标准卷积，可根据图像改变感受野大小，同时添加了MHSA注意力网络，在保证轻量化的同时，大大提升了物体检测精度，同时本发明将车辆多目标跟踪和车牌识别集成在一个系统中，使用方便，容易部署在边缘设备中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法的流程示意图。
图2是本发明具体实施例中车辆与车牌检测结果示意图。
图3是本发明具体实施例中实施例中网络训练PR曲线图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提供了一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，包括下列步骤：
S1：传入同时具有车辆标记框和车牌标记框两种标签的图片数据集进行训练；
S2：使用改进的YOLOv8网络对所传入的车辆图像进行车辆与车牌两个目标的检测与定位，分别获得车辆检测结果和车牌检测结果；
S3：使用基于匈牙利算法的BOT-SORT跟踪算法对所述车辆检测结果进行计算处理，输出画面中每个车辆的边界框和ID；
S4：将车牌检测结果中的车牌区域裁切下来输入LPRNet网络进行车牌识别；
S5：通过计算车辆边界框与车牌边界框的交并比，将步骤S3得到的车辆ID与步骤S4得到的车牌信息进行匹配。
具体的执行流程图如图1所示，以下结合具体实施步骤做进一步说明：
步骤S1中的数据集采用经过标注的中国城市车牌开源数据集CCPD，由于原始数据集中仅包含车牌标注信息，因此对部分数据集进行了重构，重新标注了数据集中车辆的标签信息。
进一步的，步骤S2中的车辆与车牌的目标检测与定位的步骤为：
2.1)首先对步骤S1传入的图像经过预处理后送入Backbone主干网络进行处理，经过两层标准卷积进行浅层特征提取得到特征图。随后送入C2F和DCN卷积层中做进一步的特征提取，最后特征图经过SPPF层被转换为固定大小的特征向量送入MHSA进行注意力操作，在提高性能的同时时间复杂度降低。
2.2)通过PAN-FPN网络对车辆进行多尺度特征融合预测，在Backbone第2层增加160x160的特征输出，作为增加的小目标检测层。最后通过两个分支进行标准卷积操作后分别使用VFL计算分类损失，CIOU计算回归损失。损失函数如公式(1)：
L＝LVFL+LCIOU (1)
其中表示VFL(varifocal loss)损失函数，表示CIOU损失，包括中心点距离、长宽比和重叠面积三项。
其次，步骤S3中的使用基于匈牙利算法的BOT-SORT跟踪算法进行车辆目标跟踪步骤为：
4.1)将步骤S2中所提取的目标物体分配唯一的ID。利用Simamese网络对每个目标计算其特征向量，以及目标物体的位置大小等信息。随后利用特征向量对不同帧中的目标采用匈牙利算法进行匹配。在本发明中，建立上一帧预测轨迹i和当前检测结果j的匹配代价矩阵C(i,j)，其中该矩阵的元素是由i和j的运动特征和表观特征加权融合，量化为D(i,j)度量值，求解特征代价矩阵的全局最优解以获得目标间的匹配关系结果。
4.2)对4.1中匹配结果进行状态更新，利用Kalman滤波器对每个目标的状态进行估计，并将跟踪器的位置、速度和加速度等状态进行更新。在Bot-SORT中将Kalman滤波器的状态向量定义为8元组,状态方程如公式(2)：
式中，表示上一时刻的系统状态，为状态转移矩阵,为输入控制矩阵，为随机变量的过程噪声。
4.3)在跟踪过程中，可能会出现目标遮挡、消失或者出现新目标的情况，需要进行目标重识别(Re-ID)。为了更有效的提取Re-ID特征，采用FastReID中SBS和ResNeSt50作为主干网络，同时使用指数移动平均(EMA)的方式更新当前帧的第i个轨迹的外观状态的特征更新策略，表示为公式(3)：
其中表示第k帧的tracklets嵌入，表示动量项，表示第k帧的检测嵌入。
步骤S4中使用LPRNet进行车牌识别的步骤为：
5.1)首先对步骤3)中生成的车牌识别框进行裁切，将裁切后的车牌图片Resize为94x24大小的图片送入Backbone主干网络中进行处理。
5.2)Backbone主干网络以RGB图像作为输入，与基于RNN的LSTM不同的是LPRNetBackbone主干网络采用核大小为1x13的宽卷积核用于提取局部字符上下文信息。
5.3)由于步骤5.2)中解码器输出和目标字符序列长度不同，因此采用CTC损失方法进行训练，以X作为输入计算损失函数，公式如下：
其中表示后验概率，,表示时间变量。随后使用Greedy Search算法获得最终的预测结果，其原理为取每个时间片概率最高的节点作为输出，公式为：
A*＝argmaxПt＝1Tpt(at|X) (5)
所述步骤6)中的步骤为：
6.1)将车牌识别框与固定ID的车辆目标框进行交并比计算，公式为：
其中，分别表示车牌边界框和车辆目标框，阈值设置为0.7，当IOU大于0.7则表示车牌与车辆ID匹配。
进一步的，本发明还提出了一个具体的实施例，如图2和图3所示。图2画面中目标检测器在准确识别车辆大目标的同时还能够以较高的准确率检测车牌这类小目标并对车牌内容进行识别。图3展示了模型训练过程中PR曲线图，可以看到曲线都非常靠近右上角，说明模型的准确率和召回率都比较高，模型对车辆和车牌小目标检测效果较好。
综上所述，本发明与现有方法相比，有如下优点：
1.本发明使用了可变形卷积操作代替标准卷积，可根据图像改变感受野大小，同时添加了MHSA注意力网络，在保证轻量化的同时，大大提升了物体检测精度。
2.本发明针对车牌识别需求在YOLOv8中添加了小目标检测层，提高了车牌小目标识别准确率。
3.本发明将车辆多目标跟踪和车牌识别集成在一个系统中，使用方便，容易部署在边缘设备中，在对道路监控视频中车辆多目标跟踪和车牌检测效果好，使用更便捷。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，其特征在于，包括下列步骤：
步骤1：传入同时具有车辆标记框和车牌标记框两种标签的图片数据集进行训练；
步骤2：使用改进的YOLOv8网络对所传入的车辆图像进行车辆与车牌两个目标的检测与定位，分别获得车辆检测结果和车牌检测结果；
步骤3：使用基于匈牙利算法的BOT-SORT跟踪算法对所述车辆检测结果进行计算处理，输出画面中每个车辆的边界框和ID；
步骤4：将车牌检测结果中的车牌区域裁切下来输入LPRNet网络进行车牌识别；
步骤5：通过计算车辆边界框与车牌边界框的交并比，将步骤3得到的车辆ID与步骤4得到的车牌信息进行匹配。
2.如权利要求1所述的基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，其特征在于，
所述图片数据集采用经过标注的中国城市车牌开源数据集CCPD，原始数据集中仅包含车牌标注信息，对部分数据集进行了重构，重新标注了数据集中车辆的标签信息，从而生成了车辆和车牌两种标签。
3.如权利要求2所述的基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，其特征在于，
所述改进的YOLOv8网络中的改进具体为将原始YOLOv8模型Backbone主干网络中标准卷积替换为DCN可变形卷积，同时在SPPF层下增加MHSA多头注意力网络，以及增加尺寸大小为160x160的特征图用于检测4x4以上的小尺寸目标。
4.如权利要求3所述的基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，其特征在于，
对所传入的车辆图像进行车辆与车牌两个目标的检测与定位的过程，包括下列步骤：
对传入的图像经过预处理后送入Backbone主干网络进行处理，经过两层标准卷积进处理，经过两层标准卷积进行浅层特征提取得到特征图，随后送入C2F和DCN卷积层中做进一步的特征提取，最后特征图经过SPPF层被转换为固定大小的特征向量送入MHSA进行注意力操作，在提高性能的同时时间复杂度降低；
通过PAN-FPN网络对车辆进行多尺度特征融合预测，在Backbone主干网络第2层增加160x160的特征输出，作为增加的小目标检测层，再过两个分支进行卷积操作后分别使用VFL计算分类损失，CIOU计算回归损失，总体损失函数的公式如下：
L＝LVFL+LCIOU
其中LVFL表示VFL损失函数，LCIOU表示CIOU损失，包括中心点距离、长宽比和重叠面积三项。
5.如权利要求4所述的基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，其特征在于，
基于匈牙利算法的BOT-SORT跟踪算法对所述车辆检测结果进行计算处理的过程，包括下列步骤：
将步骤2中所提取的目标物体分配唯一的ID，利用Simamese网络对每个目标计算其特征向量以及目标物体的位置大小信息，随后利用特征向量对不同帧中的目标采用匈牙利算法进行匹配；
对匹配结果进行状态更新，利用Kalman滤波器对每个目标的状态进行估计，并将跟踪器的位置、速度和加速度状态进行更新；
采用FastReID中SBS和ResNeSt50作为Backbone主干网络，同时使用指数移动平均方式更新策略配合进行目标重识别。
6.如权利要求5所述的基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，其特征在于，
LPRNet网络进行车牌识别的过程，包括下列步骤：
对步骤2中生成的车牌识别框进行裁切，将裁切后的车牌图片Resize为94x24大小的图片送入Backbone主干网络中进行处理；
Backbone主干网络以RGB图像作为输入，与基于RNN的LSTM不同的是LPRNet的Backbone主干网络采用核大小为1x13的宽卷积核用于提取局部字符上下文信息；
采用CTC损失方法进行训练，对输入X进行损失计算，公式如下：
其中pt(at|X)表示后验概率，t＝1,…,T,表示时间变量，随后使用Greedy Search算法获得最终的预测结果，其原理为取每个时间片概率最高的节点作为输出，Greedy Search算法公式为：
A*＝argmaxΠt＝1Tpt(at|X)。
7.如权利要求6所述的基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法，其特征在于，
交并比的计算公式如下：
其中B1，B2分别表示车牌边界框和车辆目标框，阈值设置为0.7，当IOU大于0.7则表示车牌与车辆ID匹配。
CN202310655750.1A 2023-06-05 2023-06-05 一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法 Pending CN116740124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310655750.1A CN116740124A (zh) 2023-06-05 2023-06-05 一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310655750.1A CN116740124A (zh) 2023-06-05 2023-06-05 一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法

Publications (1)

Publication Number Publication Date
CN116740124A true CN116740124A (zh) 2023-09-12

Family

ID=87914442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310655750.1A Pending CN116740124A (zh) 2023-06-05 2023-06-05 一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法

Country Status (1)

Country Link
CN (1) CN116740124A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351448A (zh) * 2023-12-04 2024-01-05 长春理工大学 一种基于YOLOv8改进的偏振图像道路目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351448A (zh) * 2023-12-04 2024-01-05 长春理工大学 一种基于YOLOv8改进的偏振图像道路目标检测方法
CN117351448B (zh) * 2023-12-04 2024-03-08 长春理工大学 一种基于YOLOv8改进的偏振图像道路目标检测方法

Similar Documents

Publication Publication Date Title
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
Yin et al. Likelihood map fusion for visual object tracking
CN111832443B (zh) 一种施工违规行为检测模型的构建方法及其应用
CN112836639A (zh) 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
CN109447082B (zh) 一种场景运动目标分割方法、系统、存储介质及设备
CN110569782A (zh) 一种基于深度学习目标检测方法
CN111898432A (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN112395957A (zh) 一种针对视频目标检测的在线学习方法
WO2021201774A1 (en) Method and system for determining a trajectory of a target object
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
Han et al. A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection
CN116740124A (zh) 一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法
Tao et al. Contour-based smoky vehicle detection from surveillance video for alarm systems
Zheng et al. YOLOv5s FMG: An improved small target detection algorithm based on YOLOv5 in low visibility
CN113269119B (zh) 一种夜间车辆检测方法及装置
CN116434150B (zh) 面向拥挤场景的多目标检测跟踪方法、系统及存储介质
Saravanarajan et al. Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach
Duan Deep learning-based multitarget motion shadow rejection and accurate tracking for sports video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination