CN110378210A - 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法 - Google Patents

一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法 Download PDF

Info

Publication number
CN110378210A
CN110378210A CN201910500483.4A CN201910500483A CN110378210A CN 110378210 A CN110378210 A CN 110378210A CN 201910500483 A CN201910500483 A CN 201910500483A CN 110378210 A CN110378210 A CN 110378210A
Authority
CN
China
Prior art keywords
vehicle
short focus
layer
convolutional layer
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910500483.4A
Other languages
English (en)
Other versions
CN110378210B (zh
Inventor
刘军
张睿
胡超超
李汉冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201910500483.4A priority Critical patent/CN110378210B/zh
Publication of CN110378210A publication Critical patent/CN110378210A/zh
Application granted granted Critical
Publication of CN110378210B publication Critical patent/CN110378210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，建立车辆和车牌数据集，设计并训练轻量化YOLOv3网络，车辆和车牌检测及长短焦融合测距。针对YOLOv3网络参数量大、计算时间长的问题，用轻量化网络替换主干网络，重新构建其余卷积层构架，保证检测精度的前提下极大提高了检测速度，有利于目标检测网络迁移至车载嵌入式单元。此外，在检测车辆和车牌的基础上，通过车牌尺寸固定的特征，基于车牌宽度计算车宽，进一步计算两车之间的距离。而长短焦融合测距方法，通过匹配融合长焦和短焦摄像头画面中的车辆位置和大小信息，并加入跟踪算法，实现对长距离范围内的车辆连续实时测距，不受摄像头跳动带来的影响，测距结果精度高、鲁棒性好。

Description

一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距 方法
技术领域
本发明涉及先进驾驶辅助系统领域，具体来说涉及一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法。
背景技术
先进辅助驾驶系统ADAS(Advanced Driver Assistance Systems)作为汽车智能化的关键技术，不仅为驾驶员带来便利和安全，也是实现自动驾驶的先决技术之一。ADAS通过各类传感器感知周围环境，相当于车辆的眼睛，随后对数据进行处理，为驾驶提供危险预警甚至辅助介入。由此可见，高精度高速的目标感知技术对于ADAS是十分重要的。
近年来，随着深度学习的迅猛发展，基于视觉的交通目标物感知尤其是车辆检测算法，在精度和速度方面都有了巨大的进步，但是这类算法的计算成本高，不能直接迁移到算力较小的车辆嵌入式平台。因此，需要开发更轻量化的目标检测模型来实现在车载环境上的实时目标车辆感知。
在实现车辆检测的基础上，还要使用视觉测距方法计算自车到目标车辆的距离，才能实现完整的交通目标物感知。目前的视觉测距方法主要有单目视觉测距和立体视觉测距。其中立体视觉测距需要匹配多个摄像头的信息，计算量大，在汽车上应用难度较大；而单目视觉测距的方法简单、计算量小、成本低廉，更适合汽车这种动态环境使用。目前单目视觉的常用方法有：成像几何关系模型法、逆透视变换法和数学回归建模法，这些方法大多依赖于前期的复杂摄像头内外参与标定，对摄像头的选型和安装角度、道路环境有很高的要求，而且缺少真实道路目标的对应参照，如车道、车牌等。因此需要考虑融合多种检测源的信息，设计更为稳定高效的视觉测距方法，提高车载动态环境下测距的精度和鲁棒性。
发明内容
为了解决现有的技术问题，本发明提出一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，可准确的检测出较远范围内的道路车辆和车牌，并可以准确的测量目标车辆到自车的距离，车载动态环境下的检测和测距精度好、鲁棒性好，
本发明的技术方案如下：
一种基于轻量化YOLOv3的车辆、车牌检测及长短焦融合测距方法，包括如下步骤：
S1，建立车辆和车牌数据集
S2，设计轻量化YOLOv3网络
S3，训练轻量化YOLOv3网络
S4，车辆和车牌检测及长短焦融合测距
S4.1，短焦摄像头采集前方道路图像，利用轻量化YOLOv3网络检测前方道路图像中车辆和车牌；
S4.2，跟踪前方车辆，如果车辆首次被跟踪，则执行S4.3，否则执行S4.6；
S4.3，如果被跟踪的车辆像素宽度小于阈值，执行S4.4，否则执行S4.5；
S4.4，长焦摄像头检测被跟踪车辆，寻找与车辆匹配的车牌，并计算实际车宽；
S4.5，寻找与车辆匹配的车牌，计算实际车宽；
S4.6，计算被跟踪车辆与自车的距离。
进一步，所述轻量化YOLOv3网络从输入到输出依次是卷积层conv0，最大池化层Maxpool，轻量层Shuffle1、轻量层Shuffle2×3、轻量层Shuffle1、轻量层Shuffle2×7、轻量层Shuffle1、轻量层Shuffle2×3，卷积层1×1conv、卷积层conv1、卷积层conv2，上采样层upsample1，卷积层conv3、卷积层conv4、卷积层conv5、卷积层conv6，上采样层upsample2，卷积层conv7、卷积层conv8、卷积层conv9、卷积层conv10、卷积层conv11。
进一步，所述S2中轻量化YOLOv3网络输出三个张量14×14×Z、28×28×Z、56×56×Z，其中Z＝5×B+C，B表示候选框的数量，C表示检测特征的个数。
进一步，所述S2中轻量化YOLOv3网络中的轻量层Shuffle1将网络当前层复制成两个通道，通道1依次为卷积层1×1conv、卷积层DWconv、卷积层1×1conv，通道2依次为卷积层DWconv、卷积层1×1conv，最后将两个通道合并；轻量层Shuffle2将网络当前层切片为两个通道，通道1依次为卷积层1×1conv、卷积层DWconv、卷积层1×1conv，通道2不进行卷积操作，最后将两个通道合并；轻量层Shuffle1和轻量层Shuffle2连接时进行通道分组操作。
进一步，所述S3中训练轻量化YOLOv3网络至损失函数小于阈值，所述损失函数为：
其中，S2表示每张图的单元格数量，表示第i个单元格中的第j个候选框里是否包含目标；λcoord、λobj、λnoobj和λclass分别为目标包围框的权重、目标的权重、背景的权重和目标类别的权重，表示检测目标框的中心点坐标，表示检测目标框的宽高，表示检测目标的置信度，表示检测目标的类别概率，xi、yi表示真实目标框的中心点坐标，wi、hi表示真实目标框的宽高。
进一步，所述S4.4的具体过程为：长焦摄像头采集当前视频帧，检测当前视频帧中的车辆和车牌，寻找与S4.2中被跟踪车辆相匹配的车辆，以及与车辆匹配的车牌，计算实际车宽。
进一步，所述寻找与S4-2中被跟踪车辆相匹配的车辆的具体方法为：
(1)挑选候选匹配框
候选匹配框中心点位于以(x2,y2)为圆心的椭圆内，且和短焦图像跟踪车辆的目标类别一致；其中(x1,y1)、(x2,y2)分别表示被跟踪车辆目标框中心点在短焦和长焦图像中相对于图像中心点的实际坐标和理想坐标，f1、f2分别表示短焦和长焦摄像头的焦距；
(2)计算候选匹配框偏离度
偏离度最小的候选匹配框作为正确匹配对象，偏离度计算公式为：
其中，n是除了0以外的整数，w1、h1表示被跟踪车辆在短焦图像中目标框的宽和高，w2、h2表示被跟踪车辆在长焦图像中候选匹配框的宽和高，conf1、conf2分别表示短焦图像中被跟踪车辆目标框的检测置信度、长焦图像中候选匹配框的检测置信度。
进一步，所述寻找与车辆匹配的车牌方法为：如果车牌目标框在车辆目标框内部，则判断该车牌与车辆匹配。
进一步，所述计算实际车宽的方法为：其中Wcar、Wlicense分别表示车辆和车牌的实际宽度，wcar、wlicense分别表示车辆和车牌的像素宽度。
进一步，所述被跟踪车辆距离自车的距离的公式为：其中f1表示短焦摄像头的焦距。
本发明的有益效果为：
1.本发明改进的轻量化YOLOv3网络，引入轻量化结构，减少了网络的卷积层个数，加快了检测速度，但是仍然可以保证较高的检测精度，便于使用在计算能力相对低的车载处理单元，有利于ADAS中目标检测的进一步落地推广。
2.本发明提出的长短焦融合测距方法，基于具有固定尺寸的车牌特征，增加一个长焦摄像头获取较远距离车辆的车牌目标的信息，通过融合长焦和短焦的车辆位置和大小信息，准确的检测出前方远距离车辆车牌的宽度，解决了当前车牌测距范围较小的问题；并且加入跟踪算法，实现了对道路车辆的高精度高鲁棒的连续实时测距，克服了现有的基于车辆位置的测距方法受车辆颠簸导致的摄像头跳动影响过大的问题。
附图说明
图1为本发明的一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法的总体流程图。
图2为本发明的改进轻量化YOLOv3的网络结构图。
图3为本发明的轻量层shuffle的结构图。
图4为本发明的检测和测距结果示意图，图4(a)为车辆由远及近(首次跟踪时车辆像素宽度小于阈值)，图4(b)车辆由近及远(首次跟踪时车辆像素宽度大于阈值)。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
本发明提供一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，流程如图1所示，包括如下步骤：
S1、建立面向我国道路的车辆和车牌数据集
S1-1、针对车牌和车辆特征种类分类；为了满足本发明的检测和测距任务要求，将车辆分类为：普通乘用车、卡车、客车、摩托车，再对四类车辆分为头部、尾部、侧部，共计12类；车牌依据尺寸分类为：440mm×220mm、440mm×140mm、220mm×140mm，共计3类；
S1-2、通过网络收集、外出采集和监控摄像头画面挑选，每一个类别采集3000张图片并标注。
S2、设计轻量化YOLOv3网络
网络结构从输入到输出依次是卷积层conv0，最大池化层Maxpool，轻量层Shuffle1、轻量层Shuffle2×3、轻量层Shuffle1、轻量层Shuffle2×7、轻量层Shuffle1、轻量层Shuffle2×3，卷积层1×1conv、卷积层conv1、卷积层conv2，上采样层upsample1，卷积层conv3、卷积层conv4、卷积层conv5、卷积层conv6，上采样层upsample2，卷积层conv7、卷积层conv8、卷积层conv9、卷积层conv10、卷积层conv11，如图2和表1所示。网络最终输出三个张量14×14×Z、28×28×Z、56×56×Z，其中Z＝5×B+C，B表示候选框的数量，B＝3，C表示检测特征的个数，本发明检测15类特征，即Z＝30。
表1本发明改进轻量化YOLOv3的输出张量列表
序号 类型 卷积核个数 尺寸/步长 输出尺寸
0 - - - 448×448×3
1 卷积层 24 3×3/2 224×224×24
2 最大池化层 - 3×3/2 112×112×24
3 轻量层1 - - 56×56×232
4 轻量层2×3 - - 56×56×232
5 轻量层1 - - 28×28×464
6 轻量层2×7 - - 28×28×464
7 轻量层1 - - 14×14×928
8 轻量层2×3 - - 14×14×928
9 卷积层 1024 1×1/1 14×14×1024
10 卷积层 30 3×3/1 14×14×30
11 卷积层 464 3×3/1 14×14×464
12 上采样层 - - 28×28×464
13 卷积层 256 3×3/1 28×28×256
14 卷积层 512 3×3/1 28×28×512
15 卷积层 30 3×3/1 28×28×30
16 卷积层 232 3×3/1 28×28×232
17 上采样层 - - 56×56×232
18 卷积层 128 3×3/1 56×56×128
19 卷积层 256 3×3/1 56×56×256
20 卷积层 128 3×3/1 56×56×128
21 卷积层 128 3×3/1 56×56×256
22 卷积层 30 3×3/1 56×56×30
轻量层Shuffle1将网络当前层复制成两个通道，通道1依次为卷积层1×1conv、卷积层DWconv、卷积层1×1conv，通道2依次为卷积层DWconv、卷积层1×1conv，最后将两个通道合并。轻量层Shuffle2将网络当前层切片(channel spilt)为两个通道，通道1依次为卷积层1×1conv、卷积层DWconv、卷积层1×1conv，通道2不进行卷积操作，最后将两个通道合并。轻量层Shuffle1和轻量层Shuffle2连接时进行通道分组(channel shuffle)操作，具体结构如图3所示。
通过使用轻量层Shuffle替换原YOLOv3的Draknet53作为信息提取层，减少了网络的卷积层个数，加快了检测速度。但是由于引入通道分组、深度卷积DWconv等方法，改进的轻量化YOLOv3网络仍然可以学习到足够的特征，保证了较高的检测精度，便于使用在计算能力相对低的车载处理单元。
S3、训练轻量化YOLOv3网络
先使用ImageNet数据库对卷积层1×1conv之前的网络参数预训练，再使用自建数据集(S1的数据集)训练整个轻量化YOLOv3网络，分别训练至损失函数小于阈值，得到有效的轻量化YOLOv3网络。其中对自建数据集进行缩放裁剪、饱和度调节、添加噪声等数据增强方法。
损失函数为：
其中，S2表示每张图的单元格数量，S＝7；表示第i个单元格中的第j个候选框里是否包含目标(当候选框和真实目标框的交并比IOU(pred,truth)＞0.7时包含目标，否则)；λtoord、λobj、λnoobj和λclass分别为目标包围框的权重、目标的权重、背景的权重和目标类别的权重，分别取5、1、0.5、1；表示检测目标框的中心点坐标；表示检测目标框的宽高；表示检测目标的置信度；表示检测目标的类别概率；xi、yi表示真实目标框的中心点坐标；wi、hi表示真实目标框的宽高；Ci值为0或1，0表示没有目标，1表示有目标；pi(C)值为0或1，0表示候选框不属于类别C，1表示候选框属于类别C。
S4、使用训练后的轻量化YOLOv3网络检测车辆和车牌，并融合长短焦距的图像进行测距
S4-1、通过短焦摄像头采集前方道路图像，利用轻量化YOLOv3网络检测前方道路图像中的车辆和车牌；
S4-2、使用Kalman滤波跟踪前方车辆，如果车辆首次被跟踪，则转到步骤S4-3，否则转到步骤S4-6；
S4-3、如果被跟踪的车辆像素宽度小于阈值，转到步骤S4-4，否则执行S4-5；阈值设置为图像横向总像素的
S4-4、通过长焦摄像头检测被跟踪车辆并计算车宽；
S4-4-1、长焦摄像头采集当前视频帧，通过轻量化YOLOv3网络检测当前视频帧中的车辆和车牌；
S4-4-2、寻找与S4-2中被跟踪车辆相匹配的车辆，即将短焦和长焦摄像头拍摄图像中的同一车辆相匹配，实际车宽相同；不同焦距图像匹配基于检测框的位置和大小，具体方法如下：
S4-4-2-1、挑选候选匹配框
候选匹配框中心点位于以(x2,y2)为圆心的椭圆内，且和短焦图像跟踪车辆的目标类别一致；其中(x1,y1)、(x2,y2)分别表示被跟踪车辆目标框中心点在短焦和长焦图像中相对于图像中心点的实际坐标和理想坐标，f1、f2分别表示短焦和长焦摄像头的焦距；
S4-4-2-2、计算候选匹配框偏离度
偏离度最小的候选匹配框作为正确匹配对象，偏离度计算公式为：
其中，n是除了0以外的整数，本实施例n＝1；w1、h1表示被跟踪车辆在短焦图像中目标框的宽和高；w2、h2表示被跟踪车辆在长焦图像中候选匹配框的宽和高；conf1、conf2分别表示短焦图像中被跟踪车辆目标框的检测置信度、长焦图像中候选匹配框的检测置信度；表示长焦图像中候选匹配框车辆宽度与短焦图像中被跟踪车辆目标框宽度的偏离误差，表示长焦图像中候选匹配框车辆高度与短焦图像中被跟踪车辆目标框高度的偏离误差，表示长焦图像中候选匹配框车辆宽高比与短焦图像中被跟踪车辆目标框宽高比的误差，conf2-conf1表示长焦图像中候选匹配框车辆置信度与短焦图像中被跟踪车辆目标框置信度的误差，为了提高置信度在匹配过程中的权重，本实施例的λ取5。
S4-4-3、寻找匹配车辆的车牌，计算实际车宽，即为被跟踪车辆的实际车宽
如果车牌目标框在车辆目标框内部，则判断该车牌与车辆匹配；计算实际车宽的方法如下：其中Wcar、Wlicense分别表示车辆和车牌的实际宽度，Wlicense有440mm和220mm两种情况；wcar、wlicense分别表示车辆和车牌的像素宽度。
S4-5、寻找与车辆匹配的车牌，计算实际车宽
如果车牌目标框在车辆目标框内部，则判断该车牌与车辆匹配；计算实际车宽的方法如下：
S4-6、计算被跟踪车辆距离自车的距离，距离的公式为：
图4为使用轻量化YOLOv3网络检测车辆和车牌以及测距的效果图，其中图4(a)为车辆由远及近(首次跟踪时车辆像素宽度小于阈值)，图4(b)为车辆由近及远(首次跟踪时车辆像素宽度大于阈值)。可以看出本方法可以准确的检测出车辆和车牌，依靠长焦和短焦两个摄像头的优势实现长距离和短距离下的车辆精确测距，且不受车辆颠簸导致的摄像头跳动带来的影响，提高了车辆感知系统的效率和鲁棒性。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，包括如下步骤：
S1，建立车辆和车牌数据集
S2，设计轻量化YOLOv3网络
S3，训练轻量化YOLOv3网络
S4，车辆和车牌检测及长短焦融合测距
S4.1，短焦摄像头采集前方道路图像，利用轻量化YOLOv3网络检测前方道路图像中车辆和车牌；
S4.2，跟踪前方车辆，如果车辆首次被跟踪，则执行S4.3，否则执行S4.6；
S4.3，如果被跟踪的车辆像素宽度小于阈值，执行S4.4，否则执行S4.5；
S4.4，长焦摄像头检测被跟踪车辆，寻找与车辆匹配的车牌，并计算实际车宽；
S4.5，寻找与车辆匹配的车牌，计算实际车宽；
S4.6，计算被跟踪车辆与自车的距离。
2.根据权利要求1所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述轻量化YOLOv3网络从输入到输出依次是卷积层conv0，最大池化层Maxpool，轻量层Shuffle1、轻量层Shuffle2×3、轻量层Shuffle1、轻量层Shuffle2×7、轻量层Shuffle1、轻量层Shuffle2×3，卷积层1×1conv、卷积层conv1、卷积层conv2，上采样层upsample1，卷积层conv3、卷积层conv4、卷积层conv5、卷积层conv6，上采样层upsample2，卷积层conv7、卷积层conv8、卷积层conv9、卷积层conv10、卷积层conv11。
3.根据权利要求1所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述S2中轻量化YOLOv3网络输出三个张量14×14×Z、28×28×Z、56×56×Z，其中Z＝5×B+C，B表示候选框的数量，C表示检测特征的个数。
4.根据权利要求2所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述S2中轻量化YOLOv3网络中的轻量层Shuffle1将网络当前层复制成两个通道，通道1依次为卷积层1×1conv、卷积层DWconv、卷积层1×1conv，通道2依次为卷积层DWconv、卷积层1×1conv，最后将两个通道合并；轻量层Shuffle2将网络当前层切片为两个通道，通道1依次为卷积层1×1conv、卷积层DWconv、卷积层1×1conv，通道2不进行卷积操作，最后将两个通道合并；轻量层Shuffle1和轻量层Shuffle2连接时进行通道分组操作。
5.根据权利要求3所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述S3中训练轻量化YOLOv3网络至损失函数小于阈值，所述损失函数为：
其中，S2表示每张图的单元格数量，表示第i个单元格中的第j个候选框里是否包含目标；λcoord、λobj、λnoobj和λclass分别为目标包围框的权重、目标的权重、背景的权重和目标类别的权重，表示检测目标框的中心点坐标，表示检测目标框的宽高，表示检测目标的置信度，表示检测目标的类别概率，xi、yi表示真实目标框的中心点坐标，wi、hi表示真实目标框的宽高。
6.根据权利要求1所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述S4.4的具体过程为：长焦摄像头采集当前视频帧，检测当前视频帧中的车辆和车牌，寻找与S4.2中被跟踪车辆相匹配的车辆，以及与车辆匹配的车牌，计算实际车宽。
7.根据权利要求6所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述寻找与S4-2中被跟踪车辆相匹配的车辆的具体方法为：
(1)挑选候选匹配框
候选匹配框中心点位于以(x2,y2)为圆心的椭圆内，且和短焦图像跟踪车辆的目标类别一致；其中(x1,y1)、(x2,y2)分别表示被跟踪车辆目标框中心点在短焦和长焦图像中相对于图像中心点的实际坐标和理想坐标，f1、f2分别表示短焦和长焦摄像头的焦距；
(2)计算候选匹配框偏离度
偏离度最小的候选匹配框作为正确匹配对象，偏离度计算公式为：
其中，n是除了0以外的整数，w1、h1表示被跟踪车辆在短焦图像中目标框的宽和高，w2、h2表示被跟踪车辆在长焦图像中候选匹配框的宽和高，conf1、conf2分别表示短焦图像中被跟踪车辆目标框的检测置信度、长焦图像中候选匹配框的检测置信度。
8.根据权利要求6所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述寻找与车辆匹配的车牌方法为：如果车牌目标框在车辆目标框内部，则判断该车牌与车辆匹配。
9.根据权利要求1所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述计算实际车宽的方法为：其中Wcar、Wlicense分别表示车辆和车牌的实际宽度，wcar、wlicense分别表示车辆和车牌的像素宽度。
10.根据权利要求9所述的基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法，其特征在于，所述被跟踪车辆距离自车的距离的公式为：其中f1表示短焦摄像头的焦距。
CN201910500483.4A 2019-06-11 2019-06-11 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法 Active CN110378210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910500483.4A CN110378210B (zh) 2019-06-11 2019-06-11 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910500483.4A CN110378210B (zh) 2019-06-11 2019-06-11 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法

Publications (2)

Publication Number Publication Date
CN110378210A true CN110378210A (zh) 2019-10-25
CN110378210B CN110378210B (zh) 2023-04-18

Family

ID=68250065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910500483.4A Active CN110378210B (zh) 2019-06-11 2019-06-11 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法

Country Status (1)

Country Link
CN (1) CN110378210B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111136648A (zh) * 2019-12-27 2020-05-12 深圳市优必选科技股份有限公司 一种移动机器人的定位方法、定位装置及移动机器人
CN111401148A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于改进的多级YOLOv3的道路多目标检测方法
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN112836657A (zh) * 2021-02-08 2021-05-25 中国电子科技集团公司第三十八研究所 一种基于轻量化YOLOv3的行人检测方法及系统
CN113658222A (zh) * 2021-08-02 2021-11-16 上海影谱科技有限公司 一种车辆检测跟踪方法及装置
CN114067564A (zh) * 2021-11-15 2022-02-18 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN114648712A (zh) * 2020-12-18 2022-06-21 北京字节跳动网络技术有限公司 视频分类方法、装置、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109703460A (zh) * 2019-01-11 2019-05-03 合肥思艾汽车科技有限公司 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
CN112784819A (zh) * 2021-03-05 2021-05-11 上海钜星科技有限公司 一种增加警用头盔人脸识别和车牌识别有效距离的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109703460A (zh) * 2019-01-11 2019-05-03 合肥思艾汽车科技有限公司 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
CN112784819A (zh) * 2021-03-05 2021-05-11 上海钜星科技有限公司 一种增加警用头盔人脸识别和车牌识别有效距离的方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111136648A (zh) * 2019-12-27 2020-05-12 深圳市优必选科技股份有限公司 一种移动机器人的定位方法、定位装置及移动机器人
CN111136648B (zh) * 2019-12-27 2021-08-27 深圳市优必选科技股份有限公司 一种移动机器人的定位方法、定位装置及移动机器人
CN111401148A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于改进的多级YOLOv3的道路多目标检测方法
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN114648712A (zh) * 2020-12-18 2022-06-21 北京字节跳动网络技术有限公司 视频分类方法、装置、电子设备及计算机可读存储介质
CN114648712B (zh) * 2020-12-18 2023-07-28 抖音视界有限公司 视频分类方法、装置、电子设备及计算机可读存储介质
CN112836657A (zh) * 2021-02-08 2021-05-25 中国电子科技集团公司第三十八研究所 一种基于轻量化YOLOv3的行人检测方法及系统
CN113658222A (zh) * 2021-08-02 2021-11-16 上海影谱科技有限公司 一种车辆检测跟踪方法及装置
CN114067564A (zh) * 2021-11-15 2022-02-18 武汉理工大学 一种基于yolo的交通状况综合监测方法
CN114067564B (zh) * 2021-11-15 2023-08-29 武汉理工大学 一种基于yolo的交通状况综合监测方法

Also Published As

Publication number Publication date
CN110378210B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110378210A (zh) 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法
CN109447033A (zh) 基于yolo的车辆前方障碍物检测方法
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN108256413B (zh) 可通行区域检测方法及装置、存储介质、电子设备
CN109059944B (zh) 基于驾驶习惯学习的运动规划方法
JP5168601B2 (ja) 自車位置認識システム
CN105930819A (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN110009648A (zh) 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法
CN110531376A (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN109509223A (zh) 基于深度学习的前方车辆测距方法
CN109902676A (zh) 一种基于动态背景的违停检测算法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN108388641A (zh) 一种基于深度学习的交通设施地图生成方法与系统
CN114254696A (zh) 基于深度学习的可见光、红外和雷达融合目标检测方法
CN115717894B (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN109949593A (zh) 一种基于路口先验知识的交通信号灯识别方法及系统
CN108681718A (zh) 一种无人机低空目标精准检测识别方法
CN110516633A (zh) 一种基于深度学习的车道线检测方法及系统
CN108877237A (zh) 基于监控视频图像的车辆行驶速度集成解算系统及方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN116830164A (zh) LiDAR去相关对象检测系统与方法
CN114200442B (zh) 一种基于毫米波雷达和视觉的道路目标检测与关联方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant