CN113313008A - 基于YOLOv3网络和均值漂移的目标与识别跟踪方法 - Google Patents
基于YOLOv3网络和均值漂移的目标与识别跟踪方法 Download PDFInfo
- Publication number
- CN113313008A CN113313008A CN202110578149.8A CN202110578149A CN113313008A CN 113313008 A CN113313008 A CN 113313008A CN 202110578149 A CN202110578149 A CN 202110578149A CN 113313008 A CN113313008 A CN 113313008A
- Authority
- CN
- China
- Prior art keywords
- target
- mean shift
- network
- tracking
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明是一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法,包括如下步骤:S1:制作目标数据集,将目标数据集输入YOLOv3算法训练网络;S2:将视频图像逐帧输入YOLOv3网络,检测完成后YOLOv3网络输出检测目标预测标签向量;S3:将检测目标预测标签向量中的多个目标边界框尺寸信息输入均值漂移目标跟踪算法,以每个目标的边界框尺寸信息作为均值漂移目标跟踪算法对应目标的搜索检测框尺寸大小;S4:对目标进行跟踪;S5:判断视频是否结束。该方法解决了传统均值漂移目标跟踪算法搜索检测框的尺度不匹配问题,改善了传统均值漂移目标跟踪算法的局限性,提高了目标识别与跟踪算法的性能。
Description
技术领域
本发明属于计算机目标检测和目标跟踪算法技术领域,具体的说涉及一种基于YOLOv3网络和均值漂移的目标识别与跟踪方法研究。
背景技术
城市交通规模的扩增与配套设施的完善改进是我国高速发展的重要特征之一,同时城市交通的持续发展也提升了人们的工作效率,使人们的生活旅行更加轻松便利,与此同时,我国机动车的保有量出现爆发式上涨,机动车数量的爆发式上涨带来了严重的拥堵问题,人们的出行便利受到了极大的挑战,道路拥堵的同时也加剧了能源消耗的和尾气污染,因此,人们对于改善交通拥堵问题的要求也愈发高涨。
结合计算机技术和深度学习方法对智能交通系统(Intelligent TransportationSystem,ITS)数据进行分析、预测,可以有效缓解道路拥堵,交通参数能够实时反映道路情况,其主要包括:车流量、行人流量、道路拥挤程度等等。
ZL2012101466279公开了一种基于快速鲁棒特征匹配的仿射运动目标跟踪算法,这种算法将快速鲁棒特征的检测和匹配过程融入连续自适应均值漂移算法框架,即在目标区域和搜索区域提取包含图像信息的快速鲁棒特征并利用近似最近邻搜索对特征点进行匹配,此方法利用提纯后的匹配结果对连续自适应均值漂移算法搜索区域进行约束和更新,但是此方法需要限定区域,存在局限性。
ZL2018115415655公开了一种面向城市交通的移动目标检测及跟踪方法,采用所得到的多目标跟踪算法获取目标运动轨迹并对目标的完整轨迹进行储存,达到对视频范围内的目标进行自动检测、分类及持续跟踪,获得目标的移动轨迹信息的目的。本发明能够利用连续的图像精确的获得不同目标的类型及其移动轨迹信息,但是无法实时跟踪目标。
在ITS中,可以采用基于YOLOv3算法网络的目标识别检测方法实现对智能交通网络中各种目标的计算机识别,同时,采用均值漂移目标跟踪算法可以实现计算机对各种识别目标的移动跟踪,但是传统的均值漂移目标跟踪算法存在一定的缺陷,其搜索检测框的尺度保持不变,而智能交通网络中的各种目标在随时保持运动,因其搜索检测框尺度大小和检测目标尺度大小的不匹配,将会造成计算机目标跟踪的精度降低,甚至导致跟踪失败的情况发生,严重影响了ITS解决道路拥堵问题的动态调度策略的及时性,而均值漂移目标跟踪算法搜索检测框的尺度自适应问题是解决以上问题的难点。
发明内容
为了解决上述问题,本发明提供了一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法,解决了传统均值漂移目标跟踪算法搜索检测框的尺度不匹配问题,从而在ITS中可以进行高效地运行计算机目标识别与跟踪算法。
为了达到上述目的,本发明是通过以下技术方案实现的:
本发明是一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法,该方法应用于ITS智能交通网络中,具体包括如下步骤:
S1:根据需要检测的目标种类,制作目标数据集,将数据集输入YOLOv3 算法的卷积神经网络以训练该网络,经过网络的特征提取与分析后得到目标标签的预测向量,与真实标签向量比较计算损失函数,通过梯度下降法使损失函数不断下降直至一定阈值时,YOLOv3网络针对需要检测的目标种类的训练完成,该训练完成的YOLOv3针对未知物体进行目标检测;
S2:输入ITS智能交通网络中的高清视频,并将视频图像逐帧输入已经训练完成的YOLOv3网络,该网络可以检测识别视频帧中是否存在目标检测物体,检测完成后YOLOv3网络输出检测目标预测标签向量,包含检测目标的边界框尺寸等信息;在视频帧图像输入时,因图像的尺寸可能不同,所以需要将图像尺寸调整合适后再输入YOLOv3网络算法;
S3:将YOLOv3网络输出的检测目标预测标签向量中的多个目标边界框尺寸信息输入均值漂移目标跟踪算法,以每个目标的边界框尺寸信息作为均值漂移目标跟踪算法对应目标的搜索检测框尺寸大小;
S4:利用均值漂移目标跟踪算法对目标进行跟踪;
S5:判断视频是否结束,若未结束则返回步骤S2继续对视频帧进行目标识别和跟踪,否则算法结束。
本发明的有益效果是:本发明通过YOLOv3目标识别算法输出的目标边界框尺度大小作为均值漂移目标跟踪算法搜索检测框的尺度大小,解决了传统均值漂移目标跟踪算法搜索检测框的尺度不匹配问题,改善了传统均值漂移目标跟踪算法的局限性,提高了目标识别与跟踪算法的性能。
附图说明
图1为本发明所述方法的流程示意图。
图2为本发明所述方法中YOLOv3网络对车辆目标的检测结果。
图3为本发明所述方法中车辆目标的识别与跟踪示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例,附图中给出了本发明的较佳实施例。本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例,相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,在本发明实施例中,提供了一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法,所述方法应用于ITS智能交通网络中,该方法通过YOLOv3目标识别算法输出的目标边界框尺度大小作为均值漂移目标跟踪算法搜索检测框的尺度大小,改善了传统均值漂移目标跟踪算法的局限性,提高了计算机目标识别与跟踪算法的性能。
具体方法步骤如下:
S1:根据需要检测的目标种类,制作目标数据集,将数据集输入YOLOv3 算法的卷积神经网络以训练该网络,经过网络的特征提取与分析后得到目标标签的预测向量,与真实标签向量比较计算损失函数,通过梯度下降法使损失函数不断下降直至一定阈值时,YOLOv3网络针对需要检测的目标种类的训练完成,该训练完成的YOLOv3可以针对未知物体进行目标检测;
具体的,检测的目标种类可以根据应用场景进行自定义,如在ITS智能交通网络中可以设定检测的目标为车辆、车辆牌照、行人、非机动车、交通信号灯等,在图2中仅展示了车辆目标的检测识别,但本发明并不局限于车辆目标检测。
S2:输入ITS智能交通网络中的高清视频,并将视频图像逐帧输入已经训练完成的YOLOv3网络,该网络可以检测识别视频帧中是否存在目标检测物体,检测完成后YOLOv3网络输出检测目标预测标签向量,包含检测目标的边界框尺寸等信息;
具体的,在视频帧图像输入时,因图像的尺寸可能不同,所以需要将图像尺寸调整合适后再输入YOLOv3网络算法;
其中,Pc1表示检测目标是目标种类1的概率,bx1,by1表示该目标中心点在视频图像帧中的坐标位置,bw1,bh1表示该目标的边界框尺寸大小,因需求的检测目标种类可以自定义,数量不确定,因此用省略号表示其他目标种类的检测情况,参数形式与目标种类1的参数形式相似。
S3:将YOLOv3网络输出的检测目标预测标签向量中的多个目标边界框尺寸信息输入均值漂移目标跟踪算法,以每个目标的边界框尺寸信息作为均值漂移目标跟踪算法对应目标的搜索检测框尺寸大小;
具体的,将YOLOv3网络每一图像帧输出预测标签向量中的目标边界框信息输入给均值漂移目标跟踪算法,后者算法可以及时快速地调整目标搜索检测框大小,因此实现了均值漂移目标跟踪算法的尺度自适应,可以解决检测框与目标边界框尺度不匹配带来的精度下降问题。
S4:利用均值漂移目标跟踪算法对目标进行跟踪;
具体的,设搜索区域中心坐标为x0,包含像素点n个,即{xi},i=1,2,…,n。目标模型的归一化直方图向量为:
k(x)是核函数,公式如下:
视频帧中目标保持移动的同时,目标跟踪算法一直迭代搜索候选目标,若候选目标区域中心坐标为y0,候选区域像素用{yi},i=1,2,…,n表示,则候选模型的归一化直方图向量为:
其中,ρ(y)为Bhattacharya函数,其值越大则目标与候选模型越相似,当Bhattacharya函数获得最优解时迭代中断,同时显示车辆跟踪的结果;否则将持续迭代直至达到阈值。同时由基于YOLOv3的目标识别算法得到的目标识别边界框用于更新目标模型,因此跟踪算法可以实时跟踪目标。
S5:判断视频是否结束,若未结束则返回步骤S2继续对视频帧进行目标识别和跟踪,否则算法结束。
以上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等,均应包括在本发明的权利要求范围之内。
Claims (6)
1.一种基于YOLOv3网络和均值漂移的目标与识别跟踪方法,其特征在于:所述方法包括如下步骤:
S1:制作目标数据集,将目标数据集输入YOLOv3算法的卷积神经网络以训练该网络,YOLOv3网络针对需要检测的目标种类的训练完成,该训练完成的YOLOv3针对未知物体进行目标检测;
S2:输入ITS智能交通网络中的高清视频,并将视频图像逐帧输入已经训练完成的YOLOv3网络,检测完成后YOLOv3网络输出检测目标预测标签向量;S3:将YOLOv3网络输出的检测目标预测标签向量中的多个目标边界框尺寸信息输入均值漂移目标跟踪算法,以每个目标的边界框尺寸信息作为均值漂移目标跟踪算法对应目标的搜索检测框尺寸大小;
S4:利用均值漂移目标跟踪算法对目标进行跟踪;
S5:判断视频是否结束,若未结束则返回步骤S2继续对视频帧进行目标识别和跟踪,否则算法结束。
2.根据权利要求1所述基于YOLOv3网络和均值漂移的目标与识别跟踪方法,其特征在于:在步骤S2视频帧图像输入时,将图像尺寸调整合适后再输入YOLOv3网络算法。
3.根据权利要求1所述基于YOLOv3网络和均值漂移的目标与识别跟踪方法,其特征在于:在步骤S3中将YOLOv3网络每一图像帧输出预测标签向量中的目标边界框信息输入给均值漂移目标跟踪算法。
5.根据权利要求1所述基于YOLOv3网络和均值漂移的目标与识别跟踪方法,其特征在于:在步骤S4中跟踪方法具体为:
设搜索区域中心坐标为x0,包含像素点n个,即{xi},i=1,2,…,n,目标模型的归一化直方图向量为:
k(x)是核函数,公式如下:
视频帧中目标保持移动的同时,目标跟踪算法一直迭代搜索候选目标,若候选目标区域中心坐标为y0,候选区域像素用{yi},i=1,2,…,n表示,则候选模型的归一化直方图向量为:
其中,ρ(y)为Bhattacharya函数,其值越大则目标与候选模型越相似,当Bhattacharya函数获得最优解时迭代中断,同时显示车辆跟踪的结果;否则将持续迭代直至达到阈值。
6.根据权利要求1所述基于YOLOv3网络和均值漂移的目标与识别跟踪方法,其特征在于:该方法应用于ITS智能交通网络中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110578149.8A CN113313008B (zh) | 2021-05-26 | 2021-05-26 | 基于YOLOv3网络和均值漂移的目标与识别跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110578149.8A CN113313008B (zh) | 2021-05-26 | 2021-05-26 | 基于YOLOv3网络和均值漂移的目标与识别跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113313008A true CN113313008A (zh) | 2021-08-27 |
CN113313008B CN113313008B (zh) | 2022-08-05 |
Family
ID=77374950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110578149.8A Active CN113313008B (zh) | 2021-05-26 | 2021-05-26 | 基于YOLOv3网络和均值漂移的目标与识别跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313008B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115565114A (zh) * | 2022-11-17 | 2023-01-03 | 中央广播电视总台 | 视频画面漂移识别方法、装置及计算机设备、存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107818571A (zh) * | 2017-12-11 | 2018-03-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
CN112836639A (zh) * | 2021-02-03 | 2021-05-25 | 江南大学 | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 |
-
2021
- 2021-05-26 CN CN202110578149.8A patent/CN113313008B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107818571A (zh) * | 2017-12-11 | 2018-03-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
CN112836639A (zh) * | 2021-02-03 | 2021-05-25 | 江南大学 | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115565114A (zh) * | 2022-11-17 | 2023-01-03 | 中央广播电视总台 | 视频画面漂移识别方法、装置及计算机设备、存储介质 |
CN115565114B (zh) * | 2022-11-17 | 2023-03-21 | 中央广播电视总台 | 视频画面漂移识别方法、装置及计算机设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113313008B (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hasegawa et al. | Robust Japanese road sign detection and recognition in complex scenes using convolutional neural networks | |
CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
CN107729818B (zh) | 一种基于深度学习的多特征融合车辆重识别方法 | |
CN108171112B (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
CN110069986B (zh) | 一种基于混合模型的交通信号灯识别方法及系统 | |
He et al. | Obstacle detection of rail transit based on deep learning | |
CN112215128B (zh) | 融合fcos的r-cnn城市道路环境识别方法及装置 | |
Song et al. | Vehicle behavior analysis using target motion trajectories | |
CN108304798A (zh) | 基于深度学习及运动一致性的街面秩序事件视频检测方法 | |
CN112016605B (zh) | 一种基于边界框角点对齐和边界匹配的目标检测方法 | |
CN109753949B (zh) | 一种基于深度学习的多视窗交通标志检测方法 | |
CN111340855A (zh) | 一种基于轨迹预测的道路移动目标检测方法 | |
CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
CN111259796A (zh) | 一种基于图像几何特征的车道线检测方法 | |
CN108509950B (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
CN114973207B (zh) | 一种基于目标检测的路标识别方法 | |
CN110781785A (zh) | 基于Faster RCNN算法改进的交通场景下行人检测方法 | |
Van Ruitenbeek et al. | Convolutional Neural Networks for vehicle damage detection | |
CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
CN115170611A (zh) | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 | |
CN113888754A (zh) | 一种基于雷达视觉融合的车辆多属性识别方法 | |
CN112465854A (zh) | 基于无锚点检测算法的无人机跟踪方法 | |
Hasegawa et al. | Robust detection and recognition of japanese traffic sign in the complex scenes based on deep learning | |
Hu et al. | Traffic density recognition based on image global texture feature | |
CN113313008B (zh) | 基于YOLOv3网络和均值漂移的目标与识别跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |