CN113012203B - 一种复杂背景下高精度多目标跟踪方法 - Google Patents
一种复杂背景下高精度多目标跟踪方法 Download PDFInfo
- Publication number
- CN113012203B CN113012203B CN202110404599.5A CN202110404599A CN113012203B CN 113012203 B CN113012203 B CN 113012203B CN 202110404599 A CN202110404599 A CN 202110404599A CN 113012203 B CN113012203 B CN 113012203B
- Authority
- CN
- China
- Prior art keywords
- target
- matching
- track
- representing
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 101150105088 Dele1 gene Proteins 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种复杂背景下高精度多目标跟踪方法,包括将获取的视频数据输入至残差网络,进行目标分辨率特征提取,在输出端输出提取结果,提取结果包括不同维度的目标分辨率特征;计算目标分辨率特征的相关滤波响应图;利用目标检测网络得到目标的检测结果;将目标的检测结果与预测的轨迹进行匹配,获得匹配结果,匹配结果包括融合运动信息和表观信息两种度量的值;将两种度量融合的值与预设匹配阈值进行对比,获得目标跟踪结果。相较于现有技术,通过增加了一个提取特征的残差网络,提取目标的多分辨率特征,将匹配的过程结合运动信息以及表观信息,更大限度的提高了匹配过程的准确性。
Description
技术领域
本发明涉及目标跟踪技术领域,尤其涉及一种复杂背景下高精度多目标跟踪方法。
背景技术
目前,随着计算机视觉技术的发展,海量的视觉信息被获取、传输以及分析,因此如何让计算机处理这些视频数据成为了当前的研究热点,其中视觉目标跟踪技术是处理这些视频数据的重要手段,视觉目标跟踪是计算机视觉中的一个基本的研究问题,在视频监控、无人驾驶、人机交互、行星探测、军事应用等诸多方面都有广泛的应用前景。视觉目标跟踪要解决的问题可以表述为:在视频序列中,给出第一帧中目标的位置和大小(通常是一个矩形边界框),需要在后续帧中预测出目标的位置和大小。
传统的目标跟踪算法可以分为基于生成模型和基于判别模型的目标跟踪算法。采用历史帧的结果来生成用于描述目标特征的统计模型,能够有效处理跟踪过程中目标丢失的情况,但是基于生成模型的方法通常忽略了目标周围的背景信息,同时在面对背景混乱的情况时容易丢失目标。传统的基于相关滤波的跟踪方法大多只使用手工设计的特征描述子来提取特征,使得对目标的表征能力有限,通过响应图确定的目标位置不够精确,在遮挡和背景混杂等因素干扰下通常不能得到令人满意的性能。在2010年之前,目标跟踪算法一般采用经典的跟踪算法,例如均值漂移、粒子滤波、卡尔曼滤波、子空间学习、稀疏表达方法、核密度估计方法。
基于深度学习的目标跟踪算法可以分成基于深度特征的目标跟踪算法、基于孪生网络的目标跟踪算法、基于循环神经网络、基于生成对抗网络的目标跟踪算法和基于其他特定网络的目标跟踪算法。
尽管目标跟踪已经被研究了多年,并取得了一定的进展,但在复杂背景下仍然难以满足实际的需求,在跟踪任务中,当环境亮度降低或者存在较多相似的目标,跟踪算法区分目标区域与背景区域的能力将变弱,跟踪效果将变差;当目标发生遮时,目标的特征信息会丢失,而随着遮挡比例的增大,丢失的信息会越来越多。因此,如何设计一个实时鲁棒的跟踪算法是当前目标跟踪领域的研究焦点。
发明内容
本发明针对目标跟踪中的问题,提出了一种复杂背景下高精度多目标跟踪方法,解决了传统的目标跟踪算法在复杂场景下跟踪效果不佳的缺陷,包括以下步骤:
步骤1,将获取的视频数据输入至残差网络,进行目标分辨率特征提取,在输出端输出提取结果,所述提取结果包括不同维度的目标分辨率特征。具体的,本发明中,所述残差网络可采用ResNet。
本发明中,所述提取结果中不同维度的目标分辨率特征具有不同特性,根据所述不同特性可增强特征表达能力。通过本步骤解决了目标跟踪过程中经常出现的尺度变化问题。
步骤2,计算所述目标分辨率特征的相关滤波响应图;
步骤3,利用目标检测网络得到目标的检测结果,所述目标的检测结果将目标的运动状态定义为一个8维空间,分别表示轨迹在某个时刻的状态;
步骤4,将所述目标的检测结果与预测的轨迹进行匹配,获得匹配结果,所述匹配结果包括融合运动信息和表观信息两种度量的值;
步骤5,将所述两种度量融合的值与预设匹配阈值进行对比,获得目标跟踪结果。
进一步地,在一种实现方式中,所述步骤2,包括:
步骤2-1,对所述不同维度的所述目标分辨率特征进行插值操作,将所述不同分辨率的特征转换到连续空间域,插值算子Jd表示为:
其中,bd∈L2(T),属于差值函数,每个样本都包含D维的特征通道,Nd表示特征通道中空间采样点的数目,d∈{0,1,2,…},不同分辨率的特征被转换到连续的空间域[0,T)∈R,T表示支持区域的大小,t表示跟踪目标在图像中的位置,t∈[0,T),n表示离散空间变量n∈{0,…Nd-1};
步骤2-2,通过最小化损失函数,求出相关滤波器;
傅里叶域中相应的损失函数可推导为:
其中,f为滤波器,P是特征矩阵;z表示插值特征图,惩罚函数w∈L2(T)是一个空间正则化项,C表示为C维特征图,λ表示为权重参数,F表示滤波器f经过傅里叶变化后的结果;
步骤2-3,进行因式分解的卷积操作求出相关滤波器的响应,相关性用来描述两个信号的联系,分为互相关和正相关,本实施例中,所述的相关指的是正相关;
新的滤波响应Rc表示为矩阵向量乘积Pf,所述滤波响应Rc因式分解的卷积算子表示为:
其中,每个位置t的特征向量J{x}(t)首先与矩阵PT相乘,然后将生成的特征图与滤波器进行卷积,Pdc表示学习系数,可以紧凑地表示为D×C的矩阵P=(Pdc);式中,每个位置t的特征向量J{x}(t)表示为J{x};
步骤2-4,对所述跟踪目标采用视觉显著性检测;本发明中,通过对所述跟踪目标采用视觉显著性检测,能够快速定位所述跟踪目标,并提高定位的准确性;
步骤2-5,由获得的滤波响应Rc和当前帧的显著性RS相乘,最终的响应图Rf=Rc·RS,当所述最终的响应图Rf取最大值时,将响应值最大的位置映射到原图,得到所述目标在后续帧中的位置,即获得预测的轨迹。
进一步地,在一种实现方式中,所述步骤2-4,包括:
步骤2-4-1,假设输入图像为I,若已知一个跟踪目标的目标区域,即矩形框区域,以及环绕区域时,在图像处的像素属于目标像素的概率是:
其中,m表示分离出的目标像素,O表示目标区域,S表示环绕区域,bm表示分配给输入图像I的颜色分量;
所述分配给输入图像I的颜色分量bm属于目标区域O和环绕区域S的概率分别表示为:
其中,表示在目标区域O∈I上计算的非标准化直方图H的第bm个计算区间,/>表示在环绕区域S∈I上计算的非标准化直方图H的第bm个计算区间;
步骤2-4-2,分配给背景像素值的最大熵为0.5,在目标跟踪过程中,给定第一帧的目标位置,在后续帧中,在前一帧的位置周围进行一个矩形区域的搜索,当前帧的显著性RS计算公式为:
RS=sv(Ot)sd(Ot),
其中,sv(Ot)表示基于对象模型的概率分数,sd(Ot)表示目标到前一帧的目标中心ct-1的欧氏距离的距离分数,P1:t-1表示从第一帧到前一帧的概率分数,σ表示为正态分布的标准差。
进一步地,在一种实现方式中,所述步骤3,包括:利用目标检测网络得到目标的检测结果,将目标的运动状态定义为一个8维空间(xt,yt,rt,ht,x*,y*,r*,h*),分别表示轨迹在某个时刻的状态,其中,xt,yt表示检测框的中心在图像坐标系中的坐标,rt表示检测框的长宽比,ht表示检测框的高度;x*,y*,r*,h*表示在图像坐标中对应的速度信息。具体的,本实施例中,所述目标检测网络可采用yolov4。
进一步地,在一种实现方式中,所述步骤4,包括:
步骤4-1,使用所述目标的检测结果与预测的轨迹之间的距离表示运动匹配程度:
其中,djk表示第j个目标的第k个的状态,yik表示第i条轨迹的第k个状态;
所述运动匹配程度表示第j个目标的检测结果和第i条轨迹之间的匹配程度;
其中,Si是轨迹预测得到的在当前时刻观测空间的协方差矩阵,yi是轨迹在当前时刻的预测观测量,dj是第j个目标的状态。
步骤4-2,使用所述目标的检测结果与轨迹包含的目标的特征向量之间的最小余弦距离作为目标与轨迹之间的表观匹配程度;
第j个目标的检测结果和第i条轨迹之间的余弦相似度为:
余弦距离=1-余弦相似度,所述目标与轨迹之间的表观匹配程度为:
现有技术中,单独使用运动信息作为匹配度度量会导致追踪目标的ID变化过于严重,因此,本发明通过联合表观匹配度进行追踪,相较于现有技术能够有效减少追踪目标的ID变化。
步骤4-3,利用加权平均的方式对两种度量方式,即对运动距离匹配度和表观信息进行融合,获得所述两种度量方式融合的值ωi,j:
即,
其中,μ为超参数,用于调整不同项的去权重。
具体的,本实施例中,所述运动距离匹配度度量对于短期的预测和匹配效果很好,而表观信息对于长时间丢失的轨迹而言,匹配度度量的比较有效。超参数的选择要看具体的数据集,如果想取相通的重要程度,μ应该取0.1左右。
进一步地,在一种实现方式中,所述步骤5,包括:
步骤5-1,若所述两种度量融合的值ωi,j大于或等于预设匹配阈值Thres,则所述目标跟踪结果为匹配成功;
若所述两种度量融合的ωi,j小于预设匹配阈值Thres,则所述目标跟踪结果为匹配失败;
步骤5-2,已知轨迹的初始状态为Tini,若视频在处理过程中连续n帧匹配成功,将所述轨迹从初始状态Tini转为确定状态Tcofr,视为跟踪成功;
若视频连续匹配成功的帧数小于n帧,计当前帧数为z,z=z+1;返回所述步骤1,重新进行匹配;
若视频连续n帧都匹配失败,将轨迹从初始状态Tini转为删除状态Tdele,视为跟踪失败,将当前轨迹从视频中删除。
本发明提出了一种复杂背景下高精度多目标跟踪方法,该方法将传统的跟踪算法进行改进。传统的方法在进行检测目标与轨迹匹配时,由于缺乏足够的特征信息,容易造成ID switch,就是检测框的ID不停的进行更换,缺乏准确性与鲁棒性。本文通过增加了一个提取特征的残差网络,提取目标的多分辨率特征,将匹配的过程结合运动信息以及表观信息,更大限度的提高了匹配过程的准确性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例部分提供的一种复杂背景下高精度多目标跟踪方法的基本流程框架示意图;
图2是本发明实施例部分提供的一种复杂背景下高精度多目标跟踪方法中目标区域和环绕区域示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明实施例公开一种复杂背景下高精度多目标跟踪方法,应用于复杂背景下多目标任务的跟踪,包括以下步骤:
在步骤1之前,首先获取视频数据;本实施例中,可利用摄像头时实抓拍视频并发送到计算机,或者计算机直接读取本地视频。具体的,所述摄像头和计算机可采用任意型号。
步骤1,将获取的视频数据输入至残差网络,进行目标分辨率特征提取,在输出端输出提取结果,所述提取结果包括不同维度的目标分辨率特征,具体的,本实施例中,所述残差网络可采用ResNet。
本实施例中,所述提取结果中不同维度的目标分辨率特征具有不同特性,根据所述不同特性可增强特征表达能力。通过本步骤解决了目标跟踪过程中经常出现的尺度变化问题。
步骤2,计算所述目标分辨率特征的相关滤波响应图;
步骤3,利用目标检测网络得到目标的检测结果,所述目标的检测结果将目标的运动状态定义为一个8维空间,分别表示轨迹在某个时刻的状态;
步骤4,将所述目标的检测结果与预测的轨迹进行匹配,获得匹配结果,所述匹配结果包括融合运动信息和表观信息两种度量的值;
步骤5,将所述两种度量融合的值与预设匹配阈值进行对比,获得目标跟踪结果。
本发明实施例所述的一种复杂背景下高精度多目标跟踪方法中,所述步骤2,包括:
步骤2-1,对所述不同维度的所述目标分辨率特征进行插值操作,将所述不同分辨率的特征转换到连续空间域,插值算子Jd表示为:
其中,bd∈L2(T),属于差值函数,每个样本都包含D维的特征通道,Nd表示特征通道中空间采样点的数目,d∈{0,1,2,…},不同分辨率的特征被转换到连续的空间域[0,T)∈R,T表示支持区域的大小,t表示跟踪目标在图像中的位置,t∈[0,T),n表示离散空间变量n∈{0,…Nd-1};
步骤2-2,通过最小化损失函数,求出相关滤波器;
傅里叶域中相应的损失函数可推导为:
其中,f为滤波器,P是特征矩阵;z表示插值特征图,惩罚函数w∈L2(T)是一个空间正则化项,C表示为C维特征图,λ表示为权重参数,F表示滤波器f经过傅里叶变化后的结果;
步骤2-3,进行因式分解的卷积操作求出相关滤波器的响应,相关性用来描述两个信号的联系,分为互相关和正相关,本实施例中,所述的相关指的是正相关;
新的滤波响应Rc表示为矩阵向量乘积Pf,所述滤波响应Rc因式分解的卷积算子表示为:
其中,每个位置t的特征向量J{x}(t)首先与矩阵PT相乘,然后将生成的特征图与滤波器进行卷积,Pdc表示学习系数,可以紧凑地表示为D×C的矩阵P=(Pdc);式中,每个位置t的特征向量J{x](t)表示为J{x};
步骤2-4,对所述跟踪目标采用视觉显著性检测;本实施例中,通过对所述跟踪目标采用视觉显著性检测,能够快速定位所述跟踪目标,并提高定位的准确性;
本发明实施例所述的一种复杂背景下高精度多目标跟踪方法中,所述步骤2-4,包括:
步骤2-4-1,如图2所示,假设输入图像为I,若已知一个跟踪目标的目标区域,即矩形框区域,以及环绕区域时,在图像处的像素属于目标像素的概率是:
其中,m表示分离出的目标像素,O表示目标区域,S表示环绕区域,bm表示分配给输入图像I的颜色分量;
所述分配给输入图像I的颜色分量bm属于目标区域O和环绕区域S的概率分别表示为:
其中,表示在目标区域O∈I上计算的非标准化直方图H的第bm个计算区间,/>表示在环绕区域S∈I上计算的非标准化直方图H的第b个计算区间;
步骤2-4-2,在目标跟踪过程中,给定第一帧的目标位置,在后续帧中,在前一帧的位置周围进行一个矩形区域的搜索,当前帧的显著性RS计算公式为:
RS=sv(Ot)sd(Ot),
其中,sv(Ot)表示基于对象模型的概率分数,sd(Ot)表示目标到前一帧的目标中心ct-1的欧氏距离的距离分数,P1:t-1表示从第一帧到前一帧的概率分数,σ表示为正态分布的标准差。
步骤2-5,由获得的滤波响应Rc和当前帧的显著性RS相乘,最终的响应图Rf=Rc·RS,当所述最终的响应图Rf取最大值时,将响应值最大的位置映射到原图,得到所述目标在后续帧中的位置,即获得预测的轨迹。
本发明实施例所述的一种复杂背景下高精度多目标跟踪方法中,所述步骤3,包括:利用目标检测网络得到目标的检测结果,将目标的运动状态定义为一个8维空间(xt,yt,rt,ht,x*,y*,r*,h*),分别表示轨迹在某个时刻的状态,其中,xt,yt表示检测框的中心在图像坐标系中的坐标,rt表示检测框的长宽比,ht表示检测框的高度;x*,y*,r*,h*表示在图像坐标中对应的速度信息。具体的,本实施例中,所述目标检测网络可采用yolov4。
本发明实施例所述的一种复杂背景下高精度多目标跟踪方法中,所述步骤4,包括:
步骤4-1,使用所述目标的检测结果与预测的轨迹之间的距离表示运动匹配程度:
所述运动匹配程度表示第j个目标的检测结果和第i条轨迹之间的匹配程度;
其中,Si是轨迹预测得到的在当前时刻观测空间的协方差矩阵,yi是轨迹在当前时刻的预测观测量,dj是第j个目标的状态。
步骤4-2,使用所述目标的检测结果与轨迹包含的目标的特征向量之间的最小余弦距离作为目标与轨迹之间的表观匹配程度;
第j个目标的检测结果和第i条轨迹之间的余弦相似度为:
其中,djk表示第j个目标的第k个的状态,yik表示第i条轨迹的第k个状态;
余弦距离=1-余弦相似度,所述目标与轨迹之间的表观匹配程度为:
现有技术中,单独使用运动信息作为匹配度度量会导致追踪目标的ID变化过于严重,因此,本发明通过联合表观匹配度进行追踪,相较于现有技术能够有效减少追踪目标的ID变化。
步骤4-3,利用加权平均的方式对两种度量方式,即对运动距离匹配度和表观信息进行融合,获得所述两种度量方式融合的值ωi,j:
即,
其中,μ为超参数,用于调整不同项的去权重。
具体的,本实施例中,所述运动距离匹配度度量对于短期的预测和匹配效果很好,而表观信息对于长时间丢失的轨迹而言,匹配度度量的比较有效。超参数的选择要看具体的数据集,如果想取相通的重要程度,μ应该取0.1左右。
本发明实施例所述的一种复杂背景下高精度多目标跟踪方法中,所述步骤5,包括:
步骤5-1,若所述两种度量融合的值ωi,j大于或等于预设匹配阈值Thres,则所述目标跟踪结果为匹配成功;
若所述两种度量融合的ωi,j小于预设匹配阈值Thres,则所述目标跟踪结果为匹配失败;
步骤5-2,已知轨迹的初始状态为Tini,若视频在处理过程中连续n帧匹配成功,将所述轨迹从初始状态Tini转为确定状态Tcofr,视为跟踪成功;
若视频连续匹配成功的帧数小于n帧,计当前帧数为z,z=z+1;返回所述步骤1,重新进行匹配;
若视频连续n帧都匹配失败,将轨迹从初始状态Tini转为删除状态Tdele,视为跟踪失败,将当前轨迹从视频中删除。
具体的,本实施例中,n=3;当前帧匹配结束后,z=z+1;重新返回所述步骤1,视频进入下一帧图像的目标匹配跟踪。
本发明提出了一种复杂背景下高精度多目标跟踪方法,该方法将传统的跟踪算法进行改进。传统的方法在进行检测目标与轨迹匹配时,由于缺乏足够的特征信息,容易造成ID switch,就是检测框的ID不停的进行更换,缺乏准确性与鲁棒性。本文通过增加了一个提取特征的残差网络,提取目标的多分辨率特征,将匹配的过程结合运动信息以及表观信息,更大限度的提高了匹配过程的准确性。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的一种复杂背景下高精度多目标跟踪方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,ROM)或随机存储记忆体(random access memory,RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (5)
1.一种复杂背景下高精度多目标跟踪方法,其特征在于,包括如下步骤:
步骤1,将获取的视频数据输入至残差网络,进行目标分辨率特征提取,在输出端输出提取结果,所述提取结果包括不同维度的目标分辨率特征;
步骤2,计算所述目标分辨率特征的相关滤波响应图;
步骤3,利用目标检测网络得到目标的检测结果,所述目标的检测结果将目标的运动状态定义为一个8维空间,分别表示轨迹在某个时刻的状态;
步骤4,将所述目标的检测结果与预测的轨迹进行匹配,获得匹配结果,所述匹配结果包括融合运动信息和表观信息两种度量的值;
步骤5,将所述两种度量融合的值与预设匹配阈值进行对比,获得目标跟踪结果;
所述步骤2,包括:
步骤2-1,对所述不同维度的所述目标分辨率特征进行插值操作,将所述不同维度的目标分辨率的特征转换到连续空间域,插值算子Jd表示为:
其中,bd∈L2(T),属于差值函数,每个样本都包含D维的特征通道,Nd表示特征通道中空间采样点的数目,d∈{0,1,2,…},不同分辨率的特征被转换到连续的空间域[0,T)∈R,T表示支持区域的大小,t表示跟踪目标在图像中的位置,t∈[0,T),n表示离散空间变量n∈{0,…Nd-1};
步骤2-2,通过最小化损失函数,求出相关滤波器;
傅里叶域中相应的损失函数可推导为:
其中,f为滤波器,P是特征矩阵;z表示插值特征图,惩罚函数w∈L2(T)是一个空间正则化项,C表示为C维特征图,λ表示为权重参数,F表示滤波器f经过傅里叶变化后的结果;
步骤2-3,进行因式分解的卷积操作求出相关滤波器的响应;
新的滤波响应Rc表示为矩阵向量乘积Pf,所述滤波响应Rc因式分解的卷积算子表示为:
其中,每个位置t的特征向量J{x}(t)首先与矩阵PT相乘,然后将生成的特征图与滤波器进行卷积,Pdc表示学习系数,可以紧凑地表示为D×C的矩阵P=(Pdc);式中,每个位置t的特征向量J{x}(t)表示为J{x};
步骤2-4,对所述跟踪目标采用视觉显著性检测;
步骤2-5,由获得的滤波响应Rc和当前帧的显著性RS相乘,最终的响应图Rf=Rc·RS,当所述最终的响应图Rf取最大值时,将响应值最大的位置映射到原图,得到所述目标在后续帧中的位置,即获得预测的轨迹。
2.根据权利要求1所述的一种复杂背景下高精度多目标跟踪方法,其特征在于,所述步骤2-4,包括:
步骤2-4-1,假设输入图像为I,若已知一个跟踪目标的目标区域,即矩形框区域,以及环绕区域时,在图像处的像素属于目标像素的概率是:
其中,m表示分离出的目标像素,O表示目标区域,S表示环绕区域,bm表示分配给输入图像I的颜色分量;
所述分配给输入图像I的颜色分量bm属于目标区域O和环绕区域S的概率分别表示为:
其中,表示在目标区域O∈I上计算的非标准化直方图H的第bm个计算区间,/>表示在环绕区域S∈I上计算的非标准化直方图H的第bm个计算区间;
步骤2-4-2,在目标跟踪过程中,给定第一帧的目标位置,在后续帧中,在前一帧的位置周围进行一个矩形区域的搜索,当前帧的显著性RS计算公式为:
RS=sv(Ot)sd(Ot),
其中,sv(Ot)表示基于对象模型的概率分数,sd(Ot)表示目标到前一帧的目标中心ct-1的欧氏距离的距离分数,P1:t-1表示从第一帧到前一帧的概率分数,σ表示为正态分布的标准差。
3.根据权利要求1所述的一种复杂背景下高精度多目标跟踪方法,其特征在于,所述步骤3,包括:利用目标检测网络得到目标的检测结果,将目标的运动状态定义为一个8维空间(xt,yt,rt,ht,x*,y*,r*,h*),分别表示轨迹在某个时刻的状态,其中,xt,yt表示检测框的中心在图像坐标系中的坐标,rt表示检测框的长宽比,ht表示检测框的高度;x*,y*,r*,h*表示在图像坐标中对应的速度信息。
4.根据权利要求1所述的一种复杂背景下高精度多目标跟踪方法,其特征在于,所述步骤4,包括:
步骤4-1,使用所述目标的检测结果与预测的轨迹之间的距离表示运动匹配程度:
其中,djk表示第j个目标的第k个的状态,yik表示第i条轨迹的第k个状态;
所述运动匹配程度表示第j个目标的检测结果和第i条轨迹之间的匹配程度;
其中,Si是轨迹预测得到的在当前时刻观测空间的协方差矩阵,yi是轨迹在当前时刻的预测观测量,dj是第j个目标的状态;
步骤4-2,使用所述目标的检测结果与轨迹包含的目标的特征向量之间的最小余弦距离作为目标与轨迹之间的表观匹配程度;
第j个目标的检测结果和第i条轨迹之间的余弦相似度为:
余弦距离=1-余弦相似度,所述目标与轨迹之间的表观匹配程度为:
步骤4-3,利用加权平均的方式对两种度量方式,即对运动距离匹配度和表观信息进行融合,获得所述两种度量方式融合的值ωi,j:
即,
其中,μ为超参数,用于调整不同项的去权重。
5.根据权利要求1所述的一种复杂背景下高精度多目标跟踪方法,其特征在于,所述步骤5,包括:
步骤5-1,若所述两种度量融合的值ωi,j大于或等于预设匹配阈值Thres,则所述目标跟踪结果为匹配成功;
若所述两种度量融合的ωi,j小于预设匹配阈值Thres,则所述目标跟踪结果为匹配失败;
步骤5-2,已知轨迹的初始状态为Tini,若视频在处理过程中连续n帧匹配成功,将所述轨迹从初始状态Tini转为确定状态Tcofr,视为跟踪成功;
若视频连续匹配成功的帧数小于n帧,计当前帧数为z,z=z+1;返回所述步骤1,重新进行匹配;
若视频连续n帧都匹配失败,将轨迹从初始状态Tini转为删除状态Tdele,视为跟踪失败,将当前轨迹从视频中删除。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110404599.5A CN113012203B (zh) | 2021-04-15 | 2021-04-15 | 一种复杂背景下高精度多目标跟踪方法 |
PCT/CN2021/119796 WO2022217840A1 (zh) | 2021-04-15 | 2021-09-23 | 一种复杂背景下高精度多目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110404599.5A CN113012203B (zh) | 2021-04-15 | 2021-04-15 | 一种复杂背景下高精度多目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012203A CN113012203A (zh) | 2021-06-22 |
CN113012203B true CN113012203B (zh) | 2023-10-20 |
Family
ID=76389386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110404599.5A Active CN113012203B (zh) | 2021-04-15 | 2021-04-15 | 一种复杂背景下高精度多目标跟踪方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113012203B (zh) |
WO (1) | WO2022217840A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012203B (zh) * | 2021-04-15 | 2023-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
CN115272420B (zh) * | 2022-09-28 | 2023-01-17 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种长时目标跟踪方法、系统及存储介质 |
CN115695949B (zh) * | 2022-10-27 | 2024-10-18 | 西北工业大学 | 一种基于目标轨迹运动模式的视频浓缩方法 |
CN115760914B (zh) * | 2022-11-10 | 2024-09-03 | 重庆大学 | 基于自适应模态权重和跨模态学习的相关滤波跟踪方法 |
CN115984846B (zh) * | 2023-02-06 | 2023-10-10 | 山东省人工智能研究院 | 一种基于深度学习的高分辨率图像中小目标的智能识别方法 |
CN116452791B (zh) * | 2023-03-27 | 2024-03-22 | 广州市斯睿特智能科技有限公司 | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 |
CN116343125B (zh) * | 2023-03-30 | 2024-04-02 | 北京国泰星云科技有限公司 | 一种基于计算机视觉的集装箱箱底锁头检测方法 |
CN116129332B (zh) * | 2023-04-12 | 2023-07-04 | 武汉理工大学 | 多船舶目标的跟踪识别方法、装置、电子设备及存储介质 |
CN116681660B (zh) * | 2023-05-18 | 2024-04-19 | 中国长江三峡集团有限公司 | 一种目标对象缺陷检测方法、装置、电子设备及存储介质 |
CN116721132B (zh) * | 2023-06-20 | 2023-11-24 | 中国农业大学 | 一种工厂化养殖的鱼类多目标跟踪方法、系统及设备 |
CN116758119B (zh) * | 2023-06-27 | 2024-04-19 | 重庆比特数图科技有限公司 | 基于运动补偿、联动的多目标循环检测跟踪方法及系统 |
CN116563348B (zh) * | 2023-07-06 | 2023-11-14 | 中国科学院国家空间科学中心 | 基于双特征模板的红外弱小目标多模态跟踪方法及系统 |
CN116596958B (zh) * | 2023-07-18 | 2023-10-10 | 四川迪晟新达类脑智能技术有限公司 | 一种基于在线样本增广的目标跟踪方法及装置 |
CN117214881B (zh) * | 2023-07-21 | 2024-04-30 | 哈尔滨工程大学 | 一种复杂场景下基于Transformer网络的多目标跟踪方法 |
CN116993779B (zh) * | 2023-08-03 | 2024-05-14 | 重庆大学 | 一种适于监控视频下的车辆目标跟踪方法 |
CN116758110B (zh) * | 2023-08-15 | 2023-11-17 | 中国科学技术大学 | 复杂运动场景下的鲁棒多目标跟踪方法 |
CN117456204B (zh) * | 2023-09-25 | 2024-08-20 | 珠海视熙科技有限公司 | 目标跟踪方法、装置、视频处理系统、存储介质和终端 |
CN117437261B (zh) * | 2023-10-08 | 2024-05-31 | 南京威翔科技有限公司 | 一种适用于边缘端远距离目标的跟踪方法 |
CN117455955B (zh) * | 2023-12-14 | 2024-03-08 | 武汉纺织大学 | 一种基于无人机视角下的行人多目标跟踪方法 |
CN117746304B (zh) * | 2024-02-21 | 2024-05-14 | 浪潮软件科技有限公司 | 基于计算机视觉的冰箱食材识别定位方法及系统 |
CN118262254B (zh) * | 2024-02-27 | 2024-10-18 | 南京信息工程大学 | 一种无人机视觉强跟踪方法、系统及设备 |
CN117809054B (zh) * | 2024-02-29 | 2024-05-10 | 南京邮电大学 | 一种基于特征解耦融合网络的多目标跟踪方法 |
CN117853759B (zh) * | 2024-03-08 | 2024-05-10 | 山东海润数聚科技有限公司 | 一种多目标跟踪方法、系统、设备和存储介质 |
CN118015501B (zh) * | 2024-04-08 | 2024-06-11 | 中国人民解放军陆军步兵学院 | 一种基于计算机视觉的中低空低速目标识别方法 |
CN118506298B (zh) * | 2024-07-17 | 2024-09-20 | 江西锦路科技开发有限公司 | 一种跨相机的车辆轨迹关联方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
WO2019006632A1 (zh) * | 2017-07-04 | 2019-01-10 | 深圳大学 | 一种视频多目标跟踪方法及装置 |
CN110321937A (zh) * | 2019-06-18 | 2019-10-11 | 哈尔滨工程大学 | 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法 |
CN110490901A (zh) * | 2019-07-15 | 2019-11-22 | 武汉大学 | 抗姿态变化的行人检测跟踪方法 |
CN110660083A (zh) * | 2019-09-27 | 2020-01-07 | 国网江苏省电力工程咨询有限公司 | 一种结合视频场景特征感知的多目标跟踪方法 |
CN111008997A (zh) * | 2019-12-18 | 2020-04-14 | 南京莱斯电子设备有限公司 | 一种车辆检测与跟踪一体化方法 |
CN111476826A (zh) * | 2020-04-10 | 2020-07-31 | 电子科技大学 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
CN111508002A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种小型低飞目标视觉检测跟踪系统及其方法 |
CN112084914A (zh) * | 2020-08-31 | 2020-12-15 | 的卢技术有限公司 | 一种融合空间运动和表观特征学习的多目标跟踪方法 |
CN112308881A (zh) * | 2020-11-02 | 2021-02-02 | 西安电子科技大学 | 一种基于遥感图像的舰船多目标跟踪方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107818571B (zh) * | 2017-12-11 | 2018-07-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
US10970856B2 (en) * | 2018-12-27 | 2021-04-06 | Baidu Usa Llc | Joint learning of geometry and motion with three-dimensional holistic understanding |
CN110197502B (zh) * | 2019-06-06 | 2021-01-22 | 山东工商学院 | 一种基于身份再识别的多目标跟踪方法及系统 |
CN111652909B (zh) * | 2020-04-21 | 2022-11-04 | 南京理工大学 | 一种基于深度哈希特征的行人多目标追踪方法 |
CN113012203B (zh) * | 2021-04-15 | 2023-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
-
2021
- 2021-04-15 CN CN202110404599.5A patent/CN113012203B/zh active Active
- 2021-09-23 WO PCT/CN2021/119796 patent/WO2022217840A1/zh active Application Filing
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019006632A1 (zh) * | 2017-07-04 | 2019-01-10 | 深圳大学 | 一种视频多目标跟踪方法及装置 |
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN110321937A (zh) * | 2019-06-18 | 2019-10-11 | 哈尔滨工程大学 | 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法 |
CN110490901A (zh) * | 2019-07-15 | 2019-11-22 | 武汉大学 | 抗姿态变化的行人检测跟踪方法 |
CN110660083A (zh) * | 2019-09-27 | 2020-01-07 | 国网江苏省电力工程咨询有限公司 | 一种结合视频场景特征感知的多目标跟踪方法 |
CN111008997A (zh) * | 2019-12-18 | 2020-04-14 | 南京莱斯电子设备有限公司 | 一种车辆检测与跟踪一体化方法 |
CN111476826A (zh) * | 2020-04-10 | 2020-07-31 | 电子科技大学 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
CN111508002A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种小型低飞目标视觉检测跟踪系统及其方法 |
CN112084914A (zh) * | 2020-08-31 | 2020-12-15 | 的卢技术有限公司 | 一种融合空间运动和表观特征学习的多目标跟踪方法 |
CN112308881A (zh) * | 2020-11-02 | 2021-02-02 | 西安电子科技大学 | 一种基于遥感图像的舰船多目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022217840A1 (zh) | 2022-10-20 |
CN113012203A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113012203B (zh) | 一种复杂背景下高精度多目标跟踪方法 | |
CN107563313B (zh) | 基于深度学习的多目标行人检测与跟踪方法 | |
CN107680120B (zh) | 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法 | |
CN109242884B (zh) | 基于JCFNet网络的遥感视频目标跟踪方法 | |
Kalinke et al. | A texture-based object detection and an adaptive model-based classification | |
EP1329850B1 (en) | Apparatus, program and method for detecting both stationary objects and moving objects in an image | |
CN110991272A (zh) | 一种基于视频跟踪的多目标车辆轨迹识别方法 | |
CN113674328A (zh) | 一种多目标车辆跟踪方法 | |
CN108921877B (zh) | 一种基于宽度学习的长期目标跟踪方法 | |
CN110796687B (zh) | 天空背景红外成像多目标跟踪方法 | |
CN111476817A (zh) | 一种基于yolov3的多目标行人检测跟踪方法 | |
CN110349187A (zh) | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 | |
CN112085789B (zh) | 位姿估计方法、装置、设备及介质 | |
CN115345905A (zh) | 目标对象跟踪方法、装置、终端及存储介质 | |
CN111738319B (zh) | 一种基于大规模样本的聚类结果评价方法及装置 | |
CN116681730A (zh) | 一种目标物追踪方法、装置、计算机设备和存储介质 | |
CN110349188A (zh) | 基于tsk模糊模型的多目标跟踪方法、装置及存储介质 | |
CN116385493A (zh) | 野外环境下多运动目标检测与轨迹预测方法 | |
Bae et al. | Image tracking algorithm using template matching and PSNF-m | |
CN113311430B (zh) | 蜂群无人机数量估计和航迹生成方法 | |
CN113313179A (zh) | 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法 | |
Leclerc et al. | Measuring the self-consistency of stereo algorithms | |
CN113033356A (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
CN112614158B (zh) | 一种采样框自适应的多特征融合在线目标跟踪方法 | |
CN115082519A (zh) | 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |