CN114708300A - 一种可抗遮挡的自适应目标跟踪方法及系统 - Google Patents
一种可抗遮挡的自适应目标跟踪方法及系统 Download PDFInfo
- Publication number
- CN114708300A CN114708300A CN202210246897.0A CN202210246897A CN114708300A CN 114708300 A CN114708300 A CN 114708300A CN 202210246897 A CN202210246897 A CN 202210246897A CN 114708300 A CN114708300 A CN 114708300A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- image
- scale
- target tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000001419 dependent effect Effects 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims description 40
- 230000003044 adaptive effect Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 abstract description 6
- 238000001914 filtration Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种可抗遮挡的自适应目标跟踪方法及系统,在训练位置相关滤波器的同时训练一个尺度相关滤波器,可以实现尺度自适应变换,如果没有这个变换,目标框在训练过程中大小不变,与刚开始手动确定的矩形框大小相同,但是加上尺度变换后,目标框的大小可以随着目标的远近而自动改变大小,当目标运动离摄像头越来越远时目标框变小,当运动越近时目标框就会变大,从而提高了整套算法的精确度和鲁棒性。采用自适应模型更新策略,通过计算PSR的值来进行异常检测目标是否发生遮挡或者丢失,从而扩大搜索区域,解决了传统目标跟踪方法,一旦因目标运动等原因造成目标发生遮挡或者丢失时就无法继续跟踪的问题,提高了目标跟踪的持续性和可靠性。
Description
技术领域
本发明涉及计算机视觉目标跟踪技术领域,具体涉及一种可抗遮挡的自适应目标跟踪方法及系统。
背景技术
近年来计算机视觉领域蓬勃发展,越来越广泛地进入各行各业。它通过处理获取的图片或视频得到相应场景的三维信息,使计算机能够感知周围环境。目标跟踪作为计算机视觉领域的核心研究内容,是一门融合多学科知识的尖端技术。概括地说,目标跟踪是在视频的每帧图像中高速高效地找出感兴趣目标的位置。它可以检测、提取、识别和跟踪视频中的移动目标,获得移动目标的一系列参数,例如位置、速度,从而实现更高级的任务。随着人工智能时代的到来,人们对智能视频的需求量逐渐增大,目标跟踪广泛应用于军事装备、导航定位、安全监测、无人驾驶、交通监控、人机交互、气象分析、医学影像等领域。
目标跟踪算法在视频的第一帧图像中框选出目标的起始位置,以此作为前提,算法能够在该视频序列的后续所有图像帧中确定目标的位置。
作为判别类方法的一种,相关滤波器将信号处理中相关滤波的思想引入目标跟踪中,显著加快了跟踪算法的速度。KCF(核化相关滤波器)算法使用FHOG(快速定向梯度)特征,能够把高维特征融入到相关滤波框架中。
在实际研究中,目标跟踪容易受到遮挡、背景干扰、光照强度等干扰,跟踪效果的实时性和稳定性受到了一定程度的影响。KCF算法使用的是单一的尺度,当目标发生形变遮挡等情况时目标框不能随着目标自适应变换,导致跟踪精度下降。
目标跟踪遮挡问题一直是研究的重点和难点。在目标搜索阶段,相关滤波算法对于目标遮挡、丢失、快速移动的检测比较乏力。因为相关滤波算法中用于训练的图像块和检测的图像块的大小必须一致,换句话说,如果训练了一个150×250的分类器,那么它只能检测150×250的区域。目标运动可能是目标自身的移动,或者是录像设备的移动。如果目标出现在边界附近但是还没有出边界,由于加了余弦窗,目标的部分像素会被过滤掉,那么就无法保证目标所处位置的响应值是全局最大的。如果目标的一部分已经移出了搜索框,而且还加了余弦窗,很可能去除了仅存的目标信息,导致检测失败。如果整个目标离开了搜索框区域,也会导致跟踪失败。
发明内容
有鉴于此,本发明提供了一种可抗遮挡的自适应目标跟踪方法及系统,能够在目标发生部分遮挡、旋转或者图像的光照改变、背景杂乱以及图像分辨率低的情况下,很好的跟踪目标。
本发明的具体技术方案如下:
一种可抗遮挡的自适应目标跟踪方法,包括:
步骤一、提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN组成训练样本;
步骤二、根据所述训练样本分别训练位置相关滤波器和尺度相关滤波器;通过所述位置相关滤波器获得目标位置,通过所述尺度相关滤波器获得最佳尺度的目标跟踪框;
步骤三、建立自适应模型更新策略:通过判断所述位置相关滤波器计算得到的响应图的峰值旁瓣比PSR评估目标跟踪,若PSR大于阈值1,则认为目标没有发生遮挡或丢失;若PSR小于或者等于阈值1,则认为目标发生遮挡或丢失;
步骤四、根据步骤三的评估结果,若PSR大于阈值1,则按照线性插值方式更新下一帧图像的位置相关滤波器和尺度相关滤波器,进入下一帧图像;若PSR小于或者等于阈值1,则重新搜索并跟踪目标,进入下一帧图像;
步骤五、重复步骤一至步骤四,直至最后一帧图像完成目标跟踪。
进一步地,所述步骤一中,所述提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN时,对于第一帧图像,以待跟踪的目标为中心,手动框选出一个矩形的目标跟踪框,之后提取所述目标跟踪框的快速定向梯度特征FHOG和颜色信息CN,组成第一帧图像的训练样本。
进一步地,所述步骤二中,所述根据训练样本训练尺度相关滤波器过程为:以当前帧图像的目标跟踪框的大小W×H、尺度T为基准,以当前帧图像的目标跟踪框的几何中心为中心选取λn(W×H)大小的窗口作为候选框,其中λ为尺度因子,n的取值范围为T为正整数,表示尺度的数量;以T种不同的尺度获取对应的目标跟踪框的FHOG特征,以T个尺度相关滤波器计算得到的T个响应值中的最大响应值对应的尺度作为最佳尺度,进而获得所述最佳尺度的目标跟踪框。
进一步地,所述步骤四中,所述重新搜索并跟踪目标为:采用局部分块的目标搜索策略,以目标没有发生遮挡或者丢失之前的目标跟踪框的几何中心为中心,向所述目标跟踪框的外围扩大M圈目标搜索区域,M为正整数,每圈所述目标搜索区域包含若干个小块搜索区域;通过预测目标运动轨迹确定初步的小块搜索区域,利用所述初步的小块搜索区域的响应图峰值和峰值旁瓣比PSR的取值判断所述小块搜索区域是否含有目标,如果响应图峰值大于阈值2且峰值旁瓣比PSR大于阈值3时,则认为包含目标,否则认为不包含目标;对于不包含目标的情况,在所述初步的小块搜索区域的相邻两侧的小块搜索区域按顺序搜索直至找到目标。
进一步地,所述通过预测目标运动轨迹确定初步的小块搜索区域为:根据连续两帧图像的目标的中心坐标获得目标的速度向量,根据所述速度向量获得当前帧图像的目标相对前一帧图像的目标的相对距离和相对方向,根据所述相对距离判断目标可能出现在在第m圈目标搜索区域,确认在所述第m圈目标搜索区域搜索目标,m∈M;之后以所述相对方向指向的小块搜索区域作为用于搜索目标的所述初步的小块搜索区域。
进一步地,所述小块搜索区域与所述目标跟踪框的形状相同、面积相等。
一种可抗遮挡的自适应目标跟踪系统,包括:数据模块、训练模块、判断模块、搜索模块和循环模块;
所述数据模块用于提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN组成训练样本;
所述训练模块包括位置单元和尺度单元;所述位置单元用于根据所述数据模块的所述训练样本训练位置相关滤波器,获得目标位置;所述尺度单元用于根据所述数据模块的所述训练样本训练尺度相关滤波器,获得最佳尺度的目标跟踪框;
所述判断模块用于采用自适应模型更新策略评估目标是否发生遮挡或者丢失,并将评估结果发送给搜索模块;所述自适应模型更新策略为:通过判断所述位置相关滤波器计算得到的响应图峰值旁瓣比PSR评估目标跟踪,若PSR大于阈值1,则认为目标没有发生遮挡或丢失;若PSR小于或者等于阈值1,则认为目标发生遮挡或丢失;
所述搜索模块用于根据所述评估结果确定的目标并进入下一帧图像的目标跟踪:若PSR大于阈值1,则按照线性插值方式更新下一帧图像的位置相关滤波器和尺度相关滤波器,进入下一帧图像;若PSR小于或者等于阈值1,则重新搜索并跟踪目标,进入下一帧图像;
所述循环模块用于判断当前图像是否为最后一帧图像,若不是最后一帧图像,则启动循环进程,按顺序重复数据模块、训练模块、判断模块和搜索模块的过程;若是最后一帧图像,则结束循环进程,完成目标跟踪。
进一步地,所述数据模块中,所述提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN时,对于第一帧图像,以待跟踪的目标为中心,手动框选出一个矩形的目标跟踪框,之后提取所述目标跟踪框的快速定向梯度特征FHOG和颜色信息CN,组成第一帧图像的训练样本。
进一步地,所述训练模块中,所述根据训练样本训练尺度相关滤波器过程为:以当前帧图像的目标跟踪框的大小W×H、尺度T为基准,以当前帧图像的目标跟踪框的几何中心为中心选取λn(W×H)大小的窗口作为候选框,其中λ为尺度因子,n的取值范围为T为正整数,表示尺度的数量;以T种不同的尺度获取对应的目标跟踪框的FHOG特征,以损失函数值的响应值最大时对应的尺度作为最佳尺度,进而获得所述最佳尺度的目标跟踪框。
进一步地,所述搜索模块中,所述重新搜索并跟踪目标为:采用局部分块的目标搜索策略,以目标没有发生遮挡或者丢失之前的目标跟踪框的几何中心为中心,向所述目标跟踪框的外围扩大m圈目标搜索区域,m为正整数,每圈所述目标搜索区域包含若干个小块搜索区域;通过预测目标运动轨迹确定初步的小块搜索区域,利用所述初步的小块搜索区域的响应图峰值和峰值旁瓣比PSR的取值判断所述小块搜索区域是否含有目标,如果响应图峰值大于阈值2且峰值旁瓣比PSR大于阈值3时,则认为包含目标,否则认为不包含目标;对于不包含目标的情况,在所述初步的小块搜索区域的相邻两侧的小块搜索区域按顺序搜索直至找到目标;
所述通过预测目标运动轨迹确定初步的小块搜索区域为:根据连续两帧图像的目标的中心坐标获得目标的速度向量,根据所述速度向量获得当前帧图像的目标相对前一帧图像的目标的相对距离和相对方向,根据所述相对距离判断目标可能出现在在第m圈目标搜索区域,确认在所述第m圈目标搜索区域搜索目标;之后以所述相对方向指向的小块搜索区域作为用于搜索目标的所述初步的小块搜索区域。
有益效果:
(1)一种可抗遮挡的自适应目标跟踪方法,在训练位置相关滤波器的同时训练一个尺度相关滤波器,可以实现尺度自适应变换,如果没有这个变换,目标框在训练过程中大小不变,与刚开始手动确定的矩形框大小相同,但是加上尺度变换后,目标框的大小可以随着目标的远近而自动改变大小,当目标运动离摄像头越来越远时目标框变小,当运动越近时目标框就会变大,从而提高了整套算法的精确度和鲁棒性。采用自适应模型更新策略,通过计算PSR的值来进行异常检测目标是否发生遮挡或者丢失,从而扩大搜索区域,解决了传统目标跟踪方法,一旦因目标运动等原因造成目标发生遮挡或者丢失时就无法继续跟踪的问题,提高了目标跟踪的持续性和可靠性。
(2)采用局部分块的目标搜索策略,能够在较大的搜索区域中识别捕获目标,克服了原来算法只能在搜索框区域大小的范围内搜索目标的局限性,在目标发生部分遮挡、旋转或者图像的光照改变、背景杂乱以及图像分辨率低的情况下,也能很好的跟踪目标。
(3)根据相对距离判断目标可能出现在在第m圈目标搜索区域,确认在第m圈目标搜索区域搜索目标;以相对方向指向的小块搜索区域作为用于搜索目标的初步的小块搜索区域。使得目标搜索过程在有数据依据的基础上有序进行,提高了目标搜索的成功率和可靠性,按顺序搜索也提高了目标搜索的效率,进而提高了本发明目标跟踪方法的效率和有效性。
附图说明
图1为本发明的一种可抗遮挡的自适应目标跟踪方法总体流程图。
图2为现有的KCF算法流程图。
图3为本发明一具体实施例中局部分块搜索目标示意图。
图4为本发明一具体实施例中局部分块搜索目标流程图。
具体实施方式
一种可抗遮挡的自适应目标跟踪方法及系统,通过同时提取图像的快速定向梯度特征FHOG和颜色信息CN组成训练样本,并利用训练样本同时训练位置相关滤波器和尺度相关滤波器,通过位置相关滤波器获得目标位置,通过尺度相关滤波器获得最佳尺度的目标跟踪框。之后通过响应图峰值旁瓣比PSR评估目标是否发生遮挡或丢失,若PSR大于阈值1,则认为目标没有发生遮挡或丢失,按照线性插值方式更新下一帧图像的位置相关滤波器和尺度相关滤波器;若PSR小于或者等于阈值1,认为目标发生遮挡或丢失,则按照局部分块的目标搜索策略搜索并跟踪目标,进入下一帧图像。之后循环上述过程,直至最后一帧图像完成目标跟踪。
传统的KCF算法流程如图2所示,KCF算法使用FHOG特征,能够把高维特征融入到相关滤波框架中。在计算出每个cell的9维特征向量后,通过局部归一化截断得到每个cell对应的36维特征向量,即最多36个特征向量,更改PCA降维后得到11个特征向量为更方便计算与理解的13个特征向量,既能够在实验任务中获得相同的表现,而且大大减小了计算量。提取了特征信息后初始化跟踪器模型,对于之后输入的每一帧视频序列,跟踪器跟踪目标,并不断训练更新,通过窗函数进行处理,进行傅里叶变换操作,在得到的响应输出值中最大值所对在的位置就是预测的目标中心点坐标。基于新的目标位置,对相关位置滤波跟踪器进行训练和更新,不断重复作用于之后的视频序列直到最后一帧图像。而在训练目标位置滤波器时一般选取目标区域为正样本,目标的周围区域为负样本,当然越靠近目标的区域为正样本的可能性越大。
具体步骤为:
(1)读取视频帧,选定目标初始位置,特征提取方式为FHOG特征和CN特征。
(2)对基样本进行循环移位操作得到丰富的正负训练样本集,通过岭回归训练分类器,得到相关滤波器模型。
(3)输入新的图像块,将其和相关滤波器模型进行核相关操作,将响应图的最大值处作为预测的目标位置。
(4)采用线性插值的方法更新目标模型。
(5)读取下一帧,返回至步骤(3),直到读取完所有剩余的视频帧。
下面结合附图并举实施例,对本发明进行详细描述。
如图1所示,一种可抗遮挡的自适应目标跟踪方法,包括:
步骤一、提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN组成训练样本。
提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN时,对于第一帧图像,以待跟踪的目标为中心,手动框选出一个矩形的目标跟踪框,之后提取所述目标跟踪框的快速定向梯度特征FHOG和颜色信息CN,组成第一帧图像的训练样本。
首先读取视频,在第一帧图像中以要跟踪的目标为中心,手动框选出一个矩形的跟踪框。然后提取这个跟踪框的特征,抽取图像有用的信息,丢弃不相关的信息,KCF算法使用FHOG特征,能够把高维特征融入到相关滤波框架中。为了增加跟踪效果的鲁棒性和精确度,本发明在提取了FHOG的基础上又提取了目标框的颜色信息(CN,color-name),将两种信息进行特征融合,不但能够很好的描述区分目标和背景,而且运算速度也很快,保证实时性。
步骤二、根据训练样本分别训练位置相关滤波器和尺度相关滤波器;通过位置相关滤波器获得目标位置,通过尺度相关滤波器获得最佳尺度的目标跟踪框。
其中,根据训练样本训练尺度相关滤波器过程为:以当前帧图像的目标跟踪框的大小W×H、尺度T为基准,以当前帧图像的目标跟踪框的几何中心为中心选取λn(W×H)大小的窗口作为候选框,其中λ为尺度因子,n的取值范围为T为正整数,表示尺度的数量;以T种不同的尺度获取对应的目标跟踪框的FHOG特征,以损失函数值的响应值最大时对应的尺度作为最佳尺度,进而获得最佳尺度的目标跟踪框。
同时开启两个进程,一个基于KCF算法训练位置滤波器,这是一种判别式追踪方法,在训练位置相关滤波器的同时训练尺度相关滤波器,即另一个进程。采用一个一维的尺度相关滤波器去估计目标在图片中的尺度,以当前目标跟踪框的大小为基准,假设当前帧的目标大小为W×H,尺度为T,以目标跟踪框的中心为中心选取λn(W×H)大小的窗口作为候选框,其中λ为尺度因子,n的取值范围为T=33为尺度的数量,以33种不同的尺度获取候选框的FHOG特征,找到响应值最大的尺度为最佳尺度,从而在小范围内实现尺度自适应。上述尺度不是线性关系,而是由精到粗(从内到外的方向)的检测过程。值得注意的是,这里尺度的数量等于33并不是唯一的,在具体实施过程中,可以根据不同的情况设置不同的尺度数量。
步骤三、建立自适应模型更新策略:通过判断位置相关滤波器的响应图的峰值旁瓣比PSR评估目标跟踪,若PSR大于阈值1,则认为目标没有发生遮挡或丢失;若PSR小于或者等于阈值1,则认为目标发生遮挡或丢失。
根据上述步骤已经获得了当前帧的最佳尺度的目标跟踪框,然而当目标出现部分遮挡时,分类器不能学习到目标的全部外观信息。当目标发生完全遮挡时,分类器无法找到目标,此时,每帧仍采用固定的学习率更新模型,使得错误信息被引入模型,当目标重新出现时,分类器无法正确识别目标,致使跟踪漂移和失败。为了应对目标跟踪过程中可能会出现的遮挡问题,本发明设计一种遮挡判断机制判断目标是否发生遮挡,根据判断结果决定模型是否更新,并启动重检测机制。这种算法能够抑制将遮挡物信息错误地学习到模型中导致跟踪失败的影响,跟踪准确度更高。本发明采用自适应模型更新策略,通过响应图的峰值旁瓣比(PSR)来评估跟踪结果。峰值旁瓣比的公式为式中P为响应图的最大值,μ和σ分别表示旁瓣区域的均值和标准差。(瓣区域是指响应图中除去峰值所在的小部分区域的剩余其它区域。)PSR值的大小与目标跟踪情况的可靠程度成正比,本发明定义更新阈值1,在PSR>阈值1时,表示目标未发生遮挡或丢失,模型和滤波器系数按照原来的线性插值方式更新。当PSR≤阈值1时,认为目标发生遮挡或丢失,滤波器模型和滤波器系数不被更新,并采用局部分块的目标搜索策略用于重新搜索目标。
步骤四、根据步骤三的评估结果,若PSR大于阈值1,则按照线性插值方式更新下一帧图像的滤波器模型和滤波器系数;若PSR小于或者等于阈值1,则重新搜索并跟踪目标,进入下一帧图像。
其中,重新搜索并跟踪目标为:按照局部分块的目标搜索策略,以目标没有发生遮挡或者丢失之前的目标跟踪框的几何中心为中心,向目标跟踪框的外围扩大M圈目标搜索区域,M为正整数,每圈目标搜索区域包含若干个小块搜索区域,小块搜索区域的面积与目标跟踪框的面积相等;通过预测目标运动轨迹确定初步的小块搜索区域,利用小块搜索区域的响应图峰值和峰值旁瓣比PSR的取值判断小块搜索区域是否含有目标,如果响应图峰值大于阈值2且峰值旁瓣比PSR大于阈值3时,则认为包含目标,否则认为不包含目标;对于不包含目标的情况,在初步的小块搜索区域的相邻两侧的小块搜索区域按顺序搜索直至找到目标。
其中,通过预测目标运动轨迹确定初步的小块搜索区域为:根据连续两帧图像的目标的中心坐标获得目标的速度向量,根据速度向量获得当前帧图像的目标相对前一帧图像的目标的相对距离和相对方向,根据相对距离判断目标可能出现在在第m圈目标搜索区域,确认在第m圈目标搜索区域搜索目标,m∈M;之后以相对方向指向的小块搜索区域作为用于搜索目标的初步的小块搜索区域。
对于大部分遮挡问题,合适的目标搜索策略的引入显得十分关键。本发明提出一种局部分块的目标搜索策略来恢复目标跟踪。首先以目标发生遮挡前的区域为中心向外扩大两圈构造出更大的目标搜索区域,第一圈有8个小块搜索区域,第二圈有16个小块搜索区域,小块搜索区域的大小和目标发生遮挡前的搜索框的形状相同、面积相等。通过预测目标运动轨迹来对小块进行滑动搜索。记录每帧中目标的中心坐标,根据前两帧中目标的中心坐标可以得出目标的速度向量,由速度向量可以得出当前帧目标相对前一帧位置的距离和方向。根据预测距离可以判断目标可能出现在在第一圈还是第二圈,以此来搜索目标。值得注意的是,本实施例中划分了两圈,第一圈8个小块,第二圈16个小块,只是举例并非具体限制,实际操作过程中,设置几圈,每圈包含几个小块,以及小块的面积大小和形状并不做限制,可根据实际操作情况做出改变。
判断好搜索区域后再根据预测方向判断要在哪一个搜索块搜索目标,根据响应图峰值和PSR相结合的方式判断搜索块中是否含有目标。当响应图峰值大于设定的阈值2,同时PSR大于设定的阈值3时,就表示该搜索块中有目标,搜索框就跳转到该搜索块中寻找目标。如果在该搜索框中没有找到目标就在这个搜索块的两侧紧邻的搜索块中搜索目标,并逐渐向两边扩大,直至找到目标。值得注意的是,此处设置的阈值大小也不是唯一的,在实际操作过程中,可以根据实际情况对阈值的大小做出改变。
局部分块搜索示意图如图3所示。可以看出,根据记录的前两帧目标的位置预测目标可能会出现在目标周围的第一圈搜索区域。根据预测的目标运动轨迹方向预测目标可能会出现在原来位置的左下角。根据响应图的峰值和峰值旁瓣比判断此位置是否含有目标,如果此位置不含有目标,搜索区域则向这个小块临近的两个小块进行搜索,如此向外扩大搜索直到搜索完整圈候选区域。如果还未找到目标,则搜索框停留在目标所在的中心位置。
局部分块搜索流程如图4所示,包括:(1)计算训练得到的最佳尺度的位置分类器的响应图的PSR,如果PSR大于设定阈值1,将响应图的最大值处作为预测的新的目标位置,进入步骤(2),否则进入步骤(3)。
(2)通过线性插值方式更新目标模型,进入步骤(4)。
(3)目标周围进行分块操作,根据目标运动轨迹预测目标可能出现的搜索块位置,计算响应图的峰值和PSR,如果二者均大于设定阈值2、3,将响应图的最大值处作为预测的目标位置,返回步骤(2),否则,在该搜索块的两边搜索目标,逐渐向两边扩大。如果仍未找到目标,则搜索框位置不变,进入步骤(4)。
(4)读取下一帧,直到将剩余所有视频帧读取完。
步骤五、重复步骤一至步骤四,直至最后一帧图像完成目标跟踪。
上述阈值1表示阈值等于1,阈值2表示阈值等于2,阈值3表示阈值等于3。
根据上述一种可抗遮挡的自适应目标跟踪方法,本发明还提供了一种可抗遮挡的自适应目标跟踪系统,包括:数据模块、训练模块、判断模块、搜索模块和循环模块;
数据模块用于提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN组成训练样本。
在数据模块中,提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN时,对于第一帧图像,以待跟踪的目标为中心,手动框选出一个矩形的目标跟踪框,之后提取目标跟踪框的快速定向梯度特征FHOG和颜色信息CN,组成第一帧图像的训练样本。
训练模块包括位置单元和尺度单元;位置单元用于根据数据模块的训练样本训练位置相关滤波器,获得目标位置;尺度单元用于根据数据模块的训练样本训练尺度相关滤波器,获得最佳尺度的目标跟踪框。
在训练模块中,根据训练样本训练尺度相关滤波器过程为:以当前帧图像的目标跟踪框的大小W×H、尺度T为基准,以当前帧图像的目标跟踪框的几何中心为中心选取λn(W×H)大小的窗口作为候选框,其中λ为尺度因子,n的取值范围为T为正整数,表示尺度的数量;以T种不同的尺度获取对应的目标跟踪框的FHOG特征,以损失函数值的响应值最大时对应的尺度作为最佳尺度,进而获得最佳尺度的目标跟踪框。
判断模块用于采用自适应模型更新策略评估目标是否发生遮挡或者丢失,并将评估结果发送给搜索模块;自适应模型更新策略为:通过判断位置相关滤波器的响应图峰值旁瓣比PSR评估目标跟踪,若PSR大于阈值1,则认为目标没有发生遮挡或丢失;若PSR小于或者等于阈值1,则认为目标发生遮挡或丢失。
搜索模块用于根据评估结果确定的目标并进入下一帧图像的目标跟踪:若PSR大于阈值1,则按照线性插值方式更新下一帧图像的位置相关滤波器和尺度相关滤波器;若PSR小于或者等于1阈值,则按照局部分块的目标搜索策略搜索并跟踪目标,进入下一帧图像。
在搜索模块中,局部分块的目标搜索策略为:以目标没有发生遮挡或者丢失之前的目标跟踪框的几何中心为中心,向目标跟踪框的外围扩大M圈目标搜索区域M为正整数,每圈目标搜索区域包含若干个小块搜索区域,小块搜索区域的面积与目标跟踪框的形状相同、面积相等;通过预测目标运动轨迹确定初步的小块搜索区域,利用小块搜索区域的响应图峰值和峰值旁瓣比PSR的取值判断小块搜索区域是否含有目标,如果响应图峰值大于阈值2且峰值旁瓣比PSR大于阈值3时,则认为包含目标,否则认为不包含目标;对于不包含目标的情况,在初步的小块搜索区域的相邻两侧的小块搜索区域按顺序搜索直至找到目标。
通过预测目标运动轨迹确定初步的小块搜索区域为:根据连续两帧图像的目标的中心坐标获得目标的速度向量,根据速度向量获得当前帧图像的目标相对前一帧图像的目标的相对距离和相对方向,根据相对距离判断目标可能出现在在第m圈目标搜索区域,确认在第m圈目标搜索区域搜索目标;之后以相对方向指向的小块搜索区域作为用于搜索目标的初步的小块搜索区域。
循环模块用于判断当前图像是否为最后一帧图像,若不是最后一帧图像,则启动循环进程,按顺序重复数据模块、训练模块、判断模块和搜索模块的过程;若是最后一帧图像,则结束循环进程,完成目标跟踪。
以上的具体实施例仅描述了本发明的设计原理,该描述中的部件形状,名称可以不同,不受限制。所以,本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换;而这些修改和替换未脱离本发明创造宗旨和技术方案,均应属于本发明的保护范围。
Claims (10)
1.一种可抗遮挡的自适应目标跟踪方法,其特征在于,包括:
步骤一、提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN组成训练样本;
步骤二、根据所述训练样本分别训练位置相关滤波器和尺度相关滤波器;通过所述位置相关滤波器获得目标位置,通过所述尺度相关滤波器获得最佳尺度的目标跟踪框;
步骤三、建立自适应模型更新策略:通过判断所述位置相关滤波器计算得到的响应图的峰值旁瓣比PSR评估目标跟踪,若PSR大于阈值1,则认为目标没有发生遮挡或丢失;若PSR小于或者等于阈值1,则认为目标发生遮挡或丢失;
步骤四、根据步骤三的评估结果,若PSR大于阈值1,则按照线性插值方式更新下一帧图像的位置相关滤波器和尺度相关滤波器,进入下一帧图像;若PSR小于或者等于阈值1,则重新搜索并跟踪目标,进入下一帧图像;
步骤五、重复步骤一至步骤四,直至最后一帧图像完成目标跟踪。
2.如权利要求1所述的自适应目标跟踪方法,其特征在于,所述步骤一中,所述提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN时,对于第一帧图像,以待跟踪的目标为中心,手动框选出一个矩形的目标跟踪框,之后提取所述目标跟踪框的快速定向梯度特征FHOG和颜色信息CN,组成第一帧图像的训练样本。
4.如权利要求1所述的自适应目标跟踪方法,其特征在于,所述步骤四中,所述重新搜索并跟踪目标为:采用局部分块的目标搜索策略,以目标没有发生遮挡或者丢失之前的目标跟踪框的几何中心为中心,向所述目标跟踪框的外围扩大M圈目标搜索区域,M为正整数,每圈所述目标搜索区域包含若干个小块搜索区域;通过预测目标运动轨迹确定初步的小块搜索区域,利用所述初步的小块搜索区域的响应图峰值和峰值旁瓣比PSR的取值判断所述小块搜索区域是否含有目标,如果响应图峰值大于阈值2且峰值旁瓣比PSR大于阈值3时,则认为包含目标,否则认为不包含目标;对于不包含目标的情况,在所述初步的小块搜索区域的相邻两侧的小块搜索区域按顺序搜索直至找到目标。
5.如权利要求4所述的自适应目标跟踪方法,其特征在于,所述通过预测目标运动轨迹确定初步的小块搜索区域为:根据连续两帧图像的目标的中心坐标获得目标的速度向量,根据所述速度向量获得当前帧图像的目标相对前一帧图像的目标的相对距离和相对方向,根据所述相对距离判断目标可能出现在在第m圈目标搜索区域,确认在所述第m圈目标搜索区域搜索目标,m∈M;之后以所述相对方向指向的小块搜索区域作为用于搜索目标的所述初步的小块搜索区域。
6.如权利要求5所述的自适应目标跟踪方法,其特征在于,所述小块搜索区域与所述目标跟踪框的形状相同、面积相等。
7.一种可抗遮挡的自适应目标跟踪系统,其特征在于,包括:数据模块、训练模块、判断模块、搜索模块和循环模块;
所述数据模块用于提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN组成训练样本;
所述训练模块包括位置单元和尺度单元;所述位置单元用于根据所述数据模块的所述训练样本训练位置相关滤波器,获得目标位置;所述尺度单元用于根据所述数据模块的所述训练样本训练尺度相关滤波器,获得最佳尺度的目标跟踪框;
所述判断模块用于采用自适应模型更新策略评估目标是否发生遮挡或者丢失,并将评估结果发送给搜索模块;所述自适应模型更新策略为:通过判断所述位置相关滤波器计算得到的响应图峰值旁瓣比PSR评估目标跟踪,若PSR大于阈值1,则认为目标没有发生遮挡或丢失;若PSR小于或者等于阈值1,则认为目标发生遮挡或丢失;
所述搜索模块用于根据所述评估结果确定的目标并进入下一帧图像的目标跟踪:若PSR大于阈值1,则按照线性插值方式更新下一帧图像的位置相关滤波器和尺度相关滤波器,进入下一帧图像;若PSR小于或者等于阈值1,则重新搜索并跟踪目标,进入下一帧图像;
所述循环模块用于判断当前图像是否为最后一帧图像,若不是最后一帧图像,则启动循环进程,按顺序重复数据模块、训练模块、判断模块和搜索模块的过程;若是最后一帧图像,则结束循环进程,完成目标跟踪。
8.如权利要求7所述的自适应目标跟踪系统,其特征在于,所述数据模块中,所述提取当前帧图像的快速定向梯度特征FHOG和颜色信息CN时,对于第一帧图像,以待跟踪的目标为中心,手动框选出一个矩形的目标跟踪框,之后提取所述目标跟踪框的快速定向梯度特征FHOG和颜色信息CN,组成第一帧图像的训练样本。
10.如权利要求7所述的自适应目标跟踪系统,其特征在于,所述搜索模块中,所述重新搜索并跟踪目标为:采用局部分块的目标搜索策略,以目标没有发生遮挡或者丢失之前的目标跟踪框的几何中心为中心,向所述目标跟踪框的外围扩大m圈目标搜索区域,m为正整数,每圈所述目标搜索区域包含若干个小块搜索区域;通过预测目标运动轨迹确定初步的小块搜索区域,利用所述初步的小块搜索区域的响应图峰值和峰值旁瓣比PSR的取值判断所述小块搜索区域是否含有目标,如果响应图峰值大于阈值2且峰值旁瓣比PSR大于阈值3时,则认为包含目标,否则认为不包含目标;对于不包含目标的情况,在所述初步的小块搜索区域的相邻两侧的小块搜索区域按顺序搜索直至找到目标;
所述通过预测目标运动轨迹确定初步的小块搜索区域为:根据连续两帧图像的目标的中心坐标获得目标的速度向量,根据所述速度向量获得当前帧图像的目标相对前一帧图像的目标的相对距离和相对方向,根据所述相对距离判断目标可能出现在在第m圈目标搜索区域,确认在所述第m圈目标搜索区域搜索目标;之后以所述相对方向指向的小块搜索区域作为用于搜索目标的所述初步的小块搜索区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210246897.0A CN114708300B (zh) | 2022-03-02 | 2022-03-02 | 一种可抗遮挡的自适应目标跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210246897.0A CN114708300B (zh) | 2022-03-02 | 2022-03-02 | 一种可抗遮挡的自适应目标跟踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114708300A true CN114708300A (zh) | 2022-07-05 |
CN114708300B CN114708300B (zh) | 2024-07-23 |
Family
ID=82169176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210246897.0A Active CN114708300B (zh) | 2022-03-02 | 2022-03-02 | 一种可抗遮挡的自适应目标跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114708300B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943955A (zh) * | 2022-07-25 | 2022-08-26 | 山东广通汽车科技股份有限公司 | 一种用于半挂车自动卸货控制方法 |
CN115877328A (zh) * | 2023-03-06 | 2023-03-31 | 成都鹰谷米特科技有限公司 | 一种阵列雷达的信号收发方法及阵列雷达 |
CN116109975A (zh) * | 2023-02-08 | 2023-05-12 | 广州宝立科技有限公司 | 电网安全作业监控图像处理方法及智能视频监控系统 |
CN116228817A (zh) * | 2023-03-10 | 2023-06-06 | 东南大学 | 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN108010067A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于组合判断策略的视觉目标跟踪方法 |
CN108062764A (zh) * | 2017-11-30 | 2018-05-22 | 极翼机器人(上海)有限公司 | 一种基于视觉的物体跟踪方法 |
CN110120065A (zh) * | 2019-05-17 | 2019-08-13 | 南京邮电大学 | 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统 |
CN110599519A (zh) * | 2019-08-27 | 2019-12-20 | 上海交通大学 | 基于领域搜索策略的抗遮挡相关滤波跟踪方法 |
CN111127518A (zh) * | 2019-12-24 | 2020-05-08 | 深圳火星探索科技有限公司 | 基于无人机的目标跟踪方法及装置 |
KR102175491B1 (ko) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | 상관 필터 기반 객체 추적 방법 |
CN113327272A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于相关滤波的鲁棒性长时跟踪方法 |
WO2021227519A1 (zh) * | 2020-05-15 | 2021-11-18 | 深圳市优必选科技股份有限公司 | 目标跟踪方法、装置、计算机可读存储介质及机器人 |
CN113989331A (zh) * | 2021-11-12 | 2022-01-28 | 山西大学 | 基于上下文多线索信息和自适应响应的长时目标跟踪方法 |
-
2022
- 2022-03-02 CN CN202210246897.0A patent/CN114708300B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN108062764A (zh) * | 2017-11-30 | 2018-05-22 | 极翼机器人(上海)有限公司 | 一种基于视觉的物体跟踪方法 |
CN108010067A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于组合判断策略的视觉目标跟踪方法 |
KR102175491B1 (ko) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | 상관 필터 기반 객체 추적 방법 |
CN110120065A (zh) * | 2019-05-17 | 2019-08-13 | 南京邮电大学 | 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统 |
CN110599519A (zh) * | 2019-08-27 | 2019-12-20 | 上海交通大学 | 基于领域搜索策略的抗遮挡相关滤波跟踪方法 |
CN111127518A (zh) * | 2019-12-24 | 2020-05-08 | 深圳火星探索科技有限公司 | 基于无人机的目标跟踪方法及装置 |
WO2021227519A1 (zh) * | 2020-05-15 | 2021-11-18 | 深圳市优必选科技股份有限公司 | 目标跟踪方法、装置、计算机可读存储介质及机器人 |
CN113327272A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于相关滤波的鲁棒性长时跟踪方法 |
CN113989331A (zh) * | 2021-11-12 | 2022-01-28 | 山西大学 | 基于上下文多线索信息和自适应响应的长时目标跟踪方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943955A (zh) * | 2022-07-25 | 2022-08-26 | 山东广通汽车科技股份有限公司 | 一种用于半挂车自动卸货控制方法 |
CN116109975A (zh) * | 2023-02-08 | 2023-05-12 | 广州宝立科技有限公司 | 电网安全作业监控图像处理方法及智能视频监控系统 |
CN116109975B (zh) * | 2023-02-08 | 2023-10-20 | 广州宝立科技有限公司 | 电网安全作业监控图像处理方法及智能视频监控系统 |
CN115877328A (zh) * | 2023-03-06 | 2023-03-31 | 成都鹰谷米特科技有限公司 | 一种阵列雷达的信号收发方法及阵列雷达 |
CN116228817A (zh) * | 2023-03-10 | 2023-06-06 | 东南大学 | 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 |
CN116228817B (zh) * | 2023-03-10 | 2023-10-03 | 东南大学 | 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114708300B (zh) | 2024-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114708300B (zh) | 一种可抗遮挡的自适应目标跟踪方法及系统 | |
Hausler et al. | Multi-process fusion: Visual place recognition using multiple image processing methods | |
CN104200495B (zh) | 一种视频监控中的多目标跟踪方法 | |
CN112836640B (zh) | 一种单摄像头多目标行人跟踪方法 | |
CN111914664A (zh) | 基于重识别的车辆多目标检测和轨迹跟踪方法 | |
CN107452015B (zh) | 一种具有重检测机制的目标跟踪系统 | |
CN108564598B (zh) | 一种改进的在线Boosting目标跟踪方法 | |
CN112541441B (zh) | 一种融合相关滤波的gm-phd视频多目标跟踪方法 | |
WO2006073647A2 (en) | Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras | |
CN102034355A (zh) | 一种基于特征点匹配的车辆检测及跟踪方法 | |
CN113327272B (zh) | 一种基于相关滤波的鲁棒性长时跟踪方法 | |
CN111445497B (zh) | 一种基于尺度上下文回归的目标追踪与跟随方法 | |
CN106023155A (zh) | 基于水平集的在线目标轮廓跟踪方法 | |
CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
Liu et al. | Robust tracking and redetection: Collaboratively modeling the target and its context | |
CN111640138A (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
CN116311063A (zh) | 监控视频下基于人脸识别的人员细粒度跟踪方法及系统 | |
CN113971684B (zh) | 一种基于kcf和surf特征的实时鲁棒目标跟踪方法 | |
CN117611637A (zh) | 一种基于改进的d-iou匹配的海面多目标多类别跟踪方法 | |
CN110503663B (zh) | 一种基于抽帧检测的随机多目标自动检测跟踪方法 | |
CN111161323A (zh) | 一种基于相关滤波的复杂场景目标跟踪方法及系统 | |
CN110781710B (zh) | 一种目标对象聚类方法及装置 | |
CN114429488A (zh) | 目标追踪方法及目标追踪装置 | |
CN110322474B (zh) | 一种基于无人机平台的图像动目标实时检测方法 | |
Gualdi et al. | Covariance descriptors on moving regions for human detection in very complex outdoor scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |