CN110569723A - 一种结合特征融合与模型更新的目标跟踪方法 - Google Patents
一种结合特征融合与模型更新的目标跟踪方法 Download PDFInfo
- Publication number
- CN110569723A CN110569723A CN201910711533.3A CN201910711533A CN110569723A CN 110569723 A CN110569723 A CN 110569723A CN 201910711533 A CN201910711533 A CN 201910711533A CN 110569723 A CN110569723 A CN 110569723A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- model
- scale
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 2
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 27
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000011160 research Methods 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉研究技术领域，具体涉及一种结合特征融合与模型更新的目标跟踪方法，包括以下步骤：对视频序列的第一帧，初始化核相关滤波跟踪器与卡尔曼滤波跟踪器，并标记出跟踪目标矩形框位置，并设置样本循环移位操作的矩形框区域；对目标图像分别提取降维的方向梯度直方图和颜色特征后，将方向梯度直方图和颜色特征串联融合，并进行余弦窗滤波处理；建立跟踪模型，并将处理信息导入跟踪模型，求解得到目标最佳状态估计值，并进行尺度自适应处理；对跟踪模型进行更新；重复上述步骤直至跟踪结束；本方法能够在一定程度上动态适应目标表观变化，可以有效处理存在尺度变化、遮挡干扰、光照变化等复杂因素影响的目标跟踪情况。
Description
技术领域
本发明涉及计算机视觉研究技术领域，具体涉及一种结合特征融合与模型更新的目标跟踪方法。
背景技术
目标跟踪作为计算机视觉研究领域的重要分支，相关研究成果广泛应用在人机交互、安防监控、智能医疗等方面，在人类生产生活中产生重大的经济效益和社会效益，具有重要的工程意义与研究价值。
然而，受环境干扰、目标自身运动状态多变等客观因素影响，目标表观动态变化，研究能够自适应动态复杂变化场景的实时鲁棒跟踪方法还存在巨大挑战。国内外学者也相继提出了许多方法用于解决现有问题，其目的均是为了更好地适应目标表观变化，提高运动目标检测和跟踪技术在不同应用条件下的准确性、实时性、鲁棒性。
近年来，基于相关滤波框架的目标跟踪技术发展迅速，在计算效率和性能方面具有诸多优势，其基本思想就是通过找到一个滤波模版，让视频序列中下一帧图像与滤波模版进行卷积，得到的置信图最大响应区域即为目标的最佳预测位置。最早出现的典型研究成果为平方误差最小和算法，该方法在傅立叶域中利用基图像块和虚拟循环块训练滤波器，依据初始化的单帧信息给出稳定的基于相关滤波的跟踪算法，采用的峰值旁瓣比可以进行目标遮挡检测与重新找回。为了解决脊回归问题，基于核的循环结构的方法在对偶空间中引入核理论，给出了基于多种类型核函数的封闭式解决方法，可以取得类似于线性分类器一样的计算效率。
通过分析模型数据与核矩阵的循环性，典型核相关滤波方法给出了基于线性回归模型的线性相关滤波器与基于核脊回归模型的对偶相关滤波器，并指出利用离散傅立叶变换进行循环矩阵对角化可以有效减小存储空间和计算时间，但该方法不能适应尺度变化。自适应颜色属性的跟踪方法将颜色作为有效特征用于目标跟踪，扩展了以往的单通道颜色特征学习框架，给出的关于颜色属性的自适应低维变形表述可以在保证计算性能的情况下有效降低计算时间。针对尺度变化问题，多特征尺度自适应滤波的方法利用尺度池解决了核相关滤波跟踪算法中模板尺寸固定的问题，判别性尺度空间跟踪的方法基于尺度空间特征金字塔描述学习得到了相对独立的状态转移和尺度估计滤波器。在贝叶斯框架下，时空上下文学习的方法建立了目标与其周围区域的时空上下文关系，通过目标位置似然函数的最大化求解得到目标最佳位置，引入的傅里叶变换操作有效提高了算法运行效率。
现有典型方法虽然在计算性能和实时性有所提高，但在互补信息利用、尺度自适应和遮挡问题处理等方面的设计与实现还有待进一步完善。因此，本方法以动态复杂场景为应用背景，着重分析在目标表观发生变化时，如何充分利用多种互补特征信息进行目标表观描述，并针对目标尺度变化与外界遮挡干扰等问题给出解决方案，最终设计给出一种结合特征融合与模型更新的目标鲁棒跟踪方法。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种结合特征融合与模型更新的目标跟踪方法。本发明要解决的技术问题通过以下技术方案实现：
一种结合特征融合与模型更新的目标跟踪方法，包括以下步骤：
步骤一：对视频序列的第一帧，初始化核相关滤波跟踪器与卡尔曼滤波跟踪器，并标记出跟踪目标矩形框位置，并设置样本循环移位操作的矩形框区域；
步骤二：对目标图像分别提取降维的方向梯度直方图和颜色特征后，将方向梯度直方图和颜色特征串联融合，并进行余弦窗滤波处理；
步骤三：建立跟踪模型，并将步骤二中处理信息导入跟踪模型，求解得到目标最佳状态估计值，并进行尺度自适应处理；
步骤四：对跟踪模型进行更新；
步骤五：重复上述步骤二至步骤四的过程，直至跟踪结束。
进一步的，所述步骤二中方向梯度直方图和颜色特征串联融合方法为，在提取目标图像方向梯度直方图特征后利用主成分分析方法进行降维，再提取降维后的方向梯度直方图与颜色特征，得到描述这两种特征的特征向量，将这两组特征向量串联起来得到组合的新的特征向量。
进一步的，所述步骤二中余弦窗滤波处理过程为：
其中，为融合后图像块，m0＝0,1,…,M0-1，n0＝0,1,…,N0-1，M0×N0为图像块大小。
进一步的，所述步骤三中建立跟踪模型的步骤为：
(1)构建脊回归模型：
其中，xm,n为通过循环偏移图像块x得到训练样本，ym,n为依据偏移距离由高斯函数求得的对应样本标签，ym,n∈[0,1]，m＝0,1,…,M-1，n＝0,1,…,N-1，M×N表征图像块的大小，λ为正则化参数，λ≥0，w为模型参数矩阵，φ(·)代表针对希尔伯特空间的映射，αm,n为相关性系数；
(2)通过引入高斯核函数，图像块x与x′的核相关性可表示为
其中，σ为高斯核函数带宽，^表示离散傅里叶转换操作，F-1(·)表示逆离散傅里叶变换操作，⊙表示矩阵对应元素相乘的操作，(·)*代表复共轭操作，x′表征图像块x对应的循环偏移图像块；
(3)依据循环结构与卷积定理，求得系数矩阵表达式为：
其中，α为系数矩阵，y为样本标签矩阵；
(4)利用傅里叶逆变换得到响应矩阵f(z)：
其中，最大响应位置对应的样本块记为目标最佳预测位置。
进一步的，所述步骤四中，对跟踪模型的更新依次包括：更新卡尔曼滤波跟踪器、遮挡情况判定和更新核相关滤波跟踪器；并用跟踪结果对跟踪器进行训练。
进一步的，所述尺度自适应处理方法为，在核相关滤波跟踪器初始化时，设定提取金字塔图像的固定步长并且初始化高斯核，在跟踪模型发生更新时，在尺度不变的时候检测高斯核函数峰值，然后利用固定比率扩大和缩小目标图像的比例，得到两个新的图像层，同样也可以得到这两个图像对应的核函数峰值，找出最大峰值对应的图像即为最适合目标的尺度；通过对初始目标进行尺度缩放和尺度扩大，在跟踪模型发生模型更新的时候使用融合特征检测目标所在位置处的子像素峰值，并求和得到目标所在区域的总体峰值，然后通过改变多尺度的步长，得到三个尺度和三个尺度对应的峰值；通过比较各个三个尺度的响应峰值的大小，找到最大的一个尺度响应峰值，此时的尺度响应峰值所对应的检测出来的目标位置即为合适大小并且是正确的目标位置。
进一步的，所述遮挡情况判定的方法为，若依据遮挡阈值判定为目标受遮挡影响严重，则利用卡尔曼滤波理论进行目标位置预测，否则，依据插值方法实施模型更新，即：
其中，z表示当前预测位置采集得到的图像块，为先前帧模型系数，β为模型学习率。
与现有技术相比，本发明的有益效果：
本方法以动态复杂场景为应用背景，着重分析在目标表观发生变化时，如何充分利用多种互补特征信息进行目标表观描述，并针对目标尺度变化与外界遮挡干扰等问题给出解决方案，并且结合特征融合与模型更新的目标跟踪方法能够在一定程度上动态适应目标表观变化，可以有效处理存在尺度变化、遮挡干扰、光照变化等复杂因素影响的目标跟踪情况。
附图说明
图1是本跟踪方法原理示意图。
图2是walking2测试序列跟踪效果示意图。
图3是freeman4测试序列跟踪效果示意图。
图4是singer1测试序列跟踪效果示意图。
图5是redteam测试序列跟踪效果示意图。
图6是典型测试序列集上的性能评价结果示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例1：
如图1所示，一种结合特征融合与模型更新的目标跟踪方法，包括以下步骤：
步骤一：对视频序列的第一帧，初始化核相关滤波跟踪器与卡尔曼滤波跟踪器，并标记出跟踪目标矩形框位置，并设置样本循环移位操作的矩形框区域；
步骤二：对目标图像分别提取降维的方向梯度直方图和颜色特征后，将方向梯度直方图和颜色特征串联融合，并进行余弦窗滤波处理；
步骤三：建立跟踪模型，并将步骤二中处理信息导入跟踪模型，求解得到目标最佳状态估计值，并进行尺度自适应处理；
步骤四：对跟踪模型进行更新；
步骤五：重复上述步骤二至步骤四的过程，直至跟踪结束。
步骤二中为充分利用不同特征信息在表观描述方面的有效性，引入互补特征融合的思想，并通过降维处理保证计算效率；在提取目标方向梯度直方图(Histogram ofOriented Gradient,HOG)特征后利用主成分分析(Principal Component Analysis,PCA)方法进行降维，得到特征通道数目减少的HOG特征；同时为更大程度地利用图像色彩信息，采用Lab(Luminosity为照明度，a，b分别表示色彩三维空间的两个轴)颜色模型进行表观描述，该颜色特征对于色彩比较敏感，但是对于形变和运动模糊敏感度却比较低，可以适用于在目标发生形变或快速运动情况下的跟踪。
通过提取目标图像样本块区域中降维的HOG特征和Lab颜色特征，得到描述这两种特征的特征向量，最后将这两组特征向量串联起来得到组合的新的特征向量，用于后续的模型训练与目标跟踪过程。
步骤二中余弦窗滤波处理过程为：
其中，为融合后图像块，m0＝0,1,…,M0-1，n0＝0,1,…,N0-1，M0×N0为图像块大小。
步骤三中建立跟踪模型的步骤为：
(1)构建脊回归模型：
其中，xm,n为通过循环偏移图像块x得到训练样本，ym,n为依据偏移距离由高斯函数求得的对应样本标签，ym,n∈[0,1]，m＝0,1,…,M-1，n＝0,1,…,N-1，M×N表征图像块的大小，λ为正则化参数，λ≥0，w为模型参数矩阵，φ(·)代表针对希尔伯特空间的映射，αm,n为相关性系数；
(2)通过引入高斯核函数，图像块x与x′的核相关性可表示为
其中，σ为高斯核函数带宽，^表示离散傅里叶转换操作，F-1(·)表示逆离散傅里叶变换操作，⊙表示矩阵对应元素相乘的操作，(·)*代表复共轭操作，x′表征图像块x对应的循环偏移图像块；
(3)依据循环结构与卷积定理，求得系数矩阵表达式为：
其中，α为系数矩阵，y为样本标签矩阵；
(4)利用傅里叶逆变换得到响应矩阵f(z)：
其中，最大响应位置对应的样本块记为目标最佳预测位置。
步骤四中，对跟踪模型的更新依次包括：更新卡尔曼滤波跟踪器、遮挡情况判定和更新核相关滤波跟踪器；并用跟踪结果对跟踪器进行训练。
尺度自适应处理方法为，在核相关滤波跟踪器初始化时，设定提取金字塔图像的固定步长并且初始化高斯核，在跟踪模型发生更新时，在尺度不变的时候检测高斯核函数峰值，然后利用固定比率扩大和缩小目标图像的比例，得到两个新的图像层，同样也可以得到这两个图像对应的核函数峰值，找出最大峰值对应的图像即为最适合目标的尺度；通过对初始目标进行尺度缩放和尺度扩大，在跟踪模型发生模型更新的时候使用融合特征检测目标所在位置处的子像素峰值，并求和得到目标所在区域的总体峰值，然后通过改变多尺度的步长，得到三个尺度和三个尺度对应的峰值；通过比较各个三个尺度的响应峰值的大小，找到最大的一个尺度响应峰值，此时的尺度响应峰值所对应的检测出来的目标位置即为合适大小并且是正确的目标位置。
遮挡情况判定的方法为，若依据遮挡阈值判定为目标受遮挡影响严重，则利用卡尔曼滤波理论进行目标位置预测，否则，依据插值方法实施模型更新，即：
其中，z表示当前预测位置采集得到的图像块，为先前帧模型系数，β为模型学习率。
复杂环境下的目标表观持续发生变化，需要适时进行模型的更新，但是不恰当的更新处理容易引入背景等干扰信息，尤其当目标受到遮挡影响或出现跟踪漂移时，合理的更新策略显得尤为重要。
当给定的相关滤波模型进行第一帧初始化处理时，同时也利用第一帧标定的目标位置对卡尔曼滤波跟踪器进行初始化，设置卡尔曼滤波器中相应的参数信息，并持续记录后续帧跟踪目标的状态信息，用来对下一帧目标的位置进行预测。
当目标发生严重遮挡时，即用于预测适合目标大小的最佳尺度返回的峰值小于一个指定的阈值时，停止模型更新处理，基于之前使用核相关滤波模型获得的目标状态信息，在被判定遮挡的图像帧中采用卡尔曼滤波器对目标位置信息进行预测，然后重复这个过程，直到目标峰值恢复正常，不再受遮挡干扰影响，之后继续更新模型，利用模型预测结果对目标进行定位跟踪。
实施例2：
本方法的实现平台为Intel core(TM)i5-7200U 2.50GHz处理器，windows 10操作系统，具有8GB内存，实现的程序语言是C++和Matlab，在集成了Opencv3.4.1和Opencv-contrib开发库的Visual Studio 2012以及Matlab2018b软件上进行编程实现。
在实验验证阶段，选取OTB数据集中典型测试序列进行测试，其中各测试序列大多受多种复杂因素影响，包括背景干扰、光照变化、低分辨率、尺度变化、快速运动、运动模糊、形变与遮挡等，同时，为验证本设计方法MulitpleKCF的有效性，选取六种滤波类跟踪方法进行对比分析，即上下文跟踪器(Context Tracker,CXT)，核相关滤波(KernelizedCorrelation Filter,KCF)，基于核的结构输出(Structured output tracking withKernels,Struck)，利用核的循环结构(Circulant Structure of tracking-by-detectionwith Kernels,CSK)，判别性尺度空间跟踪(Discriminative Scale Space Tracking,DSST)和时空上下文学习(Spatio-Temporal Context learning,STC)。
参数设置情况：正则化参数为0.0001，高斯核函数带宽为0.5，元胞数组大小为4*4，目标扩展区域比例为2.5，尺度步长取0.95、1.02，遮挡判断的阈值为0.28，模型更新学习率为0.02。
定性评价
为直观评价不同算法的性能情况，选取并给出明显受尺度变化与遮挡干扰等因素影响的walking2、freeman4、singer2、redteam测试序列依据不同跟踪方法得到的部分时刻跟踪效果，具体如图所示。
(1)walking2序列
对于walking2测试序列，描述的是在视频监控的环境下，跟踪目标在行走过程中受到了短时的部分遮挡，并且伴随尺度变化。根据图2所示，当目标发生遮挡的情况下，除了文中设计的方法之外，其他跟踪方法的跟踪框都发生了不同程度上的漂移，只有新提出的MulitpleKCF方法从视频序列开始到结束一直都能够对目标的尺度进行很好的描述，并且在发生遮挡之后对目标仍然能够准确地跟踪，设计给出的尺度自适应与遮挡情况处理具有一定的有效性。
(2)freeman4序列
对于freeman4测试序列，跟踪目标在移动的过程中身体发生了平面内外旋转的情况，并且目标同时也被晃动的外界报纸遮挡。各种方法在部分时刻的跟踪效果如图3所示，可以看出，在整个跟踪过程中只有MutipleKCF方法在跟踪目标被遮挡或者是部分走出视野的情况下能够对目标进行鲁棒并且精准的跟踪，而其他方法受到遮挡的干扰影响对原始标定目标的跟踪均发生了不同程度的偏移，均未能准确地跟踪目标。
(3)singer1序列
对于singer1测试序列，摄像头中跟踪目标存在明显的尺度变化，并且持续受到舞台灯光照射强度变化的影响。根据跟踪效果图4可以观察到在整个跟踪过程中只有DSST和本文MultipleKCF方法实现了对目标尺度的变换，能够准确地对视频中跟踪目标的大小进行准确地框定，但是当跟踪目标受到光照变化的影响后，只有本文提出的新方法依然能够准确并且精准地跟踪目标，可以看出，本文算法对于光照变化情况下也具有一定的鲁棒性。
(4)redteam序列
对于redteam测试序列，目标车辆在快速移动，目标尺寸存在明显变化，且在尺寸较小时分辨率明显降低。根据图5跟踪效果来看，只有本文提出的MultipleKCF方法能够对车辆移动过程中发生的尺度变化进行准确地描述，可以得出，设计给出的多尺度变换能够对目标进行准确地跟踪。
定量评价
文中采用传统的跟踪算法评估方法(One-Pass Evaluation,OPE)完成定量评价，针对不同算法在各典型视频序列上的跟踪结果绘制成功率和精确率曲线。对于成功率图来说，拥有两个坐标轴，横坐标轴上具体的数字代表的是边界框重叠率的阈值，变化的范围从0到1；纵坐标表示的是随着横坐标边界框重叠率的变化，不同算法在同一视频测试序列集中平均成功率。平均成功率的变化随着横坐标边界框重叠率阈值的变化而发生变化；每当在横坐标上确定一个阈值以后，对于一个跟踪算法，测试工具程序就会去针对测试集中每一个视频序列去统计在运行这个算法的时候序列中边界框重叠率小于阈值的帧数占据当前这个视频序列的总帧数的比率，最后针对测试集中的所有序列的比率取平均值，得到的数值就是这个算法图像上某个阈值对应的成功率。对于准确率图来说，横坐标代表的是中心位置误差的阈值，变化范围从0到50，纵坐标代表的是跟踪的准确度，变化范围从0到1，其计算思想和方法都与成功率图中的成功率计算方法类似；计算得到的不同跟踪算法总体成功率和准确率结果如图6所示。
如图6所示，通过对比分析不同算法的性能曲线，可以看出，随着横坐标阈值的变化，本文算法的曲线位置均在其他典型跟踪类算法之上，其跟踪的精确度和成功率均优于其他算法。同时，依据成功率图中给出的阈值为0.6时的各算法综合成功率值，以及准确率图中给出的阈值为20像素时各算法综合准确率值，可知，文中所设计的新方法的跟踪性能具有明显优势。
综合以上定性定量评价结果可以得出，文中新提出的结合特征融合与模型更新的目标跟踪方法能够在一定程度上动态适应目标表观变化，可以有效处理存在尺度变化、遮挡干扰、光照变化等复杂因素影响的目标跟踪情况。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (7)
1.一种结合特征融合与模型更新的目标跟踪方法，其特征在于：包括以下步骤：
步骤一：对视频序列的第一帧，初始化核相关滤波跟踪器与卡尔曼滤波跟踪器，并标记出跟踪目标矩形框位置，并设置样本循环移位操作的矩形框区域；
步骤二：对目标图像分别提取降维的方向梯度直方图和颜色特征后，将方向梯度直方图和颜色特征串联融合，并进行余弦窗滤波处理；
步骤三：建立跟踪模型，并将步骤二中处理信息导入跟踪模型，求解得到目标最佳状态估计值，并进行尺度自适应处理；
步骤四：对跟踪模型进行更新；
步骤五：重复上述步骤二至步骤四的过程，直至跟踪结束。
2.根据权利要求1所述的一种结合特征融合与模型更新的目标跟踪方法，其特征在于：所述步骤二中方向梯度直方图和颜色特征串联融合方法为，在提取目标图像方向梯度直方图特征后利用主成分分析方法进行降维，再提取降维后的方向梯度直方图与颜色特征，得到描述这两种特征的特征向量，将这两组特征向量串联起来得到组合的新的特征向量。
3.根据权利要求1所述的一种结合特征融合与模型更新的目标跟踪方法，其特征在于：所述步骤二中余弦窗滤波处理过程为：
其中，为融合后图像块，m0＝0,1,…,M0-1，n0＝0,1,...,N0-1，M0×N0为图像块大小。
4.根据权利要求1所述的一种结合特征融合与模型更新的目标跟踪方法，其特征在于：所述步骤三中建立跟踪模型的步骤为：
(1)构建脊回归模型：
其中，xm,n为通过循环偏移图像块x得到训练样本，ym,n为依据偏移距离由高斯函数求得的对应样本标签，ym,n∈[0,1]，m＝0,1,…,M-1，n＝0,1,…,N-1，M×N表征图像块的大小，λ为正则化参数，λ≥0，w为模型参数矩阵，φ(·)代表针对希尔伯特空间的映射，αm,n为相关性系数；
(2)通过引入高斯核函数，图像块x与x′的核相关性可表示为
其中，σ为高斯核函数带宽，^表示离散傅里叶转换操作，F-1(·)表示逆离散傅里叶变换操作，⊙表示矩阵对应元素相乘的操作，(·)*代表复共轭操作，x′表征图像块x对应的循环偏移图像块；
(3)依据循环结构与卷积定理，求得系数矩阵表达式为：
其中，α为系数矩阵，y为样本标签矩阵；
(4)利用傅里叶逆变换得到响应矩阵f(z)：
其中，最大响应位置对应的样本块记为目标最佳预测位置。
5.根据权利要求1所述的一种结合特征融合与模型更新的目标跟踪方法，其特征在于：所述步骤四中，对跟踪模型的更新依次包括：更新卡尔曼滤波跟踪器、遮挡情况判定和更新核相关滤波跟踪器；并用跟踪结果对跟踪器进行训练。
6.根据权利要求1所述的一种结合特征融合与模型更新的目标跟踪方法，其特征在于：所述尺度自适应处理方法为，在核相关滤波跟踪器初始化时，设定提取金字塔图像的固定步长并且初始化高斯核，在跟踪模型发生更新时，在尺度不变的时候检测高斯核函数峰值，然后利用固定比率扩大和缩小目标图像的比例，得到两个新的图像层，同样也可以得到这两个图像对应的核函数峰值，找出最大峰值对应的图像即为最适合目标的尺度；通过对初始目标进行尺度缩放和尺度扩大，在跟踪模型发生模型更新的时候使用融合特征检测目标所在位置处的子像素峰值，并求和得到目标所在区域的总体峰值，然后通过改变多尺度的步长，得到三个尺度和三个尺度对应的峰值；通过比较各个三个尺度的响应峰值的大小，找到最大的一个尺度响应峰值，此时的尺度响应峰值所对应的检测出来的目标位置即为合适大小并且是正确的目标位置。
7.根据权利要求5所述的一种结合特征融合与模型更新的目标跟踪方法，其特征在于：所述遮挡情况判定的方法为，若依据遮挡阈值判定为目标受遮挡影响严重，则利用卡尔曼滤波理论进行目标位置预测，否则，依据插值方法实施模型更新，即：
其中，z表示当前预测位置采集得到的图像块，为先前帧模型系数，β为模型学习率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910711533.3A CN110569723A (zh) | 2019-08-02 | 2019-08-02 | 一种结合特征融合与模型更新的目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910711533.3A CN110569723A (zh) | 2019-08-02 | 2019-08-02 | 一种结合特征融合与模型更新的目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110569723A true CN110569723A (zh) | 2019-12-13 |
Family
ID=68774380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910711533.3A Pending CN110569723A (zh) | 2019-08-02 | 2019-08-02 | 一种结合特征融合与模型更新的目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110569723A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105444A (zh) * | 2019-12-31 | 2020-05-05 | 哈尔滨工程大学 | 一种适用于水下机器人目标抓取的连续跟踪方法 |
| CN111223130A (zh) * | 2019-12-25 | 2020-06-02 | 北京自行者科技有限公司 | 一种改进kcf的红外目标跟踪方法 |
| CN111260686A (zh) * | 2020-01-09 | 2020-06-09 | 滨州学院 | 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统 |
| CN111311647A (zh) * | 2020-01-17 | 2020-06-19 | 长沙理工大学 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
| CN111563915A (zh) * | 2020-05-06 | 2020-08-21 | 南京航空航天大学 | 一种融合运动信息检测和Radon变换的KCF目标跟踪方法 |
| CN111583294A (zh) * | 2020-04-22 | 2020-08-25 | 西安工业大学 | 一种结合尺度自适应与模型更新的目标跟踪方法 |
| CN111582349A (zh) * | 2020-04-30 | 2020-08-25 | 陕西师范大学 | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 |
| CN112069943A (zh) * | 2020-08-25 | 2020-12-11 | 西安工业大学 | 基于自顶向下框架的在线多人姿态估计与跟踪方法 |
| CN112131731A (zh) * | 2020-09-15 | 2020-12-25 | 同济大学 | 一种基于空间特征向量滤波的城市生长元胞模拟方法 |
| CN112257540A (zh) * | 2020-10-16 | 2021-01-22 | 齐鲁工业大学 | 一种自适应的抗遮挡动态目标实时跟踪方法及系统 |
| CN112614158A (zh) * | 2020-12-18 | 2021-04-06 | 北京理工大学 | 一种采样框自适应的多特征融合在线目标跟踪方法 |
| CN112733802A (zh) * | 2021-01-25 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 图像的遮挡检测方法、装置、电子设备及存储介质 |
| CN112734803A (zh) * | 2020-12-31 | 2021-04-30 | 山东大学 | 基于文字描述的单目标跟踪方法、装置、设备及存储介质 |
| CN113033356A (zh) * | 2021-03-11 | 2021-06-25 | 大连海事大学 | 一种尺度自适应的长期相关性目标跟踪方法 |
| CN113177970A (zh) * | 2021-04-29 | 2021-07-27 | 燕山大学 | 基于自适应特征融合的多尺度滤波目标跟踪方法 |
| CN113298851A (zh) * | 2021-07-07 | 2021-08-24 | 沈阳航空航天大学 | 一种基于多尺度多特征的目标图像跟踪方法 |
| CN113379798A (zh) * | 2021-06-03 | 2021-09-10 | 中国电子科技集团公司第二十八研究所 | 一种基于交互评价模型的相关滤波跟踪方法 |
| CN113538585A (zh) * | 2021-09-17 | 2021-10-22 | 深圳火眼智能有限公司 | 基于无人机的高精度多目标智能识别定位追踪方法及系统 |
| CN114972418A (zh) * | 2022-03-30 | 2022-08-30 | 北京航空航天大学 | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 |
| CN115345845A (zh) * | 2022-08-10 | 2022-11-15 | 重庆大学 | 基于方向梯度直方图的特征融合烟幕干扰效能评估及处理方法及电子设备 |
| CN117036740A (zh) * | 2023-08-04 | 2023-11-10 | 上海第二工业大学 | 一种用于运动目标的抗遮挡性跟踪方法 |
| CN117576380A (zh) * | 2024-01-16 | 2024-02-20 | 成都流体动力创新中心 | 一种目标自主检测跟踪方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
| CN109685073A (zh) * | 2018-12-28 | 2019-04-26 | 南京工程学院 | 一种基于核相关滤波的尺度自适应目标跟踪算法 |
-
2019
- 2019-08-02 CN CN201910711533.3A patent/CN110569723A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
| CN109685073A (zh) * | 2018-12-28 | 2019-04-26 | 南京工程学院 | 一种基于核相关滤波的尺度自适应目标跟踪算法 |
Non-Patent Citations (3)
| Title |
|---|
| JO~AO F. HENRIQUES ET AL.: "《High-Speed Tracking with Kernelized Correlation Filters》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| YANG LI ET AL.: "《A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration》", 《ECCV2014》 * |
| 胡秀华 等: "《利用空间结构信息的相关滤波目标跟踪算法》", 《计算机应用》 * |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223130A (zh) * | 2019-12-25 | 2020-06-02 | 北京自行者科技有限公司 | 一种改进kcf的红外目标跟踪方法 |
| CN111105444A (zh) * | 2019-12-31 | 2020-05-05 | 哈尔滨工程大学 | 一种适用于水下机器人目标抓取的连续跟踪方法 |
| CN111260686A (zh) * | 2020-01-09 | 2020-06-09 | 滨州学院 | 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统 |
| CN111260686B (zh) * | 2020-01-09 | 2023-11-10 | 滨州学院 | 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统 |
| CN111311647A (zh) * | 2020-01-17 | 2020-06-19 | 长沙理工大学 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
| CN111311647B (zh) * | 2020-01-17 | 2023-07-14 | 长沙理工大学 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
| CN111583294A (zh) * | 2020-04-22 | 2020-08-25 | 西安工业大学 | 一种结合尺度自适应与模型更新的目标跟踪方法 |
| CN111583294B (zh) * | 2020-04-22 | 2023-05-12 | 西安工业大学 | 一种结合尺度自适应与模型更新的目标跟踪方法 |
| CN111582349A (zh) * | 2020-04-30 | 2020-08-25 | 陕西师范大学 | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 |
| CN111563915B (zh) * | 2020-05-06 | 2023-04-14 | 南京航空航天大学 | 一种融合运动信息检测和Radon变换的KCF目标跟踪方法 |
| CN111563915A (zh) * | 2020-05-06 | 2020-08-21 | 南京航空航天大学 | 一种融合运动信息检测和Radon变换的KCF目标跟踪方法 |
| CN112069943A (zh) * | 2020-08-25 | 2020-12-11 | 西安工业大学 | 基于自顶向下框架的在线多人姿态估计与跟踪方法 |
| CN112131731A (zh) * | 2020-09-15 | 2020-12-25 | 同济大学 | 一种基于空间特征向量滤波的城市生长元胞模拟方法 |
| CN112131731B (zh) * | 2020-09-15 | 2022-06-14 | 同济大学 | 一种基于空间特征向量滤波的城市生长元胞模拟方法 |
| CN112257540A (zh) * | 2020-10-16 | 2021-01-22 | 齐鲁工业大学 | 一种自适应的抗遮挡动态目标实时跟踪方法及系统 |
| CN112614158A (zh) * | 2020-12-18 | 2021-04-06 | 北京理工大学 | 一种采样框自适应的多特征融合在线目标跟踪方法 |
| CN112734803A (zh) * | 2020-12-31 | 2021-04-30 | 山东大学 | 基于文字描述的单目标跟踪方法、装置、设备及存储介质 |
| CN112733802A (zh) * | 2021-01-25 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 图像的遮挡检测方法、装置、电子设备及存储介质 |
| CN112733802B (zh) * | 2021-01-25 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 图像的遮挡检测方法、装置、电子设备及存储介质 |
| CN113033356B (zh) * | 2021-03-11 | 2023-10-17 | 大连海事大学 | 一种尺度自适应的长期相关性目标跟踪方法 |
| CN113033356A (zh) * | 2021-03-11 | 2021-06-25 | 大连海事大学 | 一种尺度自适应的长期相关性目标跟踪方法 |
| CN113177970A (zh) * | 2021-04-29 | 2021-07-27 | 燕山大学 | 基于自适应特征融合的多尺度滤波目标跟踪方法 |
| CN113379798A (zh) * | 2021-06-03 | 2021-09-10 | 中国电子科技集团公司第二十八研究所 | 一种基于交互评价模型的相关滤波跟踪方法 |
| CN113379798B (zh) * | 2021-06-03 | 2022-11-22 | 中国电子科技集团公司第二十八研究所 | 一种基于交互评价模型的相关滤波跟踪方法 |
| CN113298851B (zh) * | 2021-07-07 | 2023-09-26 | 沈阳航空航天大学 | 一种基于多尺度多特征的目标图像跟踪方法 |
| CN113298851A (zh) * | 2021-07-07 | 2021-08-24 | 沈阳航空航天大学 | 一种基于多尺度多特征的目标图像跟踪方法 |
| CN113538585A (zh) * | 2021-09-17 | 2021-10-22 | 深圳火眼智能有限公司 | 基于无人机的高精度多目标智能识别定位追踪方法及系统 |
| CN113538585B (zh) * | 2021-09-17 | 2022-01-11 | 深圳火眼智能有限公司 | 基于无人机的高精度多目标智能识别定位追踪方法及系统 |
| CN114972418B (zh) * | 2022-03-30 | 2023-11-21 | 北京航空航天大学 | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 |
| CN114972418A (zh) * | 2022-03-30 | 2022-08-30 | 北京航空航天大学 | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 |
| CN115345845A (zh) * | 2022-08-10 | 2022-11-15 | 重庆大学 | 基于方向梯度直方图的特征融合烟幕干扰效能评估及处理方法及电子设备 |
| CN117036740A (zh) * | 2023-08-04 | 2023-11-10 | 上海第二工业大学 | 一种用于运动目标的抗遮挡性跟踪方法 |
| CN117576380A (zh) * | 2024-01-16 | 2024-02-20 | 成都流体动力创新中心 | 一种目标自主检测跟踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569723A (zh) | 一种结合特征融合与模型更新的目标跟踪方法 | |
| CN107609460B (zh) | 一种融合时空双重网络流和attention机制的人体行为识别方法 | |
| Yuan et al. | Robust visual tracking with correlation filters and metric learning | |
| Jiang et al. | Robust feature matching for remote sensing image registration via linear adaptive filtering | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
| Chen et al. | Learning linear regression via single-convolutional layer for visual object tracking | |
| CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
| CN109035300B (zh) | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 | |
| CN107067410B (zh) | 一种基于增广样本的流形正则化相关滤波目标跟踪方法 | |
| CN111612817A (zh) | 基于深浅特征自适应融合与上下文信息的目标跟踪方法 | |
| CN115375737B (zh) | 基于自适应时间与序列化时空特征的目标跟踪方法与系统 | |
| Yang et al. | Visual tracking with long-short term based correlation filter | |
| CN111915644A (zh) | 孪生导向锚框rpn网络的实时目标跟踪方法 | |
| CN111340842A (zh) | 一种基于联合模型的相关滤波目标跟踪算法 | |
| CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
| Shu et al. | Multi-feature fusion target re-location tracking based on correlation filters | |
| CN113033356B (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| Cai et al. | Anti-occlusion multi-object surveillance based on improved deep learning approach and multi-feature enhancement for unmanned smart grid safety | |
| CN110503631B (zh) | 一种遥感图像变化检测方法 | |
| Huang et al. | Robust Visual Tracking Models Designs Through Kernelized Correlation Filters. | |
| Jiang et al. | Regularisation learning of correlation filters for robust visual tracking | |
| CN114863132A (zh) | 图像空域信息的建模与捕捉方法、系统、设备及存储介质 | |
| CN110751189B (zh) | 一种基于感知对比度和特征选择的椭圆检测方法 | |
| CN113298851B (zh) | 一种基于多尺度多特征的目标图像跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191213 |