CN108090919B - 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 - Google Patents

一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 Download PDF

Info

Publication number
CN108090919B
CN108090919B CN201810002543.5A CN201810002543A CN108090919B CN 108090919 B CN108090919 B CN 108090919B CN 201810002543 A CN201810002543 A CN 201810002543A CN 108090919 B CN108090919 B CN 108090919B
Authority
CN
China
Prior art keywords
target
tracking
scale
superpixel
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810002543.5A
Other languages
English (en)
Other versions
CN108090919A (zh
Inventor
康文雄
梁宁欣
吴桂乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guangda Innovation Technology Co ltd
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810002543.5A priority Critical patent/CN108090919B/zh
Publication of CN108090919A publication Critical patent/CN108090919A/zh
Application granted granted Critical
Publication of CN108090919B publication Critical patent/CN108090919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，通过超像素分析的策略实现目标的外观重构，将目标分割成超像素块并聚类成超像素中心，计算每个超像素中心的光流分析像素点的位移变化，预测出目标的运动偏移量和尺度变化；基于预测出的参数，在新一帧图像中循环采样后，对每个样本均采用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，检测出目标的准确位置和尺度；最后，通过在线双SVM检测模型对检测结果进行检测校正，对低置信度的位置实施校正，最终精确定位目标位置并得到目标准确尺度。该发明克服目标跟踪过程中存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，实现实时的高精度目标跟踪。

Description

一种基于超像素光流和自适应学习因子改进的核相关滤波跟 踪方法
技术领域
本发明涉及图像处理与分析技术领域，具体涉及一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法。
背景技术
计算机技术与人工智能的充分结合不仅促进了计算机科学领域的发展，还极大地方便了人们的日常生活。作为引领计算机走向智能化的重要领域，计算机视觉技术引起了社会广泛的关注。而视觉目标跟踪技术作为计算机视觉的一项关键组成成分，可广泛应用于人机交互、行人和车辆监控、无人机航行等诸多场合。由于目标跟踪算法具有极为广泛的应用前景，近几年来国内外研究人员在此领域提出大量先进的目标跟踪算法，极大地促进了视觉目标跟踪领域的发展与进步，大体上可以分成两类：生成式跟踪算法通常是先学习目标的外观模型，然后从众多候选模型中寻找与目标模型匹配度最高的对应目标区域；判别式跟踪算法是把目标跟踪近似看作二分类任务，即通过完成目标前景和背景分类的任务实现目标地持续跟踪。
生成式跟踪算法的关键在于对目标的外观进行准确地重构，并在跟踪过程中不断地学习目标的外观变化，从而在线更新外观模型，达到实时跟踪目标的目的。此类方法充分利用了图像的信息，能精确地拟合目标的外观模型，但在实际应用中，跟踪目标的外观通常没有特定的表现形式且容易发生外观显著变化从而容易导致目标跟踪丢失。判别式跟踪算法的基本思路是通过在线学习，获取前景目标与背景的分界面，降低计算成本而提升计算效率。此类方法虽已能取得较好的跟踪性能，但对训练样本的依赖程度相对较高，主要考虑的是样本特征的选取与表示，而忽略了对目标外观的有效重构，不能有效提取目标的完整信息。
此外，随着目标跟踪研究的不断深入，近年来，基于核函数的目标跟踪方法得到极大的发展，并表现出了优异的跟踪性能和较强的鲁棒性。这种方法在广义上属于判别式跟踪算法，通过在目标的邻近区域循环采样得到大量的正负样本训练分类器，并引入核函数和傅里叶分析，从而实现时间消耗少、速度快的目标跟踪。
虽然目标跟踪技术发展很快，但当前目标跟踪过程中仍存在诸多极富挑战性的问题，如环境光照变化、遮挡、形变、运动模糊和旋转等，上述跟踪难题是目标跟踪算法仍需克服的难点。
发明内容
本发明的目的是为了解决现有技术中目标跟踪过程中普遍存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，提供一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，实现实时的高精度目标跟踪。
本发明的目的可以通过采取如下技术方案达到：
一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，所述的方法包括下列步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；
S2、基于上一步骤中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；
S3、采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，输出目标跟踪结果。
进一步地，所述的采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正的过程如下：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
进一步地，所述的步骤S1具体包括：
S101、第一帧图像确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔
Figure GDA0002671202150000031
划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
Figure GDA0002671202150000041
其中，X和Y分别是位移变化的横、纵坐标序列，Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标，n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算，因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算；
S105、根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
Figure GDA0002671202150000042
其中dist(·)是计算欧式距离，因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
Figure GDA0002671202150000043
进一步地，所述的步骤S2具体包括：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
Figure GDA0002671202150000051
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数，因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
Figure GDA0002671202150000052
其中，A是相关滤波模型系数，
Figure GDA0002671202150000053
是离散傅里叶变化运算，核函数kp＝κ(p,p)；
S203、根据式(8)计算图像块z置信图的
Figure GDA0002671202150000054
响应值为：
Figure GDA0002671202150000055
其中，
Figure GDA0002671202150000056
是目标位置滤波模型，⊙是Hadamart乘积运算，因此，新一帧图像中检测到的目标中心Ct在置信图
Figure GDA0002671202150000057
中最大响应值对应的位置，以及自适应历史学习因子δ为：
Figure GDA0002671202150000058
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算；
S204、完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs，根据步骤S1中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数，然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数；
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值
Figure GDA0002671202150000061
因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度；
S206、利用自适应学习因子δ学习历史可靠正样本根据式(12)分别更新目标位置滤波模型
Figure GDA0002671202150000062
和相关滤波模型系数
Figure GDA0002671202150000063
准备下一帧目标的跟踪：
Figure GDA0002671202150000064
进一步地，所述的步骤S3具体包括：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
Figure GDA0002671202150000065
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值；
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块；
S304、根据式(8)重新计算此图像块置信图的响应值记为
Figure GDA0002671202150000071
而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为
Figure GDA0002671202150000072
若满足下式：
Figure GDA0002671202150000073
其中λ2是响应值校正倍率，则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果；若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果；
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数lhinge：
lhinge＝max(0,1-yi×xi×ω),i＝1,2,...,m (16)
权重向量ω直接根据式(17)更新为：
Figure GDA0002671202150000074
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
进一步地，所述的步骤S101中以目标区域的1.4倍为搜索区域。
进一步地，所述的历史可靠正样本为样本块置信图的
Figure GDA0002671202150000081
响应值大于阈值θ1的样本。
本发明相对于现有技术具有如下的优点及效果：
1)对重构跟踪目标而言，通过超像素分析策略将目标分割成有意义的超像素块并聚类成超像素中心，能够充分获取目标的外观和内部信息，利用超像素点的位移变化来预测目标的运动偏移量和尺度变化，使得后续精准跟踪更易实现。
2)对在线跟踪目标而言，通过引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，能够准确地定位出目标位置及尺度，使得目标跟踪过程更为鲁棒。
3)对跟踪结果检测校正而言，通过在线的双SVM检测模型对低置信度的位置实施校正，得到最准确的目标中心位置和目标尺度，大大提高了目标跟踪的准确度。
附图说明
图1是本发明基于超像素光流和自适应学习因子改进的核相关滤波目标跟踪方法的流程框图；
图2是基于超像素光流法预测出目标运动偏移量和尺度变化的流程框图；
图3是利用改进后的核相关滤波器确定目标新位置和新尺度的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1至图3所示，本实施例公开一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，解决当前目标跟踪过程中普遍存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，实现实时的高精度目标跟踪；包括以下三个步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；
其中，步骤S1具体包括以下子步骤：
S101、第一帧确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
示例性地，本实施例中以目标区域的1.4倍为搜索区域。
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔
Figure GDA0002671202150000091
划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛(即每个像素点的聚类中心不再变化)，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、接着，计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
Figure GDA0002671202150000101
其中，X和Y分别是位移变化的横、纵坐标序列；Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标；n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算。因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算。
S105、最后，根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
Figure GDA0002671202150000102
其中dist(·)是计算欧式距离。因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
Figure GDA0002671202150000103
S2、基于步骤S1中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；
其中，步骤S2具体包括以下子步骤：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
Figure GDA0002671202150000111
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数。因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
Figure GDA0002671202150000112
其中，A是相关滤波模型系数，
Figure GDA0002671202150000113
是离散傅里叶变化运算，核函数kp＝κ(p,p)。
S203、接着，根据式(8)计算图像块z置信图的
Figure GDA0002671202150000114
响应值为：
Figure GDA0002671202150000115
其中，
Figure GDA0002671202150000121
是目标位置滤波模型，⊙是Hadamart乘积运算。因此，新一帧图像中检测到的目标中心Ct在置信图
Figure GDA0002671202150000122
中最大响应值对应的位置，以及自适应历史学习因子δ为：
Figure GDA0002671202150000123
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算。
S204、其次完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs；根据第一步中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数。然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数。
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值
Figure GDA0002671202150000124
因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度。
S206、最后，利用自适应学习因子δ学习历史可靠正样本(样本块置信图的
Figure GDA0002671202150000125
响应值大于阈值θ1认为是可靠正样本)，根据式(12)分别更新目标位置滤波模型
Figure GDA0002671202150000126
和相关滤波模型系数
Figure GDA0002671202150000127
准备下一帧目标的跟踪：
Figure GDA0002671202150000128
S3、在输出目标跟踪结果(目标位置和目标尺度)前，采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，即：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
其中，步骤S3具体包括以下子步骤：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
Figure GDA0002671202150000131
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值。
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块。
S304、根据式(8)重新计算此图像块置信图的响应值记为
Figure GDA0002671202150000132
而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为
Figure GDA0002671202150000133
若满足下式：
Figure GDA0002671202150000134
其中λ2是响应值校正倍率。则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果。若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果。
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数lhinge：
lhinge＝max(0,1-yi×xi×ω),i＝1,2,...,m (16)
权重向量ω直接根据式(17)更新为：
Figure GDA0002671202150000141
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的方法包括下列步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；所述的步骤S1具体包括：
S101、第一帧图像确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔
Figure FDA0002671202140000011
划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
Figure FDA0002671202140000012
其中，X和Y分别是位移变化的横、纵坐标序列，Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标，n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算，因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算；
S105、根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
Figure FDA0002671202140000021
其中dist(·)是计算欧式距离，因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
Figure FDA0002671202140000022
S2、基于上一步骤中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；所述的步骤S2具体包括：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
Figure FDA0002671202140000031
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数，因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
Figure FDA0002671202140000032
其中，A是相关滤波模型系数，
Figure FDA0002671202140000033
是离散傅里叶变化运算，核函数kp＝κ(p,p)；
S203、根据式(8)计算图像块z置信图的
Figure FDA0002671202140000034
响应值为：
Figure FDA0002671202140000035
其中，
Figure FDA0002671202140000036
是目标位置滤波模型，⊙是Hadamart乘积运算，因此，新一帧图像中检测到的目标中心Ct在置信图
Figure FDA0002671202140000037
中最大响应值对应的位置，以及自适应历史学习因子δ为：
Figure FDA0002671202140000038
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算；
S204、完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs，根据步骤S1中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数，然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数；
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值
Figure FDA0002671202140000041
因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度；
S206、利用自适应学习因子δ学习历史可靠正样本根据式(12)分别更新目标位置滤波模型
Figure FDA0002671202140000042
和相关滤波模型系数
Figure FDA0002671202140000043
准备下一帧目标的跟踪：
Figure FDA0002671202140000044
S3、采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，输出目标跟踪结果；所述的步骤S3具体包括：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
Figure FDA0002671202140000045
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值；
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块；
S304、根据式(8)重新计算此图像块置信图的响应值记为
Figure FDA0002671202140000051
而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为
Figure FDA0002671202140000052
若满足下式：
Figure FDA0002671202140000053
其中λ2是响应值校正倍率，则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果；若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果；
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数lhinge：
lhinge＝max(0,1-yi×xi×ω),i＝1,2,...,m (16)
权重向量ω直接根据式(17)更新为：
Figure FDA0002671202140000054
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
2.根据权利要求1所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正的过程如下：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
3.根据权利要求1所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的步骤S101中以目标区域的1.4倍为搜索区域。
4.根据权利要求1所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的历史可靠正样本为样本块置信图的
Figure FDA0002671202140000061
响应值大于阈值θ1的样本。
CN201810002543.5A 2018-01-02 2018-01-02 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 Active CN108090919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810002543.5A CN108090919B (zh) 2018-01-02 2018-01-02 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810002543.5A CN108090919B (zh) 2018-01-02 2018-01-02 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN108090919A CN108090919A (zh) 2018-05-29
CN108090919B true CN108090919B (zh) 2020-12-22

Family

ID=62181500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810002543.5A Active CN108090919B (zh) 2018-01-02 2018-01-02 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN108090919B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064491A (zh) * 2018-04-12 2018-12-21 江苏省基础地理信息中心 一种自适应分块的核相关滤波跟踪方法
CN109033944B (zh) * 2018-06-07 2021-09-24 西安电子科技大学 一种全天空极光图像分类与关键局部结构定位方法及系统
CN108830209B (zh) * 2018-06-08 2021-12-17 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN108830812B (zh) * 2018-06-12 2021-08-31 福建帝视信息科技有限公司 一种基于网格结构深度学习的视频高帧率重制方法
CN110705334A (zh) * 2018-07-09 2020-01-17 翔升（上海）电子技术有限公司 目标追踪方法、装置、设备和介质
CN110751671B (zh) * 2018-07-23 2022-08-19 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波与运动估计的目标跟踪方法
CN109034088A (zh) * 2018-08-06 2018-12-18 北京邮电大学 一种无人机信号探测方法及装置
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN109215061B (zh) * 2018-11-06 2022-04-19 广东工业大学 一种人脸毛孔跟踪方法及系统
CN109615640B (zh) * 2018-11-19 2021-04-30 北京陌上花科技有限公司 相关滤波目标跟踪方法及装置
CN109584277A (zh) * 2018-12-07 2019-04-05 上海应用技术大学 一种基于二次搜索的核相关滤波跟踪方法
CN109816611B (zh) * 2019-01-31 2021-02-12 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN109886280B (zh) * 2019-02-21 2022-05-31 西安微电子技术研究所 一种基于核相关滤波的异源图像目标匹配方法
CN110033006B (zh) * 2019-04-04 2022-03-29 华设设计集团股份有限公司 基于颜色特征非线性降维的车辆检测跟踪方法
CN110458017B (zh) * 2019-07-08 2022-02-18 浙江大华技术股份有限公司 目标跟踪的尺度估计方法以及相关装置
CN110827313B (zh) * 2019-09-19 2023-03-03 深圳云天励飞技术股份有限公司 快速光流跟踪方法及相关设备
CN110827324B (zh) * 2019-11-08 2023-05-26 江苏科技大学 一种视频目标跟踪方法
CN110929620B (zh) * 2019-11-15 2023-04-07 浙江大华技术股份有限公司 目标跟踪方法、装置及存储装置
CN111105444B (zh) * 2019-12-31 2023-07-25 哈尔滨工程大学 一种适用于水下机器人目标抓取的连续跟踪方法
CN111291630A (zh) * 2020-01-17 2020-06-16 天津大学 基于联合预测-检测-修正框架的长期目标跟踪算法
CN111311641B (zh) * 2020-02-25 2023-06-09 重庆邮电大学 一种无人机目标跟踪控制方法
CN116228817B (zh) * 2023-03-10 2023-10-03 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法
CN116664559B (zh) * 2023-07-28 2023-11-03 深圳市金胜电子科技有限公司 基于机器视觉的内存条损伤快速检测方法
CN116774590B (zh) * 2023-08-17 2023-11-07 山东金彭新能源科技有限公司 一种影响干扰用自适应调控方法及系统
CN117593211A (zh) * 2023-12-15 2024-02-23 书行科技(北京)有限公司 视频处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN106022263A (zh) * 2016-05-19 2016-10-12 西安石油大学 一种融合特征匹配和光流法的车辆跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN106022263A (zh) * 2016-05-19 2016-10-12 西安石油大学 一种融合特征匹配和光流法的车辆跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Exploiting superpixel and hybrid hash for kernel-based visual tracking;Guile Wu, Wenxiong Kang;《Pattern Recognition》;20170309;第68卷;第175-190页 *
Visual tracking utilizing robust complementary learner and adaptive refiner;Rui Shi, Guile Wu, Wenxiong Kang, Zhiyong Wang, David Dagan Feng;《Neurocomputing》;20170510;第260卷;第367-377页 *

Also Published As

Publication number Publication date
CN108090919A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN108090919B (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
Von Stumberg et al. Gn-net: The gauss-newton loss for multi-weather relocalization
CN108647694B (zh) 基于上下文感知和自适应响应的相关滤波目标跟踪方法
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
Lu et al. Learning transform-aware attentive network for object tracking
Xu et al. MSACon: Mining spatial attention-based contextual information for road extraction
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
Ouma et al. Comparison of machine learning classifiers for multitemporal and multisensor mapping of urban LULC features
CN113592894B (zh) 一种基于边界框和同现特征预测的图像分割方法
CN110991547A (zh) 一种基于多特征最优融合的图像显著性检测方法
CN111009005A (zh) 几何信息与光度信息相结合的场景分类点云粗配准方法
Zheng et al. Online depth image-based object tracking with sparse representation and object detection
CN105825201A (zh) 视频监控中的运动目标跟踪方法
Wang et al. Small vehicle classification in the wild using generative adversarial network
CN109241981B (zh) 一种基于稀疏编码的特征检测方法
Taylor et al. Pose-sensitive embedding by nonlinear nca regression
CN113420648A (zh) 一种具有旋转适应性的目标检测方法及系统
CN110555406B (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
CN110827319B (zh) 一种基于局部敏感直方图改进的Staple目标跟踪方法
CN116597203A (zh) 一种基于知识蒸馏的非对称自编码器的异常检测方法
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及系统
Acharya et al. Neighborhood watch: Using CNNs to predict income brackets from Google street view images
CN111489361B (zh) 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220520

Address after: 510530 No. 39, Ruihe Road, Huangpu District, Guangzhou, Guangdong

Patentee after: Guangzhou Guangda Innovation Technology Co.,Ltd.

Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Patentee before: SOUTH CHINA University OF TECHNOLOGY

TR01 Transfer of patent right