CN108090919A - 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 - Google Patents

一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 Download PDF

Info

Publication number
CN108090919A
CN108090919A CN201810002543.5A CN201810002543A CN108090919A CN 108090919 A CN108090919 A CN 108090919A CN 201810002543 A CN201810002543 A CN 201810002543A CN 108090919 A CN108090919 A CN 108090919A
Authority
CN
China
Prior art keywords
mrow
msub
target
pixel
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810002543.5A
Other languages
English (en)
Other versions
CN108090919B (zh
Inventor
康文雄
梁宁欣
吴桂乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guangda Innovation Technology Co ltd
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810002543.5A priority Critical patent/CN108090919B/zh
Publication of CN108090919A publication Critical patent/CN108090919A/zh
Application granted granted Critical
Publication of CN108090919B publication Critical patent/CN108090919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，通过超像素分析的策略实现目标的外观重构，将目标分割成超像素块并聚类成超像素中心，计算每个超像素中心的光流分析像素点的位移变化，预测出目标的运动偏移量和尺度变化；基于预测出的参数，在新一帧图像中循环采样后，对每个样本均采用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，检测出目标的准确位置和尺度；最后，通过在线双SVM检测模型对检测结果进行检测校正，对低置信度的位置实施校正，最终精确定位目标位置并得到目标准确尺度。该发明克服目标跟踪过程中存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，实现实时的高精度目标跟踪。

Description

一种基于超像素光流和自适应学习因子改进的核相关滤波跟 踪方法
技术领域
本发明涉及图像处理与分析技术领域，具体涉及一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法。
背景技术
计算机技术与人工智能的充分结合不仅促进了计算机科学领域的发展，还极大地方便了人们的日常生活。作为引领计算机走向智能化的重要领域，计算机视觉技术引起了社会广泛的关注。而视觉目标跟踪技术作为计算机视觉的一项关键组成成分，可广泛应用于人机交互、行人和车辆监控、无人机航行等诸多场合。由于目标跟踪算法具有极为广泛的应用前景，近几年来国内外研究人员在此领域提出大量先进的目标跟踪算法，极大地促进了视觉目标跟踪领域的发展与进步，大体上可以分成两类：生成式跟踪算法通常是先学习目标的外观模型，然后从众多候选模型中寻找与目标模型匹配度最高的对应目标区域；判别式跟踪算法是把目标跟踪近似看作二分类任务，即通过完成目标前景和背景分类的任务实现目标地持续跟踪。
生成式跟踪算法的关键在于对目标的外观进行准确地重构，并在跟踪过程中不断地学习目标的外观变化，从而在线更新外观模型，达到实时跟踪目标的目的。此类方法充分利用了图像的信息，能精确地拟合目标的外观模型，但在实际应用中，跟踪目标的外观通常没有特定的表现形式且容易发生外观显著变化从而容易导致目标跟踪丢失。判别式跟踪算法的基本思路是通过在线学习，获取前景目标与背景的分界面，降低计算成本而提升计算效率。此类方法虽已能取得较好的跟踪性能，但对训练样本的依赖程度相对较高，主要考虑的是样本特征的选取与表示，而忽略了对目标外观的有效重构，不能有效提取目标的完整信息。
此外，随着目标跟踪研究的不断深入，近年来，基于核函数的目标跟踪方法得到极大的发展，并表现出了优异的跟踪性能和较强的鲁棒性。这种方法在广义上属于判别式跟踪算法，通过在目标的邻近区域循环采样得到大量的正负样本训练分类器，并引入核函数和傅里叶分析，从而实现时间消耗少、速度快的目标跟踪。
虽然目标跟踪技术发展很快，但当前目标跟踪过程中仍存在诸多极富挑战性的问题，如环境光照变化、遮挡、形变、运动模糊和旋转等，上述跟踪难题是目标跟踪算法仍需克服的难点。
发明内容
本发明的目的是为了解决现有技术中目标跟踪过程中普遍存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，提供一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，实现实时的高精度目标跟踪。
本发明的目的可以通过采取如下技术方案达到：
一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，所述的方法包括下列步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；
S2、基于上一步骤中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；
S3、采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，输出目标跟踪结果。
进一步地，所述的采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正的过程如下：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
进一步地，所述的步骤S1具体包括：
S101、第一帧图像确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
其中，X和Y分别是位移变化的横、纵坐标序列，Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标，n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算，因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算；
S105、根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
其中dist(·)是计算欧式距离，因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
进一步地，所述的步骤S2具体包括：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数，因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
其中，A是相关滤波模型系数，是离散傅里叶变化运算，核函数kp＝κ(p,p)；
S203、根据式(8)计算图像块z置信图的响应值为：
其中，是目标的位置模型，⊙是Hadamart乘积运算，因此，新一帧图像中检测到的目标中心Ct在置信图中最大响应值对应的位置，以及自适应历史学习因子δ为：
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算；
S204、完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs，根据步骤S1中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数，然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数；
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度；
S206、利用自适应学习因子δ学习历史可靠正样本根据式(12)分别更新目标位置滤波模型和相关滤波模型系数准备下一帧目标的跟踪：
进一步地，所述的步骤S3具体包括：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值；
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块；
S304、根据式(8)重新计算此图像块置信图的响应值记为而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为若满足下式：
其中λ2是响应值校正倍率，则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果；若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果；
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数lhinge：
lhinge＝max(0,1-yi×xi×ω),i＝1,2,...,m (16)
权重向量ω直接根据式(18)更新为：
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
进一步地，所述的步骤S101中以目标区域的1.4倍为搜索区域。
进一步地，所述的历史可靠正样本为样本块置信图的响应值大于阈值θ1的样本。
本发明相对于现有技术具有如下的优点及效果：
1)对重构跟踪目标而言，通过超像素分析策略将目标分割成有意义的超像素块并聚类成超像素中心，能够充分获取目标的外观和内部信息，利用超像素点的位移变化来预测目标的运动偏移量和尺度变化，使得后续精准跟踪更易实现。
2)对在线跟踪目标而言，通过引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，能够准确地定位出目标位置及尺度，使得目标跟踪过程更为鲁棒。
3)对跟踪结果检测校正而言，通过在线的双SVM检测模型对低置信度的位置实施校正，得到最准确的目标中心位置和目标尺度，大大提高了目标跟踪的准确度。
附图说明
图1是本发明基于超像素光流和自适应学习因子改进的核相关滤波目标跟踪方法的流程框图；
图2是基于超像素光流法预测出目标运动偏移量和尺度变化的流程框图；
图3是利用改进后的核相关滤波器确定目标新位置和新尺度的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1至图3所示，本实施例公开一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，解决当前目标跟踪过程中普遍存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，实现实时的高精度目标跟踪；包括以下三个步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；
其中，步骤S1具体包括以下子步骤：
S101、第一帧确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
示例性地，本实施例中以目标区域的1.4倍为搜索区域。
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛(即每个像素点的聚类中心不再变化)，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、接着，计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
其中，X和Y分别是位移变化的横、纵坐标序列；Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标；n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算。因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算。
S105、最后，根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
其中dist(·)是计算欧式距离。因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
S2、基于步骤S1中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；
其中，步骤S2具体包括以下子步骤：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数。因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
其中，A是相关滤波模型系数，是离散傅里叶变化运算，核函数kp＝κ(p,p)。
S203、接着，根据式(8)计算图像块z置信图的响应值为：
其中，是目标的位置模型，⊙是Hadamart乘积运算。因此，新一帧图像中检测到的目标中心Ct在置信图中最大响应值对应的位置，以及自适应历史学习因子δ为：
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算。
S204、其次完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs；根据第一步中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数。然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数。
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度。
S206、最后，利用自适应学习因子δ学习历史可靠正样本(样本块置信图的响应值大于阈值θ1认为是可靠正样本)，根据式(12)分别更新目标位置滤波模型和相关滤波模型系数准备下一帧目标的跟踪：
S3、在输出目标跟踪结果(目标位置和目标尺度)前，采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，即：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
其中，步骤S3具体包括以下子步骤：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值。
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块。
S304、根据式(8)重新计算此图像块置信图的响应值记为而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为若满足下式：
其中λ2是响应值校正倍率。则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果。若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果。
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数lhinge：
lhinge＝max(0,1-yi×xi×ω),i＝1,2,...,m (16)
权重向量ω直接根据式(18)更新为：
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的方法包括下列步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；
S2、基于上一步骤中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；
S3、采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，输出目标跟踪结果。
2.根据权利要求1所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正的过程如下：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
3.根据权利要求1所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的步骤S1具体包括：
S101、第一帧图像确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>X</mi> <mo>=</mo> <mo>{</mo> <mi>a</mi> <mi>b</mi> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>O</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>n</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Y</mi> <mo>=</mo> <mo>{</mo> <mi>a</mi> <mi>b</mi> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>O</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>n</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，X和Y分别是位移变化的横、纵坐标序列，Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标，n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算，因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算；
S105、根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>D</mi> <mi>r</mi> </msub> <mo>=</mo> <mo>{</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>C</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>D</mi> <mi>p</mi> </msub> <mo>=</mo> <mo>{</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mi>O</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>O</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>n</mi> <mo>;</mo> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mi>n</mi> <mo>;</mo> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mi>j</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中dist(·)是计算欧式距离，因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
<mrow> <msub> <mi>S</mi> <mi>f</mi> </msub> <mo>=</mo> <mi>m</mi> <mi>e</mi> <mi>d</mi> <mi>i</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <msub> <mi>D</mi> <mi>p</mi> </msub> <msub> <mi>D</mi> <mi>r</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
4.根据权利要求3所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的步骤S2具体包括：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
<mrow> <mi>&amp;epsiv;</mi> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </munder> <mo>|</mo> <mo>&lt;</mo> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mi>w</mi> <mo>&gt;</mo> <mo>-</mo> <mi>r</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mo>|</mo> <mo>|</mo> <mi>w</mi> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数，因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
其中，A是相关滤波模型系数，是离散傅里叶变化运算，核函数kp＝κ(p,p)；
S203、根据式(8)计算图像块z置信图的响应值为：
其中，是目标的位置模型，⊙是Hadamart乘积运算，因此，新一帧图像中检测到的目标中心Ct在置信图中最大响应值对应的位置，以及自适应历史学习因子δ为：
<mrow> <mi>&amp;delta;</mi> <mo>=</mo> <msub> <mi>&amp;delta;</mi> <mn>0</mn> </msub> <mo>&amp;times;</mo> <mfrac> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>max</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算；
S204、完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs，根据步骤S1中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数，然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数；
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度；
S206、利用自适应学习因子δ学习历史可靠正样本根据式(12)分别更新目标位置滤波模型和相关滤波模型系数准备下一帧目标的跟踪：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mover> <mi>p</mi> <mo>^</mo> </mover> <mi>t</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;delta;</mi> <mo>)</mo> </mrow> <msub> <mover> <mi>p</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>&amp;delta;p</mi> <mi>t</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mover> <mi>A</mi> <mo>^</mo> </mover> <mi>t</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;delta;</mi> <mo>)</mo> </mrow> <msub> <mover> <mi>A</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>&amp;delta;A</mi> <mi>t</mi> </msub> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
5.根据权利要求4所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的步骤S3具体包括：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>min</mi> <mrow> <mi>&amp;omega;</mi> <mo>,</mo> <mi>b</mi> <mo>,</mo> <msub> <mi>&amp;xi;</mi> <mi>i</mi> </msub> </mrow> </munder> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>&amp;omega;</mi> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>C</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msub> <mi>&amp;xi;</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mrow> <msup> <mi>&amp;omega;</mi> <mi>T</mi> </msup> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>b</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>&amp;GreaterEqual;</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;xi;</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>&amp;xi;</mi> <mi>i</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>m</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值；
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块；
S304、根据式(8)重新计算此图像块置信图的响应值记为而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为若满足下式：
<mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>r</mi> </msub> <mo>)</mo> </mrow> <mo>&gt;</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <mo>&amp;times;</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>p</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
其中λ2是响应值校正倍率，则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果；若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果；
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数
权重向量ω直接根据式(18)更新为：
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
6.根据权利要求3所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的步骤S101中以目标区域的1.4倍为搜索区域。
7.根据权利要求5所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的历史可靠正样本为样本块置信图的响应值大于阈值θ1的样本。
CN201810002543.5A 2018-01-02 2018-01-02 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 Active CN108090919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810002543.5A CN108090919B (zh) 2018-01-02 2018-01-02 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810002543.5A CN108090919B (zh) 2018-01-02 2018-01-02 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN108090919A true CN108090919A (zh) 2018-05-29
CN108090919B CN108090919B (zh) 2020-12-22

Family

ID=62181500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810002543.5A Active CN108090919B (zh) 2018-01-02 2018-01-02 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN108090919B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830209A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN108830812A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于网格结构深度学习的视频高帧率重制方法
CN109033944A (zh) * 2018-06-07 2018-12-18 西安电子科技大学 一种全天空极光图像分类与关键局部结构定位方法及系统
CN109034088A (zh) * 2018-08-06 2018-12-18 北京邮电大学 一种无人机信号探测方法及装置
CN109064491A (zh) * 2018-04-12 2018-12-21 江苏省基础地理信息中心 一种自适应分块的核相关滤波跟踪方法
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN109215061A (zh) * 2018-11-06 2019-01-15 广东工业大学 一种人脸毛孔跟踪方法及系统
CN109584277A (zh) * 2018-12-07 2019-04-05 上海应用技术大学 一种基于二次搜索的核相关滤波跟踪方法
CN109615640A (zh) * 2018-11-19 2019-04-12 北京陌上花科技有限公司 相关滤波目标跟踪方法及装置
CN109886280A (zh) * 2019-02-21 2019-06-14 西安微电子技术研究所 一种基于核相关滤波的异源图像目标匹配方法
CN110033006A (zh) * 2019-04-04 2019-07-19 中设设计集团股份有限公司 基于颜色特征非线性降维的车辆检测跟踪方法
CN110458017A (zh) * 2019-07-08 2019-11-15 浙江大华技术股份有限公司 目标跟踪的尺度估计方法以及相关装置
CN110705334A (zh) * 2018-07-09 2020-01-17 翔升（上海）电子技术有限公司 目标追踪方法、装置、设备和介质
CN110751671A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波与运动估计的目标跟踪方法
CN110827324A (zh) * 2019-11-08 2020-02-21 江苏科技大学 一种视频目标跟踪方法
CN110929620A (zh) * 2019-11-15 2020-03-27 浙江大华技术股份有限公司 目标跟踪方法、装置及存储装置
CN111105444A (zh) * 2019-12-31 2020-05-05 哈尔滨工程大学 一种适用于水下机器人目标抓取的连续跟踪方法
CN111291630A (zh) * 2020-01-17 2020-06-16 天津大学 基于联合预测-检测-修正框架的长期目标跟踪算法
CN111311641A (zh) * 2020-02-25 2020-06-19 重庆邮电大学 一种无人机目标跟踪控制方法
WO2020156009A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
WO2021051654A1 (zh) * 2019-09-19 2021-03-25 深圳云天励飞技术有限公司 快速光流跟踪方法及相关设备
CN116228817A (zh) * 2023-03-10 2023-06-06 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法
CN116664559A (zh) * 2023-07-28 2023-08-29 深圳市金胜电子科技有限公司 基于机器视觉的内存条损伤快速检测方法
CN116774590A (zh) * 2023-08-17 2023-09-19 山东金彭新能源科技有限公司 一种影响干扰用自适应调控方法及系统
CN117593211A (zh) * 2023-12-15 2024-02-23 书行科技(北京)有限公司 视频处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN106022263A (zh) * 2016-05-19 2016-10-12 西安石油大学 一种融合特征匹配和光流法的车辆跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373036B1 (en) * 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN106022263A (zh) * 2016-05-19 2016-10-12 西安石油大学 一种融合特征匹配和光流法的车辆跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUILE WU, WENXIONG KANG: "Exploiting superpixel and hybrid hash for kernel-based visual tracking", 《PATTERN RECOGNITION》 *
RUI SHI, GUILE WU, WENXIONG KANG, ZHIYONG WANG, DAVID DAGAN FENG: "Visual tracking utilizing robust complementary learner and adaptive refiner", 《NEUROCOMPUTING》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064491A (zh) * 2018-04-12 2018-12-21 江苏省基础地理信息中心 一种自适应分块的核相关滤波跟踪方法
CN109033944A (zh) * 2018-06-07 2018-12-18 西安电子科技大学 一种全天空极光图像分类与关键局部结构定位方法及系统
CN109033944B (zh) * 2018-06-07 2021-09-24 西安电子科技大学 一种全天空极光图像分类与关键局部结构定位方法及系统
CN108830209A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN108830209B (zh) * 2018-06-08 2021-12-17 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN108830812A (zh) * 2018-06-12 2018-11-16 福建帝视信息科技有限公司 一种基于网格结构深度学习的视频高帧率重制方法
CN108830812B (zh) * 2018-06-12 2021-08-31 福建帝视信息科技有限公司 一种基于网格结构深度学习的视频高帧率重制方法
CN110705334A (zh) * 2018-07-09 2020-01-17 翔升（上海）电子技术有限公司 目标追踪方法、装置、设备和介质
CN110751671B (zh) * 2018-07-23 2022-08-19 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波与运动估计的目标跟踪方法
CN110751671A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波与运动估计的目标跟踪方法
CN109034088A (zh) * 2018-08-06 2018-12-18 北京邮电大学 一种无人机信号探测方法及装置
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN109215061B (zh) * 2018-11-06 2022-04-19 广东工业大学 一种人脸毛孔跟踪方法及系统
CN109215061A (zh) * 2018-11-06 2019-01-15 广东工业大学 一种人脸毛孔跟踪方法及系统
CN109615640A (zh) * 2018-11-19 2019-04-12 北京陌上花科技有限公司 相关滤波目标跟踪方法及装置
CN109584277A (zh) * 2018-12-07 2019-04-05 上海应用技术大学 一种基于二次搜索的核相关滤波跟踪方法
US11544820B2 (en) 2019-01-31 2023-01-03 Beijing Sensetime Technology Development Co., Ltd. Video repair method and apparatus, and storage medium
WO2020156009A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN109886280A (zh) * 2019-02-21 2019-06-14 西安微电子技术研究所 一种基于核相关滤波的异源图像目标匹配方法
CN109886280B (zh) * 2019-02-21 2022-05-31 西安微电子技术研究所 一种基于核相关滤波的异源图像目标匹配方法
CN110033006A (zh) * 2019-04-04 2019-07-19 中设设计集团股份有限公司 基于颜色特征非线性降维的车辆检测跟踪方法
CN110458017A (zh) * 2019-07-08 2019-11-15 浙江大华技术股份有限公司 目标跟踪的尺度估计方法以及相关装置
CN110458017B (zh) * 2019-07-08 2022-02-18 浙江大华技术股份有限公司 目标跟踪的尺度估计方法以及相关装置
WO2021051654A1 (zh) * 2019-09-19 2021-03-25 深圳云天励飞技术有限公司 快速光流跟踪方法及相关设备
CN110827324A (zh) * 2019-11-08 2020-02-21 江苏科技大学 一种视频目标跟踪方法
CN110929620B (zh) * 2019-11-15 2023-04-07 浙江大华技术股份有限公司 目标跟踪方法、装置及存储装置
CN110929620A (zh) * 2019-11-15 2020-03-27 浙江大华技术股份有限公司 目标跟踪方法、装置及存储装置
CN111105444B (zh) * 2019-12-31 2023-07-25 哈尔滨工程大学 一种适用于水下机器人目标抓取的连续跟踪方法
CN111105444A (zh) * 2019-12-31 2020-05-05 哈尔滨工程大学 一种适用于水下机器人目标抓取的连续跟踪方法
CN111291630A (zh) * 2020-01-17 2020-06-16 天津大学 基于联合预测-检测-修正框架的长期目标跟踪算法
CN111311641A (zh) * 2020-02-25 2020-06-19 重庆邮电大学 一种无人机目标跟踪控制方法
CN111311641B (zh) * 2020-02-25 2023-06-09 重庆邮电大学 一种无人机目标跟踪控制方法
CN116228817A (zh) * 2023-03-10 2023-06-06 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法
CN116228817B (zh) * 2023-03-10 2023-10-03 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法
CN116664559A (zh) * 2023-07-28 2023-08-29 深圳市金胜电子科技有限公司 基于机器视觉的内存条损伤快速检测方法
CN116664559B (zh) * 2023-07-28 2023-11-03 深圳市金胜电子科技有限公司 基于机器视觉的内存条损伤快速检测方法
CN116774590A (zh) * 2023-08-17 2023-09-19 山东金彭新能源科技有限公司 一种影响干扰用自适应调控方法及系统
CN116774590B (zh) * 2023-08-17 2023-11-07 山东金彭新能源科技有限公司 一种影响干扰用自适应调控方法及系统
CN117593211A (zh) * 2023-12-15 2024-02-23 书行科技(北京)有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108090919B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN108090919A (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN110097568B (zh) 一种基于时空双分支网络的视频对象检测与分割方法
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN107330357A (zh) 基于深度神经网络的视觉slam闭环检测方法
Bai et al. Sequence searching with CNN features for robust and fast visual place recognition
CN111598928B (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
Li et al. A review of deep learning methods for pixel-level crack detection
CN110569706A (zh) 一种基于时间和空间网络的深度集成目标跟踪算法
Xiao et al. MeMu: Metric correlation Siamese network and multi-class negative sampling for visual tracking
Jia et al. A fast and efficient green apple object detection model based on Foveabox
CN111931703A (zh) 基于人-物体交互弱监督标签的物体检测方法
Hou et al. Bba-net: A bi-branch attention network for crowd counting
Li et al. RailNet: An information aggregation network for rail track segmentation
CN111723747A (zh) 一种应用于嵌入式平台轻量型高效率的目标检测方法
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220520

Address after: 510530 No. 39, Ruihe Road, Huangpu District, Guangzhou, Guangdong

Patentee after: Guangzhou Guangda Innovation Technology Co.,Ltd.

Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Patentee before: SOUTH CHINA University OF TECHNOLOGY

TR01 Transfer of patent right