CN111340838A - 一种基于多种特征融合的背景时空相关滤波跟踪方法 - Google Patents

一种基于多种特征融合的背景时空相关滤波跟踪方法 Download PDF

Info

Publication number
CN111340838A
CN111340838A CN202010111756.9A CN202010111756A CN111340838A CN 111340838 A CN111340838 A CN 111340838A CN 202010111756 A CN202010111756 A CN 202010111756A CN 111340838 A CN111340838 A CN 111340838A
Authority
CN
China
Prior art keywords
target
characteristic
frame
sample
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010111756.9A
Other languages
English (en)
Other versions
CN111340838B (zh
Inventor
张建明
冯文俊
刘阳
孙娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202010111756.9A priority Critical patent/CN111340838B/zh
Publication of CN111340838A publication Critical patent/CN111340838A/zh
Application granted granted Critical
Publication of CN111340838B publication Critical patent/CN111340838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多种特征融合的背景时空相关滤波跟踪方法,包括:A1、对预先设定的视频序列,获取第t‑1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h;A2、根据所述第t‑1帧图像中目标的位置,提取以目标的位置为中心的目标区域,并获取所述目标区域的HOG特征、第一深度特征及第二深度特征;A3、基于第t‑1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h以及目标区域的HOG特征、第一深度特征及第二深度特征,构建第一滤波器;A4、基于第t帧图像和第t‑1帧图像所对应的第一滤波器,确定第t帧图像中目标的位置和尺度;A5、根据第t帧的特征图,更新第一滤波器,获取新的第一滤波器;A6、重复步骤A4‑A6直至全部帧的图像处理完。

Description

一种基于多种特征融合的背景时空相关滤波跟踪方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于多种特征融合的背景时空相关滤波跟踪方法。
背景技术
目标跟踪是计算机视觉领域中一个重要同时具有挑战性的研究方向。目标跟踪技术无论在民用还是军事上都有广泛的应用,包括视频监控、人机交互、无人驾驶以及导弹的跟踪拦截等。目标跟踪的基本思想是序列图像中根据目标在视频信息的时空上相关性,确定感兴趣的目标在每一帧的位置和姿态。目标跟踪技术经过几十年的发展,已取得了可观的进步,提出了许多性能优异的跟踪算法,但是由于跟踪方法收到许多因素的影响,尤其是光照的变化、遮挡、姿态与视角的变化、相似物体及所处的复杂背景的干扰等。因此目前为止,仍然没有单一的跟踪方法能同时解决跟踪中各项因素的干扰,只是在某些方面具有较好的鲁棒性。因此,建立一个具有鲁棒性和普适性的目标跟踪系统是一个具有挑战性和广阔前景的热点问题。
虽然现有的技术中提出了许多性能优异的算法,但仍然存在缺陷和不足,基于生成式的跟踪方法旨在建立一个合理高效的目标表示模型,但这样会大幅增加计算的成本,难以满足跟踪系统实时性的要求。而根据提取的目标特征与模型相匹配实现目标的跟踪,忽略了背景信息在场景中的作用,在目标自身变化剧烈或者被遮挡时容易产生漂移。当目标遇到遮挡、旋转等不符合高斯分布的情况下,跟踪过程中外界因素的干扰严重的影响了算法鲁棒性和准确性。
判别性跟踪算法的核心思想是分类问题,其性能主要依赖于特征提取的方法好坏、分类器的优劣、正负样本区分的准确性以及在线更新分类器机制的健全性。分类器的优劣关乎目标和背景能否被正确的区分。一般的基于二分类的跟踪算法都难以达到优异的性能,但在处理速度展现了较好的效果。基于深度学习的方法最大的难点是仅仅提供第一帧的目标信息,而深度学习往往需要大量的标注数据进行训练,且在使用GPU加速的情况下实时的性能依然不尽理想,因此使得深度学习在目标跟踪领域的应用受到一定的限制,且依然在各种干扰因素下影响着跟踪算法的性能。
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题,本发明提供一种基于多种特征融合的背景时空相关滤波跟踪方法。
(二)技术方案
为了达到上述目的,本发明提供一种基于多种特征融合的背景时空相关滤波跟踪方法,包括:
A1、针对预先设定的视频序列,获取所述视频序列中第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h;
所述预先设定视频序列包括多帧图像;
A2、根据所述第t-1帧图像中目标的位置,提取以所述目标的位置为中心的目标区域,并获取所述目标区域的HOG特征、第一深度特征及第二深度特征;
A3、基于所述第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h以及所述目标区域的HOG特征、第一深度特征及第二深度特征,构建第一滤波器;
A4、基于所述第t帧图像和所述第t-1帧图像所对应的第一滤波器,确定第t帧图像中目标的位置和尺度;
A5、根据所述第t帧的特征图,更新所述第一滤波器,获取新的第一滤波器;
A6、重复步骤A4-A6直至全部帧的图像处理完成。
优选的,所述步骤A2包括:
A2-1、在所述第t-1帧图像中,确定以所述目标位置为中心的目标区域;
A2-2、根据所述目标位置的目标区域,获取该目标区域的HOG特征、
A2-3、针对所述目标位置的目标区域,采用预先设定的VGGNet-16深度模型提取得到第一深度特征;
A2-4、针对所述目标位置的目标区域,采用预先设定的VGGM-2048深度模型提取得到第二深度特征。
优选的,所述步骤A3包括:
A3-1、基于所述第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h和预先设定的输出因子σ'和预先设定的特征区块的边长cell_size,获取所述第t-1帧图像中目标的特征图像的每一特征区域块的高斯函数标签的傅里叶域;
A3-2、对所述目标区域的HOG特征、第一深度特征及第二深度特征进行融合处理,获取特征X,并对所述融合后的特征X进行傅里叶变换,获取特征X的傅里叶域;
A3-3、基于所述第t-1帧图像中目标的特征图像的每一特征区域块的高斯函数标签的傅里叶域、特征X的傅里叶域,采用预先设定的目标函数确定第一滤波器;
其中目标函数为:
Figure BDA0002390269720000031
其中,特征通道k(k=1,2,...,K)的相关滤波算法,T为循环移位样本数,[Δτj]为第j个循环移位运算符,P为裁剪块为的是裁剪出目标区域外的背景块信息,后续两项为空间正则项、时间正则项,λ,λ1为空间正则项、时间正则项的参数,
Figure BDA0002390269720000043
为一个倒立的高斯分布权重;θ为前帧学习的滤波器参数;
优选的,所述步骤A3-1包括:
A3-1-1、对所述第t-1帧图像中目标的特征图像,进行网格划分,获取与所述第t-1帧图像中目标的特征图像对应的多个具有预先设定第一边长的特征区块;
A3-1-2、则基于t-1帧目标框的宽w和高h和预先设定的输出因子σ'和预先设定的第一边长;采用公式
Figure BDA0002390269720000041
获取参数σ;
其中,cell_size为预先设定的第一边长;
A3-1-3、计算候选区域块中离目标中心点循环移位的横坐标步长rs、纵坐标步长cs;
其中,所述候选区域块为所述目标框面积预设倍数的面积区域块;
A3-1-4、针对每一特征区块,采用公式(1)建立与所述特征区块对应的高斯函数标签;
公式(1)为:
Figure BDA0002390269720000042
A3-1-5、对所述高斯函数标签做傅里叶变换,转换为傅里叶域。
优选的,所述步骤A3-2包括:
A3-2-1、对所述目标区域的HOG特征、第一深度特征及第二深度特征进行融合处理,获取具有预先设定的K个通道的特征X;
A3-2-2、对所述特征X进行傅里叶变换,获取特征X的傅里叶域。
优选的,所述步骤A3-3包括:
针对所述K个通道中的任一通道,采用预先设定的采用预先设定的目标函数确定与所述K个通道中的任一通道对应的第一滤波器;
其中目标函数为:
Figure BDA0002390269720000051
第一滤波器为
Figure BDA0002390269720000052
优选的,所述步骤A4包括:
A4-1、针对所述预先设定的视频序列,获取所述第t帧图像
A4-2、在所述第t帧图像中,根据第t-1帧图像中目标的位置获取一个第一样本,并对所述第一样本进行循环移位操作处理,获取多个第二样本;
其中,所述第一样本为:所述第t帧图像中与第t-1帧图像中目标的位置相同的位置的预设面积的图像;
A4-3、分别针对所述第一样本和多个第二样本中的每一第二样本,提取HOG特征、第一深度特征、第二深度特征;
A4-4、将所述第一深度特征、第二深度特征和HOG特征进行融合,获取分别与所述第一样本和第二样本中的每一第二样本一一对应融合特征;
A4-5、基于与所述第一样本和第二样本中的每一第二样本一一对应的融合特征和所述第一滤波器,确定所述第t帧图像中目标的位置。
优选的,所述步骤A4-5包括:
A4-5-1、将与所述第一样本和第二样本中的每一第二样本对应融合特征分别与所述第一滤波器进行卷积操作,获取多个所述第t帧图像所对应的响应图F;
A4-5-2、基于所述多个与第t帧图像所对应的响应图F,确定所述第t帧图像中的目标位置;
其中,所述第t帧图像中的目标位置为:在所述多个与第t帧图像所对应的响应图中最大的响应图所对应的第一样本或第二样本中目标的位置。
优选的,所述步骤A4还包括:
A4-6、基于所述第t帧图像中目标的位置,确定与所述第t帧图像中目标的位置对应的第一样本或第二样本;
A4-7、基于与所述第t帧图像中目标的位置对应的第一样本或第二样本,获取与所述第t帧图像中目标的位置对应的第一样本或第二样本的5个尺度依次递增的HOG特征;
A4-8、将所述5个尺度依次递增的HOG特征,分别通过第一滤波器,获取所述第t帧图像中的目标尺度;
其中所述第t帧图像中的目标尺度为:在所述5个尺度依次递增的HOG特征中与第一滤波器进行卷积操作后最大的响应图所对应的第一样本或第二样本中的尺度。
优选的,所述步骤A5包括:
采用ADMM方法,更新所述第一滤波器,获取新的滤波器;
其中所述新的滤波器用于t+1帧的目标位置的跟踪确定。
(三)有益效果
本发明的有益效果是:本发明提出的技术方法在特征方面,不仅结合了手工特征的一般性,也通过深度网络模型VGGNet-16和VGGM-2048提取具有分辨性的深度特征,其结合三种特征能很好的描述跟踪目标的属性,有利于增强跟踪目标的特征表示能力,为精准定位提供很好的保障。本发明在相关滤波算法方面,结合了背景信息,时空信息,将三者影响因素也加入到滤波算法中,很好的区分背景与前景,以及大大降低了存在的边界效应影响,同时时间信息也更好的保证滤波学习的鲁棒性,将三者结合在一起,得到的最高响应位置就是目标的跟踪位置,这样的效果精确度大大提升。
本发明在目标尺度方面,通过仅对HOG特征进行考虑,提取5种依次递增的尺度特征,通过得到最大响应的尺度特征,就相应确定了目标的跟踪尺度。大大提高了跟踪的时效性及准确性。
附图说明
图1为本发明的原理框架图;
图2为本发明位置预测和尺度预测总体框架图;
图3为倒立高斯权重示意图;
图4为本发明结合背景信息和加入时空正则项流程图;
图5为本发明的跟踪效果图;
图6为本发明的基于多种特征融合的背景时空相关滤波跟踪方法的流程图;
图7为本发明实施例中提取HOG特征流程图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
为了更好的解释本发明,对于本发明的提到的第一深度特征和第二深度特征采用的是两种深度模型VGGNet-16和VGGM-2048进行提取。其中,两种深度特征提取模型的详细的层结构如表1所示。
表1
Figure BDA0002390269720000071
Figure BDA0002390269720000081
参见附图1和图6,本实施例中的一种基于多种特征融合的背景时空相关滤波跟踪方法,包括步骤:
A1、针对预先设定的视频序列,获取所述视频序列中第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h;所述预先设定视频序列包括多帧图像。
A2、根据所述第t-1帧图像中目标的位置,提取以所述目标的位置为中心的目标区域,并获取所述目标区域的HOG特征、第一深度特征及第二深度特征。
本实施例中,获取所述目标区域的HOG特征的具体步骤如图7所示。
本实施例中,步骤A2包括:
A2-1、在所述第t-1帧图像中,确定以所述目标位置为中心的目标区域。
A2-2、根据所述目标位置的目标区域,获取该目标区域的HOG特征。
A2-3、针对所述目标位置的目标区域,采用预先设定的VGGNet-16深度模型提取得到第一深度特征。
A2-4、针对所述目标位置的目标区域,采用预先设定的VGGM-2048深度模型提取得到第二深度特征。
A3、基于所述第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h以及所述目标区域的HOG特征、第一深度特征及第二深度特征,构建第一滤波器。
本实施例中,步骤A3包括:
A3-1、基于所述第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h和预先设定的输出因子σ'和预先设定的特征区块的边长cell_size,获取所述第t-1帧图像中目标的特征图像的每一特征区域块的高斯函数标签的傅里叶域。
本实施例中,步骤A3-1包括:
A3-1-1、对所述第t-1帧图像中目标的特征图像,进行网格划分,获取与所述第t-1帧图像中目标的特征图像对应的多个具有预先设定第一边长的特征区块。
A3-1-2、则基于t-1帧目标框的宽w和高h和预先设定的输出因子σ'和预先设定的第一边长;采用公式
Figure BDA0002390269720000091
获取参数σ。
其中,cell_size为预先设定的第一边长。
A3-1-3、计算候选区域块中离目标中心点循环移位的横坐标步长rs、纵坐标步长cs。
其中,所述候选区域块为所述目标框面积预设倍数的面积区域块。
A3-1-4、针对每一特征区块,采用公式(1)建立与所述特征区块对应的高斯函数标签;
公式(1)为:
Figure BDA0002390269720000092
A3-1-5、对所述高斯函数标签做傅里叶变换,转换为傅里叶域。
A3-2、对所述目标区域的HOG特征、第一深度特征及第二深度特征进行融合处理,获取特征X,并对所述融合后的特征X进行傅里叶变换,获取特征X的傅里叶域。
采用的是多种特征(包括手工特征HOG特征、深度特征VGG-16、VGGM)提取融合。这样不仅考虑到手工特征存在的底层信息,同时采用当前很常用的深层网络模型,深度模型提取的特征可以很好的反映图像的边缘、形状等空间背景细节信息,同时还包含了一些语义特征。因此,本发明将三种特征同时结合起来,提取相当完善的特征。
本实施例中,步骤A3-2包括:
A3-2-1、对所述目标区域的HOG特征、第一深度特征及第二深度特征进行融合处理,获取具有预先设定的K个通道的特征X。
A3-2-2、对所述特征X进行傅里叶变换,获取特征X的傅里叶域。
A3-3、基于所述第t-1帧图像中目标的特征图像的每一特征区域块的高斯函数标签的傅里叶域、特征X的傅里叶域,采用预先设定的目标函数确定第一滤波器。
如图4所示,其中目标函数为:
Figure BDA0002390269720000101
其中,特征通道k(k=1,2,..…,K)的相关滤波算法,T为循环移位样本数,[Δτj]为第j个循环移位运算符,P为裁剪块为的是裁剪出目标区域外的背景块信息,后续两项为空间正则项、时间正则项,λ,λ1为空间正则项、时间正则项的参数,
Figure BDA0002390269720000103
为一个倒立的高斯分布权重如图3;θ为前帧学习的滤波器参数。
本实施例中,针对所述K个通道中的任一通道,采用预先设定的采用预先设定的目标函数确定与所述K个通道中的任一通道对应的第一滤波器;
第一滤波器为
Figure BDA0002390269720000102
本实施例中加入了时间正则项,保证滤波器的学习与前帧的滤波器的差别较小,保证它的稳定性和泛化性。
A4、基于所述第t帧图像和所述第t-1帧图像所对应的第一滤波器,确定第t帧图像中目标的位置和尺度。
本实施例中步骤A4包括:
A4-1、针对所述预先设定的视频序列,获取所述第t帧图像。
A4-2、在所述第t帧图像中,根据第t-1帧图像中目标的位置获取一个第一样本,并对所述第一样本进行循环移位操作处理,获取多个第二样本。
其中,所述第一样本为:所述第t帧图像中与第t-1帧图像中目标的位置相同的位置的预设面积的图像。
A4-3、分别针对所述第一样本和多个第二样本中的每一第二样本,提取HOG特征、第一深度特征、第二深度特征。
A4-4、将所述第一深度特征、第二深度特征和HOG特征进行融合,获取分别与所述第一样本和第二样本中的每一第二样本一一对应融合特征。
本实施例中,第一深度特征、第二深度特征和HOG特征大小尺寸按最大特征尺寸分配统一大小以便于特征融合或者特征响应融合,对于尺寸大的目标跟踪序列分配比例为(HOG:VGG16:VGGM)1:1:1,尺寸较小的目标分配尺寸为0.1:1:0。
A4-5、基于与所述第一样本和第二样本中的每一第二样本一一对应的融合特征和所述第一滤波器,确定所述第t帧图像中目标的位置。
本实施例中,步骤A4-5包括:
A4-5-1、将与所述第一样本和第二样本中的每一第二样本对应融合特征分别与所述第一滤波器进行卷积操作,获取多个所述第t帧图像所对应的响应图F。
A4-5-2、基于所述多个与第t帧图像所对应的响应图F,确定所述第t帧图像中的目标位置。
其中,所述第t帧图像中的目标位置为:在所述多个与第t帧图像所对应的响应图中最大的响应图所对应的第一样本或第二样本中目标的位置。
本实施例中,参见图2,步骤A4还包括:
A4-6、基于所述第t帧图像中目标的位置,确定与所述第t帧图像中目标的位置对应的第一样本或第二样本。
A4-7、基于与所述第t帧图像中目标的位置对应的第一样本或第二样本,获取与所述第t帧图像中目标的位置对应的第一样本或第二样本的5个尺度依次递增的HOG特征。
在本实施例的具体应用中,由于深度特征提取的时间限制,我们只对HOG特征进行处理,选取5个不同尺度的HOG特征样本,它的尺度变换公式为anw×anh,a取1.01,其中
Figure BDA0002390269720000121
S取5,所以最后会得到5个依次递增尺度(中间为上一帧尺度,及不改变尺度)的图像样本,并利用双线性插值方法将5个不同尺度重新调整大小为统一大小。其详细流程如图2所示。
A4-8、将所述5个尺度依次递增的HOG特征,分别通过第一滤波器,获取所述第t帧图像中的目标尺度。
其中所述第t帧图像中的目标尺度为:在所述5个尺度依次递增的HOG特征中与第一滤波器进行卷积操作后最大的响应图所对应的第一样本或第二样本中的尺度。
A5、根据所述第t帧的特征图,更新所述第一滤波器,获取新的第一滤波器;
采用ADMM方法,更新所述第一滤波器,获取新的滤波器;
其中所述新的滤波器用于t+1帧的目标位置的跟踪确定。
A6、重复步骤A4-A6直至全部帧的图像处理完成。
本实施例通过在102个图像序列(OTB100)上进行实例测验,得到比较好的跟踪效果,图5所示举例了其中2个实例上的对比其他跟踪算法的跟踪效果。从跟踪效果可以看出来,对比于其它跟踪算法,本实施例中的使用的滤波跟踪方法展现出比较好的跟踪优势。
本实施例中不仅结合了手工特征HOG的一般性,也通过深度网络模型提取最具分辨性的第一深度特征和第二深度特征,其结合三种特征能很好的描述跟踪目标的属性,有利于增强跟踪目标的特征表示能力,为精准定位提供很好的保障。在相关滤波算法方面,本实施例结合了背景信息,时空信息,将三者影响因素也加入到滤波算法中,很好的区分背景与前景,以及大大降低了存在的边界效应影响,同时时间信息也更好的保证滤波学习的鲁棒性,将三者结合在一起,得到的最高响应位置就是目标的跟踪位置,这样的效果精确度大大提升。在目标尺度方面,本方法通过仅对HOG特征进行考虑,提取5种依次递增的尺度特征,通过得到最大响应的尺度特征,就相应确定了目标的跟踪尺度。大大提高了跟踪的时效性及准确性。
以上结合具体实施例描述了本发明的技术原理,这些描述只是为了解释本发明的原理,不能以任何方式解释为对本发明保护范围的限制。基于此处解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入本发明的保护范围之内。

Claims (10)

1.一种基于多种特征融合的背景时空相关滤波跟踪方法,其特征在于,包括步骤:
A1、针对预先设定的视频序列,获取所述视频序列中第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h;
所述预先设定视频序列包括多帧图像;
A2、根据所述第t-1帧图像中目标的位置,提取以所述目标的位置为中心的目标区域,并获取所述目标区域的HOG特征、第一深度特征及第二深度特征;
A3、基于所述第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h以及所述目标区域的HOG特征、第一深度特征及第二深度特征,构建第一滤波器;
A4、基于所述第t帧图像和所述第t-1帧图像所对应的第一滤波器,确定第t帧图像中目标的位置和尺度;
A5、根据所述第t帧的特征图,更新所述第一滤波器,获取新的第一滤波器;
A6、重复步骤A4-A6直至全部帧的图像处理完成。
2.根据权利要求1所述的方法,其特征在于,所述步骤A2包括:
A2-1、在所述第t-1帧图像中,确定以所述目标位置为中心的目标区域;
A2-2、根据所述目标位置的目标区域,获取该目标区域的HOG特征、
A2-3、针对所述目标位置的目标区域,采用预先设定的VGGNet-16深度模型提取得到第一深度特征;
A2-4、针对所述目标位置的目标区域,采用预先设定的VGGM-2048深度模型提取得到第二深度特征。
3.根据权利要求2所述的方法,其特征在于,所述步骤A3包括:
A3-1、基于所述第t-1帧图像中目标的特征图像、目标的位置和目标框的宽w和高h和预先设定的输出因子σ'和预先设定的特征区块的边长cell_size,获取所述第t-1帧图像中目标的特征图像的每一特征区域块的高斯函数标签的傅里叶域;
A3-2、对所述目标区域的HOG特征、第一深度特征及第二深度特征进行融合处理,获取特征X,并对所述融合后的特征X进行傅里叶变换,获取特征X的傅里叶域;
A3-3、基于所述第t-1帧图像中目标的特征图像的每一特征区域块的高斯函数标签的傅里叶域、特征X的傅里叶域,采用预先设定的目标函数确定第一滤波器;
其中目标函数为:
Figure FDA0002390269710000021
其中,特征通道k(k=1,2,.……,K)的相关滤波算法,T为循环移位样本数,[Δτj]为第j个循环移位运算符,P为裁剪块为的是裁剪出目标区域外的背景块信息,后续两项为空间正则项、时间正则项,λ,λ1为空间正则项、时间正则项的参数,
Figure FDA0002390269710000022
为一个倒立的高斯分布权重;θ为前帧学习的滤波器参数。
4.根据权利要求3所述的方法,其特征在于,所述步骤A3-1包括:
A3-1-1、对所述第t-1帧图像中目标的特征图像,进行网格划分,获取与所述第t-1帧图像中目标的特征图像对应的多个具有预先设定第一边长的特征区块;
A3-1-2、则基于t-1帧目标框的宽w和高h和预先设定的输出因子σ'和预先设定的第一边长;采用公式
Figure FDA0002390269710000023
获取参数σ;
其中,cell_size为预先设定的第一边长;
A3-1-3、计算候选区域块中离目标中心点循环移位的横坐标步长rs、纵坐标步长cs;
其中,所述候选区域块为所述目标框面积预设倍数的面积区域块;
A3-1-4、针对每一特征区块,采用公式(1)建立与所述特征区块对应的高斯函数标签;
公式(1)为:
Figure FDA0002390269710000031
A3-1-5、对所述高斯函数标签做傅里叶变换,转换为傅里叶域。
5.根据权利要求4所述的方法,其特征在于,所述步骤A3-2包括:
A3-2-1、对所述目标区域的HOG特征、第一深度特征及第二深度特征进行融合处理,获取具有预先设定的K个通道的特征X;
A3-2-2、对所述特征X进行傅里叶变换,获取特征X的傅里叶域。
6.根据权利要求4所述的方法,其特征在于,所述步骤A3-3包括:
针对所述K个通道中的任一通道,采用预先设定的采用预先设定的目标函数确定与所述K个通道中的任一通道对应的第一滤波器;
其中目标函数为:
Figure FDA0002390269710000032
第一滤波器为
Figure FDA0002390269710000033
7.根据权利要求3所述的方法,其特征在于,所述步骤A4包括:
A4-1、针对所述预先设定的视频序列,获取所述第t帧图像
A4-2、在所述第t帧图像中,根据第t-1帧图像中目标的位置获取一个第一样本,并对所述第一样本进行循环移位操作处理,获取多个第二样本;
其中,所述第一样本为:所述第t帧图像中与第t-1帧图像中目标的位置相同的位置的预设面积的图像;
A4-3、分别针对所述第一样本和多个第二样本中的每一第二样本,提取HOG特征、第一深度特征、第二深度特征;
A4-4、将所述第一深度特征、第二深度特征和HOG特征进行融合,获取分别与所述第一样本和第二样本中的每一第二样本一一对应融合特征;
A4-5、基于与所述第一样本和第二样本中的每一第二样本一一对应的融合特征和所述第一滤波器,确定所述第t帧图像中目标的位置。
8.根据权利要求7所述的方法,其特征在于,所述步骤A4-5包括:
A4-5-1、将与所述第一样本和第二样本中的每一第二样本对应融合特征分别与所述第一滤波器进行卷积操作,获取多个所述第t帧图像所对应的响应图F;
A4-5-2、基于所述多个与第t帧图像所对应的响应图F,确定所述第t帧图像中的目标位置;
其中,所述第t帧图像中的目标位置为:在所述多个与第t帧图像所对应的响应图中最大的响应图所对应的第一样本或第二样本中目标的位置。
9.根据权利要求8所述的方法,其特征在于,所述步骤A4还包括:
A4-6、基于所述第t帧图像中目标的位置,确定与所述第t帧图像中目标的位置对应的第一样本或第二样本;
A4-7、基于与所述第t帧图像中目标的位置对应的第一样本或第二样本,获取与所述第t帧图像中目标的位置对应的第一样本或第二样本的5个尺度依次递增的HOG特征;
A4-8、将所述5个尺度依次递增的HOG特征,分别通过第一滤波器,获取所述第t帧图像中的目标尺度;
其中所述第t帧图像中的目标尺度为:在所述5个尺度依次递增的HOG特征中与第一滤波器进行卷积操作后最大的响应图所对应的第一样本或第二样本中的尺度。
10.根据权利要求6所述的方法,其特征在于,所述步骤A5包括:
采用ADMM方法,更新所述第一滤波器,获取新的滤波器;
其中所述新的滤波器用于t+1帧的目标位置的跟踪确定。
CN202010111756.9A 2020-02-24 2020-02-24 一种基于多种特征融合的背景时空相关滤波跟踪方法 Active CN111340838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111756.9A CN111340838B (zh) 2020-02-24 2020-02-24 一种基于多种特征融合的背景时空相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111756.9A CN111340838B (zh) 2020-02-24 2020-02-24 一种基于多种特征融合的背景时空相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN111340838A true CN111340838A (zh) 2020-06-26
CN111340838B CN111340838B (zh) 2022-10-21

Family

ID=71183621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111756.9A Active CN111340838B (zh) 2020-02-24 2020-02-24 一种基于多种特征融合的背景时空相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN111340838B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686929A (zh) * 2021-03-10 2021-04-20 长沙理工大学 一种目标跟踪方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307917A1 (en) * 2013-04-12 2014-10-16 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN107680119A (zh) * 2017-09-05 2018-02-09 燕山大学 一种基于时空上下文融合多特征及尺度滤波的跟踪算法
CN107748873A (zh) * 2017-10-31 2018-03-02 河北工业大学 一种融合背景信息的多峰目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108280845A (zh) * 2017-12-26 2018-07-13 浙江工业大学 一种针对复杂背景的尺度自适应目标跟踪方法
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN109166139A (zh) * 2018-07-18 2019-01-08 天津大学 一种结合快速背景抑制的尺度自适应目标跟踪方法
CN109636795A (zh) * 2018-12-19 2019-04-16 安徽大学 实时无跟踪的监控视频遗留物检测方法
CN109934846A (zh) * 2019-03-18 2019-06-25 南京信息工程大学 基于时间和空间网络的深度集成目标跟踪方法
CN110544267A (zh) * 2019-07-24 2019-12-06 中国地质大学(武汉) 一种自适应选择特征的相关滤波跟踪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307917A1 (en) * 2013-04-12 2014-10-16 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN107680119A (zh) * 2017-09-05 2018-02-09 燕山大学 一种基于时空上下文融合多特征及尺度滤波的跟踪算法
CN107748873A (zh) * 2017-10-31 2018-03-02 河北工业大学 一种融合背景信息的多峰目标跟踪方法
CN108280845A (zh) * 2017-12-26 2018-07-13 浙江工业大学 一种针对复杂背景的尺度自适应目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN109166139A (zh) * 2018-07-18 2019-01-08 天津大学 一种结合快速背景抑制的尺度自适应目标跟踪方法
CN109636795A (zh) * 2018-12-19 2019-04-16 安徽大学 实时无跟踪的监控视频遗留物检测方法
CN109934846A (zh) * 2019-03-18 2019-06-25 南京信息工程大学 基于时间和空间网络的深度集成目标跟踪方法
CN110544267A (zh) * 2019-07-24 2019-12-06 中国地质大学(武汉) 一种自适应选择特征的相关滤波跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H. K. GALOOGAHI ET AL.: "Learning Background-Aware Correlation Filters for Visual Tracking", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
J. ZHANG ET AL.: "Dual Model Learning Combined With Multiple Feature Selection for Accurate Visual Tracking", 《IEEE ACCESS》 *
K. DAI ET AL.: "Visual Tracking via Adaptive Spatially-Regularized Correlation Filters", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686929A (zh) * 2021-03-10 2021-04-20 长沙理工大学 一种目标跟踪方法及系统
CN112686929B (zh) * 2021-03-10 2021-06-25 长沙理工大学 一种目标跟踪方法及系统

Also Published As

Publication number Publication date
CN111340838B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN111325794B (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
US20200234397A1 (en) Automatic view mapping for single-image and multi-view captures
CN110322453B (zh) 基于位置注意力和辅助网络的3d点云语义分割方法
CN110381268B (zh) 生成视频的方法,装置,存储介质及电子设备
CN110570457B (zh) 一种基于流数据的三维物体检测与跟踪方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
CN111414954B (zh) 一种岩石图像检索方法及其系统
WO2021249401A1 (zh) 模型生成方法、图像透视图确定方法、装置、设备及介质
CN110246171B (zh) 一种实时单目视频深度估计方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN114299405A (zh) 一种无人机图像实时目标检测方法
CN114463492A (zh) 一种基于深度学习的自适应通道注意力三维重建方法
CN111476835A (zh) 多视角图像一致性的无监督深度预测方法、系统、装置
CN112907573A (zh) 一种基于3d卷积的深度补全方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN111340838B (zh) 一种基于多种特征融合的背景时空相关滤波跟踪方法
CN109345570B (zh) 一种基于几何形状的多通道三维彩色点云配准方法
CN116630828B (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
CN116805360A (zh) 一种基于双流门控渐进优化网络的显著目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant