CN115311327A - 融合共现统计与fhog梯度特征的目标跟踪方法及系统 - Google Patents

融合共现统计与fhog梯度特征的目标跟踪方法及系统 Download PDF

Info

Publication number
CN115311327A
CN115311327A CN202210809666.6A CN202210809666A CN115311327A CN 115311327 A CN115311327 A CN 115311327A CN 202210809666 A CN202210809666 A CN 202210809666A CN 115311327 A CN115311327 A CN 115311327A
Authority
CN
China
Prior art keywords
target
occurrence
filter
tracking
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210809666.6A
Other languages
English (en)
Inventor
吕刚
周铜
年福东
徐玉珊
梅益
赵浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Hefei University
Original Assignee
Hefei Institutes of Physical Science of CAS
Hefei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS, Hefei University filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202210809666.6A priority Critical patent/CN115311327A/zh
Publication of CN115311327A publication Critical patent/CN115311327A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供融合共现统计与fhog梯度特征的目标跟踪方法及系统,方法包括:根据跟踪目标区域确定初始位置;计算当前帧It的前一帧的目标位置pt‑1和尺度因子st‑1,据以确定目标区域并提取当前帧相关特征
Figure DDA0003740174610000011
利用共现滤波器获取被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,融合共现统计信息与跟踪目标fhog特征,据以作为目标图像特征;当模型更新时,在当前帧It中根据当前帧目标中心pt和当前帧目标尺度st确定目标区域提取特征,将目标区域提取特征送入位置滤波器和尺度滤波器中,据以迭代更新得到目标跟踪结果。本发明解决了现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。

Description

融合共现统计与fhog梯度特征的目标跟踪方法及系统
技术领域
本发明涉及计算机视觉领域,具体涉及融合共现统计与fhog梯度特征的目标跟踪方法及系统。
背景技术
目标跟踪是计算机视觉领域中非常重要的研究课题,在军事和民用等场景中都有着广泛的应用.经过了几十年的研究,近年来目标跟踪方向涌现出了大量性能优越的算法.如基于判别式相关滤波器(Discriminative Correlation Filters,DCF)的跟踪器在目标跟踪的准确性和鲁棒性方面取得了优异的性能。Bolme等人提出的最小输出平方误差和(Minimum Output Sum Of Squared Error,MOOSE)滤波器,首次将相关滤波器的概念引入目标跟踪领域,其在跟踪精度和速度上的惊人表现都显示了相关滤波在目标跟踪上的巨大潜力。Henriques等人提出了一种核相关滤波器(Kernelized Correlation Filters,KCF),利用离散傅里叶变换实现频域的快速计算,使用方向梯度直方图(Histogram of OrientedGradients,HOG)特征将相关滤波器从单通道扩展到多通道。例如公开号为CN108470355A的现有发明专利申请文献《融合卷积网络特征和判别式相关滤波器的目标跟踪方法》建立了一个端到端的轻量级网络体系结构,通过学习连续帧中丰富的流信息来训练卷积特征,改善特征表示和跟踪精度。将相关滤波跟踪组件构造为网络中的特殊层次跟踪单个图像块,在跟踪过程中,同时跟踪目标块和多个背景块,通过感知目标与周围背景块的结构关系,对目标及其周围环境辨识度高的部分建立模型,通过峰值旁瓣比和置信图峰值关系度量目标跟踪效果,在发生大面积遮挡、目标外形极度形变、光照剧烈变化等跟踪难度大的情况下,自动利用判别的背景部分进行定位。由该现有专利申请文献的说明书可知,该现有技术利用判别式相关滤波器、分辨式相关滤波器,并通过傅里叶变换共同实现对目标的跟踪。前述现有文献提供的技术方案由于场景特性的复杂性以及难以完全有效利用特征表达目标等问题,对目标进行稳健、实时的跟踪仍然面临着一定的挑战。
当目标尺度发生变化时,容易出现跟踪漂移的情况,Danelljan等人通过学习判别尺度空间跟踪(Discriminative Scale Space Tracking,DSST)滤波器来解决这一尺度变化问题,该算法构建33层金字塔特征向量,对目标尺度变化进行响应,但使用33个尺度会导致计算复杂的问题。Danelljan等人提出了快速判别尺度空间跟踪算法(FastDiscriminative Scale Space Tracking,FDSST),该算法使用PCA降维技术将HOG特征减少到18维。与DSST算法相比,fDSST在不牺牲其鲁棒性和准确性的前提下,进一步降低了跟踪的计算成本,但当目标处于快速运动,快速变形和长时间严重遮挡的场景中时跟踪效果不佳。
针对这一问题,现有的目标跟踪方法提出了一系列的改进方案。Ma等人提出了一种有效的尺度估计方法,通过在多分辨率转换滤波器框架中加入平均峰值相关能量(Average Peak-to-correlation Energy,APCE),解决了标准判别相关滤波器中模板大小固定的问题.Yazd等人提出了一种基于旋转感知的判别尺度空间跟踪方法,该方法可以有效地估计目标的旋转位置,并集成到尺度估计模型中.Mueller等人提出了一种基于上下文感知的相关滤波器跟踪算法,将全局上下文合并到滤波器训练阶段,使得背景混乱、目标外观剧烈变化时目标跟踪性能有所提高。例如公开号为CN110414439B的现有发明专利文献《基于多峰值检测的抗遮挡行人跟踪方法》中的技术方案首先进行行人检测获得初始位置,并进行跟踪器参数和行人模板的初始化,在后续每一帧将特征融合响应峰值所在位置作为行人预测位置中心,并进行目标响应峰值Fmax和平均峰值相关能量APCE及其阈值的计算,由其形成的联合置信度进行滤波器响应多峰值的检测,从而实现行人遮挡判断,在遮挡帧暂停滤波器参数和行人目标模板的更新,实现抗遮挡的行人跟踪任务。由该现有技术说明书可知,该现有文献公开的现有技术采用FHOG特征、Color Naming特征进行自适应融合作为特征描述子。前述现有技术中披露的算法在具有挑战性的复杂场景下,仍然存在很多实际问题有待解决,且当跟踪过程出现跟踪目标快速移动、严重遮挡等较大挑战时,单一浅层的梯度特征无法完全有效地表达目标的信息。
综上,现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
发明内容
本发明所要解决的技术问题在于如何解决现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
本发明是采用以下技术方案解决上述技术问题的:融合共现统计与fhog梯度特征的目标跟踪方法包括:
S1、根据给定跟踪目标区域确定初始目标位置;
S2、计算当前帧It的前一帧的目标位置pt-1和尺度因子st-1,据以确定目标区域并提取当前帧相关特征
Figure BDA0003740174590000031
S3、利用共现滤波器获取被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,结合共现统计信息与跟踪目标fhog特征,据以作为目标图像特征,其中,步骤S3包括:
S31、将当前帧相关特征
Figure BDA0003740174590000032
与位置滤波器
Figure BDA0003740174590000033
做相关运算,据以得到当前帧目标位置
Figure BDA0003740174590000034
其中,取当前帧相关特征
Figure BDA0003740174590000035
中最大的响应值点作为当前帧目标中心pt
S32、计算当前帧It的前一帧的目标位置pt-1及尺度因子st-1,据以划定目标区域,缩放后得到预设数目的目标图像区域;
S33、以预置逻辑处理得到共现统计信息及fhog梯度特征,步骤S33中包括:
S331、以共现滤波模块利用共现滤波器COF处理被跟踪目标图像中的频繁出现像素数据;
S332、根据频繁出现像素数据在预置共形矩阵中,为高频次出现像素值分配高权重,并为低频次出现像素值分配低权重,据以获取共现矩阵权重数据;
S333、根据共现矩阵权重数据提取被跟踪目标图像的纹理区域内的目标细节特征,据以获取共现统计信息;
S34、融合共现统计信息及fhog梯度特征,据以得到跟踪融合数据,提取跟踪融合数据中的多尺度特征
Figure BDA0003740174590000036
将多尺度特征
Figure BDA0003740174590000037
与差异尺度滤波器
Figure BDA0003740174590000038
做相关运算,以得到当前帧It的尺度信息
Figure BDA0003740174590000039
其中,取尺度信息
Figure BDA00037401745900000310
中最大的响应值点作为当前帧目标尺度st
S4、当模型更新时,在当前帧It中根据当前帧目标中心pt和当前帧目标尺度st确定目标区域提取特征,将目标区域提取特征送入位置滤波器和尺度滤波器中,据以迭代更新得到目标跟踪结果。
本发明针对复杂场景目标跟踪过程中难以完全有效利用特征对目标信息进行完备表达的问题,本发明提出了一种融合共现统计与fhog特征的目标跟踪算法。在fDSST跟踪算法的基础上,引入了一种基于图像共现统计的像素滤波模块,利用图像中经常出现的像素值在共现矩阵中的权重较高的特性,与原始跟踪算法中fhog特征进行融合,增加了基于纹理相似性的共现统计信息。本发明结合原始fDSST跟踪算法的fhog特征和基于共现统计的像素模块特征,进行不同视角目标语义特征的融合,实现跟踪目标的完备表达。
本算法将共现滤波器与原始的位置滤波器和尺度滤波器中的fhog梯度特征结合起来,可根据不同的图像细节来表示目标图像全局的特征信息,从而提高目标跟踪的精度。本发明结合判别尺度空间跟踪算法中位置滤波器得到的位置信息和尺度滤波器得到的目标尺度不断地更新共现滤波器模型,解决目标位置和尺度发生变化的场景下跟踪率下降的问题。
在更具体的技术方案中,步骤S31包括:
S311、使用二维位置滤波器估计被跟踪目标的位置,设f是由d维特征向量
Figure BDA0003740174590000041
组成的以被跟踪目标为中心的图像块,据以利用下述逻辑构造训练样本的目标相关响应与期望输出之间的最优滤波器:
Figure BDA0003740174590000042
式中,g,
Figure BDA0003740174590000043
Figure BDA0003740174590000044
为M×N矩阵,l∈{1,…,d}表示特征维度,★表示卷积操作,λ表示正则项系数;
S312、使用新的训练样本,以下述逻辑迭代更新过滤器的参数:
Figure BDA0003740174590000045
式中,η表示学习率,
Figure BDA0003740174590000046
Figure BDA0003740174590000047
为滤波器
Figure BDA0003740174590000048
训练样本的分子和分母;
S313、利用帕萨瓦尔定理将前述步骤S312中的线性最小二乘数据转换到复频域中求解;
S314、从被跟踪目标图像中提取新的一帧的以目标为中心的图像块特征z,二维傅里叶变换图像块特征,以得到得到变换图像特征数据
Figure BDA0003740174590000049
S315、利用预置逻辑处理滤波器
Figure BDA00037401745900000410
训练样本的分子分母以及变换图像特征数据
Figure BDA00037401745900000411
据以求得最大响应值,以最大响应值所对应的位置作为当前帧目标的位置。
本发明利用帕萨瓦尔定理将线性最小二乘问题转换到复频域中求解,从而提高运算速度。同时,本发明使用新的训练样本迭代更新过滤器的参数,使得滤波器具有鲁棒性。
在更具体的技术方案中,步骤S313中,采用下述逻辑将步骤S312中的线性最小二乘数据转换到复频域中求解:
Figure BDA0003740174590000051
式中,k∈{1,…,d}表示特征维度取值范围,
Figure BDA0003740174590000052
表示G的共轭转置,离散傅里叶变换M×N矩阵g,
Figure BDA0003740174590000053
Figure BDA0003740174590000054
据以得到相应变量G,Hl,Fl
在更具体是技术方案中,步骤S315中,利用下述逻辑处理滤波器
Figure BDA0003740174590000055
训练样本的分子和分母及
Figure BDA0003740174590000056
据以求得最大响应值:
Figure BDA0003740174590000057
在更具体的技术方案中,步骤S332包括:
S3321、获取被跟踪目标图像中的像素对之间的共现信息,以下述逻辑根据共现矩阵检测边缘的共现滤波器COF:
Figure BDA0003740174590000058
式中,Iq和JP分别表示输入图像和输出图像,p和q是图像中不同位置像素的索引,w(p,q)表示输入输出像素权重;
S3322、以下述逻辑,在预置高斯滤波器中处理得到第一输入输出像素权重w(p,q):
Figure BDA0003740174590000059
式中,d(p,q)是图像平面上像素p和q之间的欧几里德距离,σs表示空间域核参数,
Figure BDA00037401745900000510
表示高斯滤波器;
S3323、以下述逻辑处理被跟踪目标图像的空间距离数据以及像素相似程度数据,据以在预置双边滤波器中处理得到第二输入输出像素权重:
Figure BDA00037401745900000511
式中,Ip和Iq分别表示像素p和q的灰度值,σr是像素范围域核参数;
S3324、利用共现滤波器COF结合归一化的共现矩阵与双边滤波器,据以处理得到共现矩阵权重数据:
Figure BDA0003740174590000061
Figure BDA0003740174590000062
式中,M(a,b)是基于共现矩阵C(a,b)的一个256×256的归一化共现矩阵,h(a)和h(b)是a和b在图像中出现的频率。
本发明将输入跟踪图像映射到嵌入图像中,使得嵌入图像空间中像素值之间的欧氏距离类似于原始空间中的共现统计量,从而得到更优的跟踪结果。
在更具体的技术方案中,步骤S333包括:
S3331、构造预置规格的共现矩阵,据以利用下述逻辑计算共现信息及共现矩阵关系数据:
Figure BDA0003740174590000063
Figure BDA0003740174590000064
式中,σ是高斯滤波参数,[·]表示如果括号里的表达式为真,则结果为1,否则结果为0;
S3332、使用硬聚类方法,利用k-means算法聚类处理被跟踪目标图像的像素值,据以产生引导图像T,其中,k为聚类的个数;
S3333、设MT为引导图像T的共现矩阵,以下述逻辑处理得到引导图像T的引导图像共现矩阵,其中,引导图像共现矩阵的大小变为k×k:
Figure BDA0003740174590000065
S3334、利用下述逻辑计算引导图像T中的共现统计量,以
Figure BDA0003740174590000066
表示聚类成k个簇类的像素值,扩展共现矩阵关系数据得到下述逻辑表示的硬聚类共现矩阵关系数据:
Figure BDA0003740174590000067
式中,τa和τb表示两个簇,Tp=a表示像素p属于簇τa,Tq=b表示像素q属于簇τb
S3335、通过软分配策略,利用下述逻辑指定像素值属于不同簇的概率:
Figure BDA0003740174590000071
S3336、使用核函数,使Pr(p∈τ)=K(Ip,τ),根据像素值Ip和簇中心τ在原始空间的距离,计算将像素p分配给簇τ的概率;
S3337、利用下述逻辑将Ip和τ之间的距离近似于τp和τ之间的距离:
Pr(p∈τ)≈K(τp,τ);
S3338、利用下述逻辑处理τp和τ之间的距离及硬聚类共现矩阵关系数据,据以得到被跟踪目标图像全局的共现统计信息:
Figure BDA0003740174590000072
Figure BDA0003740174590000073
其中,Z是归一化常数,σr是指定参数,τp是离Ip最近的簇中心。
本发明中的采用的共现滤波器不考虑图像中的颜色空间信息,只考虑图像中的像素对总是同时出现的概率。根据图像中经常出现的像素值在共生矩阵中的权重较高这一特性,对图像进行特征采样或其他处理时就能更大程度的获取图像的全局统计信息。
针对传统技术基于颜色特征匹配导致图像颜色局部分布和每种色彩空间位置难以完全有效表达的缺陷以及hog梯度方向直方图难以处理遮挡问题。本发明采用了CoF滤波器,使得无论目标图像场景如何发生变化,目标图像中频繁并且共同出现的像素对总是具有较高的权重,从而将目标图像中的共现统计信息将梯度特征结合起来,提高了目标跟踪的精度。
在更具体的技术方案中,步骤S3333中的引导图像共现矩阵的大小变为k×k。
在更具体的技术方案中,位置滤波器与差异尺度滤波器相互独立。
本发明使用标准位置滤波器来估计目标的位置,同时使用一组不同尺度下的目标样本学习尺度滤波器,从而获得目标尺度的准确估计。
在更具体的技术方案中,步骤S34包括:
S341、利用不少于2个的差异尺度滤波器使用一维高斯函数作为期望的输出;
S342、利用下述逻辑对尺度滤波器模型h进行迭代更新:
Figure BDA0003740174590000081
以持续在新的一帧图像中获取S个尺度上组成的一个M×N×S的特征金字塔;
S343、利用下述逻辑求得最大响应值,以最大响应值所对应的尺度作为当前帧目标尺度st
Figure BDA0003740174590000082
在更具体的技术方案中,融合共现统计与fhog梯度特征的目标跟踪系统包括:
初始位置模块,用以根据给定跟踪目标区域确定初始目标位置;
当前帧特征模块,用以计算当前帧It的前一帧的目标位置pt-1和尺度因子st-1,据以确定目标区域并提取当前帧相关特征
Figure BDA0003740174590000083
当前帧特征模块与初始位置模块连接;
目标图像特征模块,用以利用共现滤波器获取被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,结合共现统计信息与跟踪目标fhog特征,据以作为目标图像特征,目标图像特征模块与当前帧特征模块连接,其中,目标图像特征模块包括:
当前帧目标位置模块,用以将当前帧相关特征
Figure BDA0003740174590000084
与位置滤波器
Figure BDA0003740174590000085
做相关运算,据以得到当前帧目标位置
Figure BDA0003740174590000086
其中,取当前帧相关特征
Figure BDA0003740174590000087
中最大的响应值点作为当前帧目标中心pt
目标图像区域模块,用以计算当前帧It的前一帧的目标位置pt-1及尺度因子st-1,据以划定目标区域,缩放后得到预设数目的目标图像区域,目标图像区域模块与当前帧目标位置模块连接;
共现统计信息及fhog梯度特征处理模块,用于以预置逻辑处理得到共现统计信息及fhog梯度特征,共现统计信息及fhog梯度特征处理模块与目标图像区域模块连接,共现统计信息及fhog梯度特征处理模块包括:
共现滤波模块,用以利用共现滤波器COF处理被跟踪目标图像中的频繁出现像素数据;
权重分配模块,用以根据频繁出现像素数据在预置共形矩阵中,为高频次出现像素值分配高权重,并为低频次出现像素值分配低权重,据以获取共现矩阵权重数据,权重分配模块与频繁像素处理模块连接;
共现统计信息模块,用以根据共现矩阵权重数据提取被跟踪目标图像的纹理区域内的目标细节特征,据以获取共现统计信息,共现统计信息模块与权重分配模块连接;
共现信息及梯度特征融合模块,用以融合共现统计信息及fhog梯度特征,据以得到跟踪融合数据,提取跟踪融合数据中的多尺度特征
Figure BDA0003740174590000091
将多尺度特征
Figure BDA0003740174590000092
与差异尺度滤波器
Figure BDA0003740174590000093
做相关运算,以得到当前帧It的尺度信息
Figure BDA0003740174590000094
其中,取尺度信息
Figure BDA0003740174590000095
中最大的响应值点作为当前帧目标尺度st,共现信息及梯度特征融合模块与共现信息及梯度特征处理模块连接;
目标跟踪模块,用以在模型更新时,在当前帧It中根据当前帧目标中心pt和当前帧目标尺度st确定目标区域提取特征,将目标区域提取特征送入位置滤波器和尺度滤波器中,据以迭代更新得到目标跟踪结果,目标跟踪模块与目标图像特征模块连接。
本发明相比现有技术具有以下优点:本发明针对复杂场景目标跟踪过程中难以完全有效利用特征对目标信息进行完备表达的问题,本发明提出了一种融合共现统计与fhog特征的目标跟踪算法。在fDSST跟踪算法的基础上,引入了一种基于图像共现统计的像素滤波模块,利用图像中经常出现的像素值在共现矩阵中的权重较高的特性,与原始跟踪算法中fhog特征进行融合,增加了基于纹理相似性的共现统计信息。本发明结合原始fDSST跟踪算法的fhog特征和基于共现统计的像素模块特征,进行不同视角目标语义特征的融合,实现跟踪目标的完备表达。
本算法将共现滤波器与原始的位置滤波器和尺度滤波器中的fhog梯度特征结合起来,可根据不同的图像细节来表示目标图像全局的特征信息,从而提高目标跟踪的精度。本发明结合判别尺度空间跟踪算法中位置滤波器得到的位置信息和尺度滤波器得到的目标尺度不断地更新共现滤波器模型,解决目标位置和尺度发生变化的场景下跟踪率下降的问题。
本发明利用帕萨瓦尔定理将线性最小二乘问题转换到复频域中求解,从而提高运算速度。同时,本发明使用新的训练样本迭代更新过滤器的参数,使得滤波器具有鲁棒性。
本发明将输入跟踪图像映射到嵌入图像中,使得嵌入图像空间中像素值之间的欧氏距离类似于原始空间中的共现统计量,从而得到更优的跟踪结果。
本发明中的采用的共现滤波器不考虑图像中的颜色空间信息,只考虑图像中的像素对总是同时出现的概率。根据图像中经常出现的像素值在共生矩阵中的权重较高这一特性,对图像进行特征采样或其他处理时就能更大程度的获取图像的全局统计信息。
针对传统技术基于颜色特征匹配导致图像颜色局部分布和每种色彩空间位置难以完全有效表达的缺陷以及hog梯度方向直方图难以处理遮挡的问题。本发明采用了CoF滤波器,使得无论目标图像场景如何发生变化,目标图像中频繁并且共同出现的像素对总是具有较高的权重,从而将目标图像中的共现统计信息将梯度特征结合起来,提高了目标跟踪的精度。
本发明使用标准位置滤波器来估计目标的位置,同时使用一组不同尺度下的目标样本学习尺度滤波器,从而获得目标尺度的准确估计。本发明解决了现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
附图说明
图1为本发明实施例1的多尺度图像经过尺度滤波器提取特征过程示意图;
图2为本发明实施例1的原图经过fhog变换的特征图和经过共现统计后的共现矩阵影像图;
图3为本发明实施例1的融合共现统计与fhog梯度特征的目标跟踪方法的算法整体流程示意图;
图4a为本发明实施例2的各算法在OPE评估下的距离精度曲线图;
图4b为本发明实施例2的各算法在OPE评估下的成功率曲线图;
图5a为本发明实施例2的第一车辆视频序列定性比较示意图;
图5b为本发明实施例2的第二车辆视频序列定性比较示意图;
图5c为本发明实施例2的第一人物视频序列定性比较示意图;
图5d为本发明实施例2的第二人物视频序列定性比较示意图;
图5e为本发明实施例2的第一物品视频序列定性比较示意图;
图5f为本发明实施例2的第二物品视频序列定性比较示意图;
图5g为本发明实施例2的第一赛事视频序列定性比较示意图;
图5h为本发明实施例2的第二赛事视频序列定性比较示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明提出了一种融合共现统计与fhog梯度特征的目标跟踪算法,结合原始fDSST跟踪算法的fhog特征和基于共现统计的像素模块特征,进行不同视角目标语义特征的融合,实现跟踪目标的完备表达。通过在OTB50数据集和OTB100数据集的定量与定性实验验证了该方法的鲁棒的特征学习能力和精度。
本发明提供的融合共现统计与fhog梯度特征的目标跟踪方法中包括:
快速判别尺度空间滤波器:
当被跟踪目标沿着相机轴运动或者目标外观发生变化时,准确估计目标尺度的变化是一个具有挑战性的问题。判别尺度空间相关滤波器通过学习多维特征的判别相关滤波器和尺度滤波器进行目标定位和尺度信息的估计。该算法使用标准位置滤波器来估计目标的位置,同时使用一组不同尺度下的目标样本学习尺度滤波器,从而获得目标尺度的准确估计。其中位置滤波器与尺度滤波器之间相互独立。
使用二维位置滤波器估计目标的位置,设f是由d维特征向量
Figure BDA0003740174590000111
组成的以目标为中心的图像块,构造了训练样本的目标相关响应与期望输出之间的最优滤波器,如下式:
Figure BDA0003740174590000112
其中,g,hl和fl为M×N的矩阵,l∈{1,…,d}表示特征维度,★表示卷积操作,λ表示正则项系数。利用帕萨瓦尔定理将式(1)中的线性最小二乘问题转换到复频域中求解,从而提高运算速度。公式如下:
Figure BDA0003740174590000113
式中,k∈{1,…,d}表示特征维度取值范围,
Figure BDA0003740174590000114
表示G的共轭转置,g,hl和fl经过离散傅里叶变换(Discrete Fourier Transform,DFT)得到相应的变量G,Hl,Fl。为了使滤波器具有鲁棒性,使用新的训练样本迭代更新过滤器的参数:
Figure BDA0003740174590000121
其中,η表示学习率,
Figure BDA0003740174590000122
和Bt为滤波器
Figure BDA0003740174590000123
训练样本的分子和分母。
最后,提取新的一帧的以目标为中心的图像块特征z,将提取到的特征进行二维傅里叶变换得到
Figure BDA0003740174590000124
利用式(2)求得最大响应值,最大响应值所对应的位置就是当前帧目标的位置。
Figure BDA0003740174590000125
使用一维尺度滤波器评估目标尺度的变化。假设当前帧的目标大小为P×R,尺度滤波器大小为S,对于
Figure BDA0003740174590000126
在目标中心位置获取尺度等级为n,大小为anP×anR的图像块作为尺度滤波器不同维度的特征描述子。其中,a是尺度因子,用于得到不同尺度大小的图像块。
如图1所示,为多尺度图像经过尺度滤波器提取特征的过程,尺度滤波器采用和位置滤波器同样的设计方法,不同的是尺度滤波器使用一维高斯函数作为期望的输出。I是以目标位置为中心的不同尺度下的图像块,h是尺度滤波器模型,f是经过运算得到的不同尺度的图像块特征,利用式(1)对尺度滤波器模型h进行迭代更新,不断地在新的一帧图像中获取S个尺度上组成的一个M×N×S的特征金字塔。利用式(2)求得最大响应值,最大响应值所对应的尺度就是当前帧的尺度信息。
优化算法:
共现滤波模块是利用图像中的共现信息而非强度信息来分配相应的权重,在图像中频繁出现的像素值在共现矩阵具有更高的权重,否则,在共现矩阵中的权重较低。因此,将这种共现的思想应用到目标跟踪中,对于图像中我们感兴趣的目标,它们的像素值总是成对出现,无论场景如何发生变化,目标图像中共同出现的像素对总是具有较高的权重。因此CoF滤波器在提取跟踪图像纹理区域内的细节特征方面具有出色的表现。
鉴于共现滤波器强大的特征提取能力,本发明提出一种依赖共现矩阵和fhog梯度特征的多尺度融合目标跟踪方法,该方法在判别尺度空间跟踪算法的基础上,增加了共现滤波跟踪模块。该方法将读取的每一帧的图像大小调整为指定模型大小,进入共现滤波器跟踪模块与位置滤波器原始梯度特征做运算,最终得到目标图像块基于位置信息的特征矩阵。同样的,将不同尺度下的目标图像,送入共现滤波器跟踪模块和尺度滤波器中进行特征的串联,得到基于尺度信息的目标图像块的特征矩阵,在此特征的基础上再送入目标跟踪模块中。不同于常规的目标图像特征提取算法,本算法将共现滤波器与原始的位置滤波器和尺度滤波器中的fhog梯度特征结合起来,可根据不同的图像细节来表示目标图像全局的特征信息,从而提高目标跟踪的精度。该方法是结合判别尺度空间跟踪算法中位置滤波器得到的位置信息和尺度滤波器得到的目标尺度不断地更新共现滤波器模型,解决目标位置和尺度发生变化的场景下跟踪率下降的问题。
在本实施例中,依赖共现矩阵以图像像素对之间的共现信息来检测边缘的共现滤波器(Co-occurrence filtering,COF):
Figure BDA0003740174590000131
式中,Iq和JP分别表示输入图像和输出图像,p和q是图像中不同位置像素的索引,w(p,q)表示输入像素q对输出像素p贡献的权重。
在高斯滤波器中,w(p,q)定义为:
Figure BDA0003740174590000132
其中,d(p,q)是图像平面上像素p和q之间的欧几里德距离,σs表示空间域核参数,
Figure BDA0003740174590000133
表示高斯滤波器。
在双边滤波器中,w(p,q)定义为:
Figure BDA0003740174590000134
式中,Ip和Iq分别表示像素p和q的灰度值,σr是像素范围域核参数。双边滤波器考虑了像素在空间距离上的关系,相比高斯滤波器而言,同时考虑了像素之间的相似程度。
共现滤波器将归一化共现矩阵与双边滤波器相结合时,w(p,q)的形式变为:
Figure BDA0003740174590000135
其中,
Figure BDA0003740174590000141
式中,M(a,b)是基于共现矩阵C(a,b)的一个256×256的归一化共现矩阵,h(a)和h(b)是a和b在图像中出现的频率(即像素值的直方图)。
Figure BDA0003740174590000142
Figure BDA0003740174590000143
其中,σ是高斯滤波参数,[·]表示如果括号里的表达式为真,则结果为1,否则结果为0。
共现滤波器不考虑图像中的颜色空间信息,只考虑图像中的像素对总是同时出现的概率。根据图像中经常出现的像素值在共生矩阵中的权重较高这一特性,对图像进行特征采样或其他处理时就能更大程度的获取图像的全局统计信息。
利用式(4)计算颜色空间的共现信息,需要构造一个2563×2563的共现矩阵,导致运算的时候过于复杂。使用k-means算法对图像I的像素值进行聚类以产生引导图像T.T的共现矩阵大小变为k×k,其中,k是聚类的个数.设MT是图像T的共现矩阵,则引导图像T的共现矩阵运算如下式:
Figure BDA0003740174590000144
通过公式计算引导图像T中的共现统计量,设
Figure BDA0003740174590000145
表示聚类成k个簇类的像素值,将公式(4)扩展得到:
Figure BDA0003740174590000146
其中,τa和τb表示两个簇,Tp=a表示像素p属于簇τa,Tq=b表示像素q属于簇τb,由于每个像素都被分配到其最近的簇中心,这种方法也被称为硬聚类。
然而,原始空间附近的像素值可能在聚类步骤中被映射到两个不同的簇中,造成伪影效应.为了解决这个问题,使用软分配策略指定像素值属于不同簇的概率,如下式:
Figure BDA0003740174590000147
利用软分配收集共现统计数据的计算成本较高,因此使用核函数(即高斯函数),让Pr(p∈τ)=K(Ip,τ),根据像素值Ip和簇中心τ在原始空间的距离,计算将像素p分配给簇τ的概率.再将Ip和τ之间的距离近似于τp和τ之间的距离,即Pr(p∈τ)≈K(τp,τ),改进得到:
Figure BDA0003740174590000151
Figure BDA0003740174590000152
其中,Z是归一化常数,σr是指定参数,τp是离Ip最近的簇中心。公式不对所有的像素值进行计算,只计算簇中心之间的距离。
目标跟踪过程中,目标特征的提取十分重要。传统的视觉特征提取算法是基于颜色特征匹配的,但图像中颜色的局部分布和每种色彩所处的空间位置难以完全有效表达。hog梯度方向直方图能利用梯度信息很好的反映图像目标的边缘信息,并可以通过局部梯度的大小将图像局部的外观和形状特征化。但由于梯度本身的性质,它对噪声非常敏感,难以处理遮挡问题.CoF滤波器无论目标图像场景如何发生变化,目标图像中频繁并且共同出现的像素对总是具有较高的权重,基于这一特征,本发明将目标图像中的共现统计信息将梯度特征结合起来,用以提高目标跟踪的精度。
如图2所示,在本实施例中,共现矩阵M是一个256×256大小的矩阵。根据式(3)从原始图像中收集共现统计信息,图像中白色和橙色经常同时出现,浅绿色和深绿色也经常出现,因此它们的权重较高,矩阵中对应像素区域得分较高。
本发明基于原始的fDSST算法,深入研究共现统计与fhog梯度的特征融合方法,提高算法在目标发生剧烈形变、快速移动场景下的鲁棒性。
如图3所示,本发明提供的融合共现统计与fhog梯度特征的目标跟踪方法包括以下步骤:
S1、确定目标位置;在本实施例中,依靠给定跟踪目标区域确定初始目标位置;
S2、Fhog变换;在本实施例中,当前帧It根据计算得出的前一帧的目标位置pt-1和尺度因子st-1确定目标区域并提取当前帧相关特征
Figure BDA0003740174590000153
S3、共现统计;在本实施例中,本发明算法提取的相关特征是将共现滤波器与原始算法中的fhog特征结合起来作为最终的目标图像特征;
S4、位置滤波器确定目标位置;在本实施例中,将当前帧相关特征
Figure BDA0003740174590000161
与位置滤波器
Figure BDA0003740174590000162
做相关运算得到当前帧的目标位置
Figure BDA0003740174590000163
其中
Figure BDA0003740174590000164
中最大的响应值点就是当前帧的目标中心pt
同理,当前帧It根据计算得出的目标位置pt-1和尺度因子st-1划定目标区域,缩放后得到S个目标图像区域;
S5、尺度滤波器确定目标尺度;在本实施例中,提取融合共现滤波器与原始算法中的fhog的多尺度特征
Figure BDA0003740174590000165
将多尺度特征
Figure BDA0003740174590000166
与尺度滤波器
Figure BDA0003740174590000167
做相关运算得到当前帧的尺度信息
Figure BDA0003740174590000168
其中
Figure BDA0003740174590000169
中最大的响应值点就是当前帧的目标尺度st
S6、根据前一帧目标位置和尺度提取测试集;
S7更新目标位置;S8更新目标尺度并执行步骤S9、判断当前帧是否为最后一帧,若是,则结束目标跟踪,若否,则循环执行前述步骤S4至S8;在本实施例中,当模型更新时,在当前帧It中根据上述步骤估算出的位置pt和尺度st确定的目标区域提取特征,再送入位置滤波器和尺度滤波器中不断地进行迭代更新得到最终的跟踪结果。
实施例2
实验分析
实验在Windows系统下,使用MATLAB R2016a软件平台,Intel(R)Core(TM)i7-12700H,2.30GHz的处理器,16GB内存的笔记本电脑上进行实验.实验参数设置如下:跟踪模型学习率η设为0.025,尺度因子a设为1.02。
实验数据与评价指标
为了验证本发明方法的有效性,我们在OTB50和OTB100两个大型基准数据集上进行实验,实验测试视频包括目标快速移动、光照变化、目标旋转、被遮挡及尺度变换等复杂场景环境。表1为部分测试视频序列描述:
表1部分测试视频序列描述
Table 1 Partial test video sequence description
Figure BDA00037401745900001610
Figure BDA0003740174590000171
在本发明中,我们采用常用的评价指标成功率和精度来评估算法的性能。目标的实际位置和跟踪框交集和并集之间的比值称为重叠率,当测试视频序列每帧的重叠率大于一定阈值时(本发明重叠度阈值设为0.5),则判定当前帧跟踪成功。跟踪成功的总帧数和视频序列总帧数的比值称为成功率,视频序列目标实际的中心位置和跟踪结果矩形框中心位置的像素距离称为中心位置误差,实际跟踪目标的中心位置误差小于人为标定中心位置误差阈值的帧数(本发明设为20)占总视频帧数的百分比称为精度图。
定量分析
为了评估本发明算法的精度,将其与其他9个目标跟踪算法在OTB50数据集上进行比较。选用重叠度阈值为0.5,中心误差阈值为20像素对跟踪算法进行排名。
如图4a及图4b所示,本发明算法的精度和成功率分别为82.6%和62.7%,相比fDSST算法在距离精度和成功率上分别提升了0.7和0.5个百分点,并且改进后的算法比其他几个跟踪算法的精度和成功率高,证明了本发明算法的跟踪性能鲁棒性。
定性分析
如图5a至5h所示,本发明选取OTB100数据集中的4个视频序列对本发明算法和fDSST、VTS、CXT三种跟踪算法进行定性分析比较。
在Car4视频序列中,由于目标快速移动,跟踪器容易跟丢目标,本发明算法利用图像的共现信息对目标进行跟踪,实现跟踪的鲁棒性。在David视频序列中,目标受到光照变化从而导致跟踪失败,本发明算法利用图像中经常出现的像素值在共现矩阵中的权重较高的特性,实现跟踪的稳定性。在Fish视频序列中,目标由于相机的抖动,光照的变化容易出现跟踪漂移的现象,本发明算法采用双滤波器自适应跟踪机制,降低了背景信息的干扰,能准确的定位目标。在Soccer视频序列中,目标在运动过程中发生剧烈的形变、遮挡,且目标图像中包含的背景噪声较多,在111帧的时候其他跟踪算法已经跟丢目标,本发明算法能稳健的跟踪目标,具有较高的准确度。
使用12种不同的跟踪算法在OTB50数据集上对平均重叠精度(Mean OP)和平均距离精度(Mean DP)进行比较,结果如表2所示。跟踪精度名前两位的结果分别在表2第12列第3行、第13列第2行和第12列第2行、第13列第3行表示。实验结果表明,跟踪精度前两名的算法分别为本发明所提算法和fDSST算法,同时本发明算法在平均重叠精度方面比fDSST高出7.1%,在平均距离精度方面比fDSST低1.1%。
表2 50个视频上12种跟踪算法的平均重叠精度和平均距离精度
Table 2 Average overlap accuracy and average distance accuracy of 12tracking algorithms on 50 videos
Figure BDA0003740174590000181
为了充分探讨在不同情况下本发明算法的准确度,在OTB50数据集上选取了41个数据集进行实验,结果如表3所示。评估指标分别是中心位置误差、距离精度和重叠精度。实验结果表明,相比fDSST算法,本发明方法在跟踪精度上有所提升。
表3本发明方法与fDSST方法性能比较
Table 3 Performance comparison between this method and fdsst method
Figure BDA0003740174590000182
Figure BDA0003740174590000191
本发明将共现思想应用到目标跟踪中,提出了一种融合共现统计与fhog特征的目标跟踪方法,用以充分提取输入目标图像中的纹理细节。无论跟踪场景如何变换,目标周围的像素总是一起出现,从而能更好的提取图像的细节信息并且定位到目标.在OTB50和OTB100两个大型基准数据集上进行算法验证比较,结果表明,本发明算法在平均重叠精度和平均距离精度上优于其他11种流行跟踪算法,且相比于精度最优的fDSST算法,本发明算法在平均重叠精度方面比fDSST高出7.1%,在平均距离精度方面比fDSST低1.1%,同时能持续稳定准确的跟踪目标,具有较好的鲁棒性。因此,本发明提出的融合共现统计与fhog特征的目标跟踪方法不仅可以有效地学习目标图像的细节特征信息,还可以进一步提升目标跟踪的精度。
综上,本发明针对复杂场景目标跟踪过程中难以完全有效利用特征对目标信息进行完备表达的问题,本发明提出了一种融合共现统计与fhog特征的目标跟踪算法.在fDSST跟踪算法的基础上,引入了一种基于图像共现统计的像素滤波模块,利用图像中经常出现的像素值在共现矩阵中的权重较高的特性,与原始跟踪算法中fhog特征进行融合,增加了基于纹理相似性的共现统计信息。本发明结合原始fDSST跟踪算法的fhog特征和基于共现统计的像素模块特征,进行不同视角目标语义特征的融合,实现跟踪目标的完备表达。
本算法将共现滤波器与原始的位置滤波器和尺度滤波器中的fhog梯度特征结合起来,可根据不同的图像细节来表示目标图像全局的特征信息,从而提高目标跟踪的精度。本发明结合判别尺度空间跟踪算法中位置滤波器得到的位置信息和尺度滤波器得到的目标尺度不断地更新共现滤波器模型,解决目标位置和尺度发生变化的场景下跟踪率下降的问题。
本发明利用帕萨瓦尔定理将线性最小二乘问题转换到复频域中求解,从而提高运算速度。同时,本发明使用新的训练样本迭代更新过滤器的参数,使得滤波器具有鲁棒性。
本发明将输入跟踪图像映射到嵌入图像中,使得嵌入图像空间中像素值之间的欧氏距离类似于原始空间中的共现统计量,从而得到更优的跟踪结果。
本发明中的采用的共现滤波器不考虑图像中的颜色空间信息,只考虑图像中的像素对总是同时出现的概率。根据图像中经常出现的像素值在共生矩阵中的权重较高这一特性,对图像进行特征采样或其他处理时就能更大程度的获取图像的全局统计信息。
针对传统技术基于颜色特征匹配导致图像颜色局部分布和每种色彩空间位置难以完全有效表达的缺陷以及hog梯度方向直方图难以处理遮挡的问题。本发明采用了CoF滤波器,使得无论目标图像场景如何发生变化,目标图像中频繁并且共同出现的像素对总是具有较高的权重,从而将目标图像中的共现统计信息将梯度特征结合起来,提高了目标跟踪的精度。
本发明使用标准位置滤波器来估计目标的位置,同时使用一组不同尺度下的目标样本学习尺度滤波器,从而获得目标尺度的准确估计。本发明解决了现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述方法包括:
S1、根据给定跟踪目标区域确定初始目标位置;
S2、计算当前帧It的前一帧的目标位置pt-1和尺度因子st-1,据以确定目标区域并提取当前帧相关特征
Figure FDA0003740174580000011
S3、利用共现滤波器获取所述被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,结合所述共现统计信息与所述跟踪目标fhog特征,据以作为目标图像特征,其中,所述步骤S3包括:
S31、将所述当前帧相关特征
Figure FDA0003740174580000012
与位置滤波器
Figure FDA0003740174580000013
做相关运算,据以得到当前帧目标位置
Figure FDA0003740174580000014
其中,取所述当前帧相关特征
Figure FDA0003740174580000015
中最大的响应值点作为当前帧目标中心pt
S32、计算所述当前帧It的前一帧的所述目标位置pt-1及所述尺度因子st-1,据以划定目标区域,缩放后得到预设数目的目标图像区域;
S33、以预置逻辑处理得到所述共现统计信息及fhog梯度特征,所述步骤S33中包括:
S331、以共现滤波模块利用共现滤波器COF处理所述被跟踪目标图像中的频繁出现像素数据;
S332、根据所述频繁出现像素数据在预置共形矩阵中,为高频次出现像素值分配高权重,并为所述低频次出现像素值分配低权重,据以获取共现矩阵权重数据;
S333、根据所述共现矩阵权重数据提取所述被跟踪目标图像的纹理区域内的所述目标细节特征,据以获取所述共现统计信息;
S34、融合所述共现统计信息及所述fhog梯度特征,据以得到跟踪融合数据,提取所述跟踪融合数据中的多尺度特征
Figure FDA0003740174580000016
将所述多尺度特征
Figure FDA0003740174580000017
与差异尺度滤波器
Figure FDA0003740174580000018
做相关运算,以得到所述当前帧It的尺度信息
Figure FDA0003740174580000019
其中,取所述尺度信息
Figure FDA00037401745800000110
中最大的响应值点作为当前帧目标尺度st
S4、当模型更新时,在所述当前帧It中根据所述当前帧目标中心pt和所述当前帧目标尺度st确定目标区域提取特征,将所述目标区域提取特征送入所述位置滤波器和所述尺度滤波器中,据以迭代更新得到目标跟踪结果。
2.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述所述步骤S31包括:
S311、使用二维位置滤波器估计所述被跟踪目标的位置,设f是由d维特征向量
Figure FDA0003740174580000021
组成的以所述被跟踪目标为中心的图像块,据以利用下述逻辑构造训练样本的目标相关响应与期望输出之间的最优滤波器:
Figure FDA0003740174580000022
式中,g,hl和fl为M×N矩阵,l∈{1,....,d}表示特征维度,★表示卷积操作,λ表示正则项系数;
S312、使用新的训练样本,以下述逻辑迭代更新过滤器的参数:
Figure FDA0003740174580000023
式中,η表示学习率,
Figure FDA0003740174580000024
和Bt为滤波器
Figure FDA0003740174580000025
训练样本的分子和分母;
S313、利用帕萨瓦尔定理将前述步骤S312中的线性最小二乘数据转换到复频域中求解;
S314、从所述被跟踪目标图像中提取新的一帧的以目标为中心的图像块特征z,二维傅里叶变换所述图像块特征,以得到得到变换图像特征数据
Figure FDA0003740174580000026
S315、利用预置逻辑处理滤波器
Figure FDA0003740174580000027
训练样本的分子分母以及所述变换图像特征数据
Figure FDA0003740174580000028
据以求得最大响应值,以所述最大响应值所对应的位置作为当前帧目标的位置。
3.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S313中,采用下述逻辑将所述步骤S312中的线性最小二乘数据转换到复频域中求解:
Figure FDA0003740174580000029
式中,k∈{1,...,d}表示特征维度取值范围,
Figure FDA00037401745800000210
表示G的共轭转置,离散傅里叶变换所述M×N矩阵g,hl和fl,据以得到相应变量G,Hl,Fl
4.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S315中,利用下述逻辑处理滤波器
Figure FDA00037401745800000211
训练样本的分子和分母及
Figure FDA00037401745800000212
据以求得所述最大响应值:
Figure FDA0003740174580000031
5.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S332包括:
S3321、获取所述被跟踪目标图像中的像素对之间的共现信息,以下述逻辑根据所述共现矩阵检测边缘的所述共现滤波器COF:
Figure FDA0003740174580000032
式中,Iq和JP分别表示输入图像和输出图像,p和q是图像中不同位置像素的索引,w(p,q)表示输入输出像素权重;
S3322、以下述逻辑,在预置高斯滤波器中处理得到第一输入输出像素权重w(p,q):
Figure FDA0003740174580000033
式中,d(p,q)是图像平面上像素p和q之间的欧几里德距离,σs表示空间域核参数,
Figure FDA0003740174580000034
表示高斯滤波器;
S3323、以下述逻辑处理所述被跟踪目标图像的空间距离数据以及像素相似程度数据,据以在预置双边滤波器中处理得到第二输入输出像素权重:
Figure FDA0003740174580000035
式中,Ip和Iq分别表示像素μ和q的灰度值,σr是像素范围域核参数;
S3324、利用所述共现滤波器COF结合归一化的所述共现矩阵与所述双边滤波器,据以处理得到所述共现矩阵权重数据:
Figure FDA0003740174580000036
Figure FDA0003740174580000037
式中,M(a,b)是基于共现矩阵C(a,b)的一个256×256的归一化共现矩阵,h(a)和h(b)是a和b在图像中出现的频率。
6.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S333包括:
S3331、构造预置规格的所述共现矩阵,据以利用下述逻辑计算共现信息及共现矩阵关系数据:
Figure FDA0003740174580000041
Figure FDA0003740174580000042
式中,σ是高斯滤波参数,[·]表示如果括号里的表达式为真,则结果为1,否则结果为0;
S3332、使用硬聚类方法,利用k-means算法聚类处理所述被跟踪目标图像的像素值,据以产生引导图像T,其中,k为聚类的个数;
S3333、设MT为所述引导图像T的共现矩阵,以下述逻辑处理得到所述引导图像T的引导图像共现矩阵,其中,所述引导图像共现矩阵的大小变为k×k:
Figure FDA0003740174580000043
S3334、利用下述逻辑计算所述引导图像T中的共现统计量,以
Figure FDA0003740174580000044
表示聚类成k个簇类的像素值,扩展所述共现矩阵关系数据得到下述逻辑表示的硬聚类共现矩阵关系数据:
Figure FDA0003740174580000045
式中,τa和τb表示两个簇,Tp=a表示像素p属于簇τa,Tq=b表示像素q属于簇τb
S3335、通过软分配策略,利用下述逻辑指定所述像素值属于不同簇的概率:
Figure FDA0003740174580000046
S3336、使用核函数,使Pr(p∈τ)=K(Ip,τ),根据所述像素值Ip和簇中心τ在原始空间的距离,计算将像素p分配给簇τ的概率;
S3337、利用下述逻辑将Ip和τ之间的距离近似于τp和τ之间的距离:
Pr(p∈τ)≈K(τp,τ);
S3338、利用下述逻辑处理所述τp和τ之间的距离及所述硬聚类共现矩阵关系数据,据以得到所述被跟踪目标图像全局的所述共现统计信息:
Figure FDA0003740174580000051
Figure FDA0003740174580000052
其中,Z是归一化常数,σr是指定参数,τp是离Ip最近的簇中心。
7.根据权利要求6所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S3333中的引导图像共现矩阵的大小变为k×k。
8.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述位置滤波器与所述差异尺度滤波器相互独立。
9.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S34包括:
S341、利用不少于2个的差异尺度滤波器使用一维高斯函数作为期望的输出;
S342、利用下述逻辑对尺度滤波器模型h进行迭代更新:
Figure FDA0003740174580000053
以持续在新的一帧图像中获取S个尺度上组成的一个M×N×S的特征金字塔;
S343、利用下述逻辑求得最大响应值,以所述最大响应值所对应的尺度作为所述当前帧目标尺度st
Figure FDA0003740174580000054
10.融合共现统计与fhog梯度特征的目标跟踪系统,其特征在于,所述系统包括:
初始位置模块,用以根据给定跟踪目标区域确定初始目标位置;
当前帧特征模块,用以计算当前帧It的前一帧的目标位置pt-1和尺度因子st-1,据以确定目标区域并提取当前帧相关特征
Figure FDA0003740174580000061
所述当前帧特征模块与所述初始位置模块连接;
目标图像特征模块,用以利用共现滤波器获取所述被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,结合所述共现统计信息与所述跟踪目标fhog特征,据以作为目标图像特征,所述目标图像特征模块与所述当前帧特征模块连接,其中,所述目标图像特征模块包括:
当前帧目标位置模块,用以将所述当前帧相关特征
Figure FDA0003740174580000062
与位置滤波器
Figure FDA0003740174580000063
做相关运算,据以得到当前帧目标位置
Figure FDA0003740174580000064
其中,取所述当前帧相关特征
Figure FDA0003740174580000065
中最大的响应值点作为当前帧目标中心pt
目标图像区域模块,用以计算所述当前帧It的前一帧的所述目标位置pt-1及所述尺度因子st-1,据以划定目标区域,缩放后得到预设数目的目标图像区域,所述目标图像区域模块与所述当前帧目标位置模块连接;
共现统计信息及fhog梯度特征处理模块,用于以预置逻辑处理得到共现统计信息及fhog梯度特征,所述共现统计信息及fhog梯度特征处理模块与所述目标图像区域模块连接,所述共现统计信息及fhog梯度特征处理模块包括:
共现滤波模块,用以利用共现滤波器COF处理所述被跟踪目标图像中的频繁出现像素数据;
权重分配模块,用以根据所述频繁出现像素数据在预置共形矩阵中,为高频次出现像素值分配高权重,并为所述低频次出现像素值分配低权重,据以获取共现矩阵权重数据,所述权重分配模块与所述频繁像素处理模块连接;
共现统计信息模块,用以根据所述共现矩阵权重数据提取所述被跟踪目标图像的纹理区域内的所述目标细节特征,据以获取所述共现统计信息,所述共现统计信息模块与所述权重分配模块连接;
共现信息及梯度特征融合模块,用以融合所述共现统计信息及所述fhog梯度特征,据以得到跟踪融合数据,提取所述跟踪融合数据中的多尺度特征
Figure FDA0003740174580000066
将所述多尺度特征
Figure FDA0003740174580000067
与差异尺度滤波器
Figure FDA0003740174580000068
做相关运算,以得到所述当前帧It的尺度信息
Figure FDA0003740174580000069
其中,取所述尺度信息
Figure FDA00037401745800000610
中最大的响应值点作为当前帧目标尺度st,所述共现信息及梯度特征融合模块与所述共现信息及梯度特征处理模块连接;
1、目标跟踪模块,用以在模型更新时,在所述当前帧It中根据所述当前帧目标中心pt和所述当前帧目标尺度st确定目标区域提取特征,将所述目标区域提取特征送入所述位置滤波器和所述尺度滤波器中,据以迭代更新得到目标跟踪结果,所述目标跟踪模块与所述目标图像特征模块连接。
CN202210809666.6A 2022-07-11 2022-07-11 融合共现统计与fhog梯度特征的目标跟踪方法及系统 Pending CN115311327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210809666.6A CN115311327A (zh) 2022-07-11 2022-07-11 融合共现统计与fhog梯度特征的目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210809666.6A CN115311327A (zh) 2022-07-11 2022-07-11 融合共现统计与fhog梯度特征的目标跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN115311327A true CN115311327A (zh) 2022-11-08

Family

ID=83857713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210809666.6A Pending CN115311327A (zh) 2022-07-11 2022-07-11 融合共现统计与fhog梯度特征的目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN115311327A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994202A (zh) * 2023-08-03 2023-11-03 杭州宸悦智能工程有限公司 智能洗车机及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994202A (zh) * 2023-08-03 2023-11-03 杭州宸悦智能工程有限公司 智能洗车机及其系统
CN116994202B (zh) * 2023-08-03 2024-03-15 杭州宸悦智能工程有限公司 智能洗车机及其系统

Similar Documents

Publication Publication Date Title
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
CN109961051B (zh) 一种基于聚类和分块特征提取的行人重识别方法
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN106778687B (zh) 基于局部评估和全局优化的注视点检测方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN113592911B (zh) 表观增强深度目标跟踪方法
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
CN114240997B (zh) 一种智慧楼宇在线跨摄像头多目标追踪方法
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN111199245A (zh) 油菜害虫识别方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
CN113449658A (zh) 基于空域、频域、时域的夜间视频序列显著性检测方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN111105436B (zh) 目标跟踪方法、计算机设备及存储介质
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及系统
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
CN115393788B (zh) 一种基于增强全局信息注意力的多尺度监控行人重识别方法
Monteleone et al. Pedestrian tracking in 360 video by virtual PTZ cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination