CN115311327A - 融合共现统计与fhog梯度特征的目标跟踪方法及系统 - Google Patents
融合共现统计与fhog梯度特征的目标跟踪方法及系统 Download PDFInfo
- Publication number
- CN115311327A CN115311327A CN202210809666.6A CN202210809666A CN115311327A CN 115311327 A CN115311327 A CN 115311327A CN 202210809666 A CN202210809666 A CN 202210809666A CN 115311327 A CN115311327 A CN 115311327A
- Authority
- CN
- China
- Prior art keywords
- target
- occurrence
- filter
- tracking
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 102400000832 Antiplasmin-cleaving enzyme FAP, soluble form Human genes 0.000 description 2
- 101800000492 Antiplasmin-cleaving enzyme FAP, soluble form Proteins 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 102100024644 Carbonic anhydrase 4 Human genes 0.000 description 1
- 101000760567 Homo sapiens Carbonic anhydrase 4 Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供融合共现统计与fhog梯度特征的目标跟踪方法及系统,方法包括:根据跟踪目标区域确定初始位置;计算当前帧It的前一帧的目标位置pt‑1和尺度因子st‑1,据以确定目标区域并提取当前帧相关特征利用共现滤波器获取被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,融合共现统计信息与跟踪目标fhog特征,据以作为目标图像特征;当模型更新时,在当前帧It中根据当前帧目标中心pt和当前帧目标尺度st确定目标区域提取特征,将目标区域提取特征送入位置滤波器和尺度滤波器中,据以迭代更新得到目标跟踪结果。本发明解决了现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
Description
技术领域
本发明涉及计算机视觉领域,具体涉及融合共现统计与fhog梯度特征的目标跟踪方法及系统。
背景技术
目标跟踪是计算机视觉领域中非常重要的研究课题,在军事和民用等场景中都有着广泛的应用.经过了几十年的研究,近年来目标跟踪方向涌现出了大量性能优越的算法.如基于判别式相关滤波器(Discriminative Correlation Filters,DCF)的跟踪器在目标跟踪的准确性和鲁棒性方面取得了优异的性能。Bolme等人提出的最小输出平方误差和(Minimum Output Sum Of Squared Error,MOOSE)滤波器,首次将相关滤波器的概念引入目标跟踪领域,其在跟踪精度和速度上的惊人表现都显示了相关滤波在目标跟踪上的巨大潜力。Henriques等人提出了一种核相关滤波器(Kernelized Correlation Filters,KCF),利用离散傅里叶变换实现频域的快速计算,使用方向梯度直方图(Histogram of OrientedGradients,HOG)特征将相关滤波器从单通道扩展到多通道。例如公开号为CN108470355A的现有发明专利申请文献《融合卷积网络特征和判别式相关滤波器的目标跟踪方法》建立了一个端到端的轻量级网络体系结构,通过学习连续帧中丰富的流信息来训练卷积特征,改善特征表示和跟踪精度。将相关滤波跟踪组件构造为网络中的特殊层次跟踪单个图像块,在跟踪过程中,同时跟踪目标块和多个背景块,通过感知目标与周围背景块的结构关系,对目标及其周围环境辨识度高的部分建立模型,通过峰值旁瓣比和置信图峰值关系度量目标跟踪效果,在发生大面积遮挡、目标外形极度形变、光照剧烈变化等跟踪难度大的情况下,自动利用判别的背景部分进行定位。由该现有专利申请文献的说明书可知,该现有技术利用判别式相关滤波器、分辨式相关滤波器,并通过傅里叶变换共同实现对目标的跟踪。前述现有文献提供的技术方案由于场景特性的复杂性以及难以完全有效利用特征表达目标等问题,对目标进行稳健、实时的跟踪仍然面临着一定的挑战。
当目标尺度发生变化时,容易出现跟踪漂移的情况,Danelljan等人通过学习判别尺度空间跟踪(Discriminative Scale Space Tracking,DSST)滤波器来解决这一尺度变化问题,该算法构建33层金字塔特征向量,对目标尺度变化进行响应,但使用33个尺度会导致计算复杂的问题。Danelljan等人提出了快速判别尺度空间跟踪算法(FastDiscriminative Scale Space Tracking,FDSST),该算法使用PCA降维技术将HOG特征减少到18维。与DSST算法相比,fDSST在不牺牲其鲁棒性和准确性的前提下,进一步降低了跟踪的计算成本,但当目标处于快速运动,快速变形和长时间严重遮挡的场景中时跟踪效果不佳。
针对这一问题,现有的目标跟踪方法提出了一系列的改进方案。Ma等人提出了一种有效的尺度估计方法,通过在多分辨率转换滤波器框架中加入平均峰值相关能量(Average Peak-to-correlation Energy,APCE),解决了标准判别相关滤波器中模板大小固定的问题.Yazd等人提出了一种基于旋转感知的判别尺度空间跟踪方法,该方法可以有效地估计目标的旋转位置,并集成到尺度估计模型中.Mueller等人提出了一种基于上下文感知的相关滤波器跟踪算法,将全局上下文合并到滤波器训练阶段,使得背景混乱、目标外观剧烈变化时目标跟踪性能有所提高。例如公开号为CN110414439B的现有发明专利文献《基于多峰值检测的抗遮挡行人跟踪方法》中的技术方案首先进行行人检测获得初始位置,并进行跟踪器参数和行人模板的初始化,在后续每一帧将特征融合响应峰值所在位置作为行人预测位置中心,并进行目标响应峰值Fmax和平均峰值相关能量APCE及其阈值的计算,由其形成的联合置信度进行滤波器响应多峰值的检测,从而实现行人遮挡判断,在遮挡帧暂停滤波器参数和行人目标模板的更新,实现抗遮挡的行人跟踪任务。由该现有技术说明书可知,该现有文献公开的现有技术采用FHOG特征、Color Naming特征进行自适应融合作为特征描述子。前述现有技术中披露的算法在具有挑战性的复杂场景下,仍然存在很多实际问题有待解决,且当跟踪过程出现跟踪目标快速移动、严重遮挡等较大挑战时,单一浅层的梯度特征无法完全有效地表达目标的信息。
综上,现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
发明内容
本发明所要解决的技术问题在于如何解决现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
本发明是采用以下技术方案解决上述技术问题的:融合共现统计与fhog梯度特征的目标跟踪方法包括:
S1、根据给定跟踪目标区域确定初始目标位置;
S3、利用共现滤波器获取被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,结合共现统计信息与跟踪目标fhog特征,据以作为目标图像特征,其中,步骤S3包括:
S32、计算当前帧It的前一帧的目标位置pt-1及尺度因子st-1,据以划定目标区域,缩放后得到预设数目的目标图像区域;
S33、以预置逻辑处理得到共现统计信息及fhog梯度特征,步骤S33中包括:
S331、以共现滤波模块利用共现滤波器COF处理被跟踪目标图像中的频繁出现像素数据;
S332、根据频繁出现像素数据在预置共形矩阵中,为高频次出现像素值分配高权重,并为低频次出现像素值分配低权重,据以获取共现矩阵权重数据;
S333、根据共现矩阵权重数据提取被跟踪目标图像的纹理区域内的目标细节特征,据以获取共现统计信息;
S34、融合共现统计信息及fhog梯度特征,据以得到跟踪融合数据,提取跟踪融合数据中的多尺度特征将多尺度特征与差异尺度滤波器做相关运算,以得到当前帧It的尺度信息其中,取尺度信息中最大的响应值点作为当前帧目标尺度st;
S4、当模型更新时,在当前帧It中根据当前帧目标中心pt和当前帧目标尺度st确定目标区域提取特征,将目标区域提取特征送入位置滤波器和尺度滤波器中,据以迭代更新得到目标跟踪结果。
本发明针对复杂场景目标跟踪过程中难以完全有效利用特征对目标信息进行完备表达的问题,本发明提出了一种融合共现统计与fhog特征的目标跟踪算法。在fDSST跟踪算法的基础上,引入了一种基于图像共现统计的像素滤波模块,利用图像中经常出现的像素值在共现矩阵中的权重较高的特性,与原始跟踪算法中fhog特征进行融合,增加了基于纹理相似性的共现统计信息。本发明结合原始fDSST跟踪算法的fhog特征和基于共现统计的像素模块特征,进行不同视角目标语义特征的融合,实现跟踪目标的完备表达。
本算法将共现滤波器与原始的位置滤波器和尺度滤波器中的fhog梯度特征结合起来,可根据不同的图像细节来表示目标图像全局的特征信息,从而提高目标跟踪的精度。本发明结合判别尺度空间跟踪算法中位置滤波器得到的位置信息和尺度滤波器得到的目标尺度不断地更新共现滤波器模型,解决目标位置和尺度发生变化的场景下跟踪率下降的问题。
在更具体的技术方案中,步骤S31包括:
S312、使用新的训练样本,以下述逻辑迭代更新过滤器的参数:
S313、利用帕萨瓦尔定理将前述步骤S312中的线性最小二乘数据转换到复频域中求解;
本发明利用帕萨瓦尔定理将线性最小二乘问题转换到复频域中求解,从而提高运算速度。同时,本发明使用新的训练样本迭代更新过滤器的参数,使得滤波器具有鲁棒性。
在更具体的技术方案中,步骤S313中,采用下述逻辑将步骤S312中的线性最小二乘数据转换到复频域中求解:
在更具体的技术方案中,步骤S332包括:
S3321、获取被跟踪目标图像中的像素对之间的共现信息,以下述逻辑根据共现矩阵检测边缘的共现滤波器COF:
式中,Iq和JP分别表示输入图像和输出图像,p和q是图像中不同位置像素的索引,w(p,q)表示输入输出像素权重;
S3322、以下述逻辑,在预置高斯滤波器中处理得到第一输入输出像素权重w(p,q):
S3323、以下述逻辑处理被跟踪目标图像的空间距离数据以及像素相似程度数据,据以在预置双边滤波器中处理得到第二输入输出像素权重:
式中,Ip和Iq分别表示像素p和q的灰度值,σr是像素范围域核参数;
S3324、利用共现滤波器COF结合归一化的共现矩阵与双边滤波器,据以处理得到共现矩阵权重数据:
式中,M(a,b)是基于共现矩阵C(a,b)的一个256×256的归一化共现矩阵,h(a)和h(b)是a和b在图像中出现的频率。
本发明将输入跟踪图像映射到嵌入图像中,使得嵌入图像空间中像素值之间的欧氏距离类似于原始空间中的共现统计量,从而得到更优的跟踪结果。
在更具体的技术方案中,步骤S333包括:
S3331、构造预置规格的共现矩阵,据以利用下述逻辑计算共现信息及共现矩阵关系数据:
式中,σ是高斯滤波参数,[·]表示如果括号里的表达式为真,则结果为1,否则结果为0;
S3332、使用硬聚类方法,利用k-means算法聚类处理被跟踪目标图像的像素值,据以产生引导图像T,其中,k为聚类的个数;
S3333、设MT为引导图像T的共现矩阵,以下述逻辑处理得到引导图像T的引导图像共现矩阵,其中,引导图像共现矩阵的大小变为k×k:
式中,τa和τb表示两个簇,Tp=a表示像素p属于簇τa,Tq=b表示像素q属于簇τb;
S3335、通过软分配策略,利用下述逻辑指定像素值属于不同簇的概率:
S3336、使用核函数,使Pr(p∈τ)=K(Ip,τ),根据像素值Ip和簇中心τ在原始空间的距离,计算将像素p分配给簇τ的概率;
S3337、利用下述逻辑将Ip和τ之间的距离近似于τp和τ之间的距离:
Pr(p∈τ)≈K(τp,τ);
S3338、利用下述逻辑处理τp和τ之间的距离及硬聚类共现矩阵关系数据,据以得到被跟踪目标图像全局的共现统计信息:
其中,Z是归一化常数,σr是指定参数,τp是离Ip最近的簇中心。
本发明中的采用的共现滤波器不考虑图像中的颜色空间信息,只考虑图像中的像素对总是同时出现的概率。根据图像中经常出现的像素值在共生矩阵中的权重较高这一特性,对图像进行特征采样或其他处理时就能更大程度的获取图像的全局统计信息。
针对传统技术基于颜色特征匹配导致图像颜色局部分布和每种色彩空间位置难以完全有效表达的缺陷以及hog梯度方向直方图难以处理遮挡问题。本发明采用了CoF滤波器,使得无论目标图像场景如何发生变化,目标图像中频繁并且共同出现的像素对总是具有较高的权重,从而将目标图像中的共现统计信息将梯度特征结合起来,提高了目标跟踪的精度。
在更具体的技术方案中,步骤S3333中的引导图像共现矩阵的大小变为k×k。
在更具体的技术方案中,位置滤波器与差异尺度滤波器相互独立。
本发明使用标准位置滤波器来估计目标的位置,同时使用一组不同尺度下的目标样本学习尺度滤波器,从而获得目标尺度的准确估计。
在更具体的技术方案中,步骤S34包括:
S341、利用不少于2个的差异尺度滤波器使用一维高斯函数作为期望的输出;
S342、利用下述逻辑对尺度滤波器模型h进行迭代更新:
以持续在新的一帧图像中获取S个尺度上组成的一个M×N×S的特征金字塔;
S343、利用下述逻辑求得最大响应值,以最大响应值所对应的尺度作为当前帧目标尺度st:
在更具体的技术方案中,融合共现统计与fhog梯度特征的目标跟踪系统包括:
初始位置模块,用以根据给定跟踪目标区域确定初始目标位置;
目标图像特征模块,用以利用共现滤波器获取被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,结合共现统计信息与跟踪目标fhog特征,据以作为目标图像特征,目标图像特征模块与当前帧特征模块连接,其中,目标图像特征模块包括:
目标图像区域模块,用以计算当前帧It的前一帧的目标位置pt-1及尺度因子st-1,据以划定目标区域,缩放后得到预设数目的目标图像区域,目标图像区域模块与当前帧目标位置模块连接;
共现统计信息及fhog梯度特征处理模块,用于以预置逻辑处理得到共现统计信息及fhog梯度特征,共现统计信息及fhog梯度特征处理模块与目标图像区域模块连接,共现统计信息及fhog梯度特征处理模块包括:
共现滤波模块,用以利用共现滤波器COF处理被跟踪目标图像中的频繁出现像素数据;
权重分配模块,用以根据频繁出现像素数据在预置共形矩阵中,为高频次出现像素值分配高权重,并为低频次出现像素值分配低权重,据以获取共现矩阵权重数据,权重分配模块与频繁像素处理模块连接;
共现统计信息模块,用以根据共现矩阵权重数据提取被跟踪目标图像的纹理区域内的目标细节特征,据以获取共现统计信息,共现统计信息模块与权重分配模块连接;
共现信息及梯度特征融合模块,用以融合共现统计信息及fhog梯度特征,据以得到跟踪融合数据,提取跟踪融合数据中的多尺度特征将多尺度特征与差异尺度滤波器做相关运算,以得到当前帧It的尺度信息其中,取尺度信息中最大的响应值点作为当前帧目标尺度st,共现信息及梯度特征融合模块与共现信息及梯度特征处理模块连接;
目标跟踪模块,用以在模型更新时,在当前帧It中根据当前帧目标中心pt和当前帧目标尺度st确定目标区域提取特征,将目标区域提取特征送入位置滤波器和尺度滤波器中,据以迭代更新得到目标跟踪结果,目标跟踪模块与目标图像特征模块连接。
本发明相比现有技术具有以下优点:本发明针对复杂场景目标跟踪过程中难以完全有效利用特征对目标信息进行完备表达的问题,本发明提出了一种融合共现统计与fhog特征的目标跟踪算法。在fDSST跟踪算法的基础上,引入了一种基于图像共现统计的像素滤波模块,利用图像中经常出现的像素值在共现矩阵中的权重较高的特性,与原始跟踪算法中fhog特征进行融合,增加了基于纹理相似性的共现统计信息。本发明结合原始fDSST跟踪算法的fhog特征和基于共现统计的像素模块特征,进行不同视角目标语义特征的融合,实现跟踪目标的完备表达。
本算法将共现滤波器与原始的位置滤波器和尺度滤波器中的fhog梯度特征结合起来,可根据不同的图像细节来表示目标图像全局的特征信息,从而提高目标跟踪的精度。本发明结合判别尺度空间跟踪算法中位置滤波器得到的位置信息和尺度滤波器得到的目标尺度不断地更新共现滤波器模型,解决目标位置和尺度发生变化的场景下跟踪率下降的问题。
本发明利用帕萨瓦尔定理将线性最小二乘问题转换到复频域中求解,从而提高运算速度。同时,本发明使用新的训练样本迭代更新过滤器的参数,使得滤波器具有鲁棒性。
本发明将输入跟踪图像映射到嵌入图像中,使得嵌入图像空间中像素值之间的欧氏距离类似于原始空间中的共现统计量,从而得到更优的跟踪结果。
本发明中的采用的共现滤波器不考虑图像中的颜色空间信息,只考虑图像中的像素对总是同时出现的概率。根据图像中经常出现的像素值在共生矩阵中的权重较高这一特性,对图像进行特征采样或其他处理时就能更大程度的获取图像的全局统计信息。
针对传统技术基于颜色特征匹配导致图像颜色局部分布和每种色彩空间位置难以完全有效表达的缺陷以及hog梯度方向直方图难以处理遮挡的问题。本发明采用了CoF滤波器,使得无论目标图像场景如何发生变化,目标图像中频繁并且共同出现的像素对总是具有较高的权重,从而将目标图像中的共现统计信息将梯度特征结合起来,提高了目标跟踪的精度。
本发明使用标准位置滤波器来估计目标的位置,同时使用一组不同尺度下的目标样本学习尺度滤波器,从而获得目标尺度的准确估计。本发明解决了现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
附图说明
图1为本发明实施例1的多尺度图像经过尺度滤波器提取特征过程示意图;
图2为本发明实施例1的原图经过fhog变换的特征图和经过共现统计后的共现矩阵影像图;
图3为本发明实施例1的融合共现统计与fhog梯度特征的目标跟踪方法的算法整体流程示意图;
图4a为本发明实施例2的各算法在OPE评估下的距离精度曲线图;
图4b为本发明实施例2的各算法在OPE评估下的成功率曲线图;
图5a为本发明实施例2的第一车辆视频序列定性比较示意图;
图5b为本发明实施例2的第二车辆视频序列定性比较示意图;
图5c为本发明实施例2的第一人物视频序列定性比较示意图;
图5d为本发明实施例2的第二人物视频序列定性比较示意图;
图5e为本发明实施例2的第一物品视频序列定性比较示意图;
图5f为本发明实施例2的第二物品视频序列定性比较示意图;
图5g为本发明实施例2的第一赛事视频序列定性比较示意图;
图5h为本发明实施例2的第二赛事视频序列定性比较示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明提出了一种融合共现统计与fhog梯度特征的目标跟踪算法,结合原始fDSST跟踪算法的fhog特征和基于共现统计的像素模块特征,进行不同视角目标语义特征的融合,实现跟踪目标的完备表达。通过在OTB50数据集和OTB100数据集的定量与定性实验验证了该方法的鲁棒的特征学习能力和精度。
本发明提供的融合共现统计与fhog梯度特征的目标跟踪方法中包括:
快速判别尺度空间滤波器:
当被跟踪目标沿着相机轴运动或者目标外观发生变化时,准确估计目标尺度的变化是一个具有挑战性的问题。判别尺度空间相关滤波器通过学习多维特征的判别相关滤波器和尺度滤波器进行目标定位和尺度信息的估计。该算法使用标准位置滤波器来估计目标的位置,同时使用一组不同尺度下的目标样本学习尺度滤波器,从而获得目标尺度的准确估计。其中位置滤波器与尺度滤波器之间相互独立。
其中,g,hl和fl为M×N的矩阵,l∈{1,…,d}表示特征维度,★表示卷积操作,λ表示正则项系数。利用帕萨瓦尔定理将式(1)中的线性最小二乘问题转换到复频域中求解,从而提高运算速度。公式如下:
式中,k∈{1,…,d}表示特征维度取值范围,表示G的共轭转置,g,hl和fl经过离散傅里叶变换(Discrete Fourier Transform,DFT)得到相应的变量G,Hl,Fl。为了使滤波器具有鲁棒性,使用新的训练样本迭代更新过滤器的参数:
使用一维尺度滤波器评估目标尺度的变化。假设当前帧的目标大小为P×R,尺度滤波器大小为S,对于在目标中心位置获取尺度等级为n,大小为anP×anR的图像块作为尺度滤波器不同维度的特征描述子。其中,a是尺度因子,用于得到不同尺度大小的图像块。
如图1所示,为多尺度图像经过尺度滤波器提取特征的过程,尺度滤波器采用和位置滤波器同样的设计方法,不同的是尺度滤波器使用一维高斯函数作为期望的输出。I是以目标位置为中心的不同尺度下的图像块,h是尺度滤波器模型,f是经过运算得到的不同尺度的图像块特征,利用式(1)对尺度滤波器模型h进行迭代更新,不断地在新的一帧图像中获取S个尺度上组成的一个M×N×S的特征金字塔。利用式(2)求得最大响应值,最大响应值所对应的尺度就是当前帧的尺度信息。
优化算法:
共现滤波模块是利用图像中的共现信息而非强度信息来分配相应的权重,在图像中频繁出现的像素值在共现矩阵具有更高的权重,否则,在共现矩阵中的权重较低。因此,将这种共现的思想应用到目标跟踪中,对于图像中我们感兴趣的目标,它们的像素值总是成对出现,无论场景如何发生变化,目标图像中共同出现的像素对总是具有较高的权重。因此CoF滤波器在提取跟踪图像纹理区域内的细节特征方面具有出色的表现。
鉴于共现滤波器强大的特征提取能力,本发明提出一种依赖共现矩阵和fhog梯度特征的多尺度融合目标跟踪方法,该方法在判别尺度空间跟踪算法的基础上,增加了共现滤波跟踪模块。该方法将读取的每一帧的图像大小调整为指定模型大小,进入共现滤波器跟踪模块与位置滤波器原始梯度特征做运算,最终得到目标图像块基于位置信息的特征矩阵。同样的,将不同尺度下的目标图像,送入共现滤波器跟踪模块和尺度滤波器中进行特征的串联,得到基于尺度信息的目标图像块的特征矩阵,在此特征的基础上再送入目标跟踪模块中。不同于常规的目标图像特征提取算法,本算法将共现滤波器与原始的位置滤波器和尺度滤波器中的fhog梯度特征结合起来,可根据不同的图像细节来表示目标图像全局的特征信息,从而提高目标跟踪的精度。该方法是结合判别尺度空间跟踪算法中位置滤波器得到的位置信息和尺度滤波器得到的目标尺度不断地更新共现滤波器模型,解决目标位置和尺度发生变化的场景下跟踪率下降的问题。
在本实施例中,依赖共现矩阵以图像像素对之间的共现信息来检测边缘的共现滤波器(Co-occurrence filtering,COF):
式中,Iq和JP分别表示输入图像和输出图像,p和q是图像中不同位置像素的索引,w(p,q)表示输入像素q对输出像素p贡献的权重。
在高斯滤波器中,w(p,q)定义为:
在双边滤波器中,w(p,q)定义为:
式中,Ip和Iq分别表示像素p和q的灰度值,σr是像素范围域核参数。双边滤波器考虑了像素在空间距离上的关系,相比高斯滤波器而言,同时考虑了像素之间的相似程度。
共现滤波器将归一化共现矩阵与双边滤波器相结合时,w(p,q)的形式变为:
其中,
式中,M(a,b)是基于共现矩阵C(a,b)的一个256×256的归一化共现矩阵,h(a)和h(b)是a和b在图像中出现的频率(即像素值的直方图)。
其中,σ是高斯滤波参数,[·]表示如果括号里的表达式为真,则结果为1,否则结果为0。
共现滤波器不考虑图像中的颜色空间信息,只考虑图像中的像素对总是同时出现的概率。根据图像中经常出现的像素值在共生矩阵中的权重较高这一特性,对图像进行特征采样或其他处理时就能更大程度的获取图像的全局统计信息。
利用式(4)计算颜色空间的共现信息,需要构造一个2563×2563的共现矩阵,导致运算的时候过于复杂。使用k-means算法对图像I的像素值进行聚类以产生引导图像T.T的共现矩阵大小变为k×k,其中,k是聚类的个数.设MT是图像T的共现矩阵,则引导图像T的共现矩阵运算如下式:
其中,τa和τb表示两个簇,Tp=a表示像素p属于簇τa,Tq=b表示像素q属于簇τb,由于每个像素都被分配到其最近的簇中心,这种方法也被称为硬聚类。
然而,原始空间附近的像素值可能在聚类步骤中被映射到两个不同的簇中,造成伪影效应.为了解决这个问题,使用软分配策略指定像素值属于不同簇的概率,如下式:
利用软分配收集共现统计数据的计算成本较高,因此使用核函数(即高斯函数),让Pr(p∈τ)=K(Ip,τ),根据像素值Ip和簇中心τ在原始空间的距离,计算将像素p分配给簇τ的概率.再将Ip和τ之间的距离近似于τp和τ之间的距离,即Pr(p∈τ)≈K(τp,τ),改进得到:
其中,Z是归一化常数,σr是指定参数,τp是离Ip最近的簇中心。公式不对所有的像素值进行计算,只计算簇中心之间的距离。
目标跟踪过程中,目标特征的提取十分重要。传统的视觉特征提取算法是基于颜色特征匹配的,但图像中颜色的局部分布和每种色彩所处的空间位置难以完全有效表达。hog梯度方向直方图能利用梯度信息很好的反映图像目标的边缘信息,并可以通过局部梯度的大小将图像局部的外观和形状特征化。但由于梯度本身的性质,它对噪声非常敏感,难以处理遮挡问题.CoF滤波器无论目标图像场景如何发生变化,目标图像中频繁并且共同出现的像素对总是具有较高的权重,基于这一特征,本发明将目标图像中的共现统计信息将梯度特征结合起来,用以提高目标跟踪的精度。
如图2所示,在本实施例中,共现矩阵M是一个256×256大小的矩阵。根据式(3)从原始图像中收集共现统计信息,图像中白色和橙色经常同时出现,浅绿色和深绿色也经常出现,因此它们的权重较高,矩阵中对应像素区域得分较高。
本发明基于原始的fDSST算法,深入研究共现统计与fhog梯度的特征融合方法,提高算法在目标发生剧烈形变、快速移动场景下的鲁棒性。
如图3所示,本发明提供的融合共现统计与fhog梯度特征的目标跟踪方法包括以下步骤:
S1、确定目标位置;在本实施例中,依靠给定跟踪目标区域确定初始目标位置;
S3、共现统计;在本实施例中,本发明算法提取的相关特征是将共现滤波器与原始算法中的fhog特征结合起来作为最终的目标图像特征;
同理,当前帧It根据计算得出的目标位置pt-1和尺度因子st-1划定目标区域,缩放后得到S个目标图像区域;
S6、根据前一帧目标位置和尺度提取测试集;
S7更新目标位置;S8更新目标尺度并执行步骤S9、判断当前帧是否为最后一帧,若是,则结束目标跟踪,若否,则循环执行前述步骤S4至S8;在本实施例中,当模型更新时,在当前帧It中根据上述步骤估算出的位置pt和尺度st确定的目标区域提取特征,再送入位置滤波器和尺度滤波器中不断地进行迭代更新得到最终的跟踪结果。
实施例2
实验分析
实验在Windows系统下,使用MATLAB R2016a软件平台,Intel(R)Core(TM)i7-12700H,2.30GHz的处理器,16GB内存的笔记本电脑上进行实验.实验参数设置如下:跟踪模型学习率η设为0.025,尺度因子a设为1.02。
实验数据与评价指标
为了验证本发明方法的有效性,我们在OTB50和OTB100两个大型基准数据集上进行实验,实验测试视频包括目标快速移动、光照变化、目标旋转、被遮挡及尺度变换等复杂场景环境。表1为部分测试视频序列描述:
表1部分测试视频序列描述
Table 1 Partial test video sequence description
在本发明中,我们采用常用的评价指标成功率和精度来评估算法的性能。目标的实际位置和跟踪框交集和并集之间的比值称为重叠率,当测试视频序列每帧的重叠率大于一定阈值时(本发明重叠度阈值设为0.5),则判定当前帧跟踪成功。跟踪成功的总帧数和视频序列总帧数的比值称为成功率,视频序列目标实际的中心位置和跟踪结果矩形框中心位置的像素距离称为中心位置误差,实际跟踪目标的中心位置误差小于人为标定中心位置误差阈值的帧数(本发明设为20)占总视频帧数的百分比称为精度图。
定量分析
为了评估本发明算法的精度,将其与其他9个目标跟踪算法在OTB50数据集上进行比较。选用重叠度阈值为0.5,中心误差阈值为20像素对跟踪算法进行排名。
如图4a及图4b所示,本发明算法的精度和成功率分别为82.6%和62.7%,相比fDSST算法在距离精度和成功率上分别提升了0.7和0.5个百分点,并且改进后的算法比其他几个跟踪算法的精度和成功率高,证明了本发明算法的跟踪性能鲁棒性。
定性分析
如图5a至5h所示,本发明选取OTB100数据集中的4个视频序列对本发明算法和fDSST、VTS、CXT三种跟踪算法进行定性分析比较。
在Car4视频序列中,由于目标快速移动,跟踪器容易跟丢目标,本发明算法利用图像的共现信息对目标进行跟踪,实现跟踪的鲁棒性。在David视频序列中,目标受到光照变化从而导致跟踪失败,本发明算法利用图像中经常出现的像素值在共现矩阵中的权重较高的特性,实现跟踪的稳定性。在Fish视频序列中,目标由于相机的抖动,光照的变化容易出现跟踪漂移的现象,本发明算法采用双滤波器自适应跟踪机制,降低了背景信息的干扰,能准确的定位目标。在Soccer视频序列中,目标在运动过程中发生剧烈的形变、遮挡,且目标图像中包含的背景噪声较多,在111帧的时候其他跟踪算法已经跟丢目标,本发明算法能稳健的跟踪目标,具有较高的准确度。
使用12种不同的跟踪算法在OTB50数据集上对平均重叠精度(Mean OP)和平均距离精度(Mean DP)进行比较,结果如表2所示。跟踪精度名前两位的结果分别在表2第12列第3行、第13列第2行和第12列第2行、第13列第3行表示。实验结果表明,跟踪精度前两名的算法分别为本发明所提算法和fDSST算法,同时本发明算法在平均重叠精度方面比fDSST高出7.1%,在平均距离精度方面比fDSST低1.1%。
表2 50个视频上12种跟踪算法的平均重叠精度和平均距离精度
Table 2 Average overlap accuracy and average distance accuracy of 12tracking algorithms on 50 videos
为了充分探讨在不同情况下本发明算法的准确度,在OTB50数据集上选取了41个数据集进行实验,结果如表3所示。评估指标分别是中心位置误差、距离精度和重叠精度。实验结果表明,相比fDSST算法,本发明方法在跟踪精度上有所提升。
表3本发明方法与fDSST方法性能比较
Table 3 Performance comparison between this method and fdsst method
本发明将共现思想应用到目标跟踪中,提出了一种融合共现统计与fhog特征的目标跟踪方法,用以充分提取输入目标图像中的纹理细节。无论跟踪场景如何变换,目标周围的像素总是一起出现,从而能更好的提取图像的细节信息并且定位到目标.在OTB50和OTB100两个大型基准数据集上进行算法验证比较,结果表明,本发明算法在平均重叠精度和平均距离精度上优于其他11种流行跟踪算法,且相比于精度最优的fDSST算法,本发明算法在平均重叠精度方面比fDSST高出7.1%,在平均距离精度方面比fDSST低1.1%,同时能持续稳定准确的跟踪目标,具有较好的鲁棒性。因此,本发明提出的融合共现统计与fhog特征的目标跟踪方法不仅可以有效地学习目标图像的细节特征信息,还可以进一步提升目标跟踪的精度。
综上,本发明针对复杂场景目标跟踪过程中难以完全有效利用特征对目标信息进行完备表达的问题,本发明提出了一种融合共现统计与fhog特征的目标跟踪算法.在fDSST跟踪算法的基础上,引入了一种基于图像共现统计的像素滤波模块,利用图像中经常出现的像素值在共现矩阵中的权重较高的特性,与原始跟踪算法中fhog特征进行融合,增加了基于纹理相似性的共现统计信息。本发明结合原始fDSST跟踪算法的fhog特征和基于共现统计的像素模块特征,进行不同视角目标语义特征的融合,实现跟踪目标的完备表达。
本算法将共现滤波器与原始的位置滤波器和尺度滤波器中的fhog梯度特征结合起来,可根据不同的图像细节来表示目标图像全局的特征信息,从而提高目标跟踪的精度。本发明结合判别尺度空间跟踪算法中位置滤波器得到的位置信息和尺度滤波器得到的目标尺度不断地更新共现滤波器模型,解决目标位置和尺度发生变化的场景下跟踪率下降的问题。
本发明利用帕萨瓦尔定理将线性最小二乘问题转换到复频域中求解,从而提高运算速度。同时,本发明使用新的训练样本迭代更新过滤器的参数,使得滤波器具有鲁棒性。
本发明将输入跟踪图像映射到嵌入图像中,使得嵌入图像空间中像素值之间的欧氏距离类似于原始空间中的共现统计量,从而得到更优的跟踪结果。
本发明中的采用的共现滤波器不考虑图像中的颜色空间信息,只考虑图像中的像素对总是同时出现的概率。根据图像中经常出现的像素值在共生矩阵中的权重较高这一特性,对图像进行特征采样或其他处理时就能更大程度的获取图像的全局统计信息。
针对传统技术基于颜色特征匹配导致图像颜色局部分布和每种色彩空间位置难以完全有效表达的缺陷以及hog梯度方向直方图难以处理遮挡的问题。本发明采用了CoF滤波器,使得无论目标图像场景如何发生变化,目标图像中频繁并且共同出现的像素对总是具有较高的权重,从而将目标图像中的共现统计信息将梯度特征结合起来,提高了目标跟踪的精度。
本发明使用标准位置滤波器来估计目标的位置,同时使用一组不同尺度下的目标样本学习尺度滤波器,从而获得目标尺度的准确估计。本发明解决了现有技术无法完全有效利用特征表达目标、鲁棒性低以及特定场景下跟踪效果不佳的技术问题。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述方法包括:
S1、根据给定跟踪目标区域确定初始目标位置;
S3、利用共现滤波器获取所述被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,结合所述共现统计信息与所述跟踪目标fhog特征,据以作为目标图像特征,其中,所述步骤S3包括:
S32、计算所述当前帧It的前一帧的所述目标位置pt-1及所述尺度因子st-1,据以划定目标区域,缩放后得到预设数目的目标图像区域;
S33、以预置逻辑处理得到所述共现统计信息及fhog梯度特征,所述步骤S33中包括:
S331、以共现滤波模块利用共现滤波器COF处理所述被跟踪目标图像中的频繁出现像素数据;
S332、根据所述频繁出现像素数据在预置共形矩阵中,为高频次出现像素值分配高权重,并为所述低频次出现像素值分配低权重,据以获取共现矩阵权重数据;
S333、根据所述共现矩阵权重数据提取所述被跟踪目标图像的纹理区域内的所述目标细节特征,据以获取所述共现统计信息;
S34、融合所述共现统计信息及所述fhog梯度特征,据以得到跟踪融合数据,提取所述跟踪融合数据中的多尺度特征将所述多尺度特征与差异尺度滤波器做相关运算,以得到所述当前帧It的尺度信息其中,取所述尺度信息中最大的响应值点作为当前帧目标尺度st;
S4、当模型更新时,在所述当前帧It中根据所述当前帧目标中心pt和所述当前帧目标尺度st确定目标区域提取特征,将所述目标区域提取特征送入所述位置滤波器和所述尺度滤波器中,据以迭代更新得到目标跟踪结果。
2.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述所述步骤S31包括:
式中,g,hl和fl为M×N矩阵,l∈{1,....,d}表示特征维度,★表示卷积操作,λ表示正则项系数;
S312、使用新的训练样本,以下述逻辑迭代更新过滤器的参数:
S313、利用帕萨瓦尔定理将前述步骤S312中的线性最小二乘数据转换到复频域中求解;
5.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S332包括:
S3321、获取所述被跟踪目标图像中的像素对之间的共现信息,以下述逻辑根据所述共现矩阵检测边缘的所述共现滤波器COF:
式中,Iq和JP分别表示输入图像和输出图像,p和q是图像中不同位置像素的索引,w(p,q)表示输入输出像素权重;
S3322、以下述逻辑,在预置高斯滤波器中处理得到第一输入输出像素权重w(p,q):
S3323、以下述逻辑处理所述被跟踪目标图像的空间距离数据以及像素相似程度数据,据以在预置双边滤波器中处理得到第二输入输出像素权重:
式中,Ip和Iq分别表示像素μ和q的灰度值,σr是像素范围域核参数;
S3324、利用所述共现滤波器COF结合归一化的所述共现矩阵与所述双边滤波器,据以处理得到所述共现矩阵权重数据:
式中,M(a,b)是基于共现矩阵C(a,b)的一个256×256的归一化共现矩阵,h(a)和h(b)是a和b在图像中出现的频率。
6.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S333包括:
S3331、构造预置规格的所述共现矩阵,据以利用下述逻辑计算共现信息及共现矩阵关系数据:
式中,σ是高斯滤波参数,[·]表示如果括号里的表达式为真,则结果为1,否则结果为0;
S3332、使用硬聚类方法,利用k-means算法聚类处理所述被跟踪目标图像的像素值,据以产生引导图像T,其中,k为聚类的个数;
S3333、设MT为所述引导图像T的共现矩阵,以下述逻辑处理得到所述引导图像T的引导图像共现矩阵,其中,所述引导图像共现矩阵的大小变为k×k:
式中,τa和τb表示两个簇,Tp=a表示像素p属于簇τa,Tq=b表示像素q属于簇τb;
S3335、通过软分配策略,利用下述逻辑指定所述像素值属于不同簇的概率:
S3336、使用核函数,使Pr(p∈τ)=K(Ip,τ),根据所述像素值Ip和簇中心τ在原始空间的距离,计算将像素p分配给簇τ的概率;
S3337、利用下述逻辑将Ip和τ之间的距离近似于τp和τ之间的距离:
Pr(p∈τ)≈K(τp,τ);
S3338、利用下述逻辑处理所述τp和τ之间的距离及所述硬聚类共现矩阵关系数据,据以得到所述被跟踪目标图像全局的所述共现统计信息:
其中,Z是归一化常数,σr是指定参数,τp是离Ip最近的簇中心。
7.根据权利要求6所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述步骤S3333中的引导图像共现矩阵的大小变为k×k。
8.根据权利要求1所述的融合共现统计与fhog梯度特征的目标跟踪方法,其特征在于,所述位置滤波器与所述差异尺度滤波器相互独立。
10.融合共现统计与fhog梯度特征的目标跟踪系统,其特征在于,所述系统包括:
初始位置模块,用以根据给定跟踪目标区域确定初始目标位置;
目标图像特征模块,用以利用共现滤波器获取所述被跟踪目标图像中的像素对之间的共现统计信息,利用fDSST算法获取跟踪目标fhog特征,结合所述共现统计信息与所述跟踪目标fhog特征,据以作为目标图像特征,所述目标图像特征模块与所述当前帧特征模块连接,其中,所述目标图像特征模块包括:
目标图像区域模块,用以计算所述当前帧It的前一帧的所述目标位置pt-1及所述尺度因子st-1,据以划定目标区域,缩放后得到预设数目的目标图像区域,所述目标图像区域模块与所述当前帧目标位置模块连接;
共现统计信息及fhog梯度特征处理模块,用于以预置逻辑处理得到共现统计信息及fhog梯度特征,所述共现统计信息及fhog梯度特征处理模块与所述目标图像区域模块连接,所述共现统计信息及fhog梯度特征处理模块包括:
共现滤波模块,用以利用共现滤波器COF处理所述被跟踪目标图像中的频繁出现像素数据;
权重分配模块,用以根据所述频繁出现像素数据在预置共形矩阵中,为高频次出现像素值分配高权重,并为所述低频次出现像素值分配低权重,据以获取共现矩阵权重数据,所述权重分配模块与所述频繁像素处理模块连接;
共现统计信息模块,用以根据所述共现矩阵权重数据提取所述被跟踪目标图像的纹理区域内的所述目标细节特征,据以获取所述共现统计信息,所述共现统计信息模块与所述权重分配模块连接;
共现信息及梯度特征融合模块,用以融合所述共现统计信息及所述fhog梯度特征,据以得到跟踪融合数据,提取所述跟踪融合数据中的多尺度特征将所述多尺度特征与差异尺度滤波器做相关运算,以得到所述当前帧It的尺度信息其中,取所述尺度信息中最大的响应值点作为当前帧目标尺度st,所述共现信息及梯度特征融合模块与所述共现信息及梯度特征处理模块连接;
1、目标跟踪模块,用以在模型更新时,在所述当前帧It中根据所述当前帧目标中心pt和所述当前帧目标尺度st确定目标区域提取特征,将所述目标区域提取特征送入所述位置滤波器和所述尺度滤波器中,据以迭代更新得到目标跟踪结果,所述目标跟踪模块与所述目标图像特征模块连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210809666.6A CN115311327A (zh) | 2022-07-11 | 2022-07-11 | 融合共现统计与fhog梯度特征的目标跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210809666.6A CN115311327A (zh) | 2022-07-11 | 2022-07-11 | 融合共现统计与fhog梯度特征的目标跟踪方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115311327A true CN115311327A (zh) | 2022-11-08 |
Family
ID=83857713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210809666.6A Pending CN115311327A (zh) | 2022-07-11 | 2022-07-11 | 融合共现统计与fhog梯度特征的目标跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115311327A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994202A (zh) * | 2023-08-03 | 2023-11-03 | 杭州宸悦智能工程有限公司 | 智能洗车机及其系统 |
-
2022
- 2022-07-11 CN CN202210809666.6A patent/CN115311327A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994202A (zh) * | 2023-08-03 | 2023-11-03 | 杭州宸悦智能工程有限公司 | 智能洗车机及其系统 |
CN116994202B (zh) * | 2023-08-03 | 2024-03-15 | 杭州宸悦智能工程有限公司 | 智能洗车机及其系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111797716B (zh) | 一种基于Siamese网络的单目标跟踪方法 | |
CN109961051B (zh) | 一种基于聚类和分块特征提取的行人重识别方法 | |
CN111914664A (zh) | 基于重识别的车辆多目标检测和轨迹跟踪方法 | |
CN106778687B (zh) | 基于局部评估和全局优化的注视点检测方法 | |
CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN110263712B (zh) | 一种基于区域候选的粗精行人检测方法 | |
CN108564598B (zh) | 一种改进的在线Boosting目标跟踪方法 | |
CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
CN106157330B (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
CN114240997B (zh) | 一种智慧楼宇在线跨摄像头多目标追踪方法 | |
CN111640138A (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
CN111199245A (zh) | 油菜害虫识别方法 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN107609571A (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
CN113449658A (zh) | 基于空域、频域、时域的夜间视频序列显著性检测方法 | |
CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
CN111105436B (zh) | 目标跟踪方法、计算机设备及存储介质 | |
CN115311327A (zh) | 融合共现统计与fhog梯度特征的目标跟踪方法及系统 | |
CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
CN110458064B (zh) | 结合数据驱动型和知识驱动型的低空目标检测与识别方法 | |
CN115393788B (zh) | 一种基于增强全局信息注意力的多尺度监控行人重识别方法 | |
Monteleone et al. | Pedestrian tracking in 360 video by virtual PTZ cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |