CN107833243A - 基于超像素局部加权度量与反稀疏模型的跟踪方法 - Google Patents

基于超像素局部加权度量与反稀疏模型的跟踪方法 Download PDF

Info

Publication number
CN107833243A
CN107833243A CN201711060976.8A CN201711060976A CN107833243A CN 107833243 A CN107833243 A CN 107833243A CN 201711060976 A CN201711060976 A CN 201711060976A CN 107833243 A CN107833243 A CN 107833243A
Authority
CN
China
Prior art keywords
super
pixel
template
tracking
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711060976.8A
Other languages
English (en)
Inventor
刘微容
伍海龙
赵俊齐
刘婕
刘朝荣
史长宏
高慧玲
宋旭辉
李斌山
鲁春燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN201711060976.8A priority Critical patent/CN107833243A/zh
Publication of CN107833243A publication Critical patent/CN107833243A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于超像素局部权重度量与反稀疏模型的跟踪方法，在训练阶段将目标周围的矩形区域进行超像素分割，提取每个超像素的颜色特征，形成特征池。将均值漂移聚类算法作用到特征池上，得到不同的类。然后计算每一类的置信值，得到初始置信图。在第四帧中，通过手动标记的方式得到初始模板。将模板进行超像素分割，并提取颜色特征。通过计算模板超像素到类中心的距离，将模板超像素对应到所属的类。经计算得到模板超像素置信值，从而得到初始超像素权重。在跟踪阶段，利用粒子滤波方法，在当前帧中采取候选样本构建字典。利用训练阶段得到的超像素权重和字典，求解候选样本的稀疏系数。计算当前帧最终跟踪位置。在更新阶段，采取局部更新方案对模板更新。

Description

基于超像素局部加权度量与反稀疏模型的跟踪方法
技术领域
本发明涉及一种视觉跟踪方法，更具体的说是一种基于超像素局部加权度量与反稀疏模型的跟踪方法。
背景技术
目前，图像相似性度量沿用传统的欧氏度量方式，这种度量方式存在一定的弊端。当图像中存在噪声或者光亮的时候，度量过程中会将噪声或者光亮部分的相似性度量不准确，这样就会造成相似性判断出现问题，从而影响跟踪精度。加之，基于稀疏表示理论的跟踪算法，每帧都需要处理大量的L1最下化问题，导致跟踪效率不高，跟踪不能达到实时。
现有的跟踪算法通过局部加权度量方法，可以提高计算精度。但是利用标准块的分割，此分割方式，没有考虑目标的结构信息，一个局部块中会出现即有目标又存在背景的现象，也使得局部块加权时，给目标和背景赋予了相同的权重，造成计算不准确，影响跟踪精度。
Wang Dong等人利用局部加权距离度量方法与反稀疏表示来提高跟踪精度与跟踪效率。标准块的分割使局部块中同时存下目标与背景，这种情况下造成加权不准确，影响跟踪精度。
发明内容
为解决跟踪方法中存在的上述问题，本发明提供了一种针对超像素局部加权度量与反稀疏模型的跟踪方法。
本发明是基于超像素局部加权度量与反稀疏模型的跟踪方法，其步骤为：
1)提取训练阶段目标周围3倍面积大小的区域，将这些区域进行超像素分割,然后提取每个超像素的颜色特征,并聚类，计算每类的置信值，得到初始置信图；
2)在第四帧中标定初始目标模板，并将其分割，提特征。将每个模板超像素对应到所属类中，计算模板超像素置信值，进而计算超像素局部权重；
3)在当前帧中利用粒子滤波方法，在前一帧跟踪结果周围选取候选样本，利用候选样本构建字典；
4)根据步骤(2)和步骤(3)得到的超像素权重和字典，求解当前帧候选样本的稀疏系数；
5)利用稀疏系数，计算候选样本权重，得到当前帧最终跟踪结果；
6)计算模板超像素与跟踪结果对应区域二者之间的相似性，判断模板与超像素局部权重是否更新。
本发明的有益之处是：本算法通过训练帧中目标周围比较大的矩形区域分割，提特征，聚类，从而得到初始置信图，再将手动标记的模板进行超像素分割，得到模板超像素。将模板超像素对应到所属类中，计算每个模板超像素的置信值，得到初始模板超像素权重。利用候选样本构建字典，每帧只需要以此 L1最小化，便可得到候选样本的稀疏系数，这样大大提高了跟踪效率。超像素权重更新过程中，利用了双阈值判别方式，有效的对超像素权重进行更新，提高跟踪精度。
附图说明
图1为本发明的基于超像素局部加权度量与反稀疏模型方法示意图，图2 为超像素局部权重更新示意图，图3是car4序列第4帧跟踪结果图，图4是 car4序列第198帧跟踪结果图，图5是car4序列第230帧跟踪结果图，图6 是car4序列第483帧跟踪结果图，图7是car4序列第651帧跟踪结果图，图8 是stone序列第30帧跟踪结果图，图9是stone序列第123帧跟踪结果图，图 10是stone序列第386帧跟踪结果图，图11是stone序列第479帧跟踪结果图，图12是stone序列第586帧跟踪结果图，图13是dancer序列第3帧跟踪结果图，图14是dancer序列第42帧跟踪结果图，图15是dancer序列第88帧跟踪结果图，图16是dancer序列第126帧跟踪结果图，图17是dancer序列第 142帧跟踪结果图，图18是sail序列第13帧跟踪结果图，图19是sail序列第 87帧跟踪结果图，图20是sail序列第168帧跟踪结果图，图21是sail序列第 218帧跟踪结果图，图22是sail序列第251帧跟踪结果图，图23是singer序列第44帧跟踪结果图，图24是singer序列第83帧跟踪结果图，图25是singer 序列第167帧跟踪结果图，图26是singer序列第250帧跟踪结果图，图27是 singer序列第350帧跟踪结果图。
具体实施方式
本发明是基于超像素局部加权度量与反稀疏模型的跟踪方法，其步骤为：
(1)提取训练阶段目标周围3倍面积大小的区域，将这些区域进行超像素分割,然后提取每个超像素的颜色特征,并聚类，计算每类的置信值，得到初始置信图；
(2)在第四帧中标定初始目标模板，并将其分割，提特征。将每个模板超像素对应到所属类中，计算模板超像素置信值，进而计算超像素局部权重；
(3)在当前帧中利用粒子滤波方法，在前一帧跟踪结果周围选取候选样本，利用候选样本构建字典；
(4)根据步骤(2)和步骤(3)得到的超像素权重和字典，求解当前帧候选样本的稀疏系数；
(5)利用稀疏系数，计算候选样本权重，得到当前帧最终跟踪结果；
(6)计算模板超像素与跟踪结果对应区域二者之间的相似性，判断模板与超像素局部权重是否更新。
以上所述的跟踪方法，所述的步骤(2)的步骤为：在第四帧中通过手动标记选取初始模板，并进行超像素分割，分割的超像素数目。通过5组实验室序列(car4，stone，dancer，sail，singer1)获得，分割的超像素数目分别是：30,11， 23，30，30个。
以上所述的跟踪方法，所述的步骤(2)的步骤为：将模板超像素对应到所属类中，计算模板超像素置信值，进而计算模板超像素权重。将此权重进行处理，使其介于[0,1]之间。
以上所述的跟踪方法，所述的步骤(6)采用双阈值检测超像素权重更新。
以上所述的跟踪方法，所述的步骤(6)采用当前帧以及前三帧的目标周围矩形区域，构建新的置信图，并更新权重。
图1为本发明的基于超像素局部加权度量与反稀疏模型方法示意图。如图 1所示，本发明各部分具体实施步骤如下：
利用目标周围区域得到初始置信图。对初始模板分割得到分割图，结合分割图与置信图，计算模板超像素权重。
模板超像素权重计算过程分为以下几步：
1)取训练帧中目标周围较大的矩形区域。将其超像素分割、提取颜色特征，形成特征池。此区域中心在前一帧跟踪结果Xt处，其边长为λsA(Xt)0.5。参数λs用来控制此矩形区域的边长。
2)利用均值漂移算法将特征聚类，得到m个类cl(i),(i＝1,...m)。Fcl(i)和 Rcl(i)分别表示每个类的类中心和类半径。
3)计算每个类的置信值，得到初始置信图。计算每个类的e+和e-。e+表示类区域与目标区域重叠的面积，e-表示类区域的其余面积。类置信值计算如公式(1)：
4)将初始模板分割为γ个超像素spk,(k＝1,...,γ)，并提取颜色特征。用特征向量fk表示每个模板超像素。
5)将模板超像素对应到所属类，计算模板超像素置信值。
这里S(k,i)表示fk与所属类cl(i)的相似性，fk距离所属类的类中心 Fcl(i)越远，相似性越小。ck表示每个模板超像素的置信值。超像素区域内的所有像素置信值与所属超像素的置信值ck相同。
6)计算模板超像素权重。
这里表示超像素区域内所有像素置信值，ωk表示初始模板超像素权重。
利用粒子滤波在当前帧中，选取候选样本并构建字典。联合字典与超像素权重，求解稀候选样本的疏系数。
具体步骤可分为以下几步：
1)字典构建。利用粒子滤波，在前一帧跟踪结果周围采取候选样本状态利用相应的观测向量集构建字典
2)稀疏编码。利用公式(6)完成候选样本的稀疏编码：
公式(6)中ωt表示当前帧的模板超像素权重，·表示哈达玛乘积，表示当前帧的目标模板，Zt表示当前帧的字典，δ是一个惩罚项，at≥0表示对稀疏系数的非负限制。
3)计算最优结果。基于稀疏表示理论的跟踪算法，稀疏系数越大的候选样本在重建时贡献就越大。因此，稀疏系数大的候选样本，应该分配较大的样本权重μ。样本权重由公式(7)计算得到：
这里介于[0,1]之间，是候选样本的稀疏系数，是当前帧跟踪结果。
采取局部更新的策略对模板进行更新，并利用更新的超像素面积，判断模板超像素权重的更新。
1.模板更新具体过程为：
将模板的每个超像素映射到当前帧跟踪结果对应区域，判断两区域之间是否相似。若相似，此超像素不更新；若不相似，则此超像素更新。具体更新与判别公式如下：
这里表示新模板中第k个超像素，υ表示遗忘因子。经验参数表示不相似水平。由当前帧的跟踪结果和前一帧目标模板通过遗忘因子υ加权而生成。
2.超像素局部权重更新，具体过程为：
累计更新的超像素面积，用此面积去除模板面积，得到更新率。更新率与双阈值ε1和ε2(ε2＞ε1)作对比。若更新率小于ε1或者大于ε2则表示跟踪结果与模板非常相似或者目标发生严重遮挡，超像素权重不更新；若更新率介于二者之间，则说明目标出现部分遮挡，超像素局部权重需要更新。具体更新过程如附图2所示。
实验部分
本发明所提出的方法与四种跟踪方法进行了比较。黑色跟踪框是局部加权距离度量与反稀疏表示法(LWIST)获得的跟踪结果，绿色跟踪框是L1加速临近梯度法(L1-APG)获得的跟踪结果，蓝色跟踪框是最小均方阈值法(LSST) 获得的跟踪结果，黄色跟踪框是稀疏先验法(SPT)获得的跟踪结果，红色跟踪框是本发明方法获得的跟踪结果。可以看出本发明对目标出现遮挡，光照变化有比较好的效果；LWIST，L1-APG，LSST，SPT跟踪方法在跟踪过程中有漂移，跟踪不准等现象出现。

Claims (5)

1.基于超像素局部加权度量与反稀疏模型的跟踪方法，其特征在于，其步骤为：
(1)提取训练阶段目标周围3倍面积大小的区域，将这些区域进行超像素分割，然后提取每个超像素的颜色特征，并聚类，计算每类的置信值，得到初始置信图；
(2)在第四帧中标定初始目标模板，并将其分割，提特征。将每个模板超像素对应到所属类中，计算模板超像素置信值，进而计算超像素局部权重；
(3)在当前帧中利用粒子滤波方法，在前一帧跟踪结果周围选取候选样本，利用候选样本构建字典；
(4)根据步骤(2)和步骤(3)得到的超像素权重和字典，求解当前帧候选样本的稀疏系数；
(5)利用稀疏系数，计算候选样本权重，得到当前帧最终跟踪结果；
(6)计算模板超像素与跟踪结果对应区域二者之间的相似性，判断模板与超像素局部权重是否更新。
2.根据权利要求1所述的基于超像素局部加权度量与反稀疏模型的跟踪方法，其特征在于，所述的步骤(2)的步骤为：在第四帧中通过手动标记选取初始模板，并进行超像素分割，分割的超像素数目。通过5组实验室序列(car4，stone，dancer，sail，singer1)获得，分割的超像素数目分别是：30，11，23，30，30个。
3.根据权利要求1所述的基于超像素局部加权度量与反稀疏模型的跟踪方法，其特征在于，所述的步骤(2)的步骤为：将模板超像素对应到所属类中，计算模板超像素置信值，进而计算模板超像素权重。将此权重进行处理，使其介于[0，1]之间。
4.根据权利要求3所述的基于超像素局部加权度量与反稀疏模型的跟踪方法，其特征在于，所述的步骤(6)采用双阈值检测超像素权重更新。
5.根据权利要求3所述的基于超像素局部加权度量与反稀疏模型的跟踪方法，其特征在于，所述的步骤(6)采用当前帧以及前三帧的目标周围矩形区域，构建新的置信图，并更新权重。
CN201711060976.8A 2017-11-02 2017-11-02 基于超像素局部加权度量与反稀疏模型的跟踪方法 Pending CN107833243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711060976.8A CN107833243A (zh) 2017-11-02 2017-11-02 基于超像素局部加权度量与反稀疏模型的跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711060976.8A CN107833243A (zh) 2017-11-02 2017-11-02 基于超像素局部加权度量与反稀疏模型的跟踪方法

Publications (1)

Publication Number Publication Date
CN107833243A true CN107833243A (zh) 2018-03-23

Family

ID=61651499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711060976.8A Pending CN107833243A (zh) 2017-11-02 2017-11-02 基于超像素局部加权度量与反稀疏模型的跟踪方法

Country Status (1)

Country Link
CN (1) CN107833243A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754424A (zh) * 2018-12-17 2019-05-14 西北工业大学 基于融合特征和自适应更新策略的相关滤波跟踪算法
CN111160397A (zh) * 2019-12-06 2020-05-15 北京联合大学 一种多尺度的视觉词字典生成方法及系统
CN113011324A (zh) * 2021-03-18 2021-06-22 安徽大学 基于特征图匹配和超像素图排序的目标跟踪方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408708A (zh) * 2014-10-29 2015-03-11 兰州理工大学 一种基于全局和局部低秩的图像显著目标检测方法
US20160132732A1 (en) * 2014-11-10 2016-05-12 Utah State University Remote Heart Rate Estimation
CN105590328A (zh) * 2015-12-07 2016-05-18 天津大学 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法
CN106203423A (zh) * 2016-06-26 2016-12-07 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN106228544A (zh) * 2016-07-14 2016-12-14 郑州航空工业管理学院 一种基于稀疏表示和标签传播的显著性检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408708A (zh) * 2014-10-29 2015-03-11 兰州理工大学 一种基于全局和局部低秩的图像显著目标检测方法
US20160132732A1 (en) * 2014-11-10 2016-05-12 Utah State University Remote Heart Rate Estimation
CN105590328A (zh) * 2015-12-07 2016-05-18 天津大学 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法
CN106203423A (zh) * 2016-06-26 2016-12-07 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN106228544A (zh) * 2016-07-14 2016-12-14 郑州航空工业管理学院 一种基于稀疏表示和标签传播的显著性检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BAIYANG LIU 等: "Robust Visual Tracking Using Local Sparse Appearance Model and K-Selection", 《IEEE》 *
DONG WANG 等: "Inverse Sparse Tracker With a Locally Weighted Distance Metric", 《IEEE》 *
程旭 等: "稀疏表示的超像素在线跟踪", 《电子与信息学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754424A (zh) * 2018-12-17 2019-05-14 西北工业大学 基于融合特征和自适应更新策略的相关滤波跟踪算法
CN109754424B (zh) * 2018-12-17 2022-11-04 西北工业大学 基于融合特征和自适应更新策略的相关滤波跟踪算法
CN111160397A (zh) * 2019-12-06 2020-05-15 北京联合大学 一种多尺度的视觉词字典生成方法及系统
CN113011324A (zh) * 2021-03-18 2021-06-22 安徽大学 基于特征图匹配和超像素图排序的目标跟踪方法及装置
CN113011324B (zh) * 2021-03-18 2023-03-24 安徽大学 基于特征图匹配和超像素图排序的目标跟踪方法及装置

Similar Documents

Publication Publication Date Title
CN110211097B (zh) 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN106875406B (zh) 图像引导的视频语义对象分割方法及装置
CN107833243A (zh) 基于超像素局部加权度量与反稀疏模型的跟踪方法
CN103942751B (zh) 一种视频关键帧提取方法
CN104091348B (zh) 融合显著特征和分块模板的多目标跟踪方法
CN106997597A (zh) 一种基于有监督显著性检测的目标跟踪方法
CN113239813B (zh) 一种基于三阶级联架构的YOLOv3的远景目标检测方法
CN110796168A (zh) 一种基于改进YOLOv3的车辆检测方法
CN101777185B (zh) 融合描述式和判别式建模的目标跟踪方法
CN105678338B (zh) 基于局部特征学习的目标跟踪方法
CN108109162B (zh) 一种利用自适应特征融合的多尺度目标跟踪方法
CN107808375B (zh) 融合多种上下文深度学习模型的水稻病害图像检测方法
CN103870834B (zh) 基于分层分割的滑动窗搜索方法
CN113158768B (zh) 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN107527054B (zh) 基于多视角融合的前景自动提取方法
CN105069451B (zh) 一种基于双目摄像头的车牌识别与定位方法
CN104616324B (zh) 基于自适应表观模型和点‑集距离度量学习的目标跟踪方法
CN107909053B (zh) 一种基于等级学习级联卷积神经网络的人脸检测方法
CN109785298A (zh) 一种多角度物体检测方法和系统
CN115641327B (zh) 一种基于大数据的建筑工程质量监理和预警系统
CN112084871B (zh) 一种基于弱监督学习的高分遥感目标边界提取方法
CN101908214B (zh) 基于邻域相关的背景重构的运动目标检测方法
CN110706252A (zh) 运动模型引导下的机器人核相关滤波跟踪算法
CN107330365A (zh) 基于最大稳定极值区域和svm的交通标志识别方法
CN108090485A (zh) 基于多视角融合的图像前景自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180323