CN109255799A - 一种基于空间自适应相关滤波器的目标跟踪方法及系统 - Google Patents

一种基于空间自适应相关滤波器的目标跟踪方法及系统 Download PDF

Info

Publication number
CN109255799A
CN109255799A CN201810837256.6A CN201810837256A CN109255799A CN 109255799 A CN109255799 A CN 109255799A CN 201810837256 A CN201810837256 A CN 201810837256A CN 109255799 A CN109255799 A CN 109255799A
Authority
CN
China
Prior art keywords
feature
weight coefficient
frame image
current frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810837256.6A
Other languages
English (en)
Other versions
CN109255799B (zh
Inventor
高常鑫
秦淮
桑农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810837256.6A priority Critical patent/CN109255799B/zh
Publication of CN109255799A publication Critical patent/CN109255799A/zh
Application granted granted Critical
Publication of CN109255799B publication Critical patent/CN109255799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间自适应相关滤波器的目标跟踪方法及系统，其中实现方法包括：在当前帧中根据颜色模型和纹理模型提取目标搜索区域的特征；用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力；对各特征的表达能力进行归一化，得到各特征的权值系数；由当前帧的权值系数与上一帧的权值系数更新当前帧的权值系数；以当前帧中各特征更新后的权值系数融合各特征响应图得到当前帧的特征响应先验图；将特征响应先验图乘到特征图中，得到空间注意的特征；将空间注意的特征与相关滤波模板进行相关操作后，将响应图上响应最大点作为待追踪目标的中心位置。通过本发明可以解决跟踪过程中目标的快速移动和遮挡等问题。

Description

一种基于空间自适应相关滤波器的目标跟踪方法及系统
技术领域
本发明属于模式识别技术领域，更具体地，涉及一种基于空间自适应相关滤波器的目标跟踪方法及系统。
背景技术
基于相关滤波的跟踪器受益于循环移位模型和脊回归形式的目标方程，有着优异的精度和实时性能，因此受到了广泛的关注。循环移位模型增加了样本数量，这增强了相关滤波器的判别能力。损失函数的形式使得有可能在频域中快速的获得封闭式的解。
尽管有着以上优势，相关滤波追踪器仍然有一些限制。循环移位模型会连接样本的边界，并在图像边界处产生实际不存在的伪影，称之为边界效应。边界效应破坏了相关滤波器的判别能力。为了减轻边界效应，通常方法是在图像上乘以一个余弦窗口，从而将边界像素的值设置为零。然而，由于余弦窗会限制搜索区域，所以会引入一些新问题，特别是在快速运动和遮挡的挑战下，它们都导致目标在两个连续帧之间发生突然移动。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于空间自适应相关滤波器的目标跟踪方法及系统，由此解决现有跟踪器在跟踪过程中由于目标的快速移动和遮挡等问题而无法准确进行跟踪的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于空间自适应相关滤波器的目标跟踪方法，包括：
(1)在当前帧图像中根据颜色模型和纹理模型提取目标搜索区域的特征；
(2)用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力；
(3)对各特征对应的表达能力进行归一化，得到当前帧图像中各特征对应的权值系数；
(4)由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数，进而得到当前帧图像中各特征对应的目标权值系数；
(5)以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图；
(6)将所述特征响应先验图乘到特征图中，得到空间注意的特征；
(7)将所述空间注意的特征与相关滤波模板进行相关操作后，将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
优选地，在步骤(2)中，由来衡量各特征的表达能力，其中，k表示响应图上像素点的个数，θ1表示前景像素点所占比例，θ2表示难例像素点所占比例，p表示像素点的响应值。
优选地，在步骤(3)中，对于任意特征d，由得到特征d对应的权值系数ωd，其中，αd表示特征d的表达能力，αl表示特征l的表达能力，D表示特征的数量。
优选地，在步骤(4)中，对于任意特征d，由更新当前帧图像t中特征d的权值系数，进而得到当前帧图像中特征d对应的目标权值系数其中，η表示当前帧权值系数的更新率，表示上一帧图像t-1中特征d的权值系数。
优选地，在步骤(5)中，由以当前帧图像t中各特征的目标权值系数融合各特征响应图Pd得到当前帧图像t的特征响应先验图P。
按照本发明的另一方面，提供了一种基于空间自适应相关滤波器的目标跟踪系统，包括：
第一特征提取模块，用于在当前帧图像中根据颜色模型和纹理模型提取目标搜索区域的特征；
特征表达能力确定模块，用于用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力；
特征权值系数确定模块，用于对各特征对应的表达能力进行归一化，得到当前帧图像中各特征对应的权值系数；
更新模块，用于由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数，进而得到当前帧图像中各特征对应的目标权值系数；
响应先验图确定模块，用于以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图；
第二特征提取模块，用于将所述特征响应先验图乘到特征图中，得到空间注意的特征；
追踪模块，用于将所述空间注意的特征与相关滤波模板进行相关操作后，将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、由于用特征响应图取代了余弦窗，跟踪器在跟踪之前获得了目标的先验信息，所以能够达到非常优秀的跟踪精度。
2、采用的自适应特征融合策略与固定权值的融合策略相比，更适应不同视频的特性，能够根据不同视频自适应地调整各特征融合权值，从而获得表达能力更强的特征。
3、具有良好的泛化能力，在多个数据集上都表现出了良好的效果，超出了以往的算法。
附图说明
图1是本发明实施例提供的一种基于空间自适应相关滤波器的目标跟踪方法的流程示意图；
图2是本发明实施例提供的一种基于空间自适应相关滤波器的目标跟踪方法示意图；
图3是本发明实施例提供的一种跟踪结果展示图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先对本发明实施例用到的术语进行解释和说明。
特征融合(feature fusion)：在目标跟踪领域，有很多常用的特征，不同的特征对不同的目标和背景的区分能力是不同的，所以常用特征融合技术将不同的特征图做融合以增强特征表达能力。
自适应：在处理和分析过程中，根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，使其与所处理数据的统计分布特征、结构特征相适应，以取得最佳的处理效果的过程。
相关滤波(correlation filter)：最早应用于信号处理，用来描述两个信号之间的相关性，或者说相似性，本发明实施例中指用滤波模版，与输入图像特征求相关性，得到的结果为一响应图，响应图中最大的点就表示输入图像上与滤波模板最相似的位置。
如图1所示是本发明实施例提供的一种基于空间自适应相关滤波器的目标跟踪方法的流程示意图，包括：
(1)在当前帧图像t中根据颜色模型和纹理模型对搜索区域提取特征；
在本发明实施例中，颜色模型表示用颜色特征建立特征直方图形成的模型，纹理模型表示用纹理特征建立特征直方图形成的模型。纹理特征是指通过像素及其周围空间邻域的灰度分布来表现的图像特征。
(2)特征融合(feature fusion)：对于理想的响应图而言，属于前景的像素点应该有较高的响应值，属于背景的像素点应具有较低的响应值。但在实际中，会有一些难例背景像素点(critical pixels)也具有较高的响应值。
因此，本发明实施例提出一种评价指标，用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量特征的表达能力，即：
其中，k表示响应图上像素点个数，θ1和θ2分别表示前景和难例像素点所占比例，p表示像素点的响应值。
(3)得到了每个特征的表达能力α之后，对各特征对应的表达能力进行归一化，对于任意特征d，得到该特征d对应的权值系数ωd：
其中，αd表示特征d的表达能力，αl表示特征l的表达能力，D表示特征的数量。
(4)由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数，进而得到当前帧图像中各特征对应的目标权值系数；
具体地，对于任意特征d，由更新当前帧图像t中特征d的权值系数，当前帧图像中特征d对应的目标权值系数其中，η表示当前帧权值系数的更新率，其介于0～1之间，η越大，权值系数更新越快，表示上一帧图像t-1中特征d的权值系数。
(5)以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图；
具体地，由以当前帧图像t中各特征的目标权值系数融合各特征响应图Pd得到当前帧图像t的特征响应先验图P；
(6)将(5)中的特征响应先验乘到特征图(feature map)中，得到空间注意的特征；
(7)将空间注意的特征与相关滤波模板进行相关操作后，将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
如图2所示是本发明实施例提供的一种基于空间自适应相关滤波器的目标跟踪方法示意图，在图2中详细对比了本发明方法与现有方法中的区别。
如图3所示为本发明实施例提供的跟踪方法与目前先进算法的结果比较图，深色粗线框表示本发明算法的跟踪结果，其余三个框表示三种先进算法的跟踪结果，实验表明本发明在目标被遮挡和目标发生快速移动时都能得到非常精确的结果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于空间自适应相关滤波器的目标跟踪方法，其特征在于，包括：
(1)在当前帧图像中根据颜色模型和纹理模型提取目标搜索区域的特征；
(2)用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力；
(3)对各特征对应的表达能力进行归一化，得到当前帧图像中各特征对应的权值系数；
(4)由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数，进而得到当前帧图像中各特征对应的目标权值系数；
(5)以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图；
(6)将所述特征响应先验图乘到特征图中，得到空间注意的特征；
(7)将所述空间注意的特征与相关滤波模板进行相关操作后，将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
2.根据权利要求1所述的方法，其特征在于，在步骤(2)中，由来衡量各特征的表达能力，其中，k表示响应图上像素点的个数，θ1表示前景像素点所占比例，θ2表示难例像素点所占比例，p表示像素点的响应值。
3.根据权利要求2所述的方法，其特征在于，在步骤(3)中，对于任意特征d，由得到特征d对应的权值系数ωd，其中，αd表示特征d的表达能力，αl表示特征l的表达能力，D表示特征的数量。
4.根据权利要求3所述的方法，其特征在于，在步骤(4)中，对于任意特征d，由更新当前帧图像t中特征d的权值系数，进而得到当前帧图像中特征d对应的目标权值系数其中，η表示当前帧权值系数的更新率，表示上一帧图像t-1中特征d的权值系数。
5.根据权利要求4所述的方法，其特征在于，在步骤(5)中，由以当前帧图像t中各特征的目标权值系数融合各特征响应图Pd得到当前帧图像t的特征响应先验图P。
6.一种基于空间自适应相关滤波器的目标跟踪系统，其特征在于，包括：
第一特征提取模块，用于在当前帧图像中根据颜色模型和纹理模型提取目标搜索区域的特征；
特征表达能力确定模块，用于用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力；
特征权值系数确定模块，用于对各特征对应的表达能力进行归一化，得到当前帧图像中各特征对应的权值系数；
更新模块，用于由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数，进而得到当前帧图像中各特征对应的目标权值系数；
响应先验图确定模块，用于以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图；
第二特征提取模块，用于将所述特征响应先验图乘到特征图中，得到空间注意的特征；
追踪模块，用于将所述空间注意的特征与相关滤波模板进行相关操作后，将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
CN201810837256.6A 2018-07-26 2018-07-26 一种基于空间自适应相关滤波器的目标跟踪方法及系统 Active CN109255799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810837256.6A CN109255799B (zh) 2018-07-26 2018-07-26 一种基于空间自适应相关滤波器的目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810837256.6A CN109255799B (zh) 2018-07-26 2018-07-26 一种基于空间自适应相关滤波器的目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN109255799A true CN109255799A (zh) 2019-01-22
CN109255799B CN109255799B (zh) 2021-07-27

Family

ID=65049059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810837256.6A Active CN109255799B (zh) 2018-07-26 2018-07-26 一种基于空间自适应相关滤波器的目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN109255799B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871884A (zh) * 2019-01-25 2019-06-11 曲阜师范大学 一种融合多特征的支持向量机面向对象遥感影像分类方法
CN110147768A (zh) * 2019-05-22 2019-08-20 云南大学 一种目标跟踪方法及装置
CN112330718A (zh) * 2020-11-12 2021-02-05 重庆邮电大学 一种基于cnn的三级信息融合视觉目标跟踪方法
CN113223055A (zh) * 2021-05-31 2021-08-06 华中科技大学 图像目标跟踪模型建立方法及图像目标跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259803B1 (en) * 1999-06-07 2001-07-10 The United States Of America As Represented By The Secretary Of The Navy Simplified image correlation method using off-the-shelf signal processors to extract edge information using only spatial data
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN106651913A (zh) * 2016-11-29 2017-05-10 开易（北京）科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN108010067A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259803B1 (en) * 1999-06-07 2001-07-10 The United States Of America As Represented By The Secretary Of The Navy Simplified image correlation method using off-the-shelf signal processors to extract edge information using only spatial data
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN106570486A (zh) * 2016-11-09 2017-04-19 华南理工大学 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN106651913A (zh) * 2016-11-29 2017-05-10 开易（北京）科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN108010067A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MATTHIAS MUELLER ET AL.: "Context-Aware Correlation Filter Tracking", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
马晓虹等: "基于相关滤波器的目标跟踪方法综述", 《电子技术应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871884A (zh) * 2019-01-25 2019-06-11 曲阜师范大学 一种融合多特征的支持向量机面向对象遥感影像分类方法
CN110147768A (zh) * 2019-05-22 2019-08-20 云南大学 一种目标跟踪方法及装置
CN110147768B (zh) * 2019-05-22 2021-05-28 云南大学 一种目标跟踪方法及装置
CN112330718A (zh) * 2020-11-12 2021-02-05 重庆邮电大学 一种基于cnn的三级信息融合视觉目标跟踪方法
CN112330718B (zh) * 2020-11-12 2022-08-23 重庆邮电大学 一种基于cnn的三级信息融合视觉目标跟踪方法
CN113223055A (zh) * 2021-05-31 2021-08-06 华中科技大学 图像目标跟踪模型建立方法及图像目标跟踪方法
CN113223055B (zh) * 2021-05-31 2022-08-05 华中科技大学 图像目标跟踪模型建立方法及图像目标跟踪方法

Also Published As

Publication number Publication date
CN109255799B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN109255799A (zh) 一种基于空间自适应相关滤波器的目标跟踪方法及系统
Bhat et al. Multi-focus image fusion techniques: a survey
JP3862140B2 (ja) ピクセル化されたイメージをセグメント化する方法および装置、並びに記録媒体、プログラム、イメージキャプチャデバイス
CN104408429B (zh) 一种视频代表帧提取方法及装置
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN111144337B (zh) 火灾检测方法、装置及终端设备
CN106846339A (zh) 一种图像检测方法和装置
CN115661669B (zh) 一种基于视频监控的耕地违法占用监测方法及系统
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
JP4658532B2 (ja) 顔を検出する処理方法及び画像中の顔の検出装置
CN112508923B (zh) 弱小目标检测方法
Hsieh et al. Fast and robust infrared image small target detection based on the convolution of layered gradient kernel
Yu et al. Image and video dehazing using view-based cluster segmentation
Sandoub et al. A low‐light image enhancement method based on bright channel prior and maximum colour channel
CN109101985A (zh) 一种基于自适应邻域测试的图像误匹配点对剔除方法
Chen et al. Improve transmission by designing filters for image dehazing
CN111709964A (zh) 一种pcba目标边缘检测方法
Chen et al. Edge preservation ratio for image sharpness assessment
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN117115117B (zh) 基于小样本下的病理图像识别方法、电子设备及存储介质
CN113378757A (zh) 一种基于时序与频域过滤的物体检测与物体切割算法
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
Maity et al. Background modeling and foreground extraction in video data using spatio-temporal region persistence features
Ponomaryov et al. Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise
Dong et al. Image enhancement via texture protection Retinex

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant