CN109255799B - 一种基于空间自适应相关滤波器的目标跟踪方法及系统 - Google Patents
一种基于空间自适应相关滤波器的目标跟踪方法及系统 Download PDFInfo
- Publication number
- CN109255799B CN109255799B CN201810837256.6A CN201810837256A CN109255799B CN 109255799 B CN109255799 B CN 109255799B CN 201810837256 A CN201810837256 A CN 201810837256A CN 109255799 B CN109255799 B CN 109255799B
- Authority
- CN
- China
- Prior art keywords
- feature
- current frame
- weight coefficient
- frame image
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 13
- 230000004044 response Effects 0.000 claims abstract description 63
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 4
- 229910044991 metal oxide Inorganic materials 0.000 claims 2
- 150000004706 metal oxides Chemical class 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空间自适应相关滤波器的目标跟踪方法及系统,其中实现方法包括:在当前帧中根据颜色模型和纹理模型提取目标搜索区域的特征;用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力;对各特征的表达能力进行归一化,得到各特征的权值系数;由当前帧的权值系数与上一帧的权值系数更新当前帧的权值系数;以当前帧中各特征更新后的权值系数融合各特征响应图得到当前帧的特征响应先验图;将特征响应先验图乘到特征图中,得到空间注意的特征;将空间注意的特征与相关滤波模板进行相关操作后,将响应图上响应最大点作为待追踪目标的中心位置。通过本发明可以解决跟踪过程中目标的快速移动和遮挡等问题。
Description
技术领域
本发明属于模式识别技术领域,更具体地,涉及一种基于空间自适应相关滤波器的目标跟踪方法及系统。
背景技术
基于相关滤波的跟踪器受益于循环移位模型和脊回归形式的目标方程,有着优异的精度和实时性能,因此受到了广泛的关注。循环移位模型增加了样本数量,这增强了相关滤波器的判别能力。损失函数的形式使得有可能在频域中快速的获得封闭式的解。
尽管有着以上优势,相关滤波追踪器仍然有一些限制。循环移位模型会连接样本的边界,并在图像边界处产生实际不存在的伪影,称之为边界效应。边界效应破坏了相关滤波器的判别能力。为了减轻边界效应,通常方法是在图像上乘以一个余弦窗口,从而将边界像素的值设置为零。然而,由于余弦窗会限制搜索区域,所以会引入一些新问题,特别是在快速运动和遮挡的挑战下,它们都导致目标在两个连续帧之间发生突然移动。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于空间自适应相关滤波器的目标跟踪方法及系统,由此解决现有跟踪器在跟踪过程中由于目标的快速移动和遮挡等问题而无法准确进行跟踪的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于空间自适应相关滤波器的目标跟踪方法,包括:
(1)在当前帧图像中根据颜色模型和纹理模型提取目标搜索区域的特征;
(2)用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力;
(3)对各特征对应的表达能力进行归一化,得到当前帧图像中各特征对应的权值系数;
(4)由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数,进而得到当前帧图像中各特征对应的目标权值系数;
(5)以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图;
(6)将所述特征响应先验图乘到特征图中,得到空间注意的特征;
(7)将所述空间注意的特征与相关滤波模板进行相关操作后,将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
按照本发明的另一方面,提供了一种基于空间自适应相关滤波器的目标跟踪系统,包括:
第一特征提取模块,用于在当前帧图像中根据颜色模型和纹理模型提取目标搜索区域的特征;
特征表达能力确定模块,用于用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力;
特征权值系数确定模块,用于对各特征对应的表达能力进行归一化,得到当前帧图像中各特征对应的权值系数;
更新模块,用于由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数,进而得到当前帧图像中各特征对应的目标权值系数;
响应先验图确定模块,用于以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图;
第二特征提取模块,用于将所述特征响应先验图乘到特征图中,得到空间注意的特征;
追踪模块,用于将所述空间注意的特征与相关滤波模板进行相关操作后,将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
1、由于用特征响应图取代了余弦窗,跟踪器在跟踪之前获得了目标的先验信息,所以能够达到非常优秀的跟踪精度。
2、采用的自适应特征融合策略与固定权值的融合策略相比,更适应不同视频的特性,能够根据不同视频自适应地调整各特征融合权值,从而获得表达能力更强的特征。
3、具有良好的泛化能力,在多个数据集上都表现出了良好的效果,超出了以往的算法。
附图说明
图1是本发明实施例提供的一种基于空间自适应相关滤波器的目标跟踪方法的流程示意图;
图2是本发明实施例提供的一种基于空间自适应相关滤波器的目标跟踪方法示意图;
图3是本发明实施例提供的一种跟踪结果展示图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先对本发明实施例用到的术语进行解释和说明。
特征融合(feature fusion):在目标跟踪领域,有很多常用的特征,不同的特征对不同的目标和背景的区分能力是不同的,所以常用特征融合技术将不同的特征图做融合以增强特征表达能力。
自适应:在处理和分析过程中,根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件,使其与所处理数据的统计分布特征、结构特征相适应,以取得最佳的处理效果的过程。
相关滤波(correlation filter):最早应用于信号处理,用来描述两个信号之间的相关性,或者说相似性,本发明实施例中指用滤波模版,与输入图像特征求相关性,得到的结果为一响应图,响应图中最大的点就表示输入图像上与滤波模板最相似的位置。
如图1所示是本发明实施例提供的一种基于空间自适应相关滤波器的目标跟踪方法的流程示意图,包括:
(1)在当前帧图像t中根据颜色模型和纹理模型对搜索区域提取特征;
在本发明实施例中,颜色模型表示用颜色特征建立特征直方图形成的模型,纹理模型表示用纹理特征建立特征直方图形成的模型。纹理特征是指通过像素及其周围空间邻域的灰度分布来表现的图像特征。
(2)特征融合(feature fusion):对于理想的响应图而言,属于前景的像素点应该有较高的响应值,属于背景的像素点应具有较低的响应值。但在实际中,会有一些难例背景像素点(critical pixels)也具有较高的响应值。
因此,本发明实施例提出一种评价指标,用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量特征的表达能力,即:
其中,k表示响应图上像素点个数,θ1和θ2分别表示前景和难例像素点所占比例,p表示像素点的响应值。
(3)得到了每个特征的表达能力α之后,对各特征对应的表达能力进行归一化,对于任意特征d,得到该特征d对应的权值系数ωd:
其中,αd表示特征d的表达能力,αl表示特征l的表达能力,D表示特征的数量。
(4)由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数,进而得到当前帧图像中各特征对应的目标权值系数;
具体地,对于任意特征d,由更新当前帧图像t中特征d的权值系数,当前帧图像中特征d对应的目标权值系数其中,η表示当前帧权值系数的更新率,其介于0~1之间,η越大,权值系数更新越快,表示上一帧图像t-1中特征d的权值系数。
(5)以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图;
(6)将(5)中的特征响应先验乘到特征图(feature map)中,得到空间注意的特征;
(7)将空间注意的特征与相关滤波模板进行相关操作后,将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
如图2所示是本发明实施例提供的一种基于空间自适应相关滤波器的目标跟踪方法示意图,在图2中详细对比了本发明方法与现有方法中的区别。
如图3所示为本发明实施例提供的跟踪方法与目前先进算法的结果比较图,深色粗线框表示本发明算法的跟踪结果,其余三个框表示三种先进算法的跟踪结果,实验表明本发明在目标被遮挡和目标发生快速移动时都能得到非常精确的结果。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于空间自适应相关滤波器的目标跟踪方法,其特征在于,包括:
(1)在当前帧图像中根据颜色模型和纹理模型提取目标搜索区域的特征;
(2)用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力;
(3)对各特征对应的表达能力进行归一化,得到当前帧图像中各特征对应的权值系数;
(4)由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数,进而得到当前帧图像中各特征对应的目标权值系数;
(5)以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图;
(6)将所述特征响应先验图乘到特征图中,得到空间注意的特征;
(7)将所述空间注意的特征与相关滤波模板进行相关操作后,将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
6.一种基于空间自适应相关滤波器的目标跟踪系统,其特征在于,包括:
第一特征提取模块,用于在当前帧图像中根据颜色模型和纹理模型提取目标搜索区域的特征;
特征表达能力确定模块,用于用前景像素点的平均响应值与难例像素点的平均响应值的差来衡量各特征的表达能力;
特征权值系数确定模块,用于对各特征对应的表达能力进行归一化,得到当前帧图像中各特征对应的权值系数;
更新模块,用于由当前帧图像中各特征对应的权值系数与上一帧图像中相应特征的权值系数更新当前帧图像中各特征的权值系数,进而得到当前帧图像中各特征对应的目标权值系数;
响应先验图确定模块,用于以当前帧图像中各特征的目标权值系数融合各特征响应图得到当前帧图像的特征响应先验图;
第二特征提取模块,用于将所述特征响应先验图乘到特征图中,得到空间注意的特征;
追踪模块,用于将所述空间注意的特征与相关滤波模板进行相关操作后,将相关操作得到的响应图上响应最大的点作为待追踪目标的中心位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810837256.6A CN109255799B (zh) | 2018-07-26 | 2018-07-26 | 一种基于空间自适应相关滤波器的目标跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810837256.6A CN109255799B (zh) | 2018-07-26 | 2018-07-26 | 一种基于空间自适应相关滤波器的目标跟踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109255799A CN109255799A (zh) | 2019-01-22 |
CN109255799B true CN109255799B (zh) | 2021-07-27 |
Family
ID=65049059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810837256.6A Active CN109255799B (zh) | 2018-07-26 | 2018-07-26 | 一种基于空间自适应相关滤波器的目标跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109255799B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871884B (zh) * | 2019-01-25 | 2023-03-24 | 曲阜师范大学 | 一种融合多特征的支持向量机面向对象遥感影像分类方法 |
CN110147768B (zh) * | 2019-05-22 | 2021-05-28 | 云南大学 | 一种目标跟踪方法及装置 |
CN112330718B (zh) * | 2020-11-12 | 2022-08-23 | 重庆邮电大学 | 一种基于cnn的三级信息融合视觉目标跟踪方法 |
CN113223055B (zh) * | 2021-05-31 | 2022-08-05 | 华中科技大学 | 图像目标跟踪模型建立方法及图像目标跟踪方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6259803B1 (en) * | 1999-06-07 | 2001-07-10 | The United States Of America As Represented By The Secretary Of The Navy | Simplified image correlation method using off-the-shelf signal processors to extract edge information using only spatial data |
WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易(北京)科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN108010067A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于组合判断策略的视觉目标跟踪方法 |
CN108053419A (zh) * | 2017-12-27 | 2018-05-18 | 武汉蛋玩科技有限公司 | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 |
-
2018
- 2018-07-26 CN CN201810837256.6A patent/CN109255799B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6259803B1 (en) * | 1999-06-07 | 2001-07-10 | The United States Of America As Represented By The Secretary Of The Navy | Simplified image correlation method using off-the-shelf signal processors to extract edge information using only spatial data |
WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易(北京)科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN108010067A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于组合判断策略的视觉目标跟踪方法 |
CN108053419A (zh) * | 2017-12-27 | 2018-05-18 | 武汉蛋玩科技有限公司 | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
Context-Aware Correlation Filter Tracking;Matthias Mueller et al.;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171231;全文 * |
基于相关滤波器的目标跟踪方法综述;马晓虹等;《电子技术应用》;20180630;第44卷(第6期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109255799A (zh) | 2019-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109255799B (zh) | 一种基于空间自适应相关滤波器的目标跟踪方法及系统 | |
CN109242853B (zh) | 一种基于图像处理的pcb缺陷智能检测方法 | |
CN115861135A (zh) | 一种应用于箱体全景探测的图像增强及识别方法 | |
CN107452015B (zh) | 一种具有重检测机制的目标跟踪系统 | |
CN111260684A (zh) | 基于帧差法和背景差分法结合的前景像素提取方法及系统 | |
CN109934224B (zh) | 基于马尔科夫随机场和视觉对比机制的小目标检测方法 | |
CN111612817A (zh) | 基于深浅特征自适应融合与上下文信息的目标跟踪方法 | |
CN108876820B (zh) | 一种基于均值漂移的遮挡条件下移动目标追踪方法 | |
CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN109993052B (zh) | 一种复杂场景下尺度自适应的目标跟踪方法和系统 | |
CN109934846A (zh) | 基于时间和空间网络的深度集成目标跟踪方法 | |
CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
CN110717934B (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
CN112508923B (zh) | 弱小目标检测方法 | |
CN111507337A (zh) | 基于混合神经网络的车牌识别方法 | |
CN111260686B (zh) | 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统 | |
CN113129332A (zh) | 执行目标对象跟踪的方法和装置 | |
CN113205494B (zh) | 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统 | |
CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
CN108764343B (zh) | 一种跟踪算法中的跟踪目标框的定位方法 | |
CN111028263A (zh) | 一种基于光流颜色聚类的运动物体分割方法及其系统 | |
CN112200831B (zh) | 一种基于动态模板的密集连接孪生神经网络目标跟踪方法 | |
CN117541582A (zh) | 一种高频变频器igbt绝缘质量检测方法 | |
CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
CN109271902B (zh) | 复杂背景下基于时域经验模态分解的红外弱小目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |