CN108257156B - 一种从视频中自动追踪目标物体的方法 - Google Patents
一种从视频中自动追踪目标物体的方法 Download PDFInfo
- Publication number
- CN108257156B CN108257156B CN201810069464.6A CN201810069464A CN108257156B CN 108257156 B CN108257156 B CN 108257156B CN 201810069464 A CN201810069464 A CN 201810069464A CN 108257156 B CN108257156 B CN 108257156B
- Authority
- CN
- China
- Prior art keywords
- target object
- time
- motion
- moment
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种从视频中自动追踪目标物体的方法,包括初始化;选取目标物体的运动集合作为目标物体的运动状态st;采用系统模型计算时刻t‑1的目标物体的运动状态为st‑1的条件下时刻t的目标物体的运动状态为st的先验条件概率p(st|st‑1),采用观测模型计算目标物体的运动状态为st的条件下观测值为zt的后验条件概率p(zt|st),观测值zt为时刻t的视觉信息;根据迭代关系式计算得到p(st|z1:t),其中p(zt|z1:t‑1)是常数,z1:t为时刻1到时刻t的观测值;根据计算得到当前时刻t的目标物体的位置为依次进行迭代。本发明在物体形变、旋转和背景干扰的场景下,仍然能够准确追踪目标物体。
Description
技术领域
本发明涉及视频处理领域,尤其涉及一种从视频中自动追踪目标物体的方法。
背景技术
视频追踪是计算机视觉中的一个基础问题,其目的是用来确定我们感兴趣的目标在视频序列中连续的位置,并且为进一步理解目标和完成更高级的任务打下基础,该技术可广泛应用于自动监控、人机交互、无人驾驶、军事侦察、交通监控等领域,物体追踪结果的准确性和鲁棒性对以上应用场景有重要影响。
其中视频追踪问题可以具体地定义为:在视频的第一帧预先用矩形窗框出需要追踪的目标,要求在后续的每帧设计算法用矩形窗自动的框出目标。如图1a所示,第一帧灰色框给出了要追踪的物体,如图1b和1c所示,后续帧中的白色框是采用视频追踪方法标记出的相应的追踪结果,后续帧中的灰色框为数据集标记的物体真实结果;也即在后续帧中白色框越接近灰色框,则表明该视频追踪方法的结果越接近真实。
目前大多数追踪器都采用判别类方法,判别类方法一般由候选窗采样、特征抽取和候选窗评估三步组成。其中候选窗采样包括:在上一帧算法追踪到的结果附近采样一定数量的候选窗,作为下一帧目标潜在位置的候选,采样方式可以为密集采样(固定尺度、步长后范围内所有矩形)或随机采样(给定一个概率分布,用此分布采取一定数量的候选窗)。特征抽取包括:将候选框所框选的图块转化为特征向量,常用的特征抽取方式有用HOG算法将3通道图像转化为31维特征向量,或者用神经网络卷积部分将图像转化为卷积层的激活值。选窗评估包括:判别类方法将追踪目标的过程视为二元分类问题,该方法学习一个表面模型的分类器,将第二步抽取的特征作为分类器的输入,输出为候选窗评估的分值,分值越高,则候选窗越可能是目标;分值越低,则越可能是背景。
传统的判别类追踪方法在目标形变、旋转和背景干扰的场景下,表现不佳,主要原因包括:(1)在目标形变、旋转的情形下,两帧之间目标的图像变化剧烈,导致抽取出的相应特征有很大区别,表面模型会误判目标为背景,导致追踪失败;(2)在背景干扰的场景下,背景与目标之前的图像会很相似,导致抽取出的相应特征区别不大,表面模型会把背景误判为目标,导致追踪失败。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
鉴于此,本发明提出一种从视频中自动追踪目标物体的方法,能够有效解决传统的判别类追踪器的缺点,在物体形变、旋转和背景干扰的场景下,仍然能够准确追踪目标物体。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种从视频中自动追踪目标物体的方法,包括以下步骤:
S3:采用系统模型计算时刻t-1的目标物体的运动状态为st-1的条件下时刻t的目标物体的运动状态为st的先验条件概率p(st|st-1),采用观测模型计算目标物体的运动状态为st的条件下观测值为zt的后验条件概率p(zt|st),观测值zt为时刻t的视觉信息;
S6:返回步骤S2,进入下一时刻。
优选地,步骤S3中的系统模型中设定目标物体每个时刻的运动都与过去的运动无关,且目标物体在x轴和y轴方向的运动是相互独立的,则有:p(st|st-1)=p(st)=p(Δx,Δy)=px(Δx)py(Δy)。
优选地,步骤S3中的系统模型中采用拉普拉斯分布对目标物体的运动进行拟合得到px(Δx)=0.1905e-29.02|Δx|,py(Δy)=0.2652e-43.32|Δy|;则有:p(st|st-1)=ae-b|Δx|-c|Δy|,其中a=0.0505,b=29.02,c=43.42。
优选地,步骤S3中的观测模型为:根据先验条件概率p(st|st-1)得到目标物体的运动状态st,结合目标物体的运动状态st和观测值zt采样n个候选窗,然后将n个候选窗分别进行特征抽取,并将所述目标物体进行特征抽取,将特征抽取的结果都输入到分类器中,输出n个所述候选窗分别与所述目标物体在图像特征上的相似度v1、v2、…、vn,最后根据相似度v1、v2、…、vn计算得到后验条件概率p(zt|st)。
优选地,采用带权的softmax函数将相似度v1、v2、…、vn转换为后验条件概率p(zt|st):
优选地,步骤S3中的观测模型采用了DCF、fDSST、CFNet、HCF、MDNet中的任意一个追踪器。
与现有技术相比,本发明的有益效果在于:本发明的从视频中自动追踪目标物体的方法通过引入一个系统模型计算先验条件概率来先验地预测目标物体运动,再根据观测模型得到后验条件概率,其中由于目标物体的运动信息是独立于观测模型的,可以有效解决传统的判别类追踪器的缺点,在物体形变、旋转和背景干扰的场景下,仍然能够准确追踪目标物体。
附图说明
图1a是在视频的第一帧中框出目标物体的示意图;
图1b和图1c是在视频的后续帧中框出目标物体的真实位置和根据视频追踪方法追踪得到的结果的示意图;
图2是本发明优选实施例的从视频中自动追踪目标物体的方法的过程示意图;
图3a是采用拉普拉斯分布对目标物体的x坐标的运动状态进行拟合的示意图;
图3b是采用拉普拉斯分布对目标物体的y坐标的运动状态进行拟合的示意图;
图4是本发明优选实施例的从视频中自动追踪目标物体的方法的观测模型的过程示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
本发明的优选实施例公开了一种从视频中自动追踪目标物体的方法,包括以下步骤:
S3:采用系统模型计算时刻t-1的目标物体的运动状态为st-1的条件下时刻t的目标物体的运动状态为st的先验条件概率p(st|st-1),采用观测模型计算目标物体的运动状态为st的条件下观测值为zt的后验条件概率p(zt|st);
S6:返回步骤S2,进入下一时刻。
下述对本发明的追踪方法的步骤进一步说明。
第一,本发明的从视频中自动追踪目标物体的方法将视觉追踪问题带入到贝叶斯滤波框架中考虑,贝叶斯滤波框架定义了一个状态空间用于估计动态时序系统的在各时刻的状态值,该状态空间包含各时刻的系统状态和观测值;其中系统状态在状态空间中是不可直接被测量到的。然而,系统状态会相对应地影响到一个外部的可被观测的观察值,从而可以通过观察值间接推导系统状态。在视觉追踪问题中,本发明中定义一个系统状态st为从时刻t-1到时刻t的目标物体的位置变化,定义观测值zt为时刻t的视觉信息,即目标位置附近的图像值和图像提取出的图像特征值;通过视觉信息反向推导目标物体的位置变化。这样的状态空间模型如图2所示,由一对模型组成:
系统模型(system model)描述了相邻时刻之间状态的演化,表现为一阶马尔可夫链,数学公式为时刻t-1的状态为st-1的条件下时刻t的状态为st的先验条件概率p(st|st-1)=p(st|st-1,z1:t-1);
观察模型(observation model)描述了系统状态对观察值的影响,数学上表示为当前状态为st下观测值为zt的条件概率p(zt|st)。
第二,其中的系统模型(system model)描述了相邻时刻之间物体运动的变化,也即计算时刻t-1的状态为st-1的条件下时刻t的状态为st的先验条件概率p(st|st-1)。
首先定义目标物体在时刻t的运动st为目标物体的中心在时刻t-1到时刻t的相对位移幅度(Δx,Δy),即其中st为时刻t-1到时刻t目标物体位置的变化,xt、yt分别为目标物体的矩形框中心在时刻t的位置坐标值,w、h分别为目标物体的矩形框的宽和高。
设定目标物体每时刻的运动是与过去的运动无关的,且目标物体在x轴和y轴方向运动是相互独立的,即p(st|st-1)=p(st)=p(Δx,Δy)=px(Δx)py(Δy)。
本发明中对大量视频序列数据中目标物体运动数据进行了统计,并对比决定系数R2,得出最适合表示物体运动的是拉普拉斯分布,如图3a和图3b是统计物体运动直方图的结果,采用拉普拉斯分布拟合直方图的结果来表示目标物体的运动,即px(Δx)=0.1905e-29.02|Δx|,py(Δy)=0.2652e-43.32|Δy|;所以系统模型为:p(st|st-1)=ae-b|Δx|-c|Δy|,其中a=0.0505,b=29.02,c=43.42。
第三,其中的建立观测模型(observation model)描述了系统状态对观察值的影响,也即计算当前状态为st的条件下观测值为zt的后验条件概率p(zt|st)。
在视频追踪任务里,p(zt|st)衡量的是在st位置的候选窗中的视觉图像是目标物体的可能性。
如图4所示,根据系统模型中的先验条件概率p(st|st-1)得到追踪到的当前状态st,根据追踪到的当前状态st得到并根据观测值zt来进行相应裁剪采样,得到候选窗1、候选窗2、…、候选窗n;然后将n个候选窗进行特征抽取,并将目标物体进行特征抽取,将特征抽取的结果都输入到分类器中,输出各个候选窗与目标物体在图像特征上的相似度v1、v2、…、vn,其中相似度越高,则候选窗越可能是目标物体,即p(zt|st)越大。
在本发明优选优选实施例中,采用带权的softmax函数将目标相似度转换为后验条件概率p(zt|st),即:
第四,追踪过程。
由于视觉追踪任务的目标物体的位置在第一帧已经给定,而之前的位置不存在,所以初始状态可以任意设置。
其中,p(st|z1:t)表示时刻1到时刻t的观测值z1:t的条件下时刻t的状态为st的条件概率。
根据贝叶斯公式:
根据全概率公式:
结合贝叶斯公式和全概率公式得到p(st-1|z1:t-1)到p(st|z1∶t)的迭代关系为:
下列以具体实例对本发明的从视频中自动追踪目标物体的方法的效果作进一步说明,其中以现有的有代表性的追踪器,包括DCF、fDSST、CFNet、HCF、MDNet为对比例,再将这些追踪器应用于本发明的追踪方法中的观测模型以通过本发明的追踪方法来进行追踪,选取OTB100的数据集进行实验,将传统的追踪方法与本发明的追踪方法进行比较,如下表1和表2。
表1传统追踪方法和本发明的追踪方法追踪到的结果的预测准确率
表2传统追踪方法和本发明的追踪方法追踪到的结果的中心准确率
实验结果表明,本发明的追踪方法比传统的追踪器有所提升,并且超过了当前最先进的追踪器的性能。
本发明优选实施例的从视频中自动追踪目标物体的方法,基于贝叶斯滤波框架,将判别类追踪器作为观测模型,结合物体运动信息建立系统模型预测物体运动,由于运动信息是独立于观测模型的,因此本发明的追踪方法能够有效地解决传统判别类追踪器的缺点。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (4)
1.一种从视频中自动追踪目标物体的方法,其特征在于,包括以下步骤:
S2:t=t+1,选取目标物体的运动集合作为目标物体的运动状态st,其中,目标物体的运动状态st为目标物体的中心在时刻t_1到时刻t的相对位移幅度:xt、yt分别为目标物体的矩形框中心在时刻t的位置的坐标值,w、h分别为目标物体的矩形框的宽和高;
S3:采用系统模型计算时刻t-1的目标物体的运动状态为st-1的条件下时刻t的目标物体的运动状态为st的先验条件概率p(st|st-1),设定目标物体每个时刻的运动是与过去的运动无关的,且目标物体在x轴和y轴方向运动是相互独立的,则有p(st|st-1)=p(st)=p(Δx,Δy)=px(Δx)py(Δy);并采用DCF、fDSST、CFNet、HCF、MDNet中的任意一个追踪器作为观测模型来计算目标物体的运动状态为st的条件下观测值为zt的后验条件概率p(zt|st),观测值zt为时刻t的视觉信息;
S6:返回步骤S2,进入下一时刻。
2.根据权利要求1所述的从视频中自动追踪目标物体的方法,其特征在于,步骤S3中的系统模型中采用拉普拉斯分布对目标物体的运动进行拟合得到px(Δx)=0.1905e-29.02|Δx|,py(Δy)=0.2652e-43.32|Δy|;则有:p(st|st-1)=ae-b|Δx|-c|Δy|,其中a=0.0505,b=29.02,c=43.42。
3.根据权利要求1所述的从视频中自动追踪目标物体的方法,其特征在于,步骤S3中的观测模型为:根据先验条件概率p(st|st-1)得到目标物体的运动状态st,结合目标物体的运动状态st和观测值zt采样n个候选窗,然后将n个候选窗分别进行特征抽取,并将所述目标物体进行特征抽取,将特征抽取的结果都输入到分类器中,输出n个所述候选窗分别与所述目标物体在图像特征上的相似度v1、v2、…、vn,最后根据相似度v1、v2、…、vn计算得到后验条件概率p(zt|st)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810069464.6A CN108257156B (zh) | 2018-01-24 | 2018-01-24 | 一种从视频中自动追踪目标物体的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810069464.6A CN108257156B (zh) | 2018-01-24 | 2018-01-24 | 一种从视频中自动追踪目标物体的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108257156A CN108257156A (zh) | 2018-07-06 |
CN108257156B true CN108257156B (zh) | 2021-05-04 |
Family
ID=62742209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810069464.6A Active CN108257156B (zh) | 2018-01-24 | 2018-01-24 | 一种从视频中自动追踪目标物体的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108257156B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097577A (zh) * | 2019-05-06 | 2019-08-06 | 江南大学 | 一种基于深度学习的半离线深度目标追踪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701460A (zh) * | 2016-01-07 | 2016-06-22 | 王跃明 | 一种基于视频的篮球进球检测方法和装置 |
CN105894008A (zh) * | 2015-01-16 | 2016-08-24 | 广西卡斯特动漫有限公司 | 结合特征点匹配及深度神经网络检测的目标运动跟踪方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6353679B1 (en) * | 1998-11-03 | 2002-03-05 | Compaq Computer Corporation | Sample refinement method of multiple mode probability density estimation |
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN106373146B (zh) * | 2016-10-27 | 2019-02-15 | 南京航空航天大学 | 一种基于模糊学习的目标跟踪方法 |
CN107492113B (zh) * | 2017-06-01 | 2019-11-05 | 南京行者易智能交通科技有限公司 | 一种视频图像中运动目标位置预测模型训练方法、位置预测方法及轨迹预测方法 |
CN107292914A (zh) * | 2017-06-15 | 2017-10-24 | 国家新闻出版广电总局广播科学研究院 | 基于小型单支卷积神经网络的视觉目标跟踪方法 |
CN107480704B (zh) * | 2017-07-24 | 2021-06-29 | 无际智控(天津)智能科技有限公司 | 一种具有遮挡感知机制的实时视觉目标跟踪方法 |
CN107622507B (zh) * | 2017-08-09 | 2020-04-07 | 中北大学 | 一种基于深度学习的空中目标跟踪方法 |
-
2018
- 2018-01-24 CN CN201810069464.6A patent/CN108257156B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894008A (zh) * | 2015-01-16 | 2016-08-24 | 广西卡斯特动漫有限公司 | 结合特征点匹配及深度神经网络检测的目标运动跟踪方法 |
CN105701460A (zh) * | 2016-01-07 | 2016-06-22 | 王跃明 | 一种基于视频的篮球进球检测方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于压缩感知的视频目标跟踪研究;李灿锋;《中国优秀硕士学位论文全文数据库》;20180115(第01期);第3.3节、第4.4-4.5节 * |
Also Published As
Publication number | Publication date |
---|---|
CN108257156A (zh) | 2018-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113012203B (zh) | 一种复杂背景下高精度多目标跟踪方法 | |
US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
CN107680120B (zh) | 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法 | |
EP2164041B1 (en) | Tracking method and device adopting a series of observation models with different lifespans | |
CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
EP2352128B1 (en) | Mobile body detection method and mobile body detection apparatus | |
CN110738690A (zh) | 一种基于多目标追踪框架的无人机视频中车速校正方法 | |
CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
CN112634333B (zh) | 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置 | |
CN111402303A (zh) | 一种基于kfstrcf的目标跟踪架构 | |
CN110717934A (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
CN107368802B (zh) | 基于kcf和人脑记忆机制的运动目标跟踪方法 | |
CN107657627B (zh) | 基于人脑记忆机制的时空上下文目标跟踪方法 | |
CN116740126A (zh) | 目标跟踪方法、高速相机及存储介质 | |
CN113033356B (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
Jung et al. | Sequential Monte Carlo filtering with long short-term memory prediction | |
CN108257156B (zh) | 一种从视频中自动追踪目标物体的方法 | |
CN110580712B (zh) | 一种使用运动信息与时序信息的改进CFNet视频目标追踪方法 | |
CN110751671B (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
CN107273801B (zh) | 一种视频多目标跟踪检测异常点的方法 | |
Fu et al. | A novel video target tracking method based on lie group manifold. | |
Zhu et al. | Surf points based moving target detection and long-term tracking in aerial videos | |
Sujatha et al. | An innovative moving object detection and tracking system by using modified region growing algorithm | |
Wibowo et al. | Multi-scale color features based on correlation filter for visual tracking | |
CN108346158B (zh) | 基于主块数据关联的多目标跟踪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |