CN113807250B - 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 - Google Patents
一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 Download PDFInfo
- Publication number
- CN113807250B CN113807250B CN202111090921.8A CN202111090921A CN113807250B CN 113807250 B CN113807250 B CN 113807250B CN 202111090921 A CN202111090921 A CN 202111090921A CN 113807250 B CN113807250 B CN 113807250B
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- scale
- filter template
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 69
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 18
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008447 perception Effects 0.000 claims description 15
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法。本发明针对低空空域飞行目标自身及其所处环境的特点,引入遮挡判断机制,采取位置预测和重检测相结合的方式降低了目标被遮挡时对跟踪算法的影响,利用尺度金字塔实现了目标尺度自适应,提高了跟踪算法对于遮挡和尺度变化情况的抵抗力,抑制了跟踪漂移问题,提高了算法精度,满足对低空空域飞行目标进行视觉跟踪的要求。
Description
技术领域
本发明涉及低空飞行目标跟踪技术领域,具体涉及一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法。
背景技术
近年来,无人机“黑飞”事件时有发生,给民用航空等带来了极大的威胁和挑战。“黑飞”无人机等空中非合作目标往往呈现飞行高度低、飞行速度慢、体积小等特点,还往往受到复杂的树木、楼房、围墙等背景杂波影响,然而,在目标跟踪过程中,当目标对象出现遮挡、尺度变化以及快速运动等问题时,由于传统核相关滤波算法按固定学习率更新的原因,会出现跟踪漂移、目标丢失等问题,无法进行有效跟踪定位。因此,如何实现对低空空域飞行目标进行有效的跟踪定位,成为人们亟待解决的问题。
发明内容
本发明针对低空空域飞行目标自身及其所处环境的特点,提供了一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,利用位置预测、目标重新检测等方法解决对低空空域飞行目标跟踪过程中目标被遮挡和尺度变化的问题。
为了实现上述目的,本发明采用如下技术方案:
一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,包括如下步骤:
S1:提取跟踪目标的融合特征,建立目标滤波器模板
获取低空飞行目标视频,对视频进行分帧处理,第一帧确定跟踪目标,标记目标区域框体,提取目标区域的HOG特征和CN特征,并训练目标的滤波器模板x,同时训练用于尺度计算的一维滤波器模板h;
S2:获取目标位置
使用训练的目标滤波器模板x和当前帧(进行跟踪的视频帧)提取的HOG特征和CN特征计算目标响应图得到响应图峰值f和目标位置l;根据目标响应图峰值f和响应图平均值/>计算平均遮挡距离MO;
S3:判断目标的遮挡程度
根据平均遮挡距离MO和上下文遮挡感知因子S判断目标的遮挡情况:如果目标没有被遮挡,学习率η不发生改变,更新滤波器模板x和一维滤波器模板h;如果目标被轻微遮挡,降低学习率η,更新滤波器模板x和一维滤波器模板h;如果目标被严重遮挡,学习率η为0,不更新目标滤波器模板x和一维滤波器模板h;
S4:确定目标位置及目标尺度大小
根据步骤S3判断目标得遮挡程度,如果目标没有被遮挡或被轻微遮挡,使用步骤S2计算得到的当前帧目标位置l,并通过步骤S1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小;如果目标被严重遮挡,使用位置预测算法和重检测定位目标位置,再通过步骤S1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小;
S5:更新滤波器模板
根据步骤S4确定的当前帧目标位置l,提取目标区域的HOG特征和CN特征,根据步骤S3判断目标遮挡程度选择学习率并更新滤波器模板x和一维滤波器模板h;
S6:判断是否为最后一帧图像
判断当前帧是否为最后一帧图像,如果是则结束跟踪过程,否则跳转到下一帧,重复步骤S2~步骤S6。
优选方案,步骤S1中,提取目标区域的HOG特征和CN特征的融合权重分别为0.5和0.5,一维滤波器模板h的构建方式如下:
把标记目标区域框体分别放大缩小7~16个不同的倍数,加上标记目标区域框体得到15~33个不同大小的目标区域;分别提取15~33个不同大小的目标区域HOG特征和CN特征,得到15~33个不同的用于尺度计算的滤波器模板,形成15~33个矩阵数据,矩阵的每一列首尾相接展成一维向量,得到15~33个用于尺度计算的一维尺度滤波器模板h。
优选方案,步骤S2中,平均遮挡距离MO的计算方式如下:
首先,找出响应图中响应值大于平均响应值/>并且小于v倍响应图峰值f的点,记其位置集合为A:
其中,为当前帧响应图,/>为响应图平均值,v预设好的参数且f为响应图峰值;
平均局遮挡距离度量MO为:
其中,n为集合A所包含点的个数,(m,n)为响应峰值f所在位置。
优选方案,步骤S3中,上下文遮挡感知因子S的计算方式如下:
以上一帧的目标位置为中心点提取图像区域记为z0,其上下左右四个方向相同大小的区域记为z1~z4;若目标发生遮挡,z0区域对应的响应峰值与z1~z4对应的响应图峰值应该彼此比较接近,上下文遮挡感知因子S为:
其中,yi表示区域zi对应的响应图,当目标被严重遮挡时,目标区域和背景区域的响应值会非常接近,上下文遮挡感知因子S会非常小。
优选方案,步骤S3中,通过平均遮挡距离MO和上下文遮挡感知因子S两个判别条件判断目标的遮挡程度:
其中,λ1,λ2是设定好的阈值,当MO>λ1且S<λ2时,说明目标被严重遮挡;当MO>λ1且S>λ2时,说明目标被轻微遮挡;当MO<λ1时,说明目标没有被遮挡。
如果目标没有被遮挡,学习率η不发生改变,滤波器模板x和一维滤波器模板h正常更新;如果目标被轻微遮挡,此时目标区域含有大部分正确的目标信息和少部分遮挡物信息,学习率η降低,更新滤波器模板x一维滤波器模板h,减少背景对目标模型的影响;如果目标被严重遮挡,学习率η为0,不更新目标滤波器模板x和一维滤波器模板h,遏制遮挡物对目标模型的影响。
学习率的选择如公式所示:
其中,η为跟踪算法预设好的学习率。
优选方案,步骤S4中,当目标被严重遮挡时,使用位置预测和重检测定位目标位置,具体步骤如下:
(1)预测目标位置
若判断第t帧目标被遮挡,取其前k帧目标所在位置组成位置信息向量d:
d=[lt-k,lt-k+1,…,lt-1] (6)
则帧间目标位置偏移量dl为:
dl=[lt-k+1-lt-k,…,lt-1-lt-2] (7)
距离第t帧越远的帧,其位置信息与第t帧目标位置的关联就越小,定义权重向量为ω:
ω=[ω1,ω2,…,ωk-1] (8)
其中,ω1<ω2<…<ωk-1;
所以,前k帧的位移总偏移量△l为:
△l=dl′×ω (9)
所以,预测第t帧目标位置lt为:
lt=lt-1+△l (10)
其中,lt-1为第t-1帧目标位置;
(2)确定重检测区域进行重检测
以预测位置lt为中心标记预测目标区域,将标记预测目标区域放大j倍得到预测目标区域框体,预测目标区域框体与步骤S1中提取用于训练滤波器模板x的特征区域大小相同,以标记预测目标区域为中心、预测目标区域框体9倍大小的区域进行重检测:
以lt-(a,b)为起始点,(a,b)为预测目标区域框体的宽和高,横向步长为sx=0.5a、纵向步长为sy=0.5b向右和向下共提取25个预测目标区域框体样本,对每个预测目标区域框体样本分别计算其响应图,得到每个预测目标区域框体样本的响应图峰值fi;侯选样本的跟踪置信度记为c=[f1,f2,…,f25];用p惩罚相邻帧之间位置的剧烈变化,定义为:
其中,lt-1为第t-1帧的目标位置,表示第i个样本的目标位置,σ为高斯核;
因为相邻帧之间目标的位置不会大范围移动,将p与置信度c乘积作为新的置信度,用p惩罚距离上一帧目标位置远的样本,降低其成为跟踪目标的可能性:
c=c·p (12)
对25个预测目标区域框体样本做完惩罚的响应值进行比较,得到最大响应值fmax,fmax所对应的位置即为第t帧的目标位置;
(3)遮挡情况判断
对得到的目标位置进行步骤S3中遮挡情况判断,若判定目标被完全遮挡,说明目标并未脱离遮挡区域,输出使用位置预测得到的目标位置lt;若判定目标未被遮挡或轻微遮挡,输出使用fmax为目标位置。
优选方案,步骤S4中,目标尺度的计算方式为:
使用步骤S1创建好的15~33个一维尺度滤波器模板h分别对当前帧的目标进行检测,得到15~33个不同的响应图,对每个响应图的峰值进行比较,得到最大响应值Fmax;Fmax所对应的尺度就为目标最佳的尺度。
优选方案,步骤S5中,为了降低目标被遮挡对目标位置和尺度估计的影响,滤波器模板x和一维尺度滤波器模板h根据不同遮挡情况自适应更新:
滤波器模板x的模板更新方式为:
x=(1-η)x+ηx1 (13)
其中,x1为当前帧训练的目标滤波器模板;
一维尺度滤波器模板h的模板更新方式为:
h=(1-η)h+ηh1 (14)
其中,h1为当前帧训练的一维尺度滤波器。
与现有技术相比,本发明的有益效果如下:
本发明通过引入遮挡判断机制,采取位置预测和重检测相结合的方式降低了目标被遮挡时对跟踪算法的影响,利用尺度金字塔实现了目标尺度自适应,提高了跟踪算法对于遮挡和尺度变化情况的抵抗力,抑制了跟踪漂移问题,提高了算法精度,满足对低空空域飞行目标进行视觉跟踪的要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明抗遮挡和尺度自适应的低空空域飞行目标跟踪方法的流程图;
图2为本发明实施例1中判断目标的遮挡程度过程中上下文遮挡感知因子S计算区域示意图;
图3为本发明实施例1中判断目标的遮挡程度过程中目标未被遮挡情况示意图;
图4为本发明实施例1中判断目标的遮挡程度过程中目标被轻微遮挡情况示意图;
图5为本发明实施例1中判断目标的遮挡程度过程中目标被严重遮挡情况示意图;
图6为本发明实施例1目标跟踪方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,包括如下步骤:
S1:提取跟踪目标的融合特征,建立目标滤波器模板
获取低空飞行目标视频,对视频进行分帧处理,第一帧确定跟踪目标,标记目标区域框体,提取目标区域的HOG特征和CN特征,并训练目标的滤波器模板x,同时训练用于尺度计算的一维滤波器模板h;
其中,提取目标区域的HOG特征和CN特征的融合权重分别为0.5和0.5,一维滤波器模板h的构建方式如下:
为了得到目标精确的框体大小,把标记目标区域框体分别放大缩小16个不同的倍数,加上标记目标区域框体得到33个不同大小的目标区域;分别提取33个不同大小的目标区域HOG特征和CN特征,得到33个不同的滤波器模板,形成33个矩阵数据,矩阵的每一列首尾相接展成一维向量,得到33个一维尺度滤波器模板h。
S2:获取目标位置
使用训练的目标滤波器模板x和当前帧(进行跟踪的视频帧)提取的HOG特征和CN特征计算目标响应图得到响应图峰值f和目标位置l;根据目标响应图峰值f和响应图平均值/>计算平均遮挡距离MO:
首先,找出响应图中响应值大于平均响应值/>并且小于v倍响应图峰值f的点,记其位置集合为A:
其中,为当前帧响应图,/>为响应图平均值,v=0.8为预设好的参数,f为响应图峰值;
平均局遮挡距离度量MO为:
其中,n为集合A所包含点的个数,(m,n)为响应峰值f所在位置。
S3:判断目标的遮挡程度
如图2所示,根据平均遮挡距离MO的大小判断目标的状态:
如果平均遮挡距离MO<λ1,说明目标没有被遮挡,学习率不发生改变,滤波器模板x和一维滤波器模板h正常更新;λ1,是设定好的阈值,本实施例中根据遮挡情况的变化,设定λ1=12;
如果平均遮挡距离MO>λ1,说明目标被遮挡,以目标位置l为中心提取目标图像和上下左右四个方向的图像,在所有图像上提取HOG特征,得到5个相关响应图,计算上下文遮挡感知因子S,使用上下文遮挡感知因子S判断目标的遮挡程度。
上下文遮挡感知因子S的计算方式如下:
如图2所示,以上一帧的目标位置为中心点提取图像区域记为z0,其上下左右四个方向相同大小的区域记为z1~z4;若目标发生遮挡,z0区域对应的响应峰值与z1~z4对应的响应图峰值应该彼此比较接近,上下文遮挡感知因子S为:
其中,yi表示区域zi对应的响应图。
λ2是设定好的阈值,本实施例中根据遮挡程度的变化,设定λ2=0.01;如果上下文遮挡感知因子S>λ2,说明目标被轻微遮挡,如果上下文遮挡感知因子S<λ2,说明目标被严重遮挡。当目标被严重遮挡时,目标区域和背景区域的响应值会非常接近,上下文遮挡感知因子S会非常小。
通过平均遮挡距离MO和上下文遮挡感知因子S两个判别条件可以判断目标的遮挡程度:
其中,λ1,λ2是设定好的阈值,其中,λ1=12,λ2=0.01;当MO>λ1且S<λ2时,说明目标被严重遮挡;当MO>λ1且S>λ2时,说明目标被轻微遮挡;当MO<λ1时,说明目标没有被遮挡。
如图3所示,如果目标没有被遮挡,学习率η不发生改变,滤波器模板x和一维滤波器模板h正常更新;如图4所示,如果目标被轻微遮挡,此时目标区域含有大部分正确的目标信息和少部分遮挡物信息,学习率η降低,更新滤波器模板x一维滤波器模板h,如减少背景对目标模型的影响;如图5所示,如果目标被严重遮挡,学习率η为0,不更新目标滤波器模板x和一维滤波器模板h,遏制遮挡物对目标模型的影响。
学习率的选择如公式所示:
S4:确定目标位置和目标尺度大小
根据步骤S3判断目标的遮挡程度,如果目标如图3所示没有被遮挡或如图4所示的被轻微遮挡,使用步骤S2计算得到的当前帧目标位置l,并通过步骤S1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小;如果目标如图5所示被严重遮挡,使用位置预测算法和重检测定位目标位置,再通过步骤S1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小;
具体地,当目标被严重遮挡时,使用位置预测和重检测定位目标位置,其步骤如下:
(1)预测目标位置
判断第60帧目标被遮挡,本实施例中取其前15帧(第45帧到第59帧)目标所在位置组成位置信息向量d:
d=[lt-k,lt-k+1,…,lt-1] (6)
则帧间目标位置偏移量dl为:
dl=[lt-k+1-lt-k,…,lt-1-lt-2] (7)
距离第t帧越远的帧,其位置信息与第t帧目标位置的关联就越小,定义权重向量为ω:
ω=[ω1,ω2,…,ωk-1] (8)
其中,ω1<ω2<…<ωk-1;
所以,前k帧的位移总偏移量△l为:
△l=dl′×ω (9)
所以,预测第t帧目标位置lt为:
lt=lt-1+△l (10)
其中,lt-1为第t-1帧目标位置;
(2)确定重检测区域进行重检测
以预测位置lt为中心标记预测目标区域,将标记预测目标区域放大j倍得到预测目标区域框体,预测目标区域框体与步骤S1中提取用于训练滤波器模板x的特征区域大小相同,以标记预测目标区域为中心、预测目标区域框体9倍大小的区域进行重检测:
以lt-(a,b)为起始点,(a,b)为预测目标区域框体的宽和高,横向步长为sx=0.5a、纵向步长为sy=0.5b向右和向下共提取25个预测目标区域框体样本,对每个预测目标区域框体样本分别计算其响应图,得到每个预测目标区域框体样本的响应图峰值fi;侯选样本的跟踪置信度记为c=[f1,f2,…,f25];用p惩罚相邻帧之间位置的剧烈变化,定义为:
其中,lt-1为第t-1帧的目标位置,表示第i个样本的目标位置,σ为高斯核;
因为相邻帧之间目标的位置不会大范围移动,将p与置信度c乘积作为新的置信度,用p惩罚距离上一帧目标位置远的样本,降低其成为跟踪目标的可能性:
c=c·p (12)
对25个预测目标区域框体样本做完惩罚的响应值进行比较,得到最大响应值fmax,fmax所对应的位置即为第t帧的目标位置;
(3)遮挡情况判断
对得到的目标位置进行步骤S3中遮挡情况判断,若判定目标被完全遮挡,说明目标并未脱离遮挡区域,输出使用位置预测得到的目标位置lt;若判定目标未被遮挡或轻微遮挡,输出使用fmax为目标位置。
目标尺度大小的计算方式为:
使用步骤S1创建好的33个一维尺度滤波器模板h分别对当前帧的目标进行检测,得到33个不同的响应图,对每个响应图的峰值进行比较,得到最大响应值Fmax,Fmax所对应的尺度就为目标最佳的尺度。为了降低目标被遮挡对目标尺度估计的影响,一维尺度滤波器模板h根据不同遮挡情况自适应更新。
S5:更新滤波器模板
根据步骤S4确定的当前帧目标位置l,提取目标区域的HOG特征和CN特征,根据步骤S3判断目标遮挡程度选择学习率并更新滤波器模板x和一维滤波器模板h;
为了降低目标被遮挡对目标位置和尺度估计的影响,滤波器模板x和一维尺度滤波器模板h根据不同遮挡情况自适应更新:
滤波器模板x的模板更新方式为:
x=(1-η)x+ηx1(13)
其中,x1为当前帧训练的目标滤波器模板;
一维尺度滤波器模板h的模板更新方式为:
h=(1-η)h+ηh1 (14)
其中,h1为当前帧训练的一维尺度滤波器。
S6:判断是否为最后一帧图像
判断当前帧是否为最后一帧图像,如果是则结束跟踪过程,否则跳转到下一帧,重复步骤S2~步骤S6。
本发明通过遮挡判断,在目标严重遮挡时,采取位置预测和重检测相结合的方式降低了目标被遮挡时对跟踪算法的影响,利用尺度金字塔实现了目标尺度自适应,提高了跟踪算法对于遮挡和尺度变化情况的抵抗力,抑制了跟踪漂移问题,提高了算法精度,改进了核相关滤波算法,更好的满足对低空空域飞行目标进行视觉跟踪的要求。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,其特征在于,包括如下步骤:
S1:提取跟踪目标的融合特征,建立目标滤波器模板
获取低空飞行目标视频,对视频进行分帧处理,第一帧确定跟踪目标,标记目标区域框体,提取目标区域的HOG特征和CN特征,,并训练目标的滤波器模板x,同时训练用于尺度计算的一维滤波器模板h;
S2:获取目标位置
使用训练的目标滤波器模板x和当前帧提取的HOG特征和CN特征计算目标响应图得到响应图峰值f和目标位置l,其中,所述当前帧为进行跟踪的视频帧;根据目标响应图峰值f和响应图平均值/>计算平均遮挡距离MO;
其中,平均遮挡距离MO的计算方式如下:
首先,找出响应图中响应值大于平均响应值/>并且小于v倍响应图峰值f的点,记其位置集合为A:
其中,为当前帧响应图,/>为响应图平均值,v预设好的参数且f为响应图峰值;
平均局遮挡距离度量MO为:
其中,n为集合A所包含点的个数,(m,n)为响应峰值f所在位置;
S3:判断目标的遮挡程度
根据平均遮挡距离MO和上下文遮挡感知因子S判断目标的遮挡情况:如果目标没有被遮挡,学习率η不发生改变,更新滤波器模板x和一维滤波器模板h;如果目标被轻微遮挡,降低学习率η,更新滤波器模板x和一维滤波器模板h;如果目标被严重遮挡,学习率η为0,不更新目标滤波器模板x和一维滤波器模板h;
上下文遮挡感知因子S的计算方式如下:
以上一帧的目标位置为中心点提取图像区域记为z0,其上下左右四个方向相同大小的区域记为z1~z4;若目标发生遮挡,z0区域对应的响应峰值与z1~z4对应的响应图峰值应该彼此比较接近,上下文遮挡感知因子S为:
其中,yi表示区域zi对应的响应图,当目标被严重遮挡时,目标区域和背景区域的响应值会非常接近,上下文遮挡感知因子S会非常小;
S4:确定目标位置及目标尺度大小
根据步骤S3判断目标得遮挡程度,如果目标没有被遮挡或被轻微遮挡,使用步骤S2计算得到的当前帧目标位置l,并通过步骤S1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小;如果目标被严重遮挡,使用位置预测算法和重检测定位目标位置,再通过步骤S1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小;
S5:更新滤波器模板
根据步骤S4确定的当前帧目标位置l,提取目标区域的HOG特征和CN特征,根据步骤S3判断目标遮挡程度选择学习率并更新滤波器模板x和一维滤波器模板h;
S6:判断是否为最后一帧图像
判断当前帧是否为最后一帧图像,如果是则结束跟踪过程,否则跳转到下一帧,重复步骤S2~步骤S6。
2.根据权利要求1所述的抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,其特征在于,所述的步骤S1中提取目标区域的HOG特征和CN特征的融合权重分别为0.5和0.5,一维滤波器模板h的构建方式如下:
把标记目标区域框体分别放大缩小7~16个不同的倍数,加上标记目标区域框体得到15~33个不同大小的目标区域;分别提取15~33个不同大小的目标区域HOG特征和CN特征,得到15~33个不同的用于尺度计算的滤波器模板,形成15~33个矩阵数据,矩阵的每一列首尾相接展成一维向量,得到15~33个用于尺度计算的一维尺度滤波器模板h。
3.根据权利要求1所述的抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,其特征在于,所述的步骤S3中,通过平均遮挡距离MO和上下文遮挡感知因子S两个判别条件判断目标的遮挡程度:
其中,λ1,λ2是设定好的阈值,当MO>λ1且S<λ2时,说明目标被严重遮挡;当MO>λ1且S>λ2时,说明目标被轻微遮挡;当MO<λ1时,说明目标没有被遮挡;
如果目标没有被遮挡,学习率η不发生改变,滤波器模板x和一维滤波器模板h正常更新;如果目标被轻微遮挡,此时目标区域含有大部分正确的目标信息和少部分遮挡物信息,学习率η降低,更新滤波器模板x一维滤波器模板h,减少背景对目标模型的影响;如果目标被严重遮挡,学习率η为0,不更新目标滤波器模板x和一维滤波器模板h,遏制遮挡物对目标模型的影响;
学习率的选择如公式所示:
其中,η为跟踪算法预设好的学习率。
4.根据权利要求1所述的抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,其特征在于,所述的步骤S4中,当目标被严重遮挡时,使用位置预测和重检测定位目标位置,具体步骤如下:
(1)预测目标位置
若判断第t帧目标被遮挡,取其前k帧目标所在位置组成位置信息向量d:
d=[lt-k,lt-k+1,…,lt-1] (6)
则帧间目标位置偏移量dl为:
dl=[lt-k+1-lt-k,…,lt-1-lt-2] (7)
距离第t帧越远的帧,其位置信息与第t帧目标位置的关联就越小,定义权重向量为ω:
ω=[ω1,ω2,…,ωk-1] (8)
其中,ω1<ω2<…<ωk-1;
所以,前k帧的位移总偏移量Δl为:
Δl=dl×ω (9)
所以,预测第t帧目标位置lt为:
lt=lt-1+Δl (10)
其中,lt-1为第t-1帧目标位置;
(2)确定重检测区域进行重检测
以预测位置lt为中心标记预测目标区域,将标记预测目标区域放大j倍得到预测目标区域框体,预测目标区域框体与步骤S1中提取用于训练滤波器模板x的特征区域大小相同,以标记预测目标区域为中心、预测目标区域框体9倍大小的区域进行重检测:
以lt-(a,b)为起始点,(a,b)为预测目标区域框体的宽和高,横向步长为sx=0.5a、纵向步长为sy=0.5b向右和向下共提取25个预测目标区域框体样本,对每个预测目标区域框体样本分别计算其响应图,得到每个预测目标区域框体样本的响应图峰值fi;侯选样本的跟踪置信度记为c=[f1,f2,…,f25];用p惩罚相邻帧之间位置的剧烈变化,定义为:
其中,lt-1为第t-1帧的目标位置,表示第i个样本的目标位置,σ为高斯核;
因为相邻帧之间目标的位置不会大范围移动,将p与置信度c乘积作为新的置信度c',用p惩罚距离上一帧目标位置远的样本,降低其成为跟踪目标的可能性:
c′=c·p (12)
对25个预测目标区域框体样本做完惩罚的响应值进行比较,得到最大响应值fmax,fmax所对应的位置即为第t帧的目标位置;
(3)遮挡情况判断
对得到的目标位置进行步骤S3中遮挡情况判断,若判定目标被完全遮挡,说明目标并未脱离遮挡区域,输出使用位置预测得到的目标位置lt;若判定目标未被遮挡或轻微遮挡,输出使用fmax为目标位置。
5.根据权利要求2所述的抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,其特征在于,所述的步骤S4中,目标尺度的计算方式为:
使用步骤S1创建好的15~33个一维尺度滤波器模板h分别对当前帧的目标进行检测,得到15~33个不同的响应图,对每个响应图的峰值进行比较,得到最大响应值Fmax;Fmax所对应的尺度就为目标最佳的尺度。
6.根据权利要求1所述的抗遮挡和尺度自适应的低空空域飞行目标跟踪方法,其特征在于,所述的步骤S5中,为了降低目标被遮挡对目标位置和尺度估计的影响,滤波器模板x和一维尺度滤波器模板h根据不同遮挡情况自适应更新:
滤波器模板x的模板更新方式为:
x'=(1-η)x+ηx1 (13)
其中,x1为当前帧训练的目标滤波器模板,η表示学习率,x表示更新前的滤波器模板,x′表示更新后的滤波器模板;
一维尺度滤波器模板h的模板更新方式为:
h'=(1-η)h+ηh1 (14)
其中,h1为当前帧训练的一维尺度滤波器,η表示学习率,h表示更新前的一维尺度滤波器模板,h'为更新后的一维尺度滤波器模板。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111090921.8A CN113807250B (zh) | 2021-09-17 | 2021-09-17 | 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111090921.8A CN113807250B (zh) | 2021-09-17 | 2021-09-17 | 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807250A CN113807250A (zh) | 2021-12-17 |
CN113807250B true CN113807250B (zh) | 2024-02-02 |
Family
ID=78895755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111090921.8A Active CN113807250B (zh) | 2021-09-17 | 2021-09-17 | 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113807250B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480704A (zh) * | 2017-07-24 | 2017-12-15 | 南开大学 | 一种具有遮挡感知机制的实时视觉目标跟踪方法 |
WO2018095082A1 (zh) * | 2016-11-28 | 2018-05-31 | 江苏东大金智信息系统有限公司 | 一种视频监测中运动目标的快速检测方法 |
CN109816693A (zh) * | 2019-01-28 | 2019-05-28 | 中国地质大学(武汉) | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
CN110163891A (zh) * | 2019-04-30 | 2019-08-23 | 长沙师范学院 | 基于感知模型的长期目标跟踪方法 |
WO2020078138A1 (zh) * | 2018-10-16 | 2020-04-23 | 北京理工大学 | 一种运动目标跟踪方法及系统 |
CN111340846A (zh) * | 2020-02-25 | 2020-06-26 | 重庆邮电大学 | 一种多特征融合的抗遮挡目标跟踪方法 |
KR102175491B1 (ko) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | 상관 필터 기반 객체 추적 방법 |
CN112419369A (zh) * | 2020-12-11 | 2021-02-26 | 哈尔滨工业大学 | 一种抗遮挡实时目标跟踪方法 |
CN112613565A (zh) * | 2020-12-25 | 2021-04-06 | 电子科技大学 | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11094070B2 (en) * | 2019-04-23 | 2021-08-17 | Jiangnan University | Visual multi-object tracking based on multi-Bernoulli filter with YOLOv3 detection |
-
2021
- 2021-09-17 CN CN202111090921.8A patent/CN113807250B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018095082A1 (zh) * | 2016-11-28 | 2018-05-31 | 江苏东大金智信息系统有限公司 | 一种视频监测中运动目标的快速检测方法 |
CN107480704A (zh) * | 2017-07-24 | 2017-12-15 | 南开大学 | 一种具有遮挡感知机制的实时视觉目标跟踪方法 |
WO2020078138A1 (zh) * | 2018-10-16 | 2020-04-23 | 北京理工大学 | 一种运动目标跟踪方法及系统 |
CN109816693A (zh) * | 2019-01-28 | 2019-05-28 | 中国地质大学(武汉) | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
CN110163891A (zh) * | 2019-04-30 | 2019-08-23 | 长沙师范学院 | 基于感知模型的长期目标跟踪方法 |
KR102175491B1 (ko) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | 상관 필터 기반 객체 추적 방법 |
CN111340846A (zh) * | 2020-02-25 | 2020-06-26 | 重庆邮电大学 | 一种多特征融合的抗遮挡目标跟踪方法 |
CN112419369A (zh) * | 2020-12-11 | 2021-02-26 | 哈尔滨工业大学 | 一种抗遮挡实时目标跟踪方法 |
CN112613565A (zh) * | 2020-12-25 | 2021-04-06 | 电子科技大学 | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113807250A (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104282020B (zh) | 一种基于目标运动轨迹的车辆速度检测方法 | |
CN110084836B (zh) | 基于深度卷积特征分层响应融合的目标跟踪方法 | |
CN107564034A (zh) | 一种监控视频中多目标的行人检测与跟踪方法 | |
CN105678338B (zh) | 基于局部特征学习的目标跟踪方法 | |
CN109977895B (zh) | 一种基于多特征图融合的野生动物视频目标检测方法 | |
CN109493367B (zh) | 一种对目标对象进行跟踪的方法和设备 | |
JP7263216B2 (ja) | ワッサースタイン距離を使用する物体形状回帰 | |
CN107301657B (zh) | 一种考虑目标运动信息的视频目标跟踪方法 | |
CN111161309B (zh) | 一种车载视频动态目标的搜索与定位方法 | |
CN110555870B (zh) | 基于神经网络的dcf跟踪置信度评价与分类器更新方法 | |
CN108876820B (zh) | 一种基于均值漂移的遮挡条件下移动目标追踪方法 | |
CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
CN113327272B (zh) | 一种基于相关滤波的鲁棒性长时跟踪方法 | |
CN108230355A (zh) | 目标跟踪及神经网络训练方法、装置、存储介质和电子设备 | |
CN110717934B (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
CN112052802A (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN103077534B (zh) | 时空多尺度运动目标检测方法 | |
CN113379789A (zh) | 一种复杂环境下运动目标跟踪方法 | |
CN110751671B (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
CN113807250B (zh) | 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 | |
CN113436228A (zh) | 一种相关滤波目标跟踪算法的抗遮挡及目标重捕方法 | |
CN111340846B (zh) | 一种多特征融合的抗遮挡目标跟踪方法 | |
CN112017213B (zh) | 一种目标对象的位置更新方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |