CN108537822B - 基于加权置信度估计的运动目标跟踪方法 - Google Patents

基于加权置信度估计的运动目标跟踪方法 Download PDF

Info

Publication number
CN108537822B
CN108537822B CN201810315261.0A CN201810315261A CN108537822B CN 108537822 B CN108537822 B CN 108537822B CN 201810315261 A CN201810315261 A CN 201810315261A CN 108537822 B CN108537822 B CN 108537822B
Authority
CN
China
Prior art keywords
image
video image
image block
tracked
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810315261.0A
Other languages
English (en)
Other versions
CN108537822A (zh
Inventor
田小林
伍丽荣
贾贺姿
张佳怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Publication of CN108537822A publication Critical patent/CN108537822A/zh
Application granted granted Critical
Publication of CN108537822B publication Critical patent/CN108537822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于加权置信度估计的运动目标跟踪方法,主要解决当目标发生外观形变、光照变化而导致跟踪失败的跟踪问题。本发明实现的步骤如下:(1)确定运动待跟踪目标的初始位置;(2)读取视频图像;(3)对图像块进行采样;(4)计算图像块跟踪后的似然值;(5)计算图像块在待跟踪目标处的观测似然值;(6)预测待跟踪目标的位置和大小;(8)判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧视频图像,若是,则执行步骤(8),否则,执行步骤(2);(8)结束对运动待跟踪目标的跟踪。本发明通过加权置信度估计的方法,能够利用准确的置信度值,预测待跟踪目标位置和大小。

Description

基于加权置信度估计的运动目标跟踪方法
技术领域
本发明属于图像处理技术领域,更进一步涉及计算机视觉技术领域中的一种基于加权置信度估计的运动目标跟踪方法。本发明采用一种加权置信度估计的方法,在待跟踪的运动目标附近采样图像块,分别计算图像块的跟踪后似然值以及图像块在目标处的似然值,并对跟踪后似然值和在目标处的观测似然值加权,从而获得每个图像块的置信度来对运动目标位置和大小进行预测,实现对运动目标的跟踪。本发明可利用视频监控、机器人导航和定位、无人驾驶机对运动物体的目标进行跟踪。
背景技术
运动目标跟踪的主要任务是,从连续的视频图像序列中检测出运动目标,进而在每一帧图像中确定出运动目标的位置。随着人们对计算机视觉领域的不断深入认识,运动目标跟踪在该领域得到广泛应用和发展,目前已经存在大量的跟踪算法来实现运动目标跟踪。但是,由于遮挡、背景杂乱、外观形变、光照变化、视角变化等客观因素的影响,使得实时准确地跟踪目标仍然面临极大挑战。
南京航空航天大学在其申请的专利文献“一种抗遮挡的目标跟踪方法”(专利申请号201610818828.7,公开号106408591A)中公开了一种基于检测、跟踪与学习的目标跟踪方法。该方法实现的具体步骤是,首先,根据初始的图像帧,确定目标的区域,跟踪器通过该目标区域形成初始目标模板;其次,初始化级联检测器参数;接着,加入遮挡的检测机制,并实时更新阈值;然后,分别计算跟踪器和检测器对目标的跟踪置信度和检测置信度;最后,根据置信度整合跟踪结果,如跟踪器跟踪失败,用检测结果初始化,跟踪结果通过学习模块,对检测器相应参数更新。该方法存在的不足之处是,利用目标模板和背景模板的加权结果作为置信度值,未能反映待跟踪目标响应的波动情况,训练得到的分类器识别能力不够强,当目标发生强烈光照变化、目标快速运动时无法实现长期准确地跟踪。
Yang Li,Jianke Zhu and Steven C.H.Hoi在其发表的论文“Reliable PatchTrackers:Robust Visual Tracking by Exploiting Reliable Patches”(《ComputerVision&Pattern Recognition》论文集2015年第353~361页)中公开了一种基于可靠图像块的目标跟踪方法。该方法的具体步骤是,首先,在初始帧图像运动目标附近随机采样一定数量的图像块;然后,使用基础跟踪器对每个图像块进行跟踪,并基于峰值旁瓣比和图像块的运动信息分别得到图像块的可跟踪似然值以及图像块在目标附近的似然值;最后,将可跟踪似然值和在目标附近的似然值二者的乘积作为图像块的后验概率,通过霍夫投票计算出运动目标的尺度和位置信息。该方法存在的不足之处是,没有区分图像块的跟踪后似然值和图像块在目标处的似然值的重要程度,实际上二者对运动目标的结果影响是有区别的,相比图像块在目标处的似然值,图像块的跟踪后似然值对运动目标的位置预测影响更大,没有区分可能会破坏跟踪效果的准确度。
发明内容
本发明针对上述现有技术的不足,提出一种基于加权置信度估计的运动目标跟踪方法,以实现当目标快速运动、遮挡、背景杂乱时对目标进行准确、有效地跟踪。
为实现上述目的,本发明的具体步骤如下:
(1)确定运动待跟踪目标的初始位置:
(1a)输入含有待跟踪目标的视频图像序列中的第一帧视频图像;
(1b)利用待跟踪视频图像序列基准中给出的待跟踪目标的初始中心位置和大小确定一个矩形框,用该矩形框标出第一帧视频图像中的待跟踪目标,将该矩形框的位置及其大小作为待跟踪目标的位置和大小;
(1c)以待跟踪目标位置为中心,在第一帧视频图像中任意定义两个矩形框,其大小分别为待跟踪目标大小的1.5倍和9倍;
(2)读取视频图像:
依次读取尚未读入的含有待跟踪目标的视频图像序列中的一帧视频图像,作为当前帧视频图像;
(3)对图像块进行采样:
(3a)将前一帧视频图像中待跟踪目标的坐标位置与待跟踪目标长度和宽度共4个数据,拉伸成一个4×50的二维矩阵;
(3b)通过仿射变换,生成一个4×50二维矩阵,将该二维矩阵与拉伸得到的二维矩阵相加,将相加后二维矩阵中的每个含有图像区域的坐标位置与大小的列向量组成采样后的图像块;
(3c)将位于1.5倍大矩形框内的每个采样图像块标注为正图像块,标上正标签+1,其余的采样图像块标注为负图像块,标上负标签-1;
(3d)利用偏移量公式,计算每个图像块的位置偏移量;
(4)计算图像块跟踪后的似然值:
(4a)利用核相关滤波器,对每个图像块进行跟踪,记录每个图像块中所有像素点对应的所有响应值;
(4b)利用平均峰值相关能量公式,计算每个图像块的响应波动值;
(4c)将每个图像块的响应波动值取平方后的值,作为每个图像块跟踪后的似然值;
(5)计算图像块在待跟踪目标处的观测似然值:
(5a)记录当前帧视频图像以及其前4帧视频图像共5帧视频图像,利用相对位移公式,计算每帧视频图像中的每一个图像块的相对位移量;
(5b)利用相似度公式,计算每帧视频图像中的每一个图像块与其具有相同标签的其余图像块的相似度值;
(5c)利用观测似然值公式,计算每帧视频图像中的每一个图像块在待跟踪目标处的观测似然值;
(6)预测待跟踪目标的位置和大小:
(6a)利用尺度变换公式,计算每一个图像块的尺度变换值,将得到所有图像块的尺度变换值进行排序,将排序中的中间尺度变换值作为待跟踪目标的尺度估计值;
(6b)利用待跟踪目标大小的预测公式,计算待跟踪目标的大小;
(6c)利用下述似然值加权公式,计算每帧视频图像中的每一个图像块的置信度值:
Figure GDA0002369013280000031
其中,
Figure GDA0002369013280000032
表示第t帧视频图像中第B个图像块
Figure GDA0002369013280000033
的置信度值,α表示值为0.95的系数,log表示以10为底的对数操作,
Figure GDA0002369013280000034
表示第t帧视频图像中第B个图像块
Figure GDA0002369013280000035
的跟踪后的似然值,μ表示值为1的系数,
Figure GDA0002369013280000036
表示第t帧视频图像中第B个图像块
Figure GDA0002369013280000037
的观测似然值;
(6d)利用权重计算公式,计算每帧视频图像中的每一个图像块的权重;
(6e)用每个图像块的权重乘以自身图像块的坐标位置后,对其乘积结果进行累加操作,将得到的值作为待跟踪目标的位置;
(7)判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧视频图像,若是,则执行步骤(8),否则,执行步骤(2);
(8)结束对运动待跟踪目标的跟踪。
发明与现有的技术相比具有以下优点:
第一,由于本发明利用平均峰值相关能量公式,计算每个图像块的响应波动值,将每个图像块的响应波动值取平方后的值,作为每个图像块跟踪后的似然值,克服了现有技术中跟踪似然值不能有效反映待跟踪目标响应的波动情况的不足,使得本发明能够更准确地预测待跟踪目标位置和大小。
第二,由于本发明利用似然值加权公式,计算每帧视频图像中的每一个图像块的置信度值,有效地克服了现有技术未能突出图像块的主要似然值的不足,使得本发明能够利用准确的置信度值,预测待跟踪目标位置和大小,增强了目标跟踪的准确性和可靠性。
附图说明
图1为本发明的流程图;
图2为本发明在输入的第一帧视频图像中用矩形框标出待跟踪目标的示意图;
图3为本发明仿真实验中输入的待跟踪目标发生外观形变时的一帧视频图像的跟踪结果示意图;
图4为本发明仿真实验中输入的待跟踪目标发生外观形变和光照变化时的一帧视频图像的跟踪结果示意图。
具体实施方式
下面结合附图对本发明做进一步的描述。
结合附图1中,实现本发明的具体步骤如下:
步骤1,确定运动待跟踪目标的初始位置。
输入含有待跟踪目标的视频图像序列中的第一帧视频图像。本发明的实施例中,所输入的一段待跟踪视频图像序列的第一帧图像如图2所示。图2为一段一名男子在室内跳跃走动的视频图像序列的第一帧图像,图2中最小的实线矩形框的位置表示待跟踪目标的初始位置。利用待跟踪视频图像序列基准中给出的待跟踪目标的初始中心位置和大小确定一个矩形框,用该矩形框标出第一帧视频图像中的待跟踪目标,将该矩形框的位置及其大小作为待跟踪目标的位置和大小。以待跟踪目标位置为中心,在第一帧视频图像中任意定义两个矩形框,其大小分别为待跟踪目标大小的1.5倍和9倍。图2中中间的虚线矩形框为定义的1.5倍大矩形框,最外围的虚线矩形框为定义的9倍大矩形框。
步骤2,读取视频图像。
依次读取尚未读入的含有待跟踪目标的视频图像序列中的一帧视频图像,作为当前帧视频图像。
步骤3,对图像块进行采样。
将前一帧视频图像中待跟踪目标的坐标位置与待跟踪目标长度和宽度共4个数据,拉伸成一个4×50的二维矩阵。通过仿射变换,生成一个4×50二维矩阵,将该二维矩阵与拉伸得到的二维矩阵相加,将相加后二维矩阵中的每个含有图像区域的坐标位置与大小的列向量组成采样后的图像块。将位于1.5倍大矩形框内的每个采样图像块标注为正图像块,标上正标签+1,其余的采样图像块标注为负图像块,标上负标签-1。利用偏移量公式,计算每个图像块的位置偏移量。
所述的仿射变换是指,将前一帧视频图像中待跟踪目标的坐标位置与待跟踪目标长度和宽度组成向量,对该向量先进行线性变换后在进行平移操作,得到一个4×50二维矩阵。
所述的偏移量公式如下:
Figure GDA0002369013280000051
其中,
Figure GDA0002369013280000052
表示第t帧视频图像中第i个图像块的位置偏移量,[E2×2,0]表示2×2的单位矩阵E2×2与2×2的零矩阵构成的2×4的矩阵,gt表示第t帧视频图像中的待跟踪目标,
Figure GDA0002369013280000053
表示第t帧视频图像中的第i个图像块。
步骤4,计算图像块跟踪后的似然值。
利用核相关滤波器,对每个图像块进行跟踪,记录每个图像块中所有像素点对应的所有响应值。利用平均峰值相关能量公式,计算每个图像块的响应波动值。将每个图像块的响应波动值取平方后的值,作为每个图像块跟踪后的似然值。
所述的平均峰值相关能量公式如下:
Figure GDA0002369013280000054
其中,φH表示第H个图像块的响应波动值,| |2表示取绝对值平方操作,Fmax表示第H个图像块中所有像素点响应中的最大响应值,Fmin表示第H个图像块中所有像素点响应中的最小响应值,mean表示取平均值操作,Σ表示求和操作,w和h分别表示第H个图像块中像素点的行和列的序号,Fw,h表示第H个图像块中第w行,第h列像素点的响应值。
步骤5,计算图像块在待跟踪目标处的观测似然值。
记录当前帧视频图像以及其前4帧视频图像共5帧视频图像,利用相对位移公式,计算每帧视频图像中的每一个图像块的相对位移量。利用相似度公式,计算每帧视频图像中的每一个图像块与其具有相同标签的其余图像块的相似度值。利用观测似然值公式,计算每帧视频图像中的每一个图像块在待跟踪目标处的观测似然值。
所述的相对位移公式如下:
Figure GDA0002369013280000061
其中,Vt (i)表示第t帧视频图像中第i个图像块的相对位移量,
Figure GDA0002369013280000062
表示第t-k+1帧视频图像中的第i个图像块,
Figure GDA0002369013280000063
表示第t-k帧视频图像中的第i个图像块,
Figure GDA0002369013280000064
表示第t帧视频图像中的第i个图像块,
Figure GDA0002369013280000065
表示第t-1帧视频图像中的第i个图像块,k表示值为5的系数,T表示转置操作。
所述的相似度公式如下:
Figure GDA0002369013280000066
其中,lJ表示第J个图像块与其具有相同标签的其余图像块的相似度值,yt表示第t帧视频图像中的第J个图像块的标签,yt∈{+1,-1},∈表示属于符号,+1表示正标签,-1表示负标签,N-表示当前帧视频图像中的负图像块的总数,a表示负图像块的序号,Ω-表示当前帧视频图像中的负图像块集合,|| ||2表示欧几里得范数操作,V表示第x个图像块的相对位移量,V(a)表示第a个负图像块的相对位移量,b表示正图像块的序号,N+表示当前帧视频图像中的正图像块的总数,Ω+当前帧视频图像中正图像块的集合,V(b)表示第b个正图像块的相对位移量。
所述的观测似然值公式如下:
Figure GDA0002369013280000071
其中,L(xt)表示第t帧视频图像中图像块xt在待跟踪目标处的观测似然值,e表示以自然常数为底的指数操作,l(xt)表示图像块xt与其具有相同标签的其余图像块的相似度值,μ表示值为1的系数。
步骤6,预测待跟踪目标的位置和大小。
利用尺度变换公式,计算每一个图像块的尺度变换值,将得到所有图像块的尺度变换值进行排序,将排序中的中间尺度变换值作为待跟踪目标的尺度估计值。利用待跟踪目标大小的预测公式,计算待跟踪目标的大小。利用下述似然值加权公式,计算每帧视频图像中的每一个图像块的置信度值:
Figure GDA0002369013280000072
其中,
Figure GDA0002369013280000073
表示第t帧视频图像中第B个图像块
Figure GDA0002369013280000074
的置信度值,α表示值为0.95的系数,log表示以10为底的对数操作,
Figure GDA0002369013280000075
表示第t帧视频图像中第B个图像块
Figure GDA0002369013280000076
的跟踪后的似然值,μ表示值为1的系数,
Figure GDA0002369013280000077
表示第t帧视频图像中第B个图像块
Figure GDA0002369013280000078
的观测似然值。
利用权重计算公式,计算每帧视频图像中的每一个图像块的权重。用每个图像块的权重乘以自身图像块的坐标位置后,对其乘积结果进行累加操作,将得到的值作为待跟踪目标的位置。
所述的尺度变换公式如下:
Figure GDA0002369013280000079
其中,Dt表示第t帧视频图像中图像块的尺度变换值,|| ||表示欧几里得范数操作,
Figure GDA00023690132800000710
表示第t帧视频图像中第u个视频图像块,
Figure GDA00023690132800000711
表示第t帧视频图像中第f个图像块,u≠f,
Figure GDA00023690132800000712
表示第t帧视频图像中第u个视频图像块的位置偏移量,
Figure GDA00023690132800000713
表示第t帧视频图像中第f个视频图像块的位置偏移量。
所述待跟踪目标大小的预测公式如下:
Rt=ct[0,E2×2]gt-1
其中,Rt表示第t帧视频图像中待跟踪目标的大小,ct表示第t帧视频图像的待跟踪目标的尺度估计值,[0,E2×2]表示2×2的零矩阵与2×2的单位矩阵E2×2构成的2×4的矩阵,gt-1表示第t-1帧视频图像中的待跟踪目标。
所述的重计算公式如下:
Figure GDA0002369013280000081
其中,Wt (Q)表示第t帧视频图像中第Q个图像块的权重,
Figure GDA0002369013280000082
表示第t-1帧视频图像中第Q个图像块的权重,
Figure GDA0002369013280000083
第t帧视频图像中图像块
Figure GDA0002369013280000084
的置信度。
步骤7,判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧视频图像,若是,则执行步骤8,否则,执行步骤2。
步骤8,结束对运动待跟踪目标的跟踪。
下面结合仿真实验对本发明的效果做进一步说明。
1.仿真实验条件:
本发明仿真实验的硬件测试平台是:处理器为CPU intel Core i5-6500,主频为3.2GHz,内存8GB;软件平台为:Windows 7旗舰版,64位操作系统,MATLAB R2013a。
2.仿真内容仿真结果分析:
本发明仿真实验所用数据来自Object tracking benchmark 2015数据库中的一段一名男子在室内跳跃走动的视频图像序列,该视频图像序列共有602帧视频图像。
图3为本发明仿真实验中输入的待跟踪目标发生外观形变时的一帧视频图像的跟踪结果示意图。图3中中间的虚线标识的矩形框为定义的1.5倍大矩形框,最外围的虚线标识的矩形框为定义的9倍大矩形框。该视频图像中男子的头部为待跟踪目标,待跟踪目标发生了外观形变。从该视频图像中对图像块进行采样,分别计算图像块的跟踪后似然值以及图像块在目标处的似然值,并对跟踪后似然值和在目标处的观测似然值加权得到图像块的置信度,基于图像块的置信度值对待跟踪目标的位置和大小进行预测,将预测后的位置作为当前帧视频图像中待跟踪目标的位置。图3中最小实线标识的矩形框的位置是待跟踪目标的位置。
图4为本发明仿真实验中输入的待跟踪目标发生外观形变和光照变化时的一帧视频图像的跟踪结果示意图。图4中中间的虚线标识的矩形框为定义的1.5倍大矩形框,最外围的虚线标识的矩形框为定义的9倍大矩形框。该视频图像中男子的头部为待跟踪目标,待跟踪目标发生了外观形变和光照变化。从该视频图像中对图像块进行采样,分别计算图像块的跟踪后似然值以及图像块在目标处的似然值,并对跟踪后似然值和在目标处的观测似然值加权得到图像块的置信度,基于图像块的置信度值对待跟踪目标的位置和大小进行预测,将预测后的位置作为当前帧视频图像中待跟踪目标的位置。图4中最小实线标识的矩形框的位置是待跟踪目标的位置。
在图3和图4中,实线矩形框的位置表示本发明跟踪到的待跟踪视频图像序列中待跟踪目标的位置。由图3和图4可以看出,该实线矩形框准确地框定了目标,说明本发明能够在视频图像序列中目标发生外观形变、光照变化的情况下实现准确、有效地目标跟踪。

Claims (9)

1.一种基于加权置信度估计的运动目标跟踪方法,其特征在于,包括如下步骤:
(1)确定运动待跟踪目标的初始位置:
(1a)输入含有待跟踪目标的视频图像序列中的第一帧视频图像;
(1b)利用待跟踪视频图像序列基准中给出的待跟踪目标的初始中心位置和大小确定一个矩形框,用该矩形框标出第一帧视频图像中的待跟踪目标,将该矩形框的位置及其大小作为待跟踪目标的位置和大小;
(1c)以待跟踪目标位置为中心,在第一帧视频图像中任意定义两个矩形框,其大小分别为待跟踪目标大小的1.5倍和9倍;
(2)读取视频图像:
依次读取尚未读入的含有待跟踪目标的视频图像序列中的一帧视频图像,作为当前帧视频图像;
(3)对图像块进行采样:
(3a)将前一帧视频图像中待跟踪目标的坐标位置与待跟踪目标长度和宽度共4个数据,拉伸成一个4×50的二维矩阵;
(3b)通过仿射变换,生成一个4×50二维矩阵,将该二维矩阵与拉伸得到的二维矩阵相加,将相加后二维矩阵中的每个含有图像区域的坐标位置与大小的列向量组成采样后的图像块;
所述的仿射变换是指,将前一帧视频图像中待跟踪目标的坐标位置与待跟踪目标长度和宽度组成向量,对该向量先进行线性变换后在进行平移操作,得到一个4×50二维矩阵;
(3c)将位于1.5倍大矩形框内的每个采样图像块标注为正图像块,标上正标签+1,其余的采样图像块标注为负图像块,标上负标签-1;
(3d)利用偏移量公式,计算每个图像块的位置偏移量;
(4)计算图像块跟踪后的似然值:
(4a)利用核相关滤波器,对每个图像块进行跟踪,记录每个图像块中所有像素点对应的所有响应值;
(4b)利用平均峰值相关能量公式,计算每个图像块的响应波动值;
(4c)将每个图像块的响应波动值取平方后的值,作为每个图像块跟踪后的似然值;
(5)计算图像块在待跟踪目标处的观测似然值:
(5a)记录当前帧视频图像以及其前4帧视频图像共5帧视频图像,利用相对位移公式,计算每帧视频图像中的每一个图像块的相对位移量;
(5b)利用相似度公式,计算每帧视频图像中的每一个图像块与其具有相同标签的其余图像块的相似度值;
(5c)利用观测似然值公式,计算每帧视频图像中的每一个图像块在待跟踪目标处的观测似然值;
(6)预测待跟踪目标的位置和大小:
(6a)利用尺度变换公式,计算每一个图像块的尺度变换值,将得到所有图像块的尺度变换值进行排序,将排序中的中间尺度变换值作为待跟踪目标的尺度估计值;
(6b)利用待跟踪目标大小的预测公式,计算待跟踪目标的大小;
(6c)利用下述似然值加权公式,计算每帧视频图像中的每一个图像块的置信度值:
Figure FDA0002369013270000021
其中,
Figure FDA0002369013270000022
表示第t帧视频图像中第B个图像块
Figure FDA0002369013270000023
的置信度值,α表示值为0.95的系数,log表示以10为底的对数操作,
Figure FDA0002369013270000024
表示第t帧视频图像中第B个图像块
Figure FDA0002369013270000025
的跟踪后的似然值,μ表示值为1的系数,
Figure FDA0002369013270000026
表示第t帧视频图像中第B个图像块
Figure FDA0002369013270000027
的观测似然值;
(6d)利用权重计算公式,计算每帧视频图像中的每一个图像块的权重;
(6e)用每个图像块的权重乘以自身图像块的坐标位置后,对其乘积结果进行累加操作,将得到的值作为待跟踪目标的位置;
(7)判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧视频图像,若是,则执行步骤(8),否则,执行步骤(2);
(8)结束对运动待跟踪目标的跟踪。
2.根据权利要求1所述的基于加权置信度估计的运动目标跟踪方法,其特征在于,步骤(3d)中所述的偏移量公式如下:
Figure FDA0002369013270000031
其中,
Figure FDA0002369013270000032
表示第t帧视频图像中第i个图像块的位置偏移量,[E2×2,0]表示2×2的单位矩阵E2×2与2×2的零矩阵构成的2×4的矩阵,gt表示第t帧视频图像中的待跟踪目标,
Figure FDA0002369013270000033
表示第t帧视频图像中的第i个图像块。
3.根据权利要求1所述的基于加权置信度估计的运动目标跟踪方法,其特征在于,步骤(4b)中所述的平均峰值相关能量公式如下:
Figure FDA0002369013270000034
其中,φH表示第H个图像块的响应波动值,| |2表示取绝对值平方操作,Fmax表示第H个图像块中所有像素点响应中的最大响应值,Fmin表示第H个图像块中所有像素点响应中的最小响应值,mean表示取平均值操作,Σ表示求和操作,w和h分别表示第H个图像块中像素点的行和列的序号,Fw,h表示第H个图像块中第w行,第h列像素点的响应值。
4.根据权利要求2所述的基于加权置信度估计的运动目标跟踪方法,其特征在于,步骤(5a)中所述的相对位移公式如下:
Figure FDA0002369013270000035
其中,Vt (i)表示第t帧视频图像中第i个图像块的相对位移量,
Figure FDA0002369013270000036
表示第t-k+1帧视频图像中的第i个图像块,
Figure FDA0002369013270000037
表示第t-k帧视频图像中的第i个图像块,
Figure FDA0002369013270000038
表示第t帧视频图像中的第i个图像块,
Figure FDA0002369013270000039
表示第t-1帧视频图像中的第i个图像块,k表示值为5的系数,T表示转置操作。
5.根据权利要求1所述的基于加权置信度估计的运动目标跟踪方法,其特征在于,步骤(5b)中所述的相似度公式如下:
Figure FDA00023690132700000310
其中,lJ表示第J个图像块与其具有相同标签的其余图像块的相似度值,yt表示第t帧视频图像中的第J个图像块的标签,yt∈{+1,-1},∈表示属于符号,+1表示正标签,-1表示负标签,N-表示当前帧视频图像中的负图像块的总数,a表示负图像块的序号,Ω-表示当前帧视频图像中的负图像块集合,|| ||2表示欧几里得范数操作,V表示第x个图像块的相对位移量,V(a)表示第a个负图像块的相对位移量,b表示正图像块的序号,N+表示当前帧视频图像中的正图像块的总数,Ω+当前帧视频图像中正图像块的集合,V(b)表示第b个正图像块的相对位移量。
6.根据权利要求1所述的基于加权置信度估计的运动目标跟踪方法,其特征在于,步骤(5c)中所述的观测似然值公式如下:
Figure FDA0002369013270000041
其中,L(xt)表示第t帧视频图像中图像块xt在待跟踪目标处的观测似然值,e表示以自然常数为底的指数操作,l(xt)表示图像块xt与其具有相同标签的其余图像块的相似度值,μ表示值为1的系数。
7.根据权利要求2所述的基于加权置信度估计的运动目标跟踪方法,其特征在于,步骤(6a)中所述的尺度变换公式如下:
Figure FDA0002369013270000042
其中,Dt表示第t帧视频图像中图像块的尺度变换值,|| ||表示欧几里得范数操作,
Figure FDA0002369013270000043
表示第t帧视频图像中第u个视频图像块,
Figure FDA0002369013270000044
表示第t帧视频图像中第f个图像块,u≠f,
Figure FDA0002369013270000045
表示第t帧视频图像中第u个视频图像块的位置偏移量,
Figure FDA0002369013270000046
表示第t帧视频图像中第f个视频图像块的位置偏移量。
8.根据权利要求2所述的基于加权置信度估计的运动目标跟踪方法,其特征在于,步骤(6b)中所述待跟踪目标大小的预测公式如下:
Rt=ct[0,E2×2]gt-1
其中,Rt表示第t帧视频图像中待跟踪目标的大小,ct表示第t帧视频图像的待跟踪目标的尺度估计值,[0,E2×2]表示2×2的零矩阵与2×2的单位矩阵E2×2构成的2×4的矩阵,gt-1表示第t-1帧视频图像中的待跟踪目标。
9.根据权利要求1所述的基于加权置信度估计的运动目标跟踪方法,其特征在于,步骤(6d)中所述的权重计算公式如下:
Figure FDA0002369013270000051
其中,Wt (Q)表示第t帧视频图像中第Q个图像块的权重,
Figure FDA0002369013270000052
表示第t-1帧视频图像中第Q个图像块的权重,
Figure FDA0002369013270000053
第t帧视频图像中图像块
Figure FDA0002369013270000054
的置信度。
CN201810315261.0A 2017-12-29 2018-04-10 基于加权置信度估计的运动目标跟踪方法 Active CN108537822B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017114693771 2017-12-29
CN201711469377 2017-12-29

Publications (2)

Publication Number Publication Date
CN108537822A CN108537822A (zh) 2018-09-14
CN108537822B true CN108537822B (zh) 2020-04-21

Family

ID=63479817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810315261.0A Active CN108537822B (zh) 2017-12-29 2018-04-10 基于加权置信度估计的运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108537822B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875220B2 (en) * 2018-09-04 2024-01-16 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for generating network representation for neural network

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448025B (zh) * 2018-11-09 2020-06-30 国家体育总局体育科学研究所 视频中短道速滑运动员的自动跟踪与轨迹建模方法
CN113255411A (zh) * 2020-02-13 2021-08-13 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质
CN112378397B (zh) * 2020-11-02 2023-10-10 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN114063079B (zh) * 2021-10-12 2022-06-21 福瑞泰克智能系统有限公司 目标置信度获取方法、装置、雷达系统和电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530604A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种基于直推的鲁棒视觉跟踪方法
CN106157330A (zh) * 2016-07-01 2016-11-23 广东技术师范学院 一种基于目标联合外观模型的视觉跟踪方法
CN106447691A (zh) * 2016-07-19 2017-02-22 西安电子科技大学 基于加权多示例学习的加权极限学习机视频目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852511B2 (en) * 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530604A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种基于直推的鲁棒视觉跟踪方法
CN106157330A (zh) * 2016-07-01 2016-11-23 广东技术师范学院 一种基于目标联合外观模型的视觉跟踪方法
CN106447691A (zh) * 2016-07-19 2017-02-22 西安电子科技大学 基于加权多示例学习的加权极限学习机视频目标跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875220B2 (en) * 2018-09-04 2024-01-16 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for generating network representation for neural network

Also Published As

Publication number Publication date
CN108537822A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537822B (zh) 基于加权置信度估计的运动目标跟踪方法
CN108346159B (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
US11010838B2 (en) System and method for optimizing damage detection results
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
EP2905724B1 (en) Object detection system and method
US9607228B2 (en) Parts based object tracking method and apparatus
US20130251246A1 (en) Method and a device for training a pose classifier and an object classifier, a method and a device for object detection
Slama et al. Grassmannian representation of motion depth for 3D human gesture and action recognition
CN111339975A (zh) 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
US8094971B2 (en) Method and system for automatically determining the orientation of a digital image
CN107194950B (zh) 一种基于慢特征分析的多人跟踪方法
CN112883896A (zh) 一种基于bert网络的微表情检测方法
KR20170024303A (ko) 얼굴의 특징점 검출 시스템 및 방법
CN111415370A (zh) 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统
Yu et al. Online-adaptive classification and regression network with sample-efficient meta learning for long-term tracking
CN111681266A (zh) 船舶跟踪方法、系统、设备及存储介质
CN111738194A (zh) 一种用于人脸图像相似性的评价方法和装置
Ranjan et al. Performance analysis of YOLO algorithms for real-time crowd counting
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN116433722A (zh) 目标跟踪方法、电子设备、存储介质及程序产品
Lei et al. Convolutional restricted Boltzmann machines learning for robust visual tracking
KR102014093B1 (ko) 얼굴의 특징점 검출 시스템 및 방법
Bousetouane et al. Robust detection and tracking pedestrian object for real time surveillance applications
Dong et al. Ellipse regression with predicted uncertainties for accurate multi-view 3d object estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant