CN106023257A - 一种基于旋翼无人机平台的目标跟踪方法 - Google Patents

一种基于旋翼无人机平台的目标跟踪方法 Download PDF

Info

Publication number
CN106023257A
CN106023257A CN201610355179.1A CN201610355179A CN106023257A CN 106023257 A CN106023257 A CN 106023257A CN 201610355179 A CN201610355179 A CN 201610355179A CN 106023257 A CN106023257 A CN 106023257A
Authority
CN
China
Prior art keywords
frame
target
sample
tracking
grader
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610355179.1A
Other languages
English (en)
Other versions
CN106023257B (zh
Inventor
贾春叶
甄子洋
马坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201610355179.1A priority Critical patent/CN106023257B/zh
Publication of CN106023257A publication Critical patent/CN106023257A/zh
Application granted granted Critical
Publication of CN106023257B publication Critical patent/CN106023257B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds

Abstract

本发明公开了一种基于旋翼无人机平台的目标跟踪方法。本发明目标跟踪方法通过多尺度的样本采集并结合实时更新的分类器,有效实现了旋翼无人机平台对移动目标的快速准确地在线实时跟踪;本发明在跟踪过程中,根据当前帧的最大分类器响应值以及其相比前一帧的最大分类器响应值的变化情况,并结合前一帧的跟踪性能判定结果,来判定当前帧的跟踪性能是否稳定,当跟踪性能不稳定时,及时对分类器的分类结果进行修正,可有效防止目标跟踪过程中由于遮挡而导致的跟踪目标丢失。相比现有技术,本发明有效实现了旋翼无人机平台对移动目标的快速准确地在线实时跟踪,且具备多尺度跟踪特性,跟踪性能更好,算法复杂度更低,实时性更好,对硬件资源的要求较低。

Description

一种基于旋翼无人机平台的目标跟踪方法
技术领域
本发明涉及图像处理及模式识别技术领域,尤其涉及一种基于旋翼无人机平台的目标跟踪方法。
背景技术
近年来,随着科学技术水平的日益提高,无人机事业的发展蒸蒸日上。由于其本身具有结构简单、成本较低、灵活性高、环境适应性强、便于装载各类传感器及装备等特点,加之数字通信、传感器、微电子、虚拟现实等技术的快速进步,无人机在空中作战、城市武装反恐、海上搜救等军用领域以及民用领域中都具有广阔的应用前景和发展空间,而利用无人机所拍摄的视频对目标实现跟踪则是其中一项重要应用。
根据背景的不同,运动目标的识别跟踪可以分为静态背景和动态背景下的目标识别跟踪。静态背景下运动目标识别是指摄像机在整个过程中静止;而动态背景下运动目标识别是指摄像机在识别过程中发生了诸如平动、旋转或多自由度运动等移动的情况。显然,基于无人机这样旋翼无人机平台的目标跟踪属于上述的第二类范畴。
基于计算机视觉的目标跟踪算法主要分为四类,分别是基于目标区域的跟踪、基于目标特征的跟踪、基于目标变形模板的跟踪和基于目标模型的跟踪。基于区域的跟踪算法首先通过图像分割或先验知识进行运动区域的预先提取,并得到相应的模板,然后运用相关算法对序列图像中的目标进行跟踪。相对其它跟踪算法来说,由基于区域的跟踪算法提取出的目标模板比较完整,因而得到的图像信息更为丰富,可稳定跟踪目标,具有较高的跟踪精度。但它也存在一些缺点,如计算量大、对图像变形问题模板匹配困难、目标遮挡或形变时效果不佳、复杂环境下模板漂移等问题。基于目标特征的跟踪算法利用匹配算法在图像序列中寻找与目标特征相符的运动物体。其主要步骤为特征提取、特征匹配以及运动信息计算。该方法对遮挡、照明、视角等问题造成的图像变化表现出很好的鲁棒性。在以往的文献中,学者将其与Adaboost、卡尔曼滤波等预测算法进行结合,取得了令人满意的跟踪效果。如何选择合适的特征是该算法应用过程中的关键点和难点。变形模板是纹理或边缘可以按照一定的条件变形的面板或曲线。基于目标变形模板的跟踪算法对可变性目标十分有效。基于目标模型的跟踪算法中,运动物体的表达方式分为三种:线图模型、2D模型和3D模型。在实际情况中,采用3D模型的跟踪具有更广的应用范围。一般来说,算法首先根据先验知识获得目标的立体结构模型和运动模型,然后结合实际场景对目标物体进行跟踪。基于3D模型的目标跟踪算法性能可靠,及时目标运动状态发生变化也能取得很好的效果。但在实际应用中很难获得运动目标的精确几何模型,且运算量大,算法实时性差。
无人机搭载摄像头后,运动目标检测是基于动态背景的,虽然摄像头的视野得到扩大,但是目标和摄像机之间存在复杂的相对运动,因而对目标跟踪算法提出了更高的要求。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,提供一种基于旋翼无人机平台的目标跟踪方法,可快速准确地实现对移动目标的在线跟踪,且可有效防止目标被遮挡导致跟踪目标丢失的情况。
本发明具体采用以下技术方案解决上述技术问题:
一种基于旋翼无人机平台的目标跟踪方法,包括以下步骤:
S1、对旋翼无人机平台所拍摄的视频的每一帧进行自动目标识别,以初次识别出目标的视频帧作为目标跟踪的初始帧,并在初始帧中目标周围划定矩形的初始目标跟踪框;
S2、以初始目标跟踪框为基准,在初始帧中采集一组与初始目标跟踪框同尺度的正、负样本,提取所述样本的尺度不变特征对分类器进行训练,并以初始目标跟踪框中的图像作为正样本模板;
S3、在当前帧中,以前一帧的目标跟踪框位置为中心的一定区域内采集一组不同尺度的矩形区域作为检测样本,并在每个检测样本上叠加均值为0的高斯白噪声;提取叠加噪声后的各检测样本的尺度不变特征并分别作为所述分类器的输入,得到各检测样本的分类器响应值;
S4、判断当前帧的跟踪性能是否稳定,如性能不稳定,则转至S5,否则,转至S8;如以下条件之一得到满足,则当前帧的跟踪性能不稳定:
(1)当前帧检测样本的最大分类器响应值小于0;
(2)当前帧检测样本的最大分类器响应值大于等于0,同时当前帧检测样本的最大分类器响应值小于前一帧检测样本的最大分类器响应值,且前一帧的跟踪性能不稳定;
(3)当前帧检测样本的最大分类器响应值在0和一个预设的大于0的阈值之间,同时当前帧检测样本的最大分类器响应值小于前一帧检测样本的最大分类器响应值,且前一帧的跟踪性能稳定;
S5、计算当前帧各检测样本与正样本模板之间的归一化相似度,并以归一化相似度作为修正系数对当前帧相应检测样本的分类器响应值进行修正;以修正后的分类器响应值最大的检测样本所对应的矩形区域作为当前帧的目标跟踪框;
S6、判断连续跟踪不稳定的帧数是否达到预设上限值,如是,则将所述高斯白噪声的标准差增大后转S10;否则,转至S7;
S7、以当前帧的目标跟踪框为基准,在当前帧中采集一组与当前帧的目标跟踪框同尺度的正、负样本,从所有正样本中选出与正样本模板之间相似度最大的一部分;然后提取所选出的正样本以及负样本的尺度不变特征并对分类器进行重新训练后转至S10;
S8、以分类器响应值最大的检测样本所对应的矩形区域作为当前帧的目标跟踪框,并用前一帧正样本模板与初始帧正样本模板的加权和来更新正样本模板;
S9、以当前帧的目标跟踪框为基准,在当前帧中采集一组与当前帧的目标跟踪框同尺度的正、负样本,提取所述正、负样本的尺度不变特征并对分类器进行重新训练;
S10、如视频已结束,则退出目标跟踪;否则,以下一帧作为当前帧,转至S3。
优选地,所述分类器为朴素贝叶斯分类器。
优选地,所述尺度不变特征为尺度不变压缩特征。
进一步地,所述分类器的学习速率λ在目标跟踪过程中按照下式进行自适应更新:
λ = 1 1 + exp ( - 2 ( x - t r ) ) ,
式中,x为当前帧的目标跟踪框中图像高斯分布均值与前一帧的目标跟踪框中图像高斯分布均值之间差值的绝对值;r1、r12、t均为预设参数。
优选地,检测样本与正样本模板之间的相似度使用以下方式度量:检测样本与正样本模板的各维特征值的差值绝对值之和。
优选地,利用以下方法对旋翼无人机平台所拍摄的视频的每一帧进行自动目标识别:首先提取当前帧中的感兴趣区域;然后将感兴趣区域与目标模板先后进行主颜色匹配和轮廓匹配,如存在颜色匹配和轮廓匹配均匹配成功的感兴趣区域,则该感兴趣区域即为在当前帧中识别出的目标,否则,继续对下一帧进行目标识别。
相比现有技术,本发明技术方案具有以下有益效果:
本发明有效实现了旋翼无人机平台对移动目标的快速准确地在线实时跟踪,且具备多尺度跟踪特性;
本发明可有效防止目标跟踪过程中由于遮挡而导致的跟踪目标丢失,跟踪效果更好;
本发明算法复杂度低,实时性好,对硬件资源的要求较低。
附图说明
图1是本发明目标跟踪方法流程图;
图2是具体实施方式中所使用目标识别方法的流程图;
图3是选取多尺度待检测样本方案的示意图;
图4是尺度不变压缩特征向量提取示意图;
图5是分类器更新阶段正负样本采集区域示意图;
图6是学习速率自适应更新函数示意图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
本发明基于旋翼无人机平台的目标跟踪方法的基本流程如图1所示,具体包括以下步骤:
S1、对旋翼无人机平台所拍摄的视频的每一帧进行自动目标识别,以初次识别出目标的视频帧作为目标跟踪的初始帧,并在初始帧中目标周围划定矩形的初始目标跟踪框;
本发明可采用现有的各种自动目标识别方法,例如基于轮廓的目标识别方法、基于主颜色的目标识别方法等,为了提高目标识别的准确性,本发明将基于轮廓的目标识别方法与基于主颜色的目标识别方法相结合,即:首先提取当前帧中的感兴趣区域;然后将感兴趣区域与目标模板先后进行主颜色匹配和轮廓匹配,如存在颜色匹配和轮廓匹配均匹配成功的感兴趣区域,则该感兴趣区域即为在当前帧中识别出的目标,否则,继续对下一帧进行目标识别。如图2所示,目标识别的具体步骤如下:
(1)图像灰度化
本文中,使用加权平均法将彩色图像转换成灰度图像,具体公式为:
I=0.3×R+0.59×G+0.11×B
其中R,G,B为彩色图像中对应的红、绿、蓝三个通道的灰度分量,I为转换后的单通道灰度图像。
(2)图像二值化,用最大亮度值1来表示前景,用最小亮度值0来表示背景
(3)提取轮廓
物体形状的边缘轮廓借助边缘检测进行提取,然后对物体形状的边缘轮廓进行跟踪,并得到边界点的相应坐标,按照顺时针或者逆时针的顺序,用n个像素点坐标c0,c1...cn来描述这些边界点的位置,以此得到物体的形状。本文默认c0=cn,即目标物体的轮廓是封闭的。
(4)使当前帧的原彩色图像仅保留彩色前景部分;
(5)从前景中提取主颜色:
使用K均值聚类算法提取主颜色:
(a)将图像的颜色空间由RGB转化到HSV;
(b)确定主颜色数目k和初始聚类中心Ci
(c)循环步骤(d)到(e),直到每个聚类中心都不再发生变化,转至(f);
(d)计算每个像素点与聚类中心Ci的距离,然后将其归进相似度最高的聚类中。若用ci=(hi,si,vi),cj=(hj,sj,vj)分别表示HSV空间中的两种颜色,则二者的相似性计算公式如下:
s i j = 1 - ( ( v i - v j ) 2 + ( s i c o s ( h i ) - s j c o s ( h j ) ) 2 + ( s i sin ( h i ) - s j s i n ( h j ) ) 2 ) 1 / 2 / 5
其中sij在0至1之间取值,HSV空间是单位高度的圆柱体。
(e)重新计算每个类的聚类中心,其数值取该聚类中所有像素的平均值;
(f)得到图像的主颜色直方图ci以及对应的主颜色频率pi
(6)对当前帧和模板图像进行主颜色匹配;
假设待检测图像对应的前景图像主色集合为CQ,主色频率为PQ,主色共M个;模板的前景图像主色集合为CL,主色频率为PL,主色共N个。构造主色集,使两个直方图的颜色数量和颜色集合都相同,C=CQ∪CL,主色共有M+N个,颜色直方图为P'Q=(pq1,pq2,...,pqm,0,0,...0),P'L=(0,0,...0,pl1,pl2,...pln)。将主色集合的主色由RGB空间转至HSV空间,并计算C中任意两种颜色ci,cj的相似性sij(i,j=1,2,...M+N),并以
此构造颜色集合的相似矩阵S,两个任意主色集之间的距离为:
d2=(P'Q-P'L)S(P'Q-P'L)T
(7)对当前帧和模板图像进行轮廓匹配。采用Hu矩匹配度量两个轮廓的相似
度,Hu矩计算公式如下:
h1=η2002
h2=(η2002)2+4η1 2 1
h3=(η30-3η12)2+(3η2103)2
h4=(η3012)2+(η2103)2
h5=(η30-3η12)(η3012)[(η3012)2-3(η2103)2]
+(3η2103)(η2103)[3(3η2103)2-(η2103)2]
h6=(η2002)[(η3012)2-(η2103)2]+4η113012)(η2103)
h7=(3η2103)(η2103)[3(η3022)2-(η2103)2]
-(η3012)(η2103)[3(η3012)2-(η2103)2]
其中ηp,q为图像的归一化矩。相似度指标采用如下公式:
I 2 ( A , B ) = Σ i = 1 7 | m i A - m i B |
其中 分别是A和B的Hu矩。
当主颜色和轮廓均匹配时,该感兴趣区域即为当前帧中识别出的目标,否则,继续进行下一帧的自动目标识别。
S2、以初始目标跟踪框为基准,在初始帧中采集一组与初始目标跟踪框同尺度的正、负样本,提取所述样本的尺度不变特征对分类器进行训练,并以初始目标跟踪框中的图像作为正样本模板;
所述尺度不变特征可以是SIFT特征、SURF特征、BRISK特征等,为了降低算法复杂度,提高目标跟踪实时性,本发明优选采用尺度不变压缩特征,并优选朴素贝叶斯分类器。具体地,对于每一个样本图像它在压缩域中的压缩向量表达为其中n<<m。压缩跟踪算法中假设低维特征向量v中的所有元素都是独立分布的,算法采用一个朴素贝叶斯分类器对它们进行建模:
H ( v ) = log ( &Pi; i = 1 n p ( v i | y = 1 ) p ( y = 1 ) &Pi; i = 1 n p ( v i | y = 0 ) p ( y = 0 ) ) = &Sigma; i = 1 n log ( p ( v i | y = 1 ) p ( v i | y = 0 ) )
其中y是表达样本标签的二值变量,只有0和1两个取值。我们假设正样本和负样本的先验概率是相等的,即p(y=1)=p(y=0)。
以往的理论中指出,由随机稀疏投影矩阵得到的稀疏投影分布几乎总是可以看作是高斯的。所以,朴素贝叶斯分类器中的两个样本分布p(vi|y=1)和p(vi|y=0)可以看作高斯分布,并且它们的分布特征可由四个参数表征:
p ( v i | y = 1 ) ~ N ( &mu; i 1 , &delta; i 1 ) p ( v i | y = 0 ) ~ N ( &mu; i 0 , &delta; i 0 ) .
S3、在当前帧中,以前一帧的目标跟踪框位置为中心的一定区域内采集一组不同尺度的矩形区域作为检测样本,并在每个检测样本上叠加均值为0的高斯白噪声;
参照图3,在上一帧最佳位置附近选择待检测样本时,将上一帧跟踪框的位置在原有基础上分别向上下左右4个方向增大或缩小1/10的长度,并在每个样本上叠加一定的高斯白噪声noise,则可以得到81个待检测样本,定义s为当前帧跟踪框长度与上一帧最佳跟踪框宽之比,s=wp/w。
wp=w±w/10+noisew
hp=h±h/10+noiseh
wp,hp分别为当前帧待检测矩形样本的宽和高,w,h是上一帧跟踪框位置的宽和高,noisew,noiseh均为人工叠加的均值为0的高斯白噪声,初始状态下令二者标准差为stdw=5,stdh=2.5。
提取叠加噪声后的各检测样本的尺度不变压缩特征向量并分别作为所述分类器的输入,得到各检测样本的分类器响应值;
参照图4,尺度不变压缩特征向量提取的具体步骤如下:
(1)保持初始随机测量矩阵R0中所有非零元数值不变,非零元对应的矩形参数fx(i,t),fy(i,t),fw(i,t),fh(i,t)分别与s相乘,并四舍五入取整:
其中i=1,2…M,t=1,2…Q,M为压缩特征向量维数,Q为初始随机测量矩阵第i行非零元素的个数;
(2)计算尺度不变压缩特征向量第i维的特征值:
v i = &Sigma; t = 1 M p ( i , t ) &CenterDot; p s u m ( i , t ) fw s ( i , t ) &CenterDot; fh s ( i , t )
其中,p(i,t)是初始随机测量矩阵R0中非零元素的值,psum(i,t)是修正后的随机测量矩阵RS中第i行第t列个非零元素所对应的矩形内像素值的总和,其计算公式如下:
psum(i,t)=I(Xmin,Ymin)+I(Xmax,Ymax)-I(Xmax,Ymin)-I(Xmin,Ymax)
Xmin=y+fys(i,t)-2
Xmax=y+fys(i,t)+fhs(i,t)-2
Ymin=x+fxs(i,t)-2
Ymax=x+fxs(i,t)+fws(i,t)-2
(3)最终可以得到M维尺度不变压缩特征向量V。
S4、判断当前帧的跟踪性能是否稳定,如性能不稳定,则转至S5,否则,转至S8;
本发明根据当前帧的最大分类器响应值以及其相比前一帧的最大分类器响应值的变化情况,并结合前一帧的跟踪性能判定结果,来判定当前帧的跟踪性能是否稳定;具体为出现以下任一种情况时,判定当前帧的跟踪性能不稳定:
(1)当前帧检测样本的最大分类器响应值小于0;
(2)当前帧检测样本的最大分类器响应值大于等于0,同时当前帧检测样本的最大分类器响应值小于前一帧检测样本的最大分类器响应值,且前一帧的跟踪性能不稳定;
(3)当前帧检测样本的最大分类器响应值在0和一个预设的大于0的阈值之间,同时当前帧检测样本的最大分类器响应值小于前一帧检测样本的最大分类器响应值,且前一帧的跟踪性能稳定。
用Pt表示当前帧的跟踪性能,Pt=0表示跟踪性能稳定,Pt=1表示跟踪性能不稳定。Pt值的确定方法如下:假设Ct表示当前的第t帧中最优检测样本的分类器响应值(即最大分类器响应值),且ΔCt=Ct-Ct-1。为Ct分别设定两个阈值th和tl,且ΔCt的值被限定在一个常数γ内。则我们判定如下几种情况为跟踪性能不稳定(Pt=1):
(1)Ct<0:当前帧所有样本的分类器响应值都小于0,即分类器得到的目标样本其实是负样本,这种情况下目标可能遭遇遮挡或者跟踪框已经漂移甚至丢失目标;
(2)Ct>0,ΔCt<0,Pt-1=1:在上一帧跟踪性能不稳定的情况下,若当前帧最佳样本的分类器响应值大于0,但正样本特征的质量比起上一帧有所下降,此时我们仍然认为跟踪性能不稳定;
(3)0<Ct<tl,ΔCt<0,Pt-1=0:在上一帧跟踪性能稳定的情况下,若当前帧最佳样本响应值小于阈值,且比上一帧的跟踪性能差,则认为跟踪性能不稳定。S5、计算当前帧各检测样本与正样本模板之间的归一化相似度,并以归一化相似度作为修正系数对当前帧相应检测样本的分类器响应值进行修正;以修正后的分类器响应值最大的检测样本所对应的矩形区域作为当前帧的目标跟踪框;
检测样本与正样本模板之间的相似性度量可采用欧式距离、汉明距离、相关系数等度量方式,为了简化计算复杂度,本具体实施方式中采用绝对差(AD)来衡量两个向量之间的相似度:
其中,vci为检测样本特征向量第i维特征值,为正样本模板特征向量第i维特征值。对于第j个样本,得到一个样本差值特征向量Δv后对其各维特征值进行求和,结果为一个样本与正样本模板之间的特征差值绝对值之和Δvsumj。对所有待检测样本完成上述计算后,将所有结果归一化,并与朴素贝叶斯分类器结果相乘,即可得到所有样本的修正后的分类器响应值向量。
L(vj)=Δvsumj/max(Δvsumj),when Pt=1
H ( v ) = log ( &Pi; i = 1 n p ( v i | y = 1 ) p ( y = 1 ) &Pi; i = 1 n p ( v i | y = 0 ) p ( y = 0 ) ) = &Sigma; i = 1 n log ( p ( v i | y = 1 ) p ( v i | y = 0 ) )
C(v)=H(v)L(v)
其中,y是表达样本标签的二值变量,只有0和1两个取值。我们假设正样本和负样本具有相同的先验概率,即p(y=1)=p(y=0)。max(Δvsumj)为所有待检测样本对应的Δvsumj中的最大特征值项。当Pt=0,即跟踪性能稳定时,算法中令正样本相似度函数为全1项,从而跳过上述相似度衡量步骤,减小计算量。
S6、判断连续跟踪不稳定的帧数是否达到预设上限值,如是,则将所述高斯白噪声的标准差增大后转S10;否则,转至S7;
本具体实施方式中设定:如果跟踪不稳定帧数大于等于5,则将高斯白噪声的标准差扩大至初始值的2倍以扩大样本框搜索范围。
S7、以当前帧的目标跟踪框为基准,在当前帧中采集一组与当前帧的目标跟踪框同尺度的正、负样本,从所有正样本中选出与正样本模板之间相似度最大的一部分;然后提取所选出的正样本以及负样本的尺度不变特征并对分类器进行重新训练后转至S10;
参照图5,得到当前帧最佳样本后,以目标框中心为基准,在附近的一定半径内利用滑窗法采集与之大小一致的正样本DPOS和负样本DNEG
DPOS={Z|||l(z)-l0||<posrad}
DNEG={z|posrad+4<||l(z)-l0||<negrad}
以区间(0,posrad)为半径采集正样本,以区间(posrad+4,negrad)为半径采集负样本,本具体实施方式中posrad的值设为4,negrad的值设为30,并在跟踪过程中保持不变。二者的值与原始的压缩跟踪算法中相同,在实际应用中,可以根据目标尺寸、运动速度、图像分辨率等因素对posrad和negrad的数值进行调整,以取得不同情况下较为理想的跟踪效果。
用滑窗法采集正负样本更新分类器相关步骤如下:
rowmin=max(0,y-posrad);
rowmax=min(row-1,y+posrad);
colmin=max(0,x-posrad);
colmax=min(col-1,x+posrad);
其中,row=rowimage-h-1;col=colimage-w-1;rowimage是当前帧图像一列的像素数,colimage是当前帧图像一行的像素数,x,y,w,h分别是当前帧得分最高的跟踪框所对应的左上顶点横纵坐标、宽和高。posrad为正样本采集半径。
以样本的左上顶点为中心,行搜索以rowmin为起点,rowmax为结束点,列搜索以colmin为起点,colmax为结束点,将最高得分跟踪框窗口依次滑动过上述像素所在位置,选取正负样本。
在此过程中令NUMmax为算法所需要的最大样本数量,本算法中采集正样本时将其设为1000,采集负样本时将其设为100。若当前帧图像所能提供的样本数量能够满足算法需要的样本数量,则此时b<1;若当前帧图像所能提供的样本数量小于算法需要的样本数量,则此时b>1。设置一个随机数发生器,可以随机产生一个0至1之间的数c。本具体实施方式中,当b>c且dist<posrad2时采集正样本,当b>c且dist>negrad2时采集负样本,这里posrad为正样本采集半径,negrad为负样本采集半径,本具体实施方式中分别定为4和30。
对于采集到的正样本,将其依次与当前正样本模板进行比较,计算低维特征向量相似度,选择绝对差之和最小的前1/2更新朴素贝叶斯分类器:
&mu; i 1 &LeftArrow; &lambda;&mu; i 1 + ( 1 - &lambda; ) &mu; 1 &delta; i 1 &LeftArrow; &lambda; ( &delta; i 1 ) 2 + ( 1 - &lambda; ) ( &delta; 1 ) 2 + &lambda; ( 1 - &lambda; ) ( &mu; i 1 - &mu; 1 ) 2 ,
&mu; 1 = 1 n &Sigma; k = 0 | y = 1 n - 1 v i ( k ) &delta; 1 = 1 n &Sigma; k = 0 | y = 1 n - 1 ( v i ( k ) - &mu; 1 ) 2 .
如图6所示,本具体实施方式中还采用自适应的方式更新学习速率λ:
&lambda; = 1 1 + exp ( - 2 ( x - t r ) ) ,
其中,x=|μ-μi|,μ为当前帧目标跟踪框中图像高斯分布均值,μi为前帧目标跟踪框中图像高斯分布均值;当x<t时,r=r1,x>t时,r=r2。r1、r12、t均为预设参数,本具体实施方式中t=0.4,r1=0.4,r2=0.5。
结合图6可知,若当前帧样本与已有目标高斯分布样本均值相差较大,则学习速率上升较快,从而分类器更新变慢;若二者高斯分布均值相差不大,说明跟踪性能良好,则学习速率较低,从而分类器更新速度维持在较快水平。
S8、以分类器响应值最大的检测样本所对应的矩形区域作为当前帧的目标跟踪框,并用前一帧正样本模板与初始帧正样本模板的加权和来更新正样本模板;
正样本模板建立在样本对应的低维特征向量基础上,本具体实施方式中中正样本模板的更新公式为:
其中,表示当前帧正样本模板,它由上一时刻正样本模板和初始时刻目标框低维特征向量按照一定比重共同构成,本算法中μ取0.9。
S9、以当前帧的目标跟踪框为基准,在当前帧中采集一组与当前帧的目标跟踪框同尺度的正、负样本,提取所述正、负样本的尺度不变特征并对分类器进行重新训练;
S10、如视频已结束,则退出目标跟踪;否则,以下一帧作为当前帧,转至S3。

Claims (7)

1.一种基于旋翼无人机平台的目标跟踪方法,其特征在于,包括以下步骤:
S1、对旋翼无人机平台所拍摄的视频的每一帧进行自动目标识别,以初次识别出目标的视频帧作为目标跟踪的初始帧,并在初始帧中目标周围划定矩形的初始目标跟踪框;
S2、以初始目标跟踪框为基准,在初始帧中采集一组与初始目标跟踪框同尺度的正、负样本,提取所述样本的尺度不变特征对分类器进行训练,并以初始目标跟踪框中的图像作为正样本模板;
S3、在当前帧中,以前一帧的目标跟踪框位置为中心的一定区域内采集一组不同尺度的矩形区域作为检测样本,并在每个检测样本上叠加均值为0的高斯白噪声;提取叠加噪声后的各检测样本的尺度不变特征并分别作为所述分类器的输入,得到各检测样本的分类器响应值;
S4、判断当前帧的跟踪性能是否稳定,如性能不稳定,则转至S5,否则,转至S8;如以下条件之一得到满足,则当前帧的跟踪性能不稳定:
(1)当前帧检测样本的最大分类器响应值小于0;
(2)当前帧检测样本的最大分类器响应值大于等于0,同时当前帧检测样本的最大分类器响应值小于前一帧检测样本的最大分类器响应值,且前一帧的跟踪性能不稳定;
(3)当前帧检测样本的最大分类器响应值在0和一个预设的大于0的阈值之间,同时当前帧检测样本的最大分类器响应值小于前一帧检测样本的最大分类器响应值,且前一帧的跟踪性能稳定;
S5、计算当前帧各检测样本与正样本模板之间的归一化相似度,并以归一化相似度作为修正系数对当前帧相应检测样本的分类器响应值进行修正;以修正后的分类器响应值最大的检测样本所对应的矩形区域作为当前帧的目标跟踪框;
S6、判断连续跟踪不稳定的帧数是否达到预设上限值,如是,则将所述高斯白噪声的标准差增大后转S10;否则,转至S7;
S7、以当前帧的目标跟踪框为基准,在当前帧中采集一组与当前帧的目标跟踪框同尺度的正、负样本,从所有正样本中选出与正样本模板之间相似度最大的一部分;然后提取所选出的正样本以及负样本的尺度不变特征并对分类器进行重新训练后转至S10;
S8、以分类器响应值最大的检测样本所对应的矩形区域作为当前帧的目标跟踪框,并用前一帧正样本模板与初始帧正样本模板的加权和来更新正样本模板;
S9、以当前帧的目标跟踪框为基准,在当前帧中采集一组与当前帧的目标跟踪框同尺度的正、负样本,提取所述正、负样本的尺度不变特征并对分类器进行重新训练;
S10、如视频已结束,则退出目标跟踪;否则,以下一帧作为当前帧,转至S3。
2.如权利要求1所述目标跟踪方法,其特征在于,所述分类器为朴素贝叶斯分类器。
3.如权利要求1所述目标跟踪方法,其特征在于,所述尺度不变特征为尺度不变压缩特征。
4.如权利要求1所述目标跟踪方法,其特征在于,所述分类器的学习速率λ在目标跟踪过程中按照下式进行自适应更新:
&lambda; = 1 1 + exp ( - 2 ( x - t r ) ) ,
式中,x为当前帧的目标跟踪框中图像高斯分布均值与前一帧的目标跟踪框中图像高斯分布均值之间差值的绝对值;r1、r12、t均为预设参数。
5.如权利要求1所述目标跟踪方法,其特征在于,检测样本与正样本模板之间的相似度使用以下方式度量:检测样本与正样本模板的各维特征值的差值绝对值之和。
6.如权利要求1所述目标跟踪方法,其特征在于,利用以下方法对旋翼无人机平台所拍摄的视频的每一帧进行自动目标识别:首先提取当前帧中的感兴趣区域;然后将感兴趣区域与目标模板先后进行主颜色匹配和轮廓匹配,如存在颜色匹配和轮廓匹配均匹配成功的感兴趣区域,则该感兴趣区域即为在当前帧中识别出的目标,否则,继续对下一帧进行目标识别。
7.如权利要求6所述目标跟踪方法,其特征在于,所述轮廓匹配中所使用的轮廓特征为Hu不变矩特征。
CN201610355179.1A 2016-05-26 2016-05-26 一种基于旋翼无人机平台的目标跟踪方法 Expired - Fee Related CN106023257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610355179.1A CN106023257B (zh) 2016-05-26 2016-05-26 一种基于旋翼无人机平台的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610355179.1A CN106023257B (zh) 2016-05-26 2016-05-26 一种基于旋翼无人机平台的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN106023257A true CN106023257A (zh) 2016-10-12
CN106023257B CN106023257B (zh) 2018-10-12

Family

ID=57093933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610355179.1A Expired - Fee Related CN106023257B (zh) 2016-05-26 2016-05-26 一种基于旋翼无人机平台的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN106023257B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886748A (zh) * 2016-12-28 2017-06-23 中国航天电子技术研究院 一种基于tld的适用于无人机的变尺度目标跟踪方法
CN106897731A (zh) * 2016-12-30 2017-06-27 西安天和防务技术股份有限公司 用于国土资源监控的目标跟踪系统
CN106981073A (zh) * 2017-03-31 2017-07-25 中南大学 一种基于无人机的地面运动目标实时跟踪方法及系统
CN107092869A (zh) * 2017-04-05 2017-08-25 武汉大学 一种视频卫星的点目标跟踪方法
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法
CN107492112A (zh) * 2017-07-11 2017-12-19 西北工业大学 一种基于无人机平台的目标跟踪方法
CN108022255A (zh) * 2017-12-07 2018-05-11 深圳慧源创新科技有限公司 无人机自动跟踪方法、无人机自动跟踪装置和无人机
CN108257145A (zh) * 2017-12-13 2018-07-06 北京华航无线电测量研究所 一种基于ar技术的无人机智能侦察处理系统及方法
CN109102519A (zh) * 2018-08-24 2018-12-28 周忠和 动目标及特征模板变化条件下的快速人物跟踪方法
CN109118517A (zh) * 2018-07-13 2019-01-01 南京航空航天大学 基于几何估计的多尺度跟踪方法
CN109960965A (zh) * 2017-12-14 2019-07-02 翔升(上海)电子技术有限公司 基于无人机识别动物行为的方法、装置和系统
CN111753587A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 一种倒地检测方法及装置
CN113255693A (zh) * 2021-05-19 2021-08-13 西华大学 基于成像元数据辅助的无人机多尺度检测识别方法
CN114943955A (zh) * 2022-07-25 2022-08-26 山东广通汽车科技股份有限公司 一种用于半挂车自动卸货控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133499A1 (en) * 2001-03-13 2002-09-19 Sean Ward System and method for acoustic fingerprinting
CN103632382A (zh) * 2013-12-19 2014-03-12 中国矿业大学(北京) 一种基于压缩感知的实时多尺度目标跟踪方法
CN103839273A (zh) * 2014-03-25 2014-06-04 武汉大学 基于压缩感知特征选择的实时检测跟踪框架与跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133499A1 (en) * 2001-03-13 2002-09-19 Sean Ward System and method for acoustic fingerprinting
CN103632382A (zh) * 2013-12-19 2014-03-12 中国矿业大学(北京) 一种基于压缩感知的实时多尺度目标跟踪方法
CN103839273A (zh) * 2014-03-25 2014-06-04 武汉大学 基于压缩感知特征选择的实时检测跟踪框架与跟踪方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886748A (zh) * 2016-12-28 2017-06-23 中国航天电子技术研究院 一种基于tld的适用于无人机的变尺度目标跟踪方法
CN106886748B (zh) * 2016-12-28 2020-06-12 中国航天电子技术研究院 一种基于tld的适用于无人机的变尺度目标跟踪方法
CN106897731A (zh) * 2016-12-30 2017-06-27 西安天和防务技术股份有限公司 用于国土资源监控的目标跟踪系统
CN106897731B (zh) * 2016-12-30 2020-08-21 西安天和防务技术股份有限公司 用于国土资源监控的目标跟踪系统
CN106981073B (zh) * 2017-03-31 2019-08-06 中南大学 一种基于无人机的地面运动目标实时跟踪方法及系统
CN106981073A (zh) * 2017-03-31 2017-07-25 中南大学 一种基于无人机的地面运动目标实时跟踪方法及系统
CN107092869A (zh) * 2017-04-05 2017-08-25 武汉大学 一种视频卫星的点目标跟踪方法
CN107092869B (zh) * 2017-04-05 2019-11-26 武汉大学 一种视频卫星的点目标跟踪方法
CN107492112A (zh) * 2017-07-11 2017-12-19 西北工业大学 一种基于无人机平台的目标跟踪方法
CN107492112B (zh) * 2017-07-11 2019-11-22 西北工业大学 一种基于无人机平台的目标跟踪方法
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法
CN108022255A (zh) * 2017-12-07 2018-05-11 深圳慧源创新科技有限公司 无人机自动跟踪方法、无人机自动跟踪装置和无人机
CN108257145A (zh) * 2017-12-13 2018-07-06 北京华航无线电测量研究所 一种基于ar技术的无人机智能侦察处理系统及方法
CN108257145B (zh) * 2017-12-13 2021-07-02 北京华航无线电测量研究所 一种基于ar技术的无人机智能侦察处理系统及方法
CN109960965A (zh) * 2017-12-14 2019-07-02 翔升(上海)电子技术有限公司 基于无人机识别动物行为的方法、装置和系统
CN109118517A (zh) * 2018-07-13 2019-01-01 南京航空航天大学 基于几何估计的多尺度跟踪方法
CN109102519A (zh) * 2018-08-24 2018-12-28 周忠和 动目标及特征模板变化条件下的快速人物跟踪方法
CN109102519B (zh) * 2018-08-24 2021-12-14 周忠和 动目标及特征模板变化条件下的快速人物跟踪方法
CN111753587A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 一种倒地检测方法及装置
CN111753587B (zh) * 2019-03-28 2023-09-29 杭州海康威视数字技术股份有限公司 一种倒地检测方法及装置
CN113255693A (zh) * 2021-05-19 2021-08-13 西华大学 基于成像元数据辅助的无人机多尺度检测识别方法
CN114943955A (zh) * 2022-07-25 2022-08-26 山东广通汽车科技股份有限公司 一种用于半挂车自动卸货控制方法

Also Published As

Publication number Publication date
CN106023257B (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
US11195051B2 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN107292339B (zh) 基于特征融合的无人机低空遥感影像高分地貌分类方法
Shen et al. Detection of stored-grain insects using deep learning
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN103218831B (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN108009509A (zh) 车辆目标检测方法
CN110033007B (zh) 基于深度姿态预估和多特征融合的行人衣着属性识别方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN103049751A (zh) 一种改进的加权区域匹配高空视频行人识别方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
CN109919246A (zh) 基于自适应特征聚类和多重损失融合的行人重识别方法
CN104537689A (zh) 基于局部对比显著性联合特征的目标跟踪方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
CN108230313B (zh) 基于部件自适应选择与判别模型的sar图像目标检测方法
Blum et al. Modular sensor fusion for semantic segmentation
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181012

Termination date: 20190526

CF01 Termination of patent right due to non-payment of annual fee