CN107491742B - 一种长时稳定的无人机目标跟踪方法 - Google Patents
一种长时稳定的无人机目标跟踪方法 Download PDFInfo
- Publication number
- CN107491742B CN107491742B CN201710631781.8A CN201710631781A CN107491742B CN 107491742 B CN107491742 B CN 107491742B CN 201710631781 A CN201710631781 A CN 201710631781A CN 107491742 B CN107491742 B CN 107491742B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- frame
- response
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000007774 longterm Effects 0.000 title claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 48
- 238000007637 random forest analysis Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims abstract description 7
- 238000005286 illumination Methods 0.000 claims abstract description 5
- 230000000875 corresponding effect Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 230000008447 perception Effects 0.000 abstract description 4
- 238000001914 filtration Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的一种长时稳定的无人机目标跟踪方法,根据用户交互选择并优化初始化跟踪目标框的方法;根据相关滤波算法计算跟踪目标响应图的方法;根据响应图进行质量评价与空间定位确定跟踪目标位置的方法;根据感知哈系算法对跟踪结果进行跟踪成功/失败判定的方法;根据随机森林分类器对丢失目标进行全局丢失找回的方法。本发明提供的跟踪方法能够在光照变化、尺度变化、动态场景以及局部/全局遮挡情况下对目标进行长时稳定跟踪,同时可以应用与多种不同场景与平台,因此本发明具有稳定性强、实时性好、抗干扰能力强等优点。
Description
技术领域
无人机应用技术领域,涉及一种长时稳定的无人机目标跟踪方法。
背景技术
长时目标跟踪是计算机视觉领域中一个关键技术,在测绘、控制、军事等领域中有着重要的应用。同时涉及了计算机视觉领域中的多项核心技术,如图像处理、模式识别、自动控制等等,是一项综合性技术。
利用无人机在空中对地观察时,常常需要对特定目标在飞行过程中进行持续关注。在目标跟踪的过程中,由于目标的运动与无人机本身的运动,目标常常运动超出无人机获取的图像视场区域或者受到障碍物的局部与全局遮挡,进而导致跟踪目标丢失。
发明内容
本发明的目的在于提供一种长时稳定的无人机目标跟踪方法,解决了现有目标常常运动超出无人机获取的图像视场区域或者受到障碍物的局部与全局遮挡,导致跟踪目标丢失的现象。
为了达到上述目的,本发明采用的技术方案是:
本发明提供的一种长时稳定的无人机目标跟踪方法,包括以下步骤:
第一步,通过无人机机载相机连续拍摄地面图像,任意选取一帧作为跟踪起始帧;并在当前帧内选取待跟踪目标,并在待跟踪目标上加载矩形框作为待跟踪目标框R;
第二步,通过裁剪算法对待跟踪目标框R进行尺度扩大或缩小的优化处理,得到尺度合适的初始跟踪目标框Ro;
第三步,根据第二步中得到的初始跟踪目标框Ro,计算得到初始化感知哈希模板Ho=Ro
第四步,以第二步中得到的初始跟踪目标框Ro为中心,分别将其宽w和高h扩大2倍得到拓展的目标区域Rp,分别计算目标区域Rp的HOG特征fp和目标区域Rp的随机森林特征RFP;
第五步,在当前帧上对上一帧的目标区域Rpo所包含的像素区域通过双线性插值法进行S 个不同尺度的尺度变换得到Rs;
第六步,通过第四步分别提取第五步中Rs集合中元素的HOG特征,得到多尺度特征集合 fs={fp0,fp1,...,fps};
第七步,将多尺度特征集合fs中的每个元素fpk,k∈s与第四步中得到的上一帧目标特征 fp0进行相关卷积运算,得到了与多尺度特征集合fs一一对应的相关卷积响应图集合Pk;
第八步,根据相关卷积响应图集合Pk中所有元素的响应极值rmax,得到rmax所在尺度唯一对应的相关卷积响应图Pmax与对应特征fmax;
第九步,计算相关卷积响应图Pmax中的响应均值μp、响应极大值rmax和响应极小值rmin,并根据响应均值μp、响应极大值rmax和响应极小值rmin判断当前帧目标跟踪成功与否;当目标跟踪成功时,执行第十步;当目标跟踪失败时,执行第十一步;
第十步,对目标跟踪模型进行更新,并计算输出当前帧上的目标跟踪框相对于上一帧目标跟踪框的偏移量,同时输出当前尺度So;
第十一步,进入丢失找回模块进行找回;
第十二步,若找回成功,则进入第十步,之后继续进行下一帧图像的处理;若找回失败,则进入第十一步,进行下一帧图像的处理。
优选地,第二步中,优化处理的具体步骤是:
(1)设初始帧图像为I,则设待跟踪目标框R方框外的像素全部作为背景像素Rb,而方框内的像素全部作为目标像素Ru;
(2)初始化Rb内的每一像素n的标签αu=0,而对Ru内的每一像素n的标签初始化为αn=1;
(4)按照公式(1)对每个像素n分配高斯模型中的高斯分量:
其中,kn表示像素n由第k个高斯模型生成,μn和θk分别为对应高斯模型的均值与权值, Dn为混合多高斯模型,其中,
第k个高斯模型的权值θk可以通过公式(2)计算可得:
其中,U为高斯模型函数,对于给定的初始帧图像I,权值θk可以通过属于该高斯分布的像素个数与初始帧图像I中的总像素个数的比值来确定;
优选地,第四步中,目标区域Rp内的HOG特征fp的计算步骤如下:
(1)对Rp区域进行彩色-灰度转化;
(2)对Rp区域进行gamma归一化,从而降低图像局部的阴影和光照变化所造成的影响,降低噪声干扰,公式(3)如下:
I(x,y)=I(x,y)gamma (3)
(3)计算Rp区域内每个像素Ip的梯度dx、dy;
(4)将Rp区域划分为6*6的小块区域Cp,根据每个像素Ip的梯度dx、dy统计每个小块区域Cp中像素的梯度直方图作为该Cp的特征;
(5)将每3*3个Cp组成一个区块Bp,将Bp内所有Cp的特征串联起来得到该Bp的特征;
(6)将Rp内所有Bp的特征串联起来得到Rp的HOG特征fp,完成跟踪模型初始化。
优选地,第四步中,目标区域Rp的随机森林特征RFP的计算步骤如下:
a、根据公式(4)在目标区域Rp内随机选取k组点对,其中,所有点对满足x,y∈Rp:
Pair(xmym,xnyn)p∈k=Pair((Ixm,Iym),(Ixn,Iyn)) (4)
其中,Ixm,Iym表示第m组坐标对应于初始帧图像I中的像素值,Ixn,Iyn表示第n组坐标对应于初始帧图像I中的像素值(xmym,xnyn)表示一组点对,其对应坐标为(xm,ym),(xn,yn);
b、根据公式(5)计算目标区域Rp的随机森林特征RFp
RFp={b1,b2,…,bk|bk=(Ixm,Iym)-(Ixn,Iyn)>0?1:0} (5)
其中,bk为二进制数,当第k组点对的绝对值大于0时为1,反之为0,k组点对的bk组成了Rp的随机森林特征RFp。
优选地,第七步中,通过公式(6)计算得到相关卷积响应图集合Pk,其中,Pk={P1,P2,...,Pk}:
Pk=F-1(F(fpk)·F(fpo)) (6)
其中,F与F-1分别表示傅里叶变换与逆变换,Pk表示对应元素fpk的相关卷积响应图,·表示频域点乘。
优选地,第九步中,按照公式(7)计算响应均值μp:
并根据公式(8)、(9)利用响应均值μp、响应极大值rmax和响应极小值rmin判断当前帧目标跟踪成功与否:
hthre=Hash(|Rpmax-Ho|) (9)
其中,I(i,j)表示Pmax对应的当前帧区域中的任一像素,Ho为第三步中得到初始感知哈希模板,Hash表示计算感知哈希距离,pthre为跟踪响应值、hthre为哈希特征值;
当pthre<0.5且hthre<0.5时,则当前帧目标跟踪成功;反之则跟踪失败、目标丢失。
优选地,第十步中,通过公式(10)对目标跟踪模型进行更新:
Hnew=α*H0+(1-α)*fmax (10)
其中,Hnew表示更新后的初始跟踪模板,H0表示第三步中得到的未更新模板,fmax表示第七步中得到的成功跟踪区域特征,α=0.01为更新系数;
偏移量u=xnew-xold,v=ynew-yold,其中xnew、ynew、xold、yold分别代表当前帧与上一帧目标区域的中心x、y坐标。
优选地,第十一步中,进入丢失找回模块进行找回的具体步骤:首先,根据第五步中采用的尺度S,对当前帧In进行多尺度全局区块划分,得到每一个对应尺度的区块Zs;然后计算区块集合Zs的随机森林特征RFZ,接着计算RFZ中所有元素与第三步中得到的RFP的欧式距离,得到距离最近的区块zmin,根据区块zmin计算相关滤波响应图Pmin,以此判断目标找回是否成功。
与现有技术相比,本发明的有益效果是:
本发明提供的一种长时稳定的无人机目标跟踪方法,根据用户交互选择并优化初始化跟踪目标框的方法;根据相关滤波算法计算跟踪目标响应图的方法;根据响应图进行质量评价与空间定位确定跟踪目标位置的方法;根据感知哈系算法对跟踪结果进行跟踪成功/失败判定的方法;根据随机森林分类器对丢失目标进行全局丢失找回的方法。本发明提供的跟踪方法能够在光照变化、尺度变化、动态场景以及局部/全局遮挡情况下对目标进行长时稳定跟踪,同时可以应用与多种不同场景与平台,因此本发明具有稳定性强、实时性好、抗干扰能力强等优点。
进一步的,本发明对初始图像帧进行优化处理,改善了由于无人机相对运动导致的目标框选不准问题,减少了误选进入目标框的背景干扰,提高了后续目标跟踪的精确度。
进一步的,本发明对每帧跟踪后的跟踪结果进行了有效地质量评价,减少了跟踪失败的概率,同时降低了跟踪失败导致的模型漂移,提升了后续目标跟踪的准确度。
进一步的,本发明加入了目标丢失时的丢失找回模块,有效地提升了长时间目标跟踪时跟踪算法的稳定性和可靠性,提高了目标被半遮挡或全遮挡时的跟踪准确度,使得无人机跟踪算法能够适应于多种复杂应用场景。
附图说明
图1是无人机载控制系统的组成框图;
图2为目标跟踪方法流程;
图3是目标跟踪初始化方法;
图4是加入多尺度跟踪功能的跟踪结果示意图;其中,图4a为两种方法结果基本一致;图 4b为目标远离时的踪结果图;图4c为目标靠近时的跟踪结果图;
图5是加入目标丢失找回功能的跟踪结果示意图;其中,图5a为正常跟踪时两种方法结果一致;图5b为目标受到局部遮挡时的跟踪结果图;图5c为目标完全被隔档时的跟踪结果图;图5d为目标再次出现时的跟踪结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供的一种长时稳定的无人机目标跟踪方法,通过用户交互输入初始跟踪目标框并优化,建立以相关滤波为基础的跟踪模型与以随机森林分类器为基础的目标丢失找回模块,实现一种长时稳定的无人机目标跟踪方法。
如图1所示,本发明提供的无人目标跟踪控制系统包括陀螺仪、加速度计、气压计、云台、相机、飞控模块、通信模块和机载计算单元;其中,陀螺仪、加速度计、气压计、云台、飞控模块和通信模块均与机载计算单元连接,同时,云台控制连接相机。具体地,加速度计用于测量无人机的三轴加速度;陀螺仪用于测量无人机的横滚、偏航、俯仰角;气压计用于获得无人机的飞行高度;相机用于拍摄图像;云台用于连接相机与无人机并提供一定的稳定作用;机载计算单元为机载计算机板用于处理飞控、图像等信息;通信模块用于无人机与地面站、遥控器传输信息;飞控模块负责接收指令控制飞机运行姿态。加速度计、陀螺仪、气压计、相机的信息传输给机载计算单元后由其进行目标跟踪处理,并将解算后的目标偏移量和尺度信息传输给飞控模块,进而控制无人机主动跟踪目标。
基于无人目标跟踪控制系统的目标跟踪方法,包括:
第一步,通过无人机机载相机连续拍摄地面图像,同时等待用户交互选择矩形作为待跟踪目标,当用户完成初始目标选择后,则将当前帧作为跟踪起始帧,开始目标跟踪初始化过程;
第二步,通过裁剪算法对待跟踪目标框进行初始矩形扩大或缩小的优化处理,并选取合适的收缩尺度作为最终的初始跟踪目标框,如图2所示,具体步骤如下:
(1)设初始帧图像为I,用户选择的待跟踪目标框为R,则设待跟踪目标框R方框外的像素全部作为背景像素Rb,而方框内的像素全部作为目标像素Ru;
(2)初始化Rb内的每一像素n的标签αu=0,而对Ru内的像素n的标签初始化为αn=1;
(4)对每个像素n分配高斯模型中的高斯分量,公式如下:
其中,kn的结果表示像素n最可能由第k个高斯模型生成,μn和θk分别为对应高斯模型的均值与权值,Dn为混合多高斯模型,其中,
其中,第k个高斯模型的权值θk可以通过公式(2)计算可得:
其中,U为高斯模型函数,对于给定的初始帧图像I,权值θk可以通过属于该高斯分布的像素个数与I中的总像素个数的比值来确定;
第三步,根据第二步中得到的初始跟踪目标框Ro,通过HASH算法得到初始化跟踪模板 Ho=Ro;
第四步,以第二步中得到的初始跟踪目标框Ro为中心,分别将其宽w和高h扩大2倍得到拓展的目标区域Rp,分别计算目标区域Rp的HOG特征fp和目标区域Rp的随机森林特征RFP,如图3所示,具体地:
一、计算目标区域Rp内的HOG特征fp:
具体步骤如下:
(1)对Rp区域进行彩色-灰度转化;
(2)对Rp区域进行gamma归一化,从而降低图像局部的阴影和光照变化所造成的影响,降低噪声干扰,公式(3)如下:
I(x,y)=I(x,y)gamma (3)
(3)计算Rp区域内每个像素Ip的梯度dx、dy;
(4)将Rp区域划分为6*6的小块区域Cp,根据每个像素Ip的梯度dx、dy统计每个小块区域Cp中像素的梯度直方图作为该Cp的特征;
(5)将每3*3个Cp组成一个区块Bp,将Bp内所有Cp的特征串联起来得到该Bp的特征;
(6)将Rp内所有Bp的特征串联起来得到Rp的HOG特征fp,完成跟踪模型初始化。
二、计算目标区域Rp的随机森林特征RFp
a、根据公式(4)在目标区域Rp内随机选取k组点对,其中,所有点对满足x,y∈Rp:
Pair(xmym,xnyn)p∈k=Pair((Ixm,Iym),(Ixn,Iyn)) (4)
其中,Ixm,Iym表示第m组坐标对应于初始帧图像I中的像素值,Ixn,Iyn表示第n组坐标对应于初始帧图像I中的像素值(xmym,xnyn)表示一组点对,其对应坐标为(xm,ym),(xn,yn);
b、根据公式(5)计算目标区域Rp的随机森林特征RFp
RFp={b1,b2,…,bk|bk=(Ixm,Iym)-(Ixn,Iyn)>0?1:0} (5)
其中,bk为二进制数,当第k组点对的绝对值大于0时为1,反之为0,k组点对的bk组成了Rp的随机森林特征RFp。
第五步,进入目标跟踪循环流程:
对于相机采集到的每一帧图像,在上一帧I0通过第三步得到的跟踪目标区域Rp的基础上,在当前帧In上对跟踪目标区域Rp所包含的的像素区域通过双线性插值法进行S个不同尺度的尺度变换得到Rs,其中,Rs={Rp0,Rp1,...,Rps},S的尺度范围为0.1~3.0。
第六步,根据第四步分别提取Rs集合中元素的HOG特征,得到多尺度特征集合 fs={fp0,fp1,...,fps}。
第七步,将多尺度特征集合fs中的每个元素fpk,k∈s与第四步中得到的上一帧目标特征 fp0进行相关卷积运算,并通过频域变换简化计算,通过公式(6)得到了与多尺度特征集合fs一一对应的相关卷积响应图集合Pk={P1,P2,...,Pk}。
Pk=F-1(F(fpk)·F(fpo)) (6)
其中,F与F-1分别表示傅里叶变换与逆变换,Pk表示对应元素fpk的相关卷积响应图,·表示频域点乘。
第八步,根据相关卷积响应图集合Pk,判断正确跟踪的目标位置与跟踪质量:
统计Pk中所有元素的响应极大值rmax,并选择rmax所在尺度唯一对应的相关卷积响应图 Pmax与对应特征fmax,同时将rmax所在尺度作为目标跟踪尺度So。
第九步,统计Pmax响应图中的响应均值μp、响应极大值rmax和响应极小值rmin,其中,按照公式(7)计算响应均值μp:
然后,根据公式(8)、(9)利用响应均值μp、响应极大值rmax和响应极小值rmin判断当前帧目标跟踪成功与否:
hthre=Hash(|Rpmax-Ho|) (9)
其中,I(i,j)表示Pmax对应的当前帧区域中的任一像素,Ho为第三步中得到初始感知哈希模板,Hash表示计算感知哈希距离;
pthre和hthre为跟踪响应值与哈希特征值,当pthre<0.5且hthre<0.5时,认为当前帧目标跟踪成功,反之则认为跟踪失败、目标丢失。
第九步,若跟踪失败、目标丢失,则进入丢失找回模块:
根据第五步中采用的尺度S,对当前帧In进行多尺度全局区块划分,得到每一个对应尺度的区块Zs,可以表示为Zs=I(i:i+w0,j:j+h0),i∈0,1,...,w-w0,j∈0,1,...,h-h0,其中w与h 表示当前帧的宽与高,w0与h0表示分块步长;
根据每个对应尺度的区块Zs进而可以得到对应所有尺度的区块集合Z,其中, Z={Z0,Z1,...,Zs}。
第十步,根据第三步的方法对多尺度区块集合Z求取随机森林特征RFZ,接着计算RFZ中所有元素与第三步中得到的RFP的欧式距离,得到距离最近的区块zmin。
第十一步,根据公式6对区块zmin计算相关滤波响应图Pmin,并根据公式7、8判断目标找回是否成功。若成功找回,输出找回目标位置信息并进入第十三步,若找回失败,则返回跟踪失败、找回失败信息,同时回到第九步继续下一帧图像处理。
第十二步,当第九步跟踪成功时,进行跟踪模板更新,公式如下:
Hnew=α*H0+(1-α)*fmax (10)
其中,Hnew表示更新后的初始跟踪模板,H0表示第三步中得到的未更新模板,fmax表示第七步中得到的成功跟踪区域特征,α=0.01为更新系数。
第十三步,跟踪流程结束,根据跟踪结果输出跟踪成功/失败、丢失找回成功/失败信息,当跟踪/找回成功时,计算输出当前帧目标相对上一帧目标的偏移量(u,v):u=xnew-xold, v=ynew-yold,其中xnew、ynew、xold、yold分别代表当前帧与上一帧目标区域的中心x、y 坐标,同时输出第八步中得到的当前尺度So,其中,So被用于后续的无人机飞行控制中的距离判断中。
如图4所示,三张图中黑色框表示加入多尺度跟踪功能的本发明方法的跟踪结果,白色框表示未加入多尺度跟踪功能的目标跟踪方法。对比可以发现,图4a中两种方法结果基本一致,而当图4b中目标远离时,黑色框仍然能够很好地贴合目标轮廓,而白色框由于没有多尺度跟踪功能,其跟踪结果混杂了大量背景从而变得不准确,图4c中目标靠近时的跟踪结果也说明了这一现象。这说明本发明对于复杂背景以及尺度变化等情况具有很好地适应性。
如图5所示,四张图中黑色框表示加入目标丢失找回功能的本发明方法的跟踪结果,白色框表示未加入目标丢失找回功能的目标跟踪方法。对比可以发现,图5a中正常跟踪时两种方法结果基本一致,图5b中目标受到局部遮挡时本发明方法受到干扰较小而白色框不能很好地跟踪目标整体,图5c中目标被完全遮挡,本发明方法进入丢失找回模式不再更新跟踪目标,有效地避免了跟踪模型漂移以及跟错目标,而白色框仍然保持跟踪状态导致目标跟踪错误,图 5d中目标再次出现时,本发明方法能够正确找回目标并重新开始跟踪,而白色框由于之前跟踪错误,后续跟踪模型漂移导致无法正确跟踪上目标。这说明本发明对于目标受到局部、全局遮挡以及背景混淆干扰较大时仍然具有良好的跟踪性能。
以上结合附图描述了本发明的基本原理、主要特征和本发明的优点。
Claims (8)
1.一种长时稳定的无人机目标跟踪方法,其特征在于,包括以下步骤:
第一步,通过无人机机载相机连续拍摄地面图像,任意选取一帧作为跟踪起始帧;并在当前帧内选取待跟踪目标,并在待跟踪目标上加载矩形框作为待跟踪目标框R;
第二步,通过裁剪算法对待跟踪目标框R进行尺度扩大或缩小的优化处理,得到尺度合适的初始跟踪目标框Ro;
第三步,根据第二步中得到的初始跟踪目标框Ro,计算得到初始化感知哈希模板Ho=Ro;
第四步,以第二步中得到的初始跟踪目标框Ro为中心,分别将其宽w和高h扩大2倍得到拓展的目标区域Rp,分别计算目标区域Rp的HOG特征fp和目标区域Rp的随机森林特征RFP;
第五步,在当前帧上对上一帧的目标区域Rpo所包含的像素区域通过双线性插值法进行S个不同尺度的尺度变换得到Rs;
第六步,通过第四步分别提取第五步中Rs集合中元素的HOG特征,得到多尺度特征集合fs={fp0,fp1,...,fps};
第七步,将多尺度特征集合fs中的每个元素fpk,k∈s与第四步中得到的上一帧目标特征fp0进行相关卷积运算,得到了与多尺度特征集合fs一一对应的相关卷积响应图集合Pk;
第八步,根据相关卷积响应图集合Pk中所有元素的响应极值rmax,得到rmax所在尺度唯一对应的相关卷积响应图Pmax与对应特征fmax;
第九步,计算相关卷积响应图Pmax中的响应均值μp、响应极大值rmax和响应极小值rmin,并根据响应均值μp、响应极大值rmax和响应极小值rmin判断当前帧目标跟踪成功与否,当目标跟踪成功时,执行第十步;当目标跟踪失败时,执行第十一步;
第十步,对目标跟踪模型进行更新,并计算输出当前帧上的目标跟踪框相对于上一帧目标跟踪框的偏移量,同时输出当前尺度So;
第十一步,进入丢失找回模块进行找回;
第十二步,若找回成功,则返回第十步,之后继续进行下一帧图像的处理;若找回失败,则返回第十一步,进行下一帧图像的处理。
2.根据权利要求1所述的一种长时稳定的无人机目标跟踪方法,其特征在于:第二步中,优化处理的具体步骤是:
(1)设初始帧图像为I,则设待跟踪目标框R方框外的像素全部作为背景像素Rb,而方框内的像素全部作为目标像素Ru;
(2)初始化Rb内的每一像素n的标签αu=0,而对Ru内的每一像素n的标签初始化为αn=1;
(4)按照公式(1)对每个像素n分配高斯模型中的高斯分量:
其中,kn表示像素n由第k个高斯模型生成,μn和θk分别为对应高斯模型的均值与权值,Dn为混合多高斯模型,其中,
第k个高斯模型的权值θk通过公式(2)计算:
其中,U为高斯模型函数,对于给定的初始帧图像I,权值θk通过属于该高斯分布的像素个数与初始帧图像I中的总像素个数的比值来确定;
3.根据权利要求1所述的一种长时稳定的无人机目标跟踪方法,其特征在于:第四步中,
目标区域Rp内的HOG特征fp的计算步骤如下:
(1)对Rp区域进行彩色-灰度转化;
(2)对Rp区域进行gamma归一化,从而降低图像局部的阴影和光照变化所造成的影响,降低噪声干扰,公式(3)如下:
I(x,y)=I(x,y)gamma (3)
(3)计算Rp区域内每个像素Ip的梯度dx、dy;
(4)将Rp区域划分为6*6的小块区域Cp,根据每个像素Ip的梯度dx、dy统计每个小块区域Cp中像素的梯度直方图作为该Cp的特征;
(5)将每3*3个Cp组成一个区块Bp,将Bp内所有Cp的特征串联起来得到该Bp的特征;
(6)将Rp内所有Bp的特征串联起来得到Rp的HOG特征fp,完成跟踪模型初始化。
4.根据权利要求1所述的一种长时稳定的无人机目标跟踪方法,其特征在于:第四步中,目标区域Rp的随机森林特征RFP的计算步骤如下:
a、根据公式(4)在目标区域Rp内随机选取k组点对,其中,所有点对满足x,y∈Rp:
Pair(xmym,xnyn)p∈k=Pair((Ixm,Iym),(Ixn,Iyn)) (4)
其中,Ixm,Iym表示第m组坐标对应于初始帧图像I中的像素值,Ixn,Iyn表示第n组坐标对应于初始帧图像I中的像素值(xmym,xnyn)表示一组点对,其对应坐标为(xm,ym),(xn,yn);
b、根据公式(5)计算目标区域Rp的随机森林特征RFp
RFp={b1,b2,...,bk|bk=(Ixm,Iym)-(Ixn,Iyn)>0?1:0} (5)
其中,bk为二进制数,当第k组点对的绝对值大于0时为1,反之为0,k组点对的bk组成了Rp的随机森林特征RFp。
5.根据权利要求1所述的一种长时稳定的无人机目标跟踪方法,其特征在于:第七步中,通过公式(6)计算得到相关卷积响应图集合Pk,其中,Pk={P1,P2,...,Pk}:
Pk=F-1(F(fpk)·F(fpo)) (6)
其中,F与F-1分别表示傅里叶变换与逆变换,Pk表示对应元素fpk的相关卷积响应图,·表示频域点乘。
7.根据权利要求1所述的一种长时稳定的无人机目标跟踪方法,其特征在于:第十步中,通过公式(10)对目标跟踪模型进行更新:
Hnew=α*H0+(1-α)*fmax (10)
其中,Hnew表示更新后的初始跟踪模板,H0表示第三步中得到的未更新模板,fmax表示第七步中得到的成功跟踪区域特征,α=0.01为更新系数;
偏移量u=xnew-xold,v=ynew-yold,其中xnew、ynew、xold、yold分别代表当前帧与上一帧目标区域的中心x、y坐标。
8.根据权利要求1所述的一种长时稳定的无人机目标跟踪方法,其特征在于:第十一步中,进入丢失找回模块进行找回的具体步骤:首先,根据第五步中采用的尺度S,对当前帧In进行多尺度全局区块划分,得到每一个对应尺度的区块Zs;然后计算区块集合Zs的随机森林特征RFZ,接着计算RFZ中所有元素与第三步中得到的RFP的欧式距离,得到距离最近的区块zmin,根据区块zmin计算相关滤波响应图Pmin,以此判断目标找回是否成功。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710631781.8A CN107491742B (zh) | 2017-07-28 | 2017-07-28 | 一种长时稳定的无人机目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710631781.8A CN107491742B (zh) | 2017-07-28 | 2017-07-28 | 一种长时稳定的无人机目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107491742A CN107491742A (zh) | 2017-12-19 |
CN107491742B true CN107491742B (zh) | 2020-10-23 |
Family
ID=60644750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710631781.8A Active CN107491742B (zh) | 2017-07-28 | 2017-07-28 | 一种长时稳定的无人机目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107491742B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108363946B (zh) * | 2017-12-29 | 2022-05-03 | 成都通甲优博科技有限责任公司 | 基于无人机的人脸跟踪系统及方法 |
CN108334099B (zh) * | 2018-01-26 | 2021-11-19 | 上海深视信息科技有限公司 | 一种高效的无人机人体跟踪方法 |
US11544348B2 (en) * | 2018-03-05 | 2023-01-03 | Tata Consultancy Services Limited | Neural network based position estimation of target object of interest in video frames |
CN108596188A (zh) * | 2018-04-04 | 2018-09-28 | 西安电子科技大学 | 基于hog特征算子的视频目标检测方法 |
CN108805909B (zh) * | 2018-04-28 | 2022-02-11 | 哈尔滨工业大学深圳研究生院 | 在相关滤波框架下基于粒子滤波重检测的目标跟踪方法 |
CN108694724A (zh) * | 2018-05-11 | 2018-10-23 | 西安天和防务技术股份有限公司 | 一种长时间目标跟踪方法 |
CN108876816B (zh) * | 2018-05-31 | 2020-07-10 | 西安电子科技大学 | 基于自适应目标响应的目标跟踪方法 |
CN109785358B (zh) * | 2018-11-23 | 2023-06-16 | 山东航天电子技术研究所 | 一种基于循环确认机制的抗遮挡红外小目标跟踪方法 |
EP3989118A4 (en) | 2019-06-28 | 2022-06-29 | SZ DJI Technology Co., Ltd. | Target tracking method and system, readable storage medium and moving platform |
CN111145215B (zh) * | 2019-12-25 | 2023-09-05 | 北京迈格威科技有限公司 | 一种目标跟踪方法及装置 |
CN111179315A (zh) * | 2019-12-31 | 2020-05-19 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频目标区域跟踪方法和视频平面广告植入方法 |
CN111986255B (zh) * | 2020-09-07 | 2024-04-09 | 凌云光技术股份有限公司 | 一种图像检测模型的多尺度anchor初始化方法与装置 |
CN114697525B (zh) * | 2020-12-29 | 2023-06-06 | 华为技术有限公司 | 一种确定跟踪目标的方法及电子设备 |
CN112364854B (zh) * | 2021-01-14 | 2021-05-28 | 南京理工大学 | 基于检测跟踪融合的机载目标抵近引导系统及方法 |
CN113391640A (zh) * | 2021-03-16 | 2021-09-14 | 南京理工大学 | 一种检测与跟踪协同的无人机视觉引导系统及控制方法 |
CN114428518B (zh) * | 2021-12-09 | 2024-03-22 | 西安因诺航空科技有限公司 | 一种用于无人机风机叶片自动巡检的风机定向方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894097B (zh) * | 2010-07-23 | 2012-07-04 | 哈尔滨工业大学 | 卡尔曼滤波与经验模态分解有机结合的机动目标跟踪方法 |
CN102436590A (zh) * | 2011-11-04 | 2012-05-02 | 康佳集团股份有限公司 | 一种基于在线学习的实时跟踪方法及跟踪系统 |
CN103149940B (zh) * | 2013-03-27 | 2015-12-02 | 清华大学 | 一种结合均值移动与粒子滤波的无人机目标跟踪方法 |
CN105139420B (zh) * | 2015-08-03 | 2017-08-29 | 山东大学 | 一种基于粒子滤波和感知哈希的视频目标跟踪方法 |
CN105354863A (zh) * | 2015-10-30 | 2016-02-24 | 浙江工业大学 | 基于特征滤波和快速运动检测模板预测的自适应尺度图像序列目标跟踪方法 |
CN105404894B (zh) * | 2015-11-03 | 2018-10-23 | 湖南优象科技有限公司 | 无人机用目标追踪方法及其装置 |
CN105469397B (zh) * | 2015-11-23 | 2018-05-18 | 山东科技大学 | 一种基于系数矩阵分析的目标遮挡检测方法 |
CN106023257B (zh) * | 2016-05-26 | 2018-10-12 | 南京航空航天大学 | 一种基于旋翼无人机平台的目标跟踪方法 |
CN106326924A (zh) * | 2016-08-23 | 2017-01-11 | 武汉大学 | 一种基于局部分类的目标跟踪方法及系统 |
CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易(北京)科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
CN106952288B (zh) * | 2017-03-31 | 2019-09-24 | 西北工业大学 | 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法 |
-
2017
- 2017-07-28 CN CN201710631781.8A patent/CN107491742B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107491742A (zh) | 2017-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107491742B (zh) | 一种长时稳定的无人机目标跟踪方法 | |
CN108446634B (zh) | 基于视频分析和定位信息结合的航空器持续跟踪方法 | |
CN103413352A (zh) | 基于rgbd多传感器融合的场景三维重建方法 | |
CN112052802B (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
CN107255468A (zh) | 目标跟踪方法、目标跟踪设备及计算机存储介质 | |
CN111354022B (zh) | 基于核相关滤波的目标跟踪方法及系统 | |
CN112489089B (zh) | 一种微型固定翼无人机机载地面运动目标识别与跟踪方法 | |
CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN104778465A (zh) | 一种基于特征点匹配的目标跟踪方法 | |
CN113724379B (zh) | 融合图像与激光点云的三维重建方法及装置 | |
CN111160365A (zh) | 基于检测器和跟踪器相结合的无人机目标跟踪方法 | |
CN108320310B (zh) | 基于图像序列的空间目标三维姿态估计方法 | |
CN110197501B (zh) | 图像处理方法和设备 | |
CN112733971B (zh) | 扫描设备的位姿确定方法、装置、设备及存储介质 | |
CN117274314A (zh) | 一种特征融合的视频目标跟踪方法及系统 | |
CN110472092B (zh) | 一种街景图片的地理定位方法及系统 | |
CN116665097A (zh) | 一种结合上下文感知的自适应目标跟踪方法 | |
CN115082519A (zh) | 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备 | |
CN113379787B (zh) | 基于3d卷积孪生神经网络和模板更新的目标跟踪方法 | |
CN113837243B (zh) | 基于边缘信息的rgb-d相机动态视觉里程计方法 | |
CN110288633B (zh) | 目标追踪方法、装置、可读存储介质及电子设备 | |
CN115729250A (zh) | 一种无人机的飞行控制方法、装置、设备及存储介质 | |
US10553022B2 (en) | Method of processing full motion video data for photogrammetric reconstruction | |
KR101918820B1 (ko) | 장면 인식을 이용한 무인 비행체 회귀 제어 방법 | |
CN117576218B (zh) | 一种自适应的视觉惯导里程计输出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Long Term Stable Target Tracking Method for Unmanned Aerial Vehicles Effective date of registration: 20230328 Granted publication date: 20201023 Pledgee: Bank of China Limited Xi'an Chang'an District Branch Pledgor: XI'AN INNNO AVIATION TECHNOLOGY Co.,Ltd. Registration number: Y2023610000220 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |