CN109816698B - 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法 - Google Patents

基于尺度自适应核相关滤波的无人机视觉目标跟踪方法 Download PDF

Info

Publication number
CN109816698B
CN109816698B CN201910136312.8A CN201910136312A CN109816698B CN 109816698 B CN109816698 B CN 109816698B CN 201910136312 A CN201910136312 A CN 201910136312A CN 109816698 B CN109816698 B CN 109816698B
Authority
CN
China
Prior art keywords
target
unmanned aerial
aerial vehicle
scale
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910136312.8A
Other languages
English (en)
Other versions
CN109816698A (zh
Inventor
郭剑东
刘青文
王康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910136312.8A priority Critical patent/CN109816698B/zh
Publication of CN109816698A publication Critical patent/CN109816698A/zh
Application granted granted Critical
Publication of CN109816698B publication Critical patent/CN109816698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,选取跟踪目标,计算得到跟踪目标第一帧的颜色和梯度初始概率密度,同时将第一帧数据利用核相关滤波算法训练分类器及检测目标的中心位置;从第二帧开始建立一维的核相关滤波器检测目标尺度的变化,利用卷积定理计算核相关滤波;利用当前目标特征和初始特征构造相似度函数,如果相似度小于设定阈值,则认为目标识别不准确或者目标已丢失,进入全局搜索,否则表示识别并跟踪上目标,得到目标位置信息;将跟踪目标位置信息实时发送到无人机飞行控制系统,进行无人机位置控制。本发明优化了核相关滤波算法跟踪尺度固定的问题,有效地提高目标特征的跟踪精度。

Description

基于尺度自适应核相关滤波的无人机视觉目标跟踪方法
技术领域
本发明涉及无人机目标跟踪和计算机视觉领域,具体涉及一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法。
背景技术
近几年,随着无人机技术和计算机视觉技术的快速发展,基于视觉的无人机航拍得到了广泛应用,尤其在侦查监视、灾情搜救、航空摄影等领域发挥着巨大的作用。多轴无人机是一种结构简单、可垂直起降、定点悬停的无人飞行器,由对称分布在机体正反转成对的螺旋桨构成,通过改变螺旋桨转速实现对多轴无人机空间六个自由度的控制,一般采用锂电池驱动。
但是,目前市场上大多数多轴无人机智能化程度较低,自动化程度低,无法解放操作者的双手,这些在一定程度上限制了无人机的发展。计算机视觉的发展给予无人机发展的新动力,尤其在目标跟踪领域得到了广泛研究。然而,当前大多数目标跟踪算法相对复杂,且运行时间相对较长,无法满足无人机目标跟踪的需求。
因此,根据目标跟踪要求和飞行平台需要设计合适的目标识别、跟踪算法和控制方法是迫切需要的。
发明内容
为解决现有技术中的不足,本发明提供一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,解决了目前无人机目标跟踪算法相对复杂,运行时间较长,无法满足无人机跟踪需求的问题。
为了实现上述目标,本发明采用如下技术方案:一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征在于:
步骤一、选取跟踪目标,计算得到跟踪目标第一帧的颜色和梯度初始概率密度,同时将第一帧数据利用核相关滤波算法训练分类器及检测目标的中心位置;
步骤二、从第二帧开始建立一维的核相关滤波器检测目标尺度的变化,利用卷积定理计算核相关滤波;
步骤三,利用当前目标特征和初始特征构造相似度函数,如果相似度小于设定阈值,则认为目标识别不准确或者目标已丢失,进入全局搜索,否则表示识别并跟踪上目标,得到目标位置信息;
步骤四,将跟踪目标位置信息实时发送到无人机飞行控制系统,进行无人机位置控制。
前述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述步骤一中目标颜色概率密度
Figure GDA0003953124050000021
表示为:
Figure GDA0003953124050000022
/>
其中,x0为目标区域中心,xi为区域内像素坐标,i=1,2,...nj,nj为目标区域内像素总和,δ()为狄拉克函数,b()为特征向量映射函数,u为目标颜色的特征值,Cq为归一化常数。
前述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述步骤一中目标梯度概率密度计算方法为:
设I(x,y)为坐标(x,y)的色度值,分别计算坐标(x,y)的水平和垂直方向上的梯度gx,gy
Figure GDA0003953124050000023
Figure GDA0003953124050000024
进而计算坐标(x,y)的梯度幅值a(x,y)及方向θ(x,y):
Figure GDA0003953124050000025
θ(x,y)=tan-1gy/gx (5)
将梯度空间以45°为单位平均划分为8个区域,以θ(x,y)为分量和以a(x,y)为量化值,构建当前帧目标的8位梯度直方图,则梯度概率密度
Figure GDA0003953124050000031
为:
Figure GDA0003953124050000032
其中,目标区域半径为j,v为目标梯度特征值;x0为目标区域中心,xi为区域内像素坐标,i=1,2,...nj,nj为目标区域内像素总和,Cq为归一化常数,δ()为狄拉克函数,b()为特征向量映射函数。
前述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述将第一帧数据利用核相关滤波算法训练分类器及检测目标的中心位置,具体方法为:
将初始帧特征目标作为正样本,目标区域周围通过循环移位得到负样本,采用核岭回归分类器,通过样本找到一个回归函数f(z)=wTz,使正则化风险泛函最小,构造训练分类器:
Figure GDA0003953124050000033
其中,X是坐标(x,y),Y为目标图像的期望输出,λ是正则化参数,φ(X)是由核函数κ将非线性回归映射到线性回归的映射函数;<φ(X),w>表示映射函数φ(X)和w的内积,w为回归函数的参数;在非线性特征空间中,w=∑εφ(X),ε为回归系数;
通过训练的分类器可得回归系数ε在傅里叶域的解,即为:
ε=F(Y)/(F(kXX)+λ) (8)
其中,F(Y)是目标图像期望输出的傅里叶正变换,则kXX=[κ(X,X),κ(X,PX),...,κ(X,Pn-1X)],κ为核函数,
Figure GDA0003953124050000034
为一维非线性空间,P为单位循环矩阵,则目标检测的输出响应为:
Figure GDA0003953124050000035
其中,
Figure GDA0003953124050000041
表示在傅里叶域中所有回归系数ε组成的向量,/>
Figure GDA0003953124050000042
是X和它自身在频域的核相关,当/>
Figure GDA0003953124050000043
取最大值时的位置即为检测目标的中心位置。
前述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述步骤二,从第二帧开始建立一维的核相关滤波器检测目标尺度的变化,利用卷积定理计算核相关滤波,具体包括:
首先在目标周围选取一些尺度变化的图像块,将所述图像块大小调整到初始目标框大小;设置当前目标框大小为E×R,一维滤波器大小为S×1,所述图像块组成的样本为xs,大小为e×r,则e=χcE,r=χcR,χ为尺度因子,c={-[(S-1)/2],...,[(S-1)/2]};
根据训练分类器得到新的回归系数向量εs和目标检测的输出响应
Figure GDA0003953124050000044
当/>
Figure GDA0003953124050000045
最大时,对应的尺度作为新一帧中目标的尺度,尺度自适应核相关滤波的回归函数/>
Figure GDA0003953124050000046
简化为:
Figure GDA0003953124050000047
其中,
Figure GDA0003953124050000048
表示坐标X和xs在频域的核相关,/>
Figure GDA0003953124050000049
表示新的回归系数向量εs的傅里叶变换。
前述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述步骤三中的相似度函数为:
Figure GDA00039531240500000410
其中,ρ为相似度函数,p(u),p(v)分别表示当前目标的颜色和梯度概率密度,q(u),q(v)分别表示初始目标的颜色和梯度概率密度,u表示颜色特征值,v表示梯度特征值。
前述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述步骤四将跟踪目标位置信息实时发送到无人机飞行控制系统,进行无人机位置控制,具体为:
将步骤三输出的跟踪目标坐标数据发送给无人机飞行控制系统,利用无人机摄像头成像原理及无人机的当前飞行高度计算出无人机与跟踪目标之间的水平位置偏差,再将该水平位置偏差作为控制器的位置输入,通过PID控制器得到期望的内环控制信息,在无人定高飞行模态可实现对目标的稳定跟踪控制。
前述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述利用无人机摄像头成像原理及无人机的当前飞行高度计算出无人机与跟踪目标之间的水平位置偏差,具体步骤为:
1)在固定高度下的拍摄范围,由机载摄像头的成像原理算出在机体轴obxb轴的成像比例为tanα,在机体轴obyb轴的成像比例为tanβ,其中α和β分别为无人机摄像头焦点到标定视角平面的ocxc轴和ocyc轴的最大距离夹角,Ob是机体轴原点,Oc是图像坐标系原点,xb是拍摄画面在机体轴x方向上的大小,yb是拍摄画面在机体轴y方向上的大小,当多轴无人机搭载摄像头飞行时,若摄像头距地面高度为h,则摄像头拍摄的画面大小为:
xb=2h×tanα (12)
yb=2h×tanβ (13)
2)设坐标量程为l,假设目标的图像坐标为xc和yc,则可以得到机体与目标之间的实际位置差为Δx,Δy:
Δx=xb(xc-l/2)/l (14)
Δy=yb(yc-l/2)/l (15)
有益效果:
本发明设计了尺度自适应核相关滤波算法和颜色梯度特征融合的目标丢失检测优化算法;采用核相关滤波算法的同时构建了相似度函数判断当前帧目标识别是否准确;其次优化了核相关滤波算法跟踪尺度固定问题,有效提高跟踪特征目标的精度。
基于核相关滤波的目标跟踪算法,该算法利用循环矩阵求解岭回归问题,大大提高了计算效率,同时在线性回归的基础上引入核函数,提高了分类器的性能。
运用一维尺度滤波器自适应估计目标尺度的变化,有效提高了目标识别的准确性。
将目标颜色梯度特征融入算法,有效提高目标识别的准确性。
实现在线变更跟踪目标,利用卷积定理计算核相关滤波,提高算法运行速度,同时通过尺度变换增加算法的准确性和鲁棒性。
附图说明
图1为目标跟踪算法流程图;
图2为目标跟踪系统硬件结构图;
图3为摄像头成像原理图;
图4为侧向位置控制结构图;
图5为跟踪目标为地面车的实验图;
图6为设计算法与核相关算法视频数据测试结果图;
图7为图6测试视频的跟踪精度对比图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,包括步骤:
第一步,选取跟踪目标获取第一帧数据,利用第一帧数据分别计算目标颜色和目标梯度的初始概率密度,同时将第一帧数据利用核相关滤波算法训练分类器及检测目标的中心位置;
计算跟踪目标颜色概率密度方法如下:
将目标区域颜色信息在RGB空间划分为16*16*16个等级,并采用Epanechikov函数作为概率密度核函数,则目标颜色概率密度
Figure GDA0003953124050000071
表示为:
Figure GDA0003953124050000072
/>
其中,x0为目标区域中心,xi为区域内像素坐标,i=1,2,...nj,nj为区域内像素总和,δ()为狄拉克函数,b(xi)为特征向量映射函数,通过提取颜色特征向量,采用高斯核的映射关系获得特征向量映射函数,u∈[1,16×16×16]为目标颜色的特征值,用于表征在RGB空间的等级,Cq为归一化常数;δ[b(xi)-u]的作用是判断区域内像素xi的颜色是否属于RGB空间等级,是表示1,否表示0。
计算目标梯度概率密度方法为:
设I(x,y)为坐标(x,y)的色度值,将当前帧图像通过一个均衡低通的高斯滤波器,分别计算坐标(x,y)的水平和垂直方向上的梯度gx,gy
Figure GDA0003953124050000073
Figure GDA0003953124050000074
进而计算坐标(x,y)的梯度幅值a(x,y)及方向θ(x,y):
Figure GDA0003953124050000075
θ(x,y)=tan-1gy/gx (5)
将梯度空间以45°为单位平均划分为8个区域,以θ(x,y)为分量和以a(x,y)为量化值,构建当前帧目标的8位梯度直方图,则梯度概率密度
Figure GDA0003953124050000076
为:
Figure GDA0003953124050000077
其中,目标区域半径为j,v表示目标梯度特征值。
利用初始帧和核相关滤波算法训练分类器,主要将初始帧特征目标作为正样本,目标区域周围通过循环移位得到负样本,利用正、负样本进行训练。
训练分类器方法如下:
采用核岭回归分类器,即对所述正负样本进行训练,通过样本找到一个回归函数f(z)=wTz,使正则化风险泛函最小,构造训练分类器:
Figure GDA0003953124050000081
其中,X是坐标(x,y),Y为目标图像的期望输出,λ是正则化参数,防止过拟合,φ(X)是由核函数κ将非线性回归映射到线性回归的映射函数;<φ(X),w>表示映射函数φ(X)和w的内积,w为回归函数的参数;在非线性特征空间中,w=∑εφ(X),ε为回归系数。
快速检测目标的中心位置:
通过正负样本训练的分类器可得回归系数ε在傅里叶域的解,即为:
ε=F(Y)/(F(kXX)+λ) (8)
其中,F表示傅里叶正变换,F(Y)是目标图像期望输出的傅里叶正变换。假设目前图像为n×1的向量,则kXX=[κ(X,X),κ(X,PX),...,κ(X,Pn-1X)]是自相关的,它表示循环矩阵的第一行,X是坐标(x,y),κ为核函数,
Figure GDA0003953124050000082
Figure GDA0003953124050000083
为一维非线性空间,P为单位循环矩阵,则目标检测的输出响应,也就是尺度自适应核相关滤波的回归函数/>
Figure GDA0003953124050000084
为:/>
Figure GDA0003953124050000085
其中,∧表示在傅里叶域;⊙表示元素的点乘,
Figure GDA0003953124050000086
表示在傅里叶域中所有回归系数ε组成的向量,/>
Figure GDA0003953124050000087
是X和它自身在频域的核相关,当/>
Figure GDA0003953124050000088
取最大值的位置即为目标中心位置;而Y是目标位置期望输出的理想值(最大值),f(X)是目标位置期望输出的位置集,其包含Y的目标位置期望输出的最大值。
第二步,从第二帧开始建立一个一维的核相关滤波器(下文统称为一维滤波器)检测目标尺度的变化,增强跟踪的准确度,利用卷积定理计算核相关滤波,提高算法运行速度,从而提高目标的搜索精度;
在目标周围选取一些尺度变化的图像块,并使用双线性插值法将这些图像块大小调整到初始目标框大小,再对这些图像块提取特征,用于训练分类器获得当前合理的尺度值;对目标尺度进行检测的具体操作为:
设置当前目标框大小为E×R,一维滤波器大小为S×1,S取32。选取的尺度变化的图像块组成的样本为xs,大小为e×r,则e=χcE,r=χcR,χ为尺度因子,c={-[(S-1)/2],...,[(S-1)/2]}。
根据上文训练分类器可以得到新的回归系数向量εs和目标检测的输出响应
Figure GDA0003953124050000091
当/>
Figure GDA0003953124050000092
最大时,对应的尺度作为新一帧中目标的尺度,因此尺度自适应核相关滤波的回归函数/>
Figure GDA0003953124050000093
可简化为:
Figure GDA0003953124050000094
其中,xs表示尺度变化的图像块组成的样本,
Figure GDA0003953124050000095
表示坐标X和样本xs在频域的核相关,/>
Figure GDA0003953124050000096
表示新的回归系数向量εs的傅里叶变换。
第三步,利用当前目标特征和初始特征构造相似度函数,如果相似度小于设定阈值,则认为目标识别不准确或者目标已丢失,进入全局搜索,否则表示识别并跟踪上目标,得到目标位置信息;
根据目标位置及目标框计算当前目标的颜色、梯度特征概率密度,并利用初始帧目标的颜色、梯度特征的概率密度构建相似度函数,判断当前检测的目标是否准确。
相似度函数为:
Figure GDA0003953124050000097
其中,ρ为相似度函数,p(u),p(v)分别表示当前目标的颜色和梯度概率密度,q(u),q(v)分别表示初始目标的颜色和梯度概率密度,u表示颜色特征值,v表示梯度特征值。
采用相似度函数计算当前帧目标与初始帧目标的相似程度,如果相似度小于设定阈值如0.5,则认为目标识别不准确或者目标已丢失,进入全局搜索,若搜索不到,则目标已丢失;否则表示识别并跟踪上目标,得到跟踪目标位置信息。
第四步,将跟踪目标位置信息实时发送到无人机飞行控制系统,进行无人机位置控制。将第三步输出的跟踪目标坐标数据发送给无人机飞行控制系统,利用无人机摄像头成像原理及无人机的当前飞行高度计算出目标与无人机的水平距离,即为无人机与跟踪目标之间的水平位置偏差,再将该水平位置偏差作为控制器的位置输入,通过PID控制器得到期望的内环控制信息,在无人定高飞行模态可实现对目标的稳定跟踪控制。
将图像坐标信息换算成实际位置差的过程如图3所示:
1)在固定高度下的拍摄范围,由机载摄像头的成像原理可以算出在机体轴obxb轴的成像比例为tanα,在机体轴obyb轴的成像比例为tanβ,其中α和β分别为无人机摄像头焦点到标定视角平面的ocxc轴和ocyc轴的最大距离夹角,Ob是机体轴原点,Oc是图像坐标系原点,xb是拍摄画面在机体轴x方向上的大小,yb同理,而obxb是一个整体,表示图像坐标系的x轴。当多轴无人机搭载摄像头飞行时,若摄像头距地面高度为h,则摄像头拍摄的画面为:
xb=2h×tanα (12)
yb=2h×tanβ (13)
2)设坐标量程为l(设l=100),假设目标的图像坐标为xc和yc,则可以得到机体与目标之间的实际位置差为Δx,Δy:
Δx=xb(xc-l/2)/l (14)
Δy=yb(yc-l/2)/l (15)
3)将目标在图像中的坐标信息发送给飞行控制器,飞行控制器利用公式(12)~(15)计算出位置偏差信息,即计算出Δx和Δy,再通过PID控制算法得到期望的姿态角信息。
图2为目标跟踪系统硬件结构图为现有技术,其中视觉处理模块的硬件选型为Intel Soc工控主板作为图像处理计算机,该图像处理单机具有4个COM口,支持12V DC直流输入或者3S锂电池供电,运行Win7操作系统,与机载高清摄像头互联,通过接收地面测控站的目标指令,在线处理视频数据,并实时捕获跟踪目标,通过串口将位置偏差发送到机载飞控系统。飞控系统的内核采用ARM主处理器和协处理器的工作方式,其中陀螺、加速度计、磁强计和气压计通过SPI方式与飞控主处理器交互,主处理器和协处理器通过串口方式进行数据交互。
图3是机载摄像头的成像原理,也是本发明获取目标与机体位置差的依据。当目标被识别后,根据目标在图像中的坐标信息及飞行高度确定目标的具体位置。由图3可知,当摄像头的焦距一定时,摄像头利用二轴云台可垂直向下拍摄地面,所拍摄到的二维图像范围大小与摄像头和地面之间的距离成比例,即摄像头距离地面越高,拍摄到的图像中场景范围越大。
图4为本发明采用的以y轴方向为例的PID控制方法,图中Kp、Ki、Kd为PID系数,s、1/s分别为积分和微分,ycmd为y轴方向期望值。在目标跟踪时,将目标在图像中的坐标信息发送给飞行控制器,飞行控制器利用公式(12)~(15)计算出位置偏差信息,即计算出Δx和Δy,再通过PID控制算法得到期望的姿态角信息。
图5是多轴无人机利用本发明方法实现稳定跟踪小车的实验样例。目标跟踪的对象是实验室自制的小车,并在人工牵引下运动,速度大约0.3m/s,无人机的飞行高度设定为1m,可以看出多轴无人机能够稳定跟踪地面移动小车。
图6是在视觉跟踪算法测试数据集上选取的一个测试视频,用于比较核相关滤波算法与尺度自适应核相关滤波算法的跟踪效果,其中实线框为核相关滤波算法跟踪框,虚线框为尺度自适应核相关滤波算法跟踪框。由图6可以看出尺度自适应核相关滤波算法能够根据目标尺度变化相应调整尺度框大小,有效提高了目标识别的准确度。
图7是图6测试视频的一种评估方法,称为中心位置误差,即图像处理获得的目标中心坐标与目标实际中心坐标之间的欧式距离。中心位置误差的值越小说明跟踪效果越好,越接近实际目标。由图6可知,尺度自适应核相关滤波算法性能有了明显的提升。
综上所述,本发明利用颜色、梯度特征有效提高了目标识别的准确度,同时利用一维尺度滤波器估计目标尺度变化,提高的目标识别的精度。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征在于:
步骤一、选取跟踪目标,计算得到跟踪目标第一帧的颜色和梯度初始概率密度,同时将第一帧数据利用核相关滤波算法训练分类器及检测目标的中心位置;
步骤二、从第二帧开始建立一维的核相关滤波器检测目标尺度的变化,利用卷积定理计算核相关滤波;
步骤三,利用当前目标特征和初始特征构造相似度函数,如果相似度小于设定阈值,则认为目标识别不准确或者目标已丢失,进入全局搜索,否则表示识别并跟踪上目标,得到目标位置信息;
步骤四,将跟踪目标位置信息实时发送到无人机飞行控制系统,进行无人机位置控制;
所述步骤一中目标颜色概率密度
Figure FDA0003953124040000011
表示为:
Figure FDA0003953124040000012
其中,x0为目标区域中心,xi为区域内像素坐标,i=1,2,...nj,nj为目标区域内像素总和,δ()为狄拉克函数,b()为特征向量映射函数,u为目标颜色的特征值,Cq为归一化常数;
所述步骤一中目标梯度概率密度计算方法为:
设I(x,y)为坐标(x,y)的色度值,分别计算坐标(x,y)的水平和垂直方向上的梯度gx,gy
Figure FDA0003953124040000013
Figure FDA0003953124040000014
进而计算坐标(x,y)的梯度幅值a(x,y)及方向θ(x,y):
Figure FDA0003953124040000021
θ(x,y)=tan-1gy/gx (5)
将梯度空间以45°为单位平均划分为8个区域,以θ(x,y)为分量和以a(x,y)为量化值,构建当前帧目标的8位梯度直方图,则梯度概率密度
Figure FDA0003953124040000022
为:
Figure FDA0003953124040000023
其中,目标区域半径为j,v为目标梯度特征值;x0为目标区域中心,xi为区域内像素坐标,i=1,2,...nj,nj为目标区域内像素总和,Cq为归一化常数,δ()为狄拉克函数,b()为特征向量映射函数;
所述将第一帧数据利用核相关滤波算法训练分类器及检测目标的中心位置,具体方法为:
将初始帧特征目标作为正样本,目标区域周围通过循环移位得到负样本,采用核岭回归分类器,通过样本找到一个回归函数f(z)=wTz,使正则化风险泛函最小,构造训练分类器:
Figure FDA0003953124040000024
其中,X是坐标(x,y),Y为目标图像的期望输出,λ是正则化系数,φ(X)是由核函数κ将非线性回归映射到线性回归的映射函数;<φ(X),w>表示映射函数φ(X)和w的内积,w为回归函数的参数;在非线性特征空间中,w=∑εφ(X),ε为回归系数;
通过训练的分类器可得到回归系数ε在傅里叶域的解,即为:
ε=F(Y)/(F(kXX)+λ) (8)
其中,F(Y)是目标图像期望输出的傅里叶正变换,则kXX=[κ(X,X),κ(X,PX),...,κ(X,Pn-1X)],κ为核函数,
Figure FDA0003953124040000025
Figure FDA0003953124040000026
为一维非线性空间,P为单位循环矩阵,则目标检测的输出响应为:
Figure FDA0003953124040000031
其中,
Figure FDA0003953124040000032
表示在傅里叶域中所有回归系数ε组成的向量,
Figure FDA0003953124040000033
是X和它自身在频域内的核相关,当
Figure FDA0003953124040000034
取最大值时的位置即为检测目标的中心位置。
2.根据权利要求1所述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述步骤二,从第二帧开始建立一维的核相关滤波器检测目标尺度的变化,利用卷积定理计算核相关滤波,即尺度滤波,具体如下:
首先在目标周围选取一些尺度变化的图像块,将所述图像块大小调整到初始目标框大小;设置当前目标框大小为E×R,一维滤波器大小为S×1,所述图像块组成的样本为xs,大小为e×r,则e=χcE,r=χcR,χ为尺度因子,c={-[(S-1)/2],...,[(S-1)/2]};
根据训练分类器得到新的回归系数向量εs和目标检测的输出响应
Figure FDA0003953124040000035
Figure FDA0003953124040000036
最大时,对应的尺度作为新一帧中目标的尺度,尺度自适应核相关滤波的回归函数
Figure FDA0003953124040000037
简化为:
Figure FDA0003953124040000038
其中,
Figure FDA0003953124040000039
表示坐标X和xs在频域的核相关,
Figure FDA00039531240400000310
表示新的回归系数向量εs的傅里叶变换。
3.根据权利要求1所述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是所述步骤三中的相似度函数为:
Figure FDA00039531240400000311
其中,ρ为相似度函数,p(u),p(v)分别表示当前目标的颜色和梯度概率密度,q(u),q(v)分别表示初始目标的颜色和梯度概率密度,u表示颜色特征值,v表示梯度特征值。
4.根据权利要求1所述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述步骤四将跟踪目标位置信息实时发送到无人机飞行控制系统,进行无人机位置控制,具体为:
将步骤三输出的跟踪目标坐标数据发送给无人机飞行控制系统,利用无人机摄像头成像原理及无人机的当前飞行高度计算出无人机与跟踪目标之间的水平位置偏差,再将该水平位置偏差作为控制器的位置输入,通过PID控制器得到期望的内环控制信息,在无人定高飞行模态可实现对目标的稳定跟踪控制。
5.根据权利要求4所述的一种基于尺度自适应核相关滤波的无人机视觉目标跟踪方法,其特征是:所述利用无人机摄像头成像原理及无人机的当前飞行高度计算出无人机与跟踪目标之间的水平位置偏差,具体步骤为:
1)在固定高度下的拍摄范围,由机载摄像头的成像原理算出在机体轴obxb轴的成像比例为tanα,在机体轴obyb轴的成像比例为tanβ,其中α和β分别为无人机摄像头焦点到标定视角平面的ocxc轴和ocyc轴的最大距离夹角,Ob是机体轴原点,Oc是图像坐标系原点,xb是拍摄画面在机体轴x方向上的大小,yb是拍摄画面在机体轴y方向上的大小,当多轴无人机搭载摄像头飞行时,若摄像头距地面高度为h,则摄像头拍摄的画面大小为:
xb=2h×tanα (12)
yb=2h×tanβ (13)
2)设坐标量程为l,假设目标的图像坐标为xc和yc,则可以得到机体与目标之间的实际位置差为Δx,Δy:
Δx=xb(xc-l/2)/l (14)
Δy=yb(yc-l/2)/l (15)。
CN201910136312.8A 2019-02-25 2019-02-25 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法 Active CN109816698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910136312.8A CN109816698B (zh) 2019-02-25 2019-02-25 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910136312.8A CN109816698B (zh) 2019-02-25 2019-02-25 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法

Publications (2)

Publication Number Publication Date
CN109816698A CN109816698A (zh) 2019-05-28
CN109816698B true CN109816698B (zh) 2023-03-24

Family

ID=66607316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910136312.8A Active CN109816698B (zh) 2019-02-25 2019-02-25 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109816698B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476116A (zh) * 2020-03-24 2020-07-31 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN111665490B (zh) * 2020-06-02 2023-07-14 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN111899278B (zh) * 2020-06-22 2022-09-02 北京航空航天大学 基于移动端的无人机图像快速目标跟踪方法
CN111860375A (zh) * 2020-07-23 2020-10-30 南京科沃信息技术有限公司 一种植保无人机地面监控系统及其监控方法
CN112132862B (zh) * 2020-09-11 2023-08-15 桂林电子科技大学 一种基于无人机的自适应尺度估计目标跟踪算法
CN112378397B (zh) * 2020-11-02 2023-10-10 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN112380970B (zh) * 2020-11-12 2022-02-11 常熟理工学院 基于局部区域搜索的视频目标检测方法
CN113984028A (zh) * 2021-12-22 2022-01-28 普宙科技(深圳)有限公司 一种激光云台跟踪光轴补偿方法和系统
CN116203992B (zh) * 2023-04-28 2023-08-01 北京航空航天大学 一种多模态飞行控制的尾座式无人机高动态目标追踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288062B (zh) * 2017-12-29 2022-03-01 中国电子科技集团公司第二十七研究所 一种基于核相关滤波的目标跟踪方法
CN108510521A (zh) * 2018-02-27 2018-09-07 南京邮电大学 一种多特征融合的尺度自适应目标跟踪方法
CN108765458B (zh) * 2018-04-16 2022-07-12 上海大学 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法

Also Published As

Publication number Publication date
CN109816698A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109816698B (zh) 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法
CN107341814B (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
CN106960446B (zh) 一种面向无人艇应用的水面目标检测跟踪一体化方法
US8005264B2 (en) Method of automatically detecting and tracking successive frames in a region of interesting by an electronic imaging device
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN112051853B (zh) 基于机器视觉的智能避障系统及方法
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
CN111680713B (zh) 一种基于视觉检测的无人机对地目标跟踪与逼近方法
CN113012219A (zh) 信息处理装置、信息处理方法及计算机可读介质
CN114005021B (zh) 基于激光视觉融合的水产养殖车间无人巡检系统和方法
CN110598370B (zh) 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
CN111273701A (zh) 一种云台视觉控制系统以及控制方法
Shi et al. Real-Time Multi-Modal Active Vision for Object Detection on UAVs Equipped With Limited Field of View LiDAR and Camera
Jurado et al. Vision‐based trajectory tracking system for an emulated quadrotor UAV
CN114663488A (zh) 一种基于深度学习的火箭助推器分离运动参数测量方法
CN113639782A (zh) 车载传感器的外参标定方法和装置、设备和介质
CN113436313A (zh) 一种基于无人机的三维重建误差主动修正方法
CN116360492B (zh) 一种扑翼飞行机器人目标跟踪方法及系统
Ruiz et al. Detection and tracking of a landing platform for aerial robotics applications
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
CN108469729B (zh) 一种基于rgb-d信息的人体目标识别与跟随方法
Lin et al. A multi-target detection framework for multirotor UAV
Wang et al. Online drone-based moving target detection system in dense-obstructer environment
CN115471555A (zh) 一种基于图像特征点匹配的无人机红外巡检位姿确定方法
CN112348853B (zh) 基于红外显著性特征融合的粒子滤波跟踪的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant