CN106683118A - 一种基于分层模型的无人机目标跟踪方法 - Google Patents
一种基于分层模型的无人机目标跟踪方法 Download PDFInfo
- Publication number
- CN106683118A CN106683118A CN201611262156.2A CN201611262156A CN106683118A CN 106683118 A CN106683118 A CN 106683118A CN 201611262156 A CN201611262156 A CN 201611262156A CN 106683118 A CN106683118 A CN 106683118A
- Authority
- CN
- China
- Prior art keywords
- omega
- target
- model
- tracking
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000002245 particle Substances 0.000 claims abstract description 89
- 238000005457 optimization Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000013139 quantization Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 235000009470 Theobroma cacao Nutrition 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分层模型的无人机目标跟踪方法,属于无人机遥感图像处理领域,包括以下步骤:第一步,建立初始帧目标的特征表达;第二步,建立以均值漂移为基础的粗跟踪模型;第三步,建立以改进的粒子群优化为基础的精跟踪模型。本算法通过引入均值漂移与改进的粒子群优化结合的分层模型,有效克服了因无人机成像特殊性造成视频跟踪难度大,不准确且易丢失的问题,有效提高了目标跟踪的精度。
Description
技术领域
本发明属于遥感图像处理技术领域,具体涉及一种基于分层模型的无人机目标跟踪方法。
背景技术
无人机在民用和军用领域都有着越来越广泛的应用,因此其发展也引起了各国的重视,在众多研究方向中视觉能力成为今后无人机发展和竞争的焦点。而无人机视觉跟踪作为无人机视觉的主力军,也成为了一项关键技术。据公开资料表明,其中早在2005年的时候美国中央佛罗里达大学计算机视觉实验室就开发出了基于MATLAB的COCOA系统,主要用于无人机低空航拍视频图像的目标检测与跟踪处理。目前国内的目标跟踪方法大致可以分为以下三种:
一是基于确定性的跟踪方法。该方法以均值漂移为代表,以目标初始位置为起点,沿着密度梯度下降最快的方向移动,得到新的位置,再以新的位置作为起点寻找下一个新的位置,算法逐次迭代,直到收敛到目标位置。优点是计算简单,速度快;缺点是很容易陷入局部最优,在背景干扰、目标遮挡和目标快速运动等情况下目标跟踪的鲁棒性较差。
二是基于概率性跟踪方法。该方法以粒子滤波为代表,用一组离散的随机粒子来近似系统随机变量的概率密度函数,以样本均值代替积分运算,获得状态最小方差估计。优点是重采样的引入会使粒子能够将更大的精力投入在最可能成为目标的粒子周围,防止了粒子分散;缺点是可能会引起粒子匮乏,导致目标丢失。
三是基于智能优化算法的跟踪方法。近年来,受均值漂移算法的启发,有学者另辟蹊径,采用其它寻优策略的智能优化算法来解决目标跟踪问题,比较典型的有粒子群优化算法,通过提高粒子的适应值,不断更新每个粒子自身的状态来控制粒子群的运动,不断迭代获得全局最优位置。优点是搜索速度快且搜索效率高,算法简单;缺点是对于离散的优化问题处理不佳,容易陷入局部最优。
其中粒子滤波策略和粒子群优化搜索策略都需要一定数量的粒子,当粒子数目越多,准确率就会越高,但是相对应就会增大搜索时间;当粒子数目较少时,搜索时间减小,但有些区域可能无法搜索到,由于粒子群优化策略利用迭代的思想,对准确性的影响较小,但是粒子滤波会严重影响到跟踪的准确率。
由于无人机成像环境的特殊性,在平稳飞行的过程中,可得到较为平稳的视频图像,但是由于云台运动以及气流等干扰,无人机在飞行过程中可能受到一定的冲击,在这种情况下,所成图像帧间目标可能会产生较大运动偏移。
从上述分析可以看出,现有基于无人机侦察平台的目标跟踪方法在精度和效率之间存在矛盾,难以满足现代战场对实时、高精度目标跟踪的需求。
发明内容
本发明以无人机视频图像作为研究对象,建立了基于分层模型的无人机目标跟踪方法。该方法首先建立初始帧目标的特征表达,然后分两层对目标进行跟踪:第一层先利用简单快速的均值漂移方法对目标进行粗跟踪,得到粗跟踪下的目标位置;第二层将粗跟踪下的目标位置作为精跟踪的初始位置,利用改进的粒子群优化的搜索方法对目标进行进一步精跟踪。通过建立分层模型,得到目标的准确位置。
本发明的一种基于分层模型的无人机目标跟踪方法,包括以下几个步骤:
第一步,建立初始帧目标的特征表达。
为进行无人机视频目标跟踪,本发明要求在无人机侦察平台捕获到地面目标信息后,在视频第一帧中进行目标的获取,该任务可由人工标注完成,也可利用自动检测技术。获取目标后利用目标区域的基于核函数加权的归一化空间颜色模型作为该目标的特征表达。
第二步,建立以均值漂移为基础的粗跟踪模型。
本步骤是目标跟踪的第一层,重点建立了以均值漂移为理论基础的粗跟踪模型,通过循环迭代计算出目标帧间偏移量,并由此得到粗跟踪中目标的初步估计结果。
第三步,建立以改进的粒子群优化为基础的精跟踪模型。
本步骤是目标跟踪的第二层,重点建立了以改进的粒子群优化为理论基础的精跟踪模型,通过在线调整角速度进而对粒子的运动规律进行调整,同时根据目标跟踪情况对粒子群参数进行自适应性调整,从而得到目标精跟踪结果。
本发明具有以下优点:
1)通过建立均值漂移和改进的粒子群优化分层模型的方法对无人机目标进行跟踪,该方法优势互补,在不影响实时效率的情况下提高了跟踪的准确性。
2)引入运动模型的表达,并通过在线更新角速度的方法对当前运动模型进行实时调整,从而使粒子搜索更有方向性,提高效率和准确率。
3)自适应性调整粒子群优化方法中的惯性参数,在一定程度上有利于跳出局部最优,防止目标丢失。
附图说明
图1为本发明方法流程图;
图2分层跟踪模型具体流程图;
图3为目标转弯运动示意图;
图4本发明实验结果图。
具体实施方式
下面结合附图,对本发明的具体实施方法进行详细说明。
本发明是一种基于分层模型的无人机目标跟踪方法,通过建立初始帧目标的特征表达、建立以均值漂移为基础的粗跟踪模型以及建立以改进的粒子群优化为基础的精跟踪模型等步骤,实现无人机视频目标的跟踪。图1给出了方法整体流程图,具体实施方法如图2所示,包括以下步骤:
第一步建立初始帧目标的特征表达
该步骤首先读入视频序列,手动选取要跟踪的目标区域,对所选取的目标区域建立基于核函数加权的归一化空间颜色直方图模型,并将该模型的特征向量作为目标区域的特征表达。
基于核函数加权空间颜色模型的核心思想是当目标进行空间位置和形态的变换时,不同位置所受的影响程度不同,靠近目标中心的区域受到外界的影响相对于靠近目标边缘的区域较小,因此靠近目标中心的区域所具备的权重应大于靠近目标边缘的区域,本发明中核函数使用的是Epanechnikov核函数,如式(1):
其中,K(·)为Epanechnikov核函数,||r||为像素距离目标中心的距离。
本发明中使用的颜色空间是RGB颜色空间,其中R、G、B三个通道的取值范围均是[0,255],每个通道均有256个颜色等级。直方图是一种概率统计方法,统计出现某种颜色组合的次数,因此该RGB空间颜色直方图有2563种组合。鉴于该组合数目较大,本发明中采用降维的方法来简化,将R、G、B三通道中[0,255]的取值范围转换到[0,16],整个颜色空间就可以用163,即4096种组合来表示。最终将三维向量映射为直方图上的一维向量,(R,G,B)=256×R+16×G+B,并将其做归一化处理,该归一化后的直方图即可作为初始化阶段中视频初始帧目标的特征表达。
第二步建立以均值漂移为基础的粗跟踪模型
均值漂移算法是一种基于密度梯度上升的非参数方法,通过迭代运算找到目标位置,实现目标跟踪。均值漂移算法计算简单,迭代速度快,因此在初始帧之后的无人机视频图像序列中首先使用均值漂移算法对目标进行粗定位。本步骤主要包括两个环节,首先建立了均值漂移在跟踪中的数学表达,然后结合具体无人机视频图像对该算法进行分析。
1)建立均值漂移在跟踪中的数学表达
①建立目标模型
结合核函数加权空间颜色模型,可将目标模型中第u个特征值估计的概率密度表示为:
其中,fu表示目标模型中第u个特征值估计的概率密度,u为直方图中的颜色索引值,n为该目标模型的总像素个数,δ[·]为单位冲激响应,k(·)为Epannechnikov核函数,h为带宽,x为图像中目标的中心位置,xi为第i个样本的中心位置,b(xi)为位置xi处的颜色量化等级,C为系数。
由概率密度的积分和等于1,可得到系数C为:
②建立候选模型
类似于目标模型,第y个候选模型第u个特征值估计的概率密度可表示为:
这里的y是当前帧候选区域中心。其他参数和目标模型相同。
③建立相似度度量模型
本发明中相似度的度量采用Bhattacharyya系数:
其中:p、q为两个样本,m是颜色分块数,pi、qi分别是在p、q中第i部分的成员数。本发明中需要判断目标模型和候选模型的相似度,即可表示为:
其中,相似度ρ的范围在0到1之间。
④建立目标粗跟踪的数学表达
利用均值漂移的思想通过得到偏移量从而到视频中的目标位置,在这个过程中,目标位置的确定主要依靠相似度的度量,即判断各个候选区域与目标区域的相似程度,并将相似度最高的视为目标。
当前帧寻找目标的新位置通常是根据上一帧中目标位置的最佳估计值y0得到的,因为一般情况下每帧目标位置并不会有太大变化,所以本发明在y0邻域内寻找。因此,必须先计算出在当前帧中位于y0处的候选目标的颜色概率密度pu(y0),u=1,2...m,对ρ(y)在pu(y0)处进行泰勒展开,可以得到下式:
将(4)式代入(7)式可得
其中,
因为第一项是个常数,所以只有第二项与相似度,即当前目标估计值有关。设第二项为f(y),则
可以看出第二项即是在当前帧中利用核函数和图像像素加权值计算得到的概率密度估计,若想得到相似度最高的位置,也就是均值漂移的偏移量,则需求概率密度下降最快的位置,此时
其中:
其中:k'(·)表示核函数k(·)的导数。
通过一定的提取变换可得到:
当时,可得到概率密度梯度方向最大的位置。
因此,均值漂移偏移量为:
2)以均值漂移为基础的粗跟踪
在无人机视频跟踪过程中,通过1)中推导出的均值漂移偏移量中的各个参数在实际视频图像中的表示如下:
y0:上一帧目标的中心位置。
y:当前帧候选区域中心位置。
k():Epannechnikov核函数。
xi:当前帧候选区域的第i个像素点的位置。
h:h为目标区域各像素点距离中心位置最远的距离。
n:为样本点的个数,这里代表的是上一帧目标位置处的像素个数。
本步骤将步骤一中所建立的基于核函数加权的归一化空间颜色直方图模型作为均值漂移过程中目标的特征值,通过不断迭代,得到一定精度下的跟踪匹配结果,这里设置迭代次数N=50,当候选区域和目标区域的相似度大于一定阈值T时,跳出迭代,这里设置阈值T=0.9。
第三步建立以改进的粒子群优化为基础的精跟踪模型
由于无人机空中成像的特殊性,摄像机和地面目标同时运动,并且受天气环境影响,当经过均值漂移的粗跟踪后,候选目标不一定就是真实目标。此时需判断目标是否丢失,若候选目标与实际目标达到较高的相似度,则目标未丢失,利用精跟踪模型对位置进行进一步精确定位;若候选目标与真实目标相似度较低,则目标丢失,利用精跟踪模型对目标重新进行搜索定位;若精跟踪后仍未搜索到目标,则再次对目标进行手动选取。
改进的粒子群优化精跟踪模型主要分为以下几个环节:第一,对粒子群优化中的参数进行初始化;第二,建立在线更新的运动模型;第三,建立基于粒子群优化算法的自适应性参数调整跟踪模型。
1)参数初始化
在粒子群优化跟踪模型中,主要存在以下参数:
粒子群种群数目:N;
迭代次数:Tpso;
粒子0时刻的初始飞行速度:
粒子0时刻的初始位置:
惯性参数:w1;
学习因子:c1、c2;
随机数:r1、r2;
合适的参数不仅能提高粒子群优化搜索的效率,更能提高其定位精度。通过选取不同的参数对50段无人机视频进行测试,得到最优的参数结果。其中,种群数目N=10,通过实验可知10个粒子数目已经可以满足搜索需求,不需要过多粒子耗费时间;迭代次数Tpso=30;粒子0时刻的初始飞行速度粒子0时刻的初始位置为以上一帧目标为中心进行高斯分布;随机数r1=r2=r;学习因子c1=c2=1;惯性参数主要控制搜索能力,如果w1较大,则全局搜索能力较强,若w1较小,则局部搜索能力较强。本步骤通过自适应调整惯性参数w1的值来控制粒子群优化的搜索能力。
2)建立运动模型
无人机视频中目标的运动可大致归结为匀速直线运动和转弯运动。本步骤通过建立一种在线调整角速度的方法灵活转化运动模型,进而提高粒子群优化搜索的准确性和效率。
如图3所示,假设目标在(x,y)处转弯,转弯时的速率为v,速度与x轴方向所成夹角为θ,本步骤将拐弯处的状态描述为(x,x',y,y'),其中x',y'表示x,y方向上的速度大小。假设转弯角速率为ω,则可根据已知条件得到其与时间t的关系。
x方向上速度的大小:x'=vx=vcosθ (17)
y方向上速度的大小:y'=vy=vsinθ (18)
x方向上加速度的大小:x”=v'x=-ω(t)vsinθ (19)
y方向上加速度的大小:y”=v'y=ω(t)vcosθ (20)
建立转弯模型的状态描述方程为:
式(21)表示的是速度、加速度与位置、速度的关系,若想得到状态转移方程,即式(22)所示的形式:
Xk+1=FkXk+Wk (22)
其中,Fk为转弯模型的系统状态转移矩阵,Xk+1,Xk表示k+1时刻和k时刻目标的状态,即[x,x',y,y']T,Wk为转弯时的系统状态噪声,本发明设置该噪声为随机值,与t无关。要知道转弯时的状态,我们的目标就是求解Fk。
将式(21)代入式(22),化简得到如下形式
其中A(t)可以表示为
首先将A(t)离散化,得到
对式(23)进行拉普拉斯变换
sL[Fk(s)]-Fk(0)=AFk(s) (26)
合并同类项为(sI-A)Fk(s)=Fk(0) (27)
其中I表示单位矩阵。
已知Fk(0)=(f1(0),f2(0),f3(0),...,fn(0))T=I (28)
则Fk(s)=(sI-A)-1Fk(0) (29)
其中
要求系统状态矩阵Fk(时域下),即Fk=L-1((sI-A)-1) (31)
通过拉普拉斯逆变换,可得:
此时就得到转弯下状态矩阵的表达式。当ω=0时,状态矩阵Fk的表达式化简为:
通过以上两种数学分析,建立了直线运动和转弯运动情况下的状态矩阵,通过上一步均值漂移粗跟踪后,再利用粒子群优化的搜索方法进行精跟踪。因在无人机实际飞行转弯运动模型中,在图像坐标系中,转弯率并不是一成不变的,为适应实际需求,需要实时在线调整角速度,本发明设置在线调整方式如下:
首先将路径参数t设置为时间,建立x方向路径与y方向路径与t的关系,拟合从第11帧开始,以前10帧目标位置进行拟合得到x1(t)和y1(t),计算不同时刻处的曲率:
式中,是相对于路径参数的导数。
曲率半径:
角速度为:ω(t)=v×r(t) (36)
本发明利用该在线更新的方法,得到较为准确的每一时刻的角速度,从而为粒子群优化精跟踪中运动模型的选取和更新奠定了基础。
3)基于粒子群优化方法的分层性跟踪
在1)中对粒子群优化中所要利用到的参数进行了最优的初始化之后,就需要按照粒子群优化中鸟类寻找食物的思想以一定规则寻找无人机视频中的目标。当达到迭代次数上限或者超过0.9的相似度并且大于粗跟踪下所得目标位置的相似度时,停止迭代。本步骤主要分为以下几个环节:
①计算初始化后的每个粒子的适应度值。在粒子群优化精跟踪中,本步骤仍然从采用基于核函数加权的归一化空间颜色直方图的特征表达方式,适应度值同样采用Bhattacharyya系数的相似度测量方法。
②根据适应度值对粒子进行排序,找出种群最优粒子个体。
③在前10帧默认运动模型为直线模型,之后根据在线更新的角速度值进行调整,本发明利用运动模型分别对第i个粒子的位置进行更新,并令i自增。若运动模型为直线模型,则位置更新公式可以表示为:
式中,表示粒子i在t时刻的位置,表示粒子i在t时刻的飞行速度。
若运动模型为转弯模型,则位置更新公式在x、y轴两个方向可以表示为:
其中:i1代表粒子i在x方向的数据情况,i2代表粒子i在y方向的数据情况。
④计算新位置的适应度值。判断新位置是否优于该粒子最佳位置,如果满足条件,用新位置替换原来位置,否则,原位置不变;判断新位置是否优于当前最佳位置。如果不满足条件,则当前最佳位置不变,否则,用新位置替换当前最佳位置,并调整粒子速度。
其中:x*表示在当前群体中最佳粒子所处位置,表示粒子的最佳位置,w1为惯性参数,c1、c2为学习因子,r为[0,1]之间的随机数。
在不断迭代的过程中,若适应度不断朝着大的方向趋近,那么此时减小w1,加强局部区域的搜索,若适应度值一直没有什么变化或者一直较小,则可能陷入局部最优或者丢失目标,此时就要调大w1,加强全局搜索能力,跳出局部最优,找到目标。本发明设置每次调节的步长为0.5,最大调节到10,最小调节到0。
⑤判断是否满足迭代终止条件。如果满足,则粒子群优化搜索结束,否则执行③。
本步骤主要对均值漂移后得到的粗结果进行进一步精确定位,在运动模型的基础上,自适应调整粒子群优化中的惯性参数,调整全局和局部搜索比重,定位到准确的位置。通过均值漂移和粒子群优化的分层模型,最终将步骤④中得到的群体粒子最佳位置x*视作无人机视频中目标跟踪的精确结果。
下面主要以两组序列说明本发明的有效性:
如图4所示,实线代表粗跟踪结果,而虚线代表精跟踪结果,图(a)主要说明在粗跟踪将目标丢失的情况下,加大精跟踪的全局搜索能力,从而准确定位到目标,该序列中使用分层模型使跟踪精度提高了14.8%;图(b)主要说明在精跟踪已经达到一定的准确率的情况下,利用精跟踪的方法进一步提高定位精度,该序列中使用分层模型使跟踪精度提高了1.2%。若只单纯使用均值漂移或粒子群优化的方法,难以适应无人机视频的复杂性,尤其对于目标丢失的情况,一旦丢失目标就难以再次准确定位,本发明中的分层模型更能满足无人机对于跟踪的需求,粗跟踪与精跟踪相辅相成,在有效防止目标丢失的同时增加了目标跟踪的准确性。实验表明,本发明对于无人机视频跟踪准确率的提高具有一定的有效性。
Claims (5)
1.一种基于分层模型的无人机目标跟踪方法,包括以下步骤:
第一步,建立初始帧目标的特征表达
读入视频序列,选取要跟踪的目标区域,对目标区域建立基于核函数加权的归一化空间颜色直方图模型,并将该模型的特征向量作为目标区域的特征表达;
第二步,建立以均值漂移为基础的粗跟踪模型
1)建立均值漂移在跟踪中的数学表达
设均值漂移偏移量为:
其中:
y为当前帧候选区域中心位置,y0为上一帧目标的中心位置,n为样本点的个数,即上一帧目标位置处的像素个数,xi为当前帧候选区域的第i个像素点的位置,h为带宽,k(·)为Epannechnikov核函数,k'(·)表示核函数k(·)的导数,fu表示目标模型中第u个特征值估计的概率密度,u为直方图中的颜色索引值,δ[·]为单位冲激响应,b(xi)为位置xi处的颜色量化等级,pu(y0)表示当前帧中位于y0处的候选目标的颜色概率密度;
2)以均值漂移为基础的粗跟踪
在无人机视频跟踪过程中,将步骤一中所建立的基于核函数加权的归一化空间颜色直方图模型作为均值漂移过程中目标的特征值,进行迭代,得到跟踪匹配结果,设置迭代次数N,当候选区域和目标区域的相似度大于阈值T时,跳出迭代;
第三步,建立以改进的粒子群优化为基础的精跟踪模型
判断目标是否丢失,如果目标未丢失,利用精跟踪模型对位置进行进一步精确定位;若目标丢失,利用精跟踪模型对目标重新进行搜索定位;若精跟踪后仍未搜索到目标,则再次对目标进行选取。
2.根据权利要求1所述的一种基于分层模型的无人机目标跟踪方法,所述的第一步中:
核函数采用Epanechnikov核函数,如式(1):
其中,K(·)为Epanechnikov核函数,||r||为像素距离目标中心的距离。
3.根据权利要求1所述的一种基于分层模型的无人机目标跟踪方法,所述的第一步中:
空间颜色直方图模型为RGB颜色空间,将R、G、B三通道中[0,255]的取值范围转换到[0,16],将三维向量映射为直方图上的一维向量,(R,G,B)=256×R+16×G+B,并将其做归一化处理,该归一化后的直方图即为初始化阶段中视频初始帧目标的特征表达。
4.根据权利要求1所述的一种基于分层模型的无人机目标跟踪方法,所述的第三步中:
改进的粒子群优化精跟踪模型包括:第一,对粒子群优化中的参数进行初始化;第二,建立在线更新的运动模型;第三,建立基于粒子群优化算法的自适应性参数调整跟踪模型;具体的:
1)参数初始化
在粒子群优化跟踪模型中:
粒子群种群数目:N;
迭代次数:Tpso;
粒子0时刻的初始飞行速度:
粒子0时刻的初始位置:
惯性参数:w1;
学习因子:c1、c2;
随机数:r1、r2;
2)建立运动模型
假设目标在(x,y)处转弯,转弯时的速率为v,速度与x轴方向所成夹角为θ,将拐弯处的状态描述为(x,x',y,y'),其中x',y'表示x,y方向上的速度大小;假设转弯角速率为ω,得到其与时间t的关系;
x方向上速度的大小:
x'=vx=vcosθ (17)
y方向上速度的大小:
y'=vy=vsinθ (18)
x方向上加速度的大小:
x”=v'x=-ω(t)vsinθ (19)
y方向上加速度的大小:
y”=v'y=ω(t)vcosθ (20)
建立转弯模型的状态描述方程为:
状态转移方程的形式为:
Xk+1=FkXk+Wk (22)
其中,Fk为转弯模型的系统状态转移矩阵,Xk+1,Xk表示k+1时刻和k时刻目标的状态,即[x,x',y,y']T,Wk为转弯时的系统状态噪声;
将式(21)代入式(22),得到:
其中A(t)为
首先将A(t)离散化,得到
对式(23)进行拉普拉斯变换
sL[Fk(s)]-Fk(0)=AFk(s) (26)
合并同类项为
(sI-A)Fk(s)=Fk(0) (27)
其中I表示单位矩阵;
已知
Fk(0)=(f1(0),f2(0),f3(0),...,fn(0))T=I (28)
则
其中
系统状态矩阵Fk Fk=L-1((sI-A)-1) (31)
通过拉普拉斯逆变换,得:
得到转弯下状态矩阵的表达式;当ω=0时,状态矩阵Fk的表达式化简为:
通过上述步骤,建立了直线运动和转弯运动情况下的状态矩阵,通过第二步均值漂移粗跟踪后,再利用粒子群优化的搜索方法进行精跟踪;
无人机实际飞行转弯运动模型中,需要实时在线调整角速度,具体为:
首先将路径参数t设置为时间,建立x方向路径与y方向路径与t的关系,拟合从第11帧开始,以前10帧目标位置进行拟合得到x1(t)和y1(t),计算不同时刻处的曲率:
式中,是相对于路径参数的导数;
曲率半径:
角速度为:ω(t)=v×r(t) (36)
3)基于粒子群优化方法的分层性跟踪
包括:
①计算初始化后的每个粒子的适应度值;
②根据适应度值对粒子进行排序,找出种群最优粒子个体;
③在前10帧默认运动模型为直线模型,之后根据在线更新的角速度值进行调整,利用运动模型分别对第i个粒子的位置进行更新,并令i自增;若运动模型为直线模型,则位置更新公式表示为:
式中,表示粒子i在t时刻的位置,表示粒子i在t时刻的飞行速度;
若运动模型为转弯模型,则位置更新公式在x、y轴两个方向表示为:
其中:i1代表粒子i在x方向的数据情况,i2代表粒子i在y方向的数据情况;
④计算新位置的适应度值;判断新位置是否优于该粒子最佳位置,如果满足条件,用新位置替换原来位置,否则,原位置不变;判断新位置是否优于当前最佳位置;如果不满足条件,则当前最佳位置不变,否则,用新位置替换当前最佳位置,并调整粒子速度;
其中:x*表示在当前群体中最佳粒子所处位置,表示粒子的最佳位置,w1为惯性参数,c1、c2为学习因子,r为[0,1]之间的随机数;
⑤判断是否满足迭代终止条件;如果满足,则粒子群优化搜索结束,否则执行③;
最终,步骤④中得到的群体粒子最佳位置x*为无人机视频中目标跟踪的精确结果。
5.根据权利要求4所述的一种基于分层模型的无人机目标跟踪方法,所述的1)中:
种群数目N=10,迭代次数Tpso=30;粒子0时刻的初始飞行速度粒子0时刻的初始位置为以上一帧目标为中心进行高斯分布;随机数r1=r2=r;学习因子c1=c2=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611262156.2A CN106683118B (zh) | 2016-12-30 | 2016-12-30 | 一种基于分层模型的无人机目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611262156.2A CN106683118B (zh) | 2016-12-30 | 2016-12-30 | 一种基于分层模型的无人机目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106683118A true CN106683118A (zh) | 2017-05-17 |
CN106683118B CN106683118B (zh) | 2020-02-14 |
Family
ID=58848819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611262156.2A Active CN106683118B (zh) | 2016-12-30 | 2016-12-30 | 一种基于分层模型的无人机目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106683118B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108282221A (zh) * | 2018-02-09 | 2018-07-13 | 沈阳航空航天大学 | 一种减小不安全区域的多无人机的安全通信策略 |
CN108829124A (zh) * | 2018-04-24 | 2018-11-16 | 骁越科技(青岛)有限公司 | 一种无人机自动捕获技术和装置 |
CN108846335A (zh) * | 2018-05-31 | 2018-11-20 | 武汉市蓝领英才科技有限公司 | 基于视频图像的智慧工地区域管理及入侵检测方法、系统 |
CN108919640A (zh) * | 2018-04-20 | 2018-11-30 | 西北工业大学 | 无人机自适应多目标跟踪的实现方法 |
CN109523573A (zh) * | 2018-11-23 | 2019-03-26 | 上海新世纪机器人有限公司 | 目标对象的跟踪方法和装置 |
CN109683629A (zh) * | 2019-01-09 | 2019-04-26 | 燕山大学 | 基于组合导航和计算机视觉的无人机电力架线系统 |
CN109872372A (zh) * | 2019-03-07 | 2019-06-11 | 山东大学 | 一种小型四足机器人全局视觉定位方法和系统 |
CN110634148A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 连续帧图像中的目标提取方法和装置 |
CN112381053A (zh) * | 2020-12-01 | 2021-02-19 | 连云港豪瑞生物技术有限公司 | 具有图像跟踪功能的环保监测系统 |
CN113298847A (zh) * | 2021-07-28 | 2021-08-24 | 中国人民解放军国防科技大学 | 基于视场感知的共识自主性追捕与逃逸方法和装置 |
CN117152258A (zh) * | 2023-11-01 | 2023-12-01 | 中国电建集团山东电力管道工程有限公司 | 一种管道生产智慧车间的产品定位方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101577006A (zh) * | 2009-06-15 | 2009-11-11 | 北京中星微电子有限公司 | 视频监控中的徘徊检测方法和系统 |
KR20110113948A (ko) * | 2010-04-12 | 2011-10-19 | 전남대학교산학협력단 | 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법 |
CN103559478A (zh) * | 2013-10-07 | 2014-02-05 | 唐春晖 | 俯视行人视频监控中的客流计数与事件分析方法 |
CN105405152A (zh) * | 2015-10-29 | 2016-03-16 | 西安电子科技大学 | 基于结构化支持向量机的自适应尺度目标跟踪方法 |
-
2016
- 2016-12-30 CN CN201611262156.2A patent/CN106683118B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101577006A (zh) * | 2009-06-15 | 2009-11-11 | 北京中星微电子有限公司 | 视频监控中的徘徊检测方法和系统 |
KR20110113948A (ko) * | 2010-04-12 | 2011-10-19 | 전남대학교산학협력단 | 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법 |
CN103559478A (zh) * | 2013-10-07 | 2014-02-05 | 唐春晖 | 俯视行人视频监控中的客流计数与事件分析方法 |
CN105405152A (zh) * | 2015-10-29 | 2016-03-16 | 西安电子科技大学 | 基于结构化支持向量机的自适应尺度目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
DA TANG ET AL.: "Combining Mean-shift and Particle Filter for Object Tracking", 《2011 SIXTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》 * |
汤贝: "基于模板匹配的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108282221A (zh) * | 2018-02-09 | 2018-07-13 | 沈阳航空航天大学 | 一种减小不安全区域的多无人机的安全通信策略 |
CN108282221B (zh) * | 2018-02-09 | 2020-07-31 | 沈阳航空航天大学 | 一种减小不安全区域的多无人机的安全通信策略 |
CN108919640A (zh) * | 2018-04-20 | 2018-11-30 | 西北工业大学 | 无人机自适应多目标跟踪的实现方法 |
CN108829124A (zh) * | 2018-04-24 | 2018-11-16 | 骁越科技(青岛)有限公司 | 一种无人机自动捕获技术和装置 |
CN108846335A (zh) * | 2018-05-31 | 2018-11-20 | 武汉市蓝领英才科技有限公司 | 基于视频图像的智慧工地区域管理及入侵检测方法、系统 |
CN110634148A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 连续帧图像中的目标提取方法和装置 |
CN109523573A (zh) * | 2018-11-23 | 2019-03-26 | 上海新世纪机器人有限公司 | 目标对象的跟踪方法和装置 |
CN109683629A (zh) * | 2019-01-09 | 2019-04-26 | 燕山大学 | 基于组合导航和计算机视觉的无人机电力架线系统 |
CN109683629B (zh) * | 2019-01-09 | 2020-08-21 | 燕山大学 | 基于组合导航和计算机视觉的无人机电力架线系统 |
CN109872372A (zh) * | 2019-03-07 | 2019-06-11 | 山东大学 | 一种小型四足机器人全局视觉定位方法和系统 |
CN109872372B (zh) * | 2019-03-07 | 2021-04-09 | 山东大学 | 一种小型四足机器人全局视觉定位方法和系统 |
CN112381053A (zh) * | 2020-12-01 | 2021-02-19 | 连云港豪瑞生物技术有限公司 | 具有图像跟踪功能的环保监测系统 |
CN112381053B (zh) * | 2020-12-01 | 2021-11-19 | 连云港豪瑞生物技术有限公司 | 具有图像跟踪功能的环保监测系统 |
CN113298847A (zh) * | 2021-07-28 | 2021-08-24 | 中国人民解放军国防科技大学 | 基于视场感知的共识自主性追捕与逃逸方法和装置 |
CN113298847B (zh) * | 2021-07-28 | 2021-10-26 | 中国人民解放军国防科技大学 | 基于视场感知的共识自主性追捕与逃逸方法和装置 |
CN117152258A (zh) * | 2023-11-01 | 2023-12-01 | 中国电建集团山东电力管道工程有限公司 | 一种管道生产智慧车间的产品定位方法及系统 |
CN117152258B (zh) * | 2023-11-01 | 2024-01-30 | 中国电建集团山东电力管道工程有限公司 | 一种管道生产智慧车间的产品定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106683118B (zh) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106683118B (zh) | 一种基于分层模型的无人机目标跟踪方法 | |
CN103149940B (zh) | 一种结合均值移动与粒子滤波的无人机目标跟踪方法 | |
CN109102522B (zh) | 一种目标跟踪方法及装置 | |
CN103871029B (zh) | 一种图像增强及分割方法 | |
CN104899590B (zh) | 一种无人机视觉目标跟随方法及系统 | |
CN106023257B (zh) | 一种基于旋翼无人机平台的目标跟踪方法 | |
CN110490907B (zh) | 基于多目标特征和改进相关滤波器的运动目标跟踪方法 | |
CN104200485A (zh) | 一种面向视频监控的人体跟踪方法 | |
CN103324936B (zh) | 一种基于多传感器融合的车辆下边界检测方法 | |
CN112634325B (zh) | 一种无人机视频多目标跟踪方法 | |
CN109448023B (zh) | 一种卫星视频小目标实时跟踪方法 | |
CN104794737A (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
CN103942786B (zh) | 无人机可见光和红外图像的自适应团块目标检测方法 | |
CN110826575A (zh) | 一种基于机器学习的水下目标识别方法 | |
CN110147816A (zh) | 一种彩色深度图像的获取方法、设备、计算机存储介质 | |
CN103679740A (zh) | 一种无人机对地目标roi提取方法 | |
CN108320310A (zh) | 基于图像序列的空间目标三维姿态估计方法 | |
CN114419450A (zh) | 一种基于影像特征分析的线性目标毁伤效能快速评估方法 | |
CN111123953A (zh) | 人工智能大数据下粒子化移动机器人组及其控制方法 | |
CN105760813A (zh) | 一种基于植物枝根演化行为的无人机目标检测方法 | |
CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
CN114445456B (zh) | 基于部分模型的数据驱动智能机动目标跟踪方法及装置 | |
CN111695552B (zh) | 多特征融合的水下目标建模及优化方法 | |
CN111027427B (zh) | 一种用于小型无人机竞速比赛的目标门检测方法 | |
CN113379802A (zh) | 一种多特征自适应融合的相关滤波目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20170517 Assignee: Beijing northern sky long hawk UAV Technology Co.,Ltd. Assignor: BEIHANG University Contract record no.: X2021990000039 Denomination of invention: UAV target tracking method based on hierarchical model Granted publication date: 20200214 License type: Exclusive License Record date: 20210119 |