CN105243654A - 一种多飞机跟踪方法及系统 - Google Patents

一种多飞机跟踪方法及系统 Download PDF

Info

Publication number
CN105243654A
CN105243654A CN201410325846.2A CN201410325846A CN105243654A CN 105243654 A CN105243654 A CN 105243654A CN 201410325846 A CN201410325846 A CN 201410325846A CN 105243654 A CN105243654 A CN 105243654A
Authority
CN
China
Prior art keywords
target
field picture
double points
aircraft tracking
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410325846.2A
Other languages
English (en)
Other versions
CN105243654B (zh
Inventor
魏振忠
谢泽华
白琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201410325846.2A priority Critical patent/CN105243654B/zh
Publication of CN105243654A publication Critical patent/CN105243654A/zh
Application granted granted Critical
Publication of CN105243654B publication Critical patent/CN105243654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种多飞机跟踪方法,所述方法包括:获取第i帧图像中的所有飞机跟踪目标的初始目标区域;当存在有Q个飞机跟踪目标的初始目标区域的重叠度超出预设的第一阈值时,确定所述Q个飞机跟踪目标为临近目标;获取所述临近目标在第i帧图像中的特征相似性矩阵;依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群;所述Q个关键点簇群对应于所述Q个飞机跟踪目标中的相应飞机跟踪目标;依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标在所述第i帧图像中的各自目标区域;同时,本发明还公开了一种多飞机跟踪系统。利用本发明,能够解决由于飞机之间互相遮挡而导致的飞机跟踪目标发生混淆、丢失等问题。

Description

一种多飞机跟踪方法及系统
技术领域
本发明涉及多飞机跟踪技术,具体涉及一种多飞机跟踪方法及系统。
背景技术
在民用、军用领域,多飞机跟踪技术均发挥着重要作用。准确地对飞机进行跟踪,对于飞机的起降安全、定位与追踪起着关键作用。
由于雷达跟踪系统对飞机的跟踪存在有雷达盲区及阴影扇区,所以使用单一的雷达跟踪系统对飞机进行跟踪是远远不够的。为满足对飞机跟踪的准确性要求,需要基于视觉的飞机跟踪系统与雷达跟踪系统互相配合。其中,基于视觉的飞机跟踪系统将跟踪问题转化为对图像的每一帧的检测,在跟踪过程中,通过对分类器进行适应性更新以适应目标飞机外观的变化。其中,基于视觉的跟踪方法包括有基于飞机外观模型的跟踪算法。
而跟踪的飞机之间通常具有相同的外观,采用基于飞机外观模型的跟踪算法容易失效。特别是这些飞机在起飞、降落等过程中,经常会发生相互遮挡,以至出现跟踪目标轨迹断裂,跟踪目标之间发生混淆、跟踪目标丢失等问题。
发明内容
为解决现有存在的技术问题,本发明实施例提供了一种多飞机跟踪方法及系统,在多飞机跟踪过程中,能够解决由于飞机之间互相遮挡而导致的单个飞机跟踪轨迹断裂、跟踪目标发生混淆、丢失等问题。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种多飞机跟踪方法,所述方法包括:
获取第i帧图像中的所有飞机跟踪目标的初始目标区域;
当存在有Q个飞机跟踪目标的初始目标区域的重叠度超出预设的第一阈值时,确定所述Q个飞机跟踪目标为临近目标;
获取所述临近目标在第i帧图像中的特征相似性矩阵;
依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群;所述Q个关键点簇群对应于所述Q个飞机跟踪目标中的相应飞机跟踪目标;
依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标在所述第i帧图像中的各自目标区域;
其中,i为大于等于1的正整数,Q为大于等于2的正整数。
上述方案中,所述获取第i帧图像中的所有飞机跟踪目标的初始目标区域之前,所述方法还包括:
获取第i帧图像的数学模型;
获取第i-1帧图像中飞机跟踪目标的目标区域;
在以所述目标区域位置为圆心、r为搜索半径的搜索范围内,获取所述第i帧图像的所有搜索框;
相应的,所述获取第i帧图像中的所有飞机跟踪目标的初始目标区域,包括:
对每一个搜索框计算所述数学模型中的目标函数的大小;
在所有搜索框中,确定使目标函数值最大的搜索框在第i帧图像上所占的位置为飞机跟踪目标在第i帧图像中的初始目标区域;
其中,r为自然数。
上述方案中,所述获取所述临近目标在第i帧图像中的特征相似性矩阵之前,所述方法还包括:
将所述临近目标外接矩形进行预定尺度的拉伸,拉伸后的区域作为尺度不变特征转换SIFT特征计算区域;
在所述区域中,计算第i帧图像的SIFT特征矩阵
相应的,获取所述临近目标在第i帧图像中的特征相似性矩阵,包括:
计算SIFT特征矩阵的任意两个元素的欧式距离,得到第i帧图像的特征相似性矩阵St
S t = 0 s 12 . . . s 1 , m 0 0 s 23 . . . . . . . . . . . . s m - 1 , m 0 0 . . . 0 ;
相应的,依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群,包括:
计算特征相似性矩阵St中的特征向量i'与其它特征向量的欧式距离;
挑选出与特征向量i'的欧式距离最小的Q个特征向量;
在Q个特征向量中,确定满足于max{si'1,si'2,...si',Q-1}<γ*si'Q的特征向量与特征向量i'相匹配;
配置特征相似性矩阵中所有相互匹配的特征向量为匹配点对;
按照每一个匹配点对的坐标的大小,将匹配点对中的每一个匹配点划分至Q个关键点簇群中的相应关键点簇群;
其中,0<γ<1;m为SIFT特征矩阵的维数;特征相似性矩阵St的各元素值 S i ′ j = | | d t i ′ - d t j | | , i ′ = 1,2 , . . . . m ; j = 1,2 , . . . . m .
上述方案中,在依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标的在所述第i帧图像中的各自目标区域之前,所述方法还包括:
对第i帧图像的所述Q个关键点簇群中的错误匹配点进行删除;
进一步的,包括:
步骤A:在第i帧图像的所述Q个关键点簇群中,将第1个关键点簇群中的匹配点与其它簇群的相应匹配点构成k个匹配点对;
在k个匹配点对中,计算当前匹配点对之间的欧式距离,确定为第一距离;计算其它匹配点对之间的欧式距离,确定为第二距离;
当第一距离与每一个第二距离之差均大于预设的第一距离阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配对;
或者,计算当前匹配点对之间的角度值,确定为第一角度;
计算其它匹配点对之间的角度值,确定为第二角度;
当第一角度与每一个第二角度之差均大于预设角度阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配点对;
其中,k为关键点簇群中的匹配点的个数;
步骤B:获取第i-1帧的Q个关键点簇群的平均欧式距离;
获取k个匹配点对中每一个匹配点对之间的欧式距离;
计算每一个欧式距离与第i-1帧图像的平均欧式距离的差值;
在所获取的k个匹配点对中,当存在有匹配点对与平均欧式距离的差值大于预设的第二距离阈值时,确定该匹配点对为错误的匹配点对,删除该匹配点对。
上述方案中,所述依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标的在所述第i帧图像中的各自目标区域,包括:
获取飞机跟踪目标在第i帧图像上的初始目标区域;
确定所述初始目标区域为调整前目标框;
将调整前目标框进行平移、伸缩变换,以包含删除错误匹配点之后的Q个关键点簇群的最小外接矩形,得到所述飞机跟踪目标的调整后目标框;
计算调整前目标框与调整后目标框的联合概率;
通过联合概率得到所述飞机跟踪目标的关联代价矩阵;
利用匈牙利算法Hungarian对关联代价矩阵进行运算,得出与调整前的目标框具有关联性的调整后目标框;
确定所述具有关联性的调整后目标框在第i帧图像上所占的区域为所述飞机跟踪目标飞机在第i帧图像上的最终目标区域。
本发明实施例提供了一种多飞机跟踪系统,所述系统包括:
第一获取单元,用于获取第i帧图像中的所有飞机跟踪目标的初始目标区域;
第一确定单元,用于当存在有Q个飞机跟踪目标的初始目标区域的重叠度超出预设的第一阈值时,确定所述Q个飞机跟踪目标为临近目标;
第二获取单元,用于获取所述临近目标在第i帧图像中的特征相似性矩阵;
第三获取单元,用于依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群;所述Q个关键点簇群对应于所述Q个飞机跟踪目标中的相应飞机跟踪目标;
第四获取单元,用于依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标在所述第i帧图像中的各自目标区域;
其中,i为大于等于1的正整数,Q为大于等于2的正整数。
上述方案中,所述系统还包括:第五获取单元,用于:
获取第i帧图像的数学模型;
获取第i-1帧图像中飞机跟踪目标的目标区域;
在以所述目标区域位置为圆心、r为搜索半径的搜索范围内,获取所述第i帧图像的所有搜索框;
相应的,所述第一获取单元,用于:
对每一个搜索框计算所述数学模型中的目标函数的大小;
在所有搜索框中,确定使目标函数值最大的搜索框在第i帧图像上所占的位置为飞机跟踪目标在第i帧图像中的初始目标区域;
其中,r为自然数。
上述方案中,所述第二获取单元,还用于:
将所述临近目标外接矩形进行预定尺度的拉伸,拉伸后的区域作为尺度不变特征转换SIFT特征计算区域;
在所述区域中,计算第i帧图像的SIFT特征矩阵
计算SIFT特征矩阵的任意两个元素的欧式距离,得到第i帧图像的特征相似性矩阵St
S t = 0 s 12 . . . s 1 , m 0 0 s 23 . . . . . . . . . . . . s m - 1 , m 0 0 . . . 0 ;
相应的,第三获取单元,还用于:
计算特征相似性矩阵St中的特征向量i'与其它特征向量的欧式距离;
挑选出与特征向量i'的欧式距离最小的Q个特征向量;
在Q个特征向量中,确定满足于max{si'1,si'2,...si',Q-1}<γ*si'Q的特征向量与特征向量i'相匹配;
配置特征相似性矩阵中所有相互匹配的特征向量为匹配点对;
按照每一个匹配点对的坐标的大小,将匹配点对中的每一个匹配点划分至Q个关键点簇群中的相应关键点簇群;
其中,0<γ<1;m为SIFT特征矩阵的维数;特征相似性矩阵St的各元素值 S i ′ j = | | d t i ′ - d t j | | , i ′ = 1,2 , . . . . m ; j = 1,2 , . . . . m .
上述方案中,所述系统还包括:第一删除单元,用于:
对第i帧图像的所述Q个关键点簇群中的错误匹配点进行删除;
所述第一删除单元,具体用于:
在第i帧图像的所述Q个关键点簇群中,将第1个关键点簇群中的匹配点与其它簇群的相应匹配点构成k个匹配点对;
在k个匹配点对中,计算当前匹配点对之间的欧式距离,确定为第一距离;计算其它匹配点对之间的欧式距离,确定为第二距离;
当第一距离与每一个第二距离之差均大于预设的第一距离阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配对;
或者,计算当前匹配点对之间的角度值,确定为第一角度;
计算其它匹配点对之间的角度值,确定为第二角度;
当第一角度与每一个第二角度之差均大于预设角度阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配点对;
其中,k为关键点簇群中的匹配点的个数;
获取第i-1帧的Q个关键点簇群的平均欧式距离;
获取k个匹配点对中每一个匹配点对之间的欧式距离;
计算每一个欧式距离与第i-1帧图像的平均欧式距离的差值;
在所获取的k个匹配点对中,当存在有匹配点对与平均欧式距离的差值大于预设的第二距离阈值时,确定该匹配点对为错误的匹配点对,删除该匹配点对。
上述方案中,所述第四获取单元,还用于:
获取飞机跟踪目标在第i帧图像上的初始目标区域;
确定所述初始目标区域为调整前目标框;
将调整前目标框进行平移、伸缩变换,以包含删除错误匹配点之后的Q个关键点簇群的最小外接矩形,得到所述飞机跟踪目标的调整后目标框;
计算调整前目标框与调整后目标框的联合概率;
通过联合概率得到所述飞机跟踪目标的关联代价矩阵;
利用匈牙利算法Hungarian对关联代价矩阵进行运算,得出与调整前的目标框具有关联性的调整后目标框;
确定所述具有关联性的调整后目标框在第i帧图像上所占的区域为所述飞机跟踪目标飞机在第i帧图像上的最终目标区域。
本发明实施例提供多飞机跟踪方法及系统,所述方法包括:获取第i帧图像中的所有飞机跟踪目标的初始目标区域;当存在有Q个飞机跟踪目标的初始目标区域的重叠度超出预设的第一阈值时,确定所述Q个飞机跟踪目标为临近目标;获取所述临近目标在第i帧图像中的特征相似性矩阵;依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群;所述Q个关键点簇群对应于所述Q个飞机跟踪目标中的相应飞机跟踪目标;依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标的在所述第i帧图像中的各自目标区域;利用本发明实施例提供的技术方案,在多飞机跟踪过程中,能够解决由于飞机之间互相遮挡而导致的单个飞机跟踪轨迹断裂、跟踪目标发生混淆、丢失等问题。
附图说明
图1为本发明实施例提供的一种多飞机跟踪方法的实现流程示意图;
图2为本发明实施例提供的搜索框归一化的应用示意图;
图3为本发明实施例提供的调整前目标框与调整后目标框的对比示意图;
图4为本发明实施例提供的一种多飞机跟踪系统的组成示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明,应当理解,以下所说明的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1为本发明实施例提供的一种多飞机跟踪方法的实现流程示意图;如图1所示,所述跟踪方法包括:
步骤11:获取第i帧图像中的所有飞机跟踪目标的初始目标区域;i为大于等于1的正整数;
这里,因为基于视觉的飞机跟踪系统是将跟踪问题转化为对图像的每一帧的检测,通过摄像机采集飞机飞行的视频数据;提取视频数据中的每一帧图像。
本发明中,首先采用结构化支持向量机(SVM,SupportVectorMachine)方法为第i=1帧图像中的每个飞机跟踪目标建立数学模型;其中,对每个飞机跟踪目标建立数学模型的过程为相同,均可参见以下所述。
进一步的,结构化SVM方法将对飞机跟踪问题转化为目标函数f:X→Y的学习问题,该目标函数的训练样本为样本对(xi,y);对于第i=1帧图像来说,xi为人为设定的目标框内的图像块,y为搜索范围。在跟踪问题中,通常定义搜索范围是以上一帧目标位置为圆心以一定长度r为搜索半径的圆;其中,r为自然数。而在第i=1帧图像中,搜索范围y是人为设定一目标位置为圆心,并选取一长度r作为搜索半径。经过机器学习,跟踪问题就转化为第i=1帧图像在y∈Y范围内最大化目标函数的问题,如公式(1)所示:
y * = f ( x ; w ) = arg max y ∈ Y F ( x , y ; w ) - - - ( 1 )
参考结构化SVM方法,目标函数可以写为F(x,y;w)=<w,φ(x,y)>;其中,w为结构化SVM方法中的一个参量,φ(x,y)为联合核映射;将(x,y)映射到合适的特征空间,目标函数就可以转化为最小化有约束二次优化函数的问题,如公式(2)所示:
min w 1 2 | | w | | 2 + C &Sigma; i = 1 n &xi; i
s . t . &ForAll; i : &xi; i &GreaterEqual; 0 - - - ( 2 )
&ForAll; i , &ForAll; y &NotEqual; y i : &lang; w , &phi; ( x i , y i ) - &phi; ( x i , y ) &rang; &GreaterEqual; &Delta; ( y i , y ) - &xi; i
其中,ξ为松弛变量,C是离群点的权重,C越大表明离群点对目标函数影响越大;n为总帧数,Δ(yi,y)为损失函数,y越接近真值yi,损失函数Δ(yi,y)越趋近于0。
为了能大大减小公式(2)的计算量,同时不丧失优化精度,采用LaRank优化算法优化式目标函数(2),得到公式(2)的简化目标函数为公式(3);
F ( x , y ) = &Sigma; i , y &OverBar; &beta; i y &OverBar; &lang; &phi; ( x i , y &OverBar; ) , &phi; ( x , y ) &rang; - - - ( 3 )
其中,的(xi,y)称为支持向量,对于每一个xi,仅(xi,yi)有时,称(xi,yi)为正支持向量,y≠yi的(xi,y)所对应的时,称(xi,y)为负支持向量。即某一个样本对(xi,y)的决定了该样本对作为正支持向量还是负支持向量。由于对于的更新可以转化为最大化参数λ(中间参量)的过程:即其中,
&lambda; = g i ( y + ) - g i ( y - ) &lang; &phi; ( x i , y + ) , &phi; ( x i , y + ) &rang; + &lang; &phi; ( x i , y - ) , &phi; ( x i , y - ) &rang; - 2 &lang; &phi; ( x i , y + ) , &phi; ( x i , y - ) &rang; - - - ( 4 )
其中,目标函数F(x,y)的导数为:
g i ( y ) = - &Delta; ( y , y i ) - &Sigma; i , y &OverBar; &beta; j y &OverBar; &lang; &phi; ( x i , y ) , &phi; ( x j , y &OverBar; ) &rang;
至此,第i=1帧的数学模型即公式(3)建立起来。需要说明的是,上述公式的推导过程具体请参见现有结构化SVM方法,这里不再赘述。
其次,通过对第i=1帧数学模型的更新得到第2帧图像的数学模型;通过对第i=2帧数学模型的更新得到第3帧图像数学模型,以此类推,通过对i-1帧数学模型的更新得到第i帧图像的数学模型。
数学模型的更新主要对数学模型中的正、负支持向量及其系数进行更新,采用LaRank优化算法,主要包括以下步骤:
步骤111:利用为第i-1帧确定出飞机跟踪目标的目标区域,挑选出第i帧数学模型中需要更新的支持向量(i,y+,y-);
这里,可称飞机跟踪目标的目标区域为该目标的目标框;将第i帧的正支持向量(i,y+)、负支持向量(i,y-)合记为(i,y+,y-)。
进一步的,设置第i帧数学模型的所有的初始化为0,将第i-1帧的目标框为圆形,以一定长度r为搜索半径的圆为第i帧的搜索范围,该搜索范围yi作为第i帧数学模型中的正支持向量,如果将正支持向量简单的记为y+,那么正支持向量y+=yi;负支持向量y-为使得目标函数F(x,y)的导数最小的值,即y-=argminy∈Ygi(y),至此,挑选出了第i帧数学模型中需要更新的支持向量(i,y+,y-),将正、负支持向量y+、y-分别代入至公式(4),计算出λ,就可求出第i帧图像数学模型中的正、负支持向量的系数 将该步骤求出的第i帧数学模型中需要更新的支持向量(i,y+,y-)及第i-1帧图像数学模型中已存在的支持向量均添加至第一向量集合中;其中,支持向量(i,y+,y-)也可以表示为(xi,y+,y-)。
步骤112:在第一向量集合中选取部分支持向量及其系数,进行更新;
这里,在步骤A中,由于第i帧图像的加入使得数学模型发生了变化,因此需要对第一向量集合中的选定的xi及其支持向量进行更新;在第一向量集合中寻找使得目标函数F(x,y)的导数gi(y)取得最大值的支持向量y,该y可作为第i帧图像数学模型的正支持向量y+,即y+=argmaxy∈Ygi(y);将第i-1帧的目标框为圆形,以一定长度r为搜索半径的圆为负支持向量的搜索范围,在该搜索范围内,寻找出使目标函数F(x,y)的导数gi(y)取得最小值的y,该y可作为第i帧图像数学模型的负支持向量y-,即y-=argminy∈Ygi(y);将正、负支持向量y+、y-分别代入至公式(4),计算出λ;再将计算出的λ代入公式就可求出该正、负支持向量所对应的系数;将对经过此步骤的第一向量集合视为第二向量集合。
步骤113:在第二向量集合中挑选出需要更新的支持向量(i,y+,y-),对其进行更新,得到第i帧图像的数学模型;
这里,对第二向量集合中支持向量的系数更新;在第二向量集合中,寻找使得目标函数F(x,y)的导数gi(y)取得最大值的支持向量y,该y可作为第i帧图像数学模型的正支持向量y+,即y+=argmaxy∈Y1gi(y);寻找使得目标函数F(x,y)的导数gi(y)取得最小值的y,该y可作为第i帧图像数学模型的负支持向量y-,即y-=argminy∈Y1gi(y),其中,Y1为第二向量集合中存在的向量。至此,挑选出了本步骤需要更新的支持向量(i,y+,y-),将所挑选出的正、负支持向量y+、y-分别代入至公式(4),计算出λ;再将计算出的λ代入公式就可求出该正、负支持向量所对应的系数;该步骤不会加入新的支持向量。
至此,经过步骤111~113之后得到了第i帧(i≠1)图像的数学模型;
优选的,为满足数学模型的精确性,对于每一帧图像,执行一次步骤111之后,需要重复执行步骤112与113,步骤112与步骤113的重复执行次数根据实际应用情况而设定,例如,重复执行10次步骤112与步骤113。
在通过步骤111~113得到第i帧图像数学模型之后,获取第i帧图像的数学模型中的所有支持向量(xi,y)及该向量对应的系数;获取第i-1帧图像中飞机跟踪目标的目标区域;在以所述目标区域位置为圆心、r为搜索半径的搜索范围内,获取所述第i帧图像的所有搜索框;对每一个搜索框计算所述数学模型中的目标函数的大小;在所有搜索框中,确定使目标函数值最大的搜索框在第i帧图像上所占的位置为飞机跟踪目标在第i帧图像中的初始目标区域。
例如,在以第i-1帧目标框位置为圆心、r=30像素的搜索范围内,以步长为1个像素建立滑动窗口,每个滑动窗口可为一个搜索框,获取在该搜索范围内的所有搜索框,对每一个搜索框计算目标函数的值,使得目标函数值最大的搜索框在第i帧图像上所占的位置即为飞机跟踪目标在第i帧的初始目标区域。其中,如图2所示,将搜索框归一化为15×15大小,每一列像素首尾相接构成225维向量作为该搜索框的特征向量,而目标函数中的即为该搜索框的特征向量,将特征向量至代入至目标函数,计算出使得目标函数值最大的搜索框,该搜索框在第i帧图像上所占的位置即为飞机跟踪目标在第i帧的初始目标区域。
依据上述方案,为第i帧图像内的每一飞机跟踪目标计算初始目标区域。
上述方案中,通过基于结构化SVM的学习方法,在对数学模型的更新过程中,主动挑选出了需要更新的支持向量及其对应的系数并对进行了重新赋值,避免了现有技术中采用直觉式样本标记而带来的标记噪声问题;同时,采用LaRank优化方法更适应飞机的姿态变化,在飞机发生大的姿态变化的时候仍能够正确跟踪目标。
步骤12:当存在有Q个飞机跟踪目标的初始目标区域的重叠度超出预设的第一阈值时,确定所述Q个飞机跟踪目标为临近目标;Q为大于等于2的正整数;
这里,将为第i帧图像中的第h架飞机计算出的初始目标区域为当第i帧图像中,有Q个飞机跟踪目标的初始目标区域即Q架飞机的初始目标区域超过第一阈值时,确定Q架飞机为临近目标。
举个例子,第h1架飞机计算出的初始目标区域为第h2架飞机计算出的初始目标区域为这两架飞机的重叠度为公式(5)所示:
&Delta; = p i h 2 &cap; p i h 1 p i h 2 &cup; p i h 1 - - - ( 5 )
当Δ超出第一阈值时,确定第h1架飞机与第h2架飞机为临近目标,即第h1架飞机与第h2架飞机为容易发生混淆的跟踪目标;其中,所述第一阈值根据实际应用情况而设定。
步骤13:获取所述临近目标在第i帧图像中的特征相似性矩阵;
这里,当确定第i帧图像中存在有临近目标时,将临近目标外接矩形进行预定尺度的拉伸,拉伸后的区域作为尺度不变特征转换(SIFT,Scale-invariantfeaturetransform)特征计算的感兴趣区域;在该感兴趣区域中,计算第i帧图像的SIFT特征矩阵其中,m为对第i帧图像所提取的特征向量的个数,也即m为SIFT特征矩阵的维数。
计算出第i帧图像的SIFT特征矩阵之后,进行帧内特征匹配;具体的,计算出第i帧图像的特征相似性矩阵St如公式(6)所示:
S t = 0 s 12 . . . s 1 , m 0 0 s 23 . . . . . . . . . . . . s m - 1 , m 0 0 . . . 0 - - - ( 6 )
其中,相似性度量方法采用欧式距离即特征相似性矩阵St的各元素值特征相似性矩阵St共有m个特征向量;每个特征向量对应于第i帧图像上的一个坐标点。
本步骤中,采用了SIFT特征匹配方法,SIFT特征匹配方法的具体描述请参见现有相关说明,这里不再赘述。
步骤14:依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群;所述Q个关键点簇群对应于所述Q个飞机跟踪目标中的相应飞机跟踪目标;
这里,对于特征相似性矩阵St中的特征向量i',计算出特征向量i'与其它特征向量的欧式距离,挑选出与该特征向量的欧式距离最小的Q个特征向量,在Q个特征向量中,确定满足于max{si'1,si'2,...si',Q-1}<γ*si'Q的特征向量与第i'特征向量相匹配;其中,0<γ<1。
例如,以2架飞机为临近目标即Q=2、第i'=1个特征向量、γ=0.5为例,计算第i'=1个特征向量与其它m-1个特征向量的欧式距离,挑选出Q=2个与第i'=1个特征向量的欧式距离最小的向量,这2个特征向量一个称之为最小值,一个称之为次小值,当最小值<0.5*次小值时,确定与欧式距离最小值相对应的特征向量与第i'=1个特征向量为相匹配。
按照上述方法,计算出与特征相似性矩阵St中每个特征向量相互匹配的匹配向量,并将相互匹配的特征向量配置为匹配点对;因为特征向量在第i帧图像上可表示为一个坐标点,所以按照每一个匹配点对的坐标的大小,将匹配点对中的匹配点划分至Q个关键点簇群{C1,C2,...CQ}中的相应关键点簇群中去。
例如,以2架飞机为临近目标即Q=2、第i'=1个特征向量、第i'=3个特征向量为例,计算出与第1个特征向量相匹配的特征向量为第2个特征向量,与第3个特征向量相匹配的特征向量为第4个特征向量,即第1个特征向量与第2个特征向量为一个匹配点对,第3个特征向量与第4个特征向量为一个匹配点对;在这两个匹配点对中,第1个特征向量在第i帧图像上的对应坐标大于第2个特征向量在第i帧图像上对应的坐标,第3个特征向量在第i帧图像上的对应坐标大于第4个特征向量在第i帧图像上对应的坐标,即第1、3特征向量对应的坐标相对较大,第2、4特征向量对应的坐标相对较小,那么,将相对较大的坐标对应的特征向量即第1、3个特征向量划分至2个簇群中的第1个簇群C1中,将相对较小的坐标对应的特征向量即第2、4个特征向量划分至2个簇群中的第2个簇群C2;或者,将第2、4个特征向量划分至2个簇群中的第1个簇群C1,将第1、3个特征向量划分至2个簇群中的第2个簇群C2
Q个关键点簇群中的每个关键点簇群对应Q个飞机跟踪目标中的相应飞机。例如,以Q=2个关键点簇群、飞机1、飞机2为例,2个关键点簇群中的第1个关键点簇群C1对应于飞机1,也就是关键点簇群C1中的特征向量在第i帧图像上的对应坐标是描述飞机1上的某个点在该帧图像上的位置,2个关键点簇群中的第2个关键点簇群C2对应于飞机2,也就是关键点簇群C2中的特征向量在第i帧图像上的对应坐标是描述飞机2上的某个点在该帧图像上的位置。
步骤15:依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标在所述第i帧图像中的各自目标区域。
这里,在第i帧图像中,将匹配点对中的每一个匹配点划分至Q个关键点簇群{C1,C2,...CQ}中的相应关键点簇群中去之后,每个关键点簇群中存在有k个匹配点坐标;由于关键点簇群中的匹配点可能存在着错误匹配点,所以需要采用下述方法将关键点簇群中的错误匹配点删除,即对第i帧图像的Q个关键点簇群中的错误匹配点进行删除。
具体的,所述删除过程包括:
将第1个关键点簇群中的匹配点与其它簇群的相应匹配点构成k个匹配点对 c 1 i &prime; &prime; ij &prime; ( i &prime; &prime; = 1,2 , . . . Q - 1 , j , = 1,2 , . . . k ) , 在k个匹配点对中,计算当前匹配点对之间的欧式距离,视为第一距离;计算其它匹配点对之间的欧式距离,视为第二距离;当第一距离与每一个第二距离之差大于预设第一距离阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配对;或者,计算当前匹配点对之间的角度值,视为第一角度;计算其它匹配点对之间的角度值,视为第二角度;当第一角度与第二角度之差均大于预设角度阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配点对。此过程可以称之为基于空间约束的匹配点筛选过程。
例如,以2个关键点簇群为例,第1个关键点簇群中包括匹配点1、3、5及7;第2个关键点簇群包括匹配点2、4、6及8;其中,匹配点1与匹配点2为匹配点对匹配点3与匹配点4为匹配点对匹配点5与匹配点6为匹配点对匹配点7与匹配点8为匹配点对第1个关键点簇群中的匹配点与第2个簇群中的匹配点构成k=4个匹配点对在该4个匹配点对中,视为当前匹配点对,计算出匹配点1与匹配点2之间的欧式距离为距离1,计算出匹配点3与匹配点4之间的欧式距离为距离2,计算出匹配点5与匹配点6之间的欧式距离为距离3,计算出匹配点7与匹配点8之间的欧式距离为距离4;当距离1与距离2、距离3及距离4的所有差值,均大于第一距离阈值时,删除即删除第1个关键点簇群中的匹配点1及第2个关键点簇群中的匹配点2。
但是上述基于空间约束的匹配点筛选方法并不能删除关键点簇群中的所有错误匹配点,并且在正确匹配点少于错误匹配点的时候该筛选方法还会删除正确匹配,保留错误匹配点。为此,还需要采用以下方法进行进一步的匹配点筛选:
基于帧与帧之间的时间连续性,即在相邻帧图像中,飞机跟踪目标间的相对位置不会发生较大变化这一特性,在第i帧图像中,获取第i-1帧的关键点簇群的平均欧式距离,在第i帧图像中的由第1个关键点簇群中的匹配点与其它簇群的相应匹配点构成的k个匹配点对 c 1 i &prime; &prime; ij &prime; ( i &prime; &prime; = 1,2 , . . . Q - 1 , j , = 1,2 , . . . k ) 中,计算每一个匹配点对之间的欧式距离,并计算每一欧式距离与第i-1帧图像的平均欧式距离的差值,当存在有某个匹配点对与平均欧式距离的差值大于第二距离阈值时,删除该匹配点对。此过程可以称之为基于时间约束的匹配点筛选过程。
例如,以第i、i-1帧图像中均包括有2个关键点簇群为例,第i-1帧的第1个关键点簇群包括匹配点11、13,第i-1帧的第2个关键点簇群包括匹配点12、14;计算出第i-1帧中的第1个匹配点对即匹配点11、13之间的欧式距离,为第一欧式距离;计算出第i-1帧中的第1个匹配点对即匹配点12、14之间的欧式距离,为第二欧式距离;计算第一欧式距离与第二欧式距离的平均值,得到第i-1帧的平均欧式距离;第i帧图像的第1个关键点簇群中包括匹配点1、3;第2个关键点簇群包括匹配点2、4;其中,匹配点1与匹配点2为匹配点对匹配点3与匹配点4为匹配点对第1个关键点簇群中的匹配点与第2个簇群中的匹配点构成2个匹配点对如果匹配点1与匹配点2之间的欧式距离与第i-1帧的欧式距离大于第二距离阈值时,确定匹配点对为错误匹配点,删除即删除匹配点1、匹配点2;如果匹配点3与匹配点4之间的欧式距离与第i-1帧的欧式距离大于第二距离阈值时,确定匹配点对为错误匹配点,删除即删除匹配点3、匹配点4。
上述方案中,通过SIFT帧内特征匹配方法,在空间上区分了不同跟踪目标,在跟踪目标间发生长时间遮挡之后仍能够区分不同目标;基于时空约束的匹配点筛选方法,可靠地删除了错误匹配点,实现更为鲁棒的跟踪。
在对Q个关键点簇群中的匹配点进行上述两次筛选之后,依据筛选后的Q个关键点簇群,确定Q个飞机跟踪目标在第i帧图像上的目标区域(目标框)。
进一步的,Q个关键点簇群对应Q个飞机目标,将经前述步骤11所计算得出的第h1架飞机目标在第i帧图像上的初始目标区域作为调整前目标框Bii,将该调整前目标框Bii进行v尺度平移、R尺度伸缩变换,以包含关键点簇群的最小外接矩形,得到基于第h1架飞机目标的调整后目标框计算调整前目标框Bii与调整后目标框的联合概率其中,联合概率函数与目标函数F(x,y)的关系如公式(7)所示;通过联合概率得到第h1架飞机目标的关联代价矩阵的各元素值
P ( B ii , B jj ) = &Sigma; i , y &OverBar; &beta; i y &OverBar; &lang; &phi; ( x i B ii , y &OverBar; ) , &phi; ( x i B ^ j ) &CenterDot; exp ( - v ) - - - ( 7 )
这里,关联代价矩阵C为Q*Q的矩阵,该矩阵的特征向量代表着调整前的目标框Bii(ii=1,2…Q-1)与调整后的目标框是否具有关联性;再利用匈牙利算法Hungarian对关联代价矩阵C进行运算,得出与调整前的目标框Bii具有关联性的目标框并确定与目标框Bii具有关联性的目标框在第i帧图像上所占的区域为第h1架飞机在第i帧图像上的最终目标区域。
图3为本发明实施例提供的调整前目标框与调整后目标框的对比示意图;在图3中,虚线框代表着调整前目标框,实现框代表着调整后目标框;由图3可知,利用本发明实施例,与调整前目标框相比,调整后的目标框对飞机跟踪目标的跟踪更精确。
基于上述多飞机跟踪方法,本发明实施例还记载了一种多飞机跟踪系统,图4为本发明实施例提供的多飞机跟踪系统的组成示意图;如图4所示,所述系统包括:
第一获取单元401,用于获取第i帧图像中的所有飞机跟踪目标的初始目标区域;
第一确定单元402,用于当存在有Q个飞机跟踪目标的初始目标区域的重叠度超出预设的第一阈值时,确定所述Q个飞机跟踪目标为临近目标;
第二获取单元403,用于获取所述临近目标在第i帧图像中的特征相似性矩阵;
第三获取单元404,用于依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群;所述Q个关键点簇群对应于所述Q个飞机跟踪目标中的相应飞机跟踪目标;
第四获取单元405,用于依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标的在所述第i帧图像中的各自目标区域;
其中,i为大于等于1的正整数,Q为大于等于2的正整数。
如图4所示,所述系统还包括:第五获取单元406,用于:
获取第i帧图像的数学模型;
获取第i-1帧图像中飞机跟踪目标的目标区域;
在以所述目标区域位置为圆心、r为搜索半径的搜索范围内,获取所述第i帧图像的所有搜索框;
相应的,所述第一获取单元401,用于:
对每一个搜索框计算所述数学模型中的目标函数的大小;
在所有搜索框中,确定使目标函数值最大的搜索框在第i帧图像上所占的位置为飞机跟踪目标在第i帧图像中的初始目标区域;
其中,r为自然数。
第二获取单元403,还用于:
将所述临近目标外接矩形进行预定尺度的拉伸,拉伸后的区域作为尺度不变特征转换SIFT特征计算区域;
在所述区域中,计算第i帧图像的SIFT特征矩阵
计算SIFT特征矩阵的任意两个元素的欧式距离,得到第i帧图像的特征相似性矩阵St
S t = 0 s 12 . . . s 1 , m 0 0 s 23 . . . . . . . . . . . . s m - 1 , m 0 0 . . . 0 ;
相应的,所述第三获取单元404,还用于:
计算特征相似性矩阵中的特征向量i'与其它特征向量的欧式距离;
挑选出与特征向量i'的欧式距离最小的Q个特征向量;
在Q个特征向量中,确定满足于max{si'1,si'2,...si',Q-1}<γ*si'Q的特征向量与特征向量i'相匹配;其中,0<γ<1;
配置特征相似性矩阵中所有相互匹配的特征向量为匹配点对;
按照每一个匹配点对的坐标的大小,将匹配点对中的每一个匹配点划分至Q个关键点簇群中的相应关键点簇群;
其中,m为SIFT特征矩阵的维数;St的各元素值 S i &prime; j = | | d t i &prime; - d t j | | , i &prime; = 1,2 . . . . m ; j = 1,2 . . . . m .
如图4所示,所述系统还包括:第一删除单元407,用于:
对第i帧图像的所述Q个关键点簇群中的错误匹配点进行删除;
所述第一删除单元,具体用于:
在第i帧图像的所述Q个关键点簇群中,将第1个关键点簇群中的匹配点与其它簇群的相应匹配点构成k个匹配点对;
在k个匹配点对中,计算当前匹配点对之间的欧式距离,视为第一距离;计算其它匹配点对之间的欧式距离,视为第二距离;
当第一距离与每一个第二距离之差均大于预设的第一距离阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配对;
或者,计算当前匹配点对之间的角度值,视为第一角度;
计算其它匹配点对之间的角度值,视为第二角度;
当第一角度与每一个第二角度之差均大于预设角度阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配点对;
其中,k为关键点簇群中的匹配点的个数;
获取第i-1帧的Q个关键点簇群的平均欧式距离;
获取k个匹配点对中每一个匹配点对之间的欧式距离;
计算每一个欧式距离与第i-1帧图像的平均欧式距离的差值;
在所获取的k个匹配点对中,当存在有匹配点对与平均欧式距离的差值大于预设的第二距离阈值时,删除该匹配点对。
所述第四获取单元405,还用于:
获取飞机跟踪目标在第i帧图像上的初始目标区域;
确定所述初始目标区域为调整前目标框;
将调整前目标框进行平移、伸缩变换,以包含删除错误匹配点之后的Q个关键点簇群的最小外接矩形,得到所述飞机跟踪目标的调整后目标框;
计算调整前目标框与调整后目标框的联合概率;
通过联合概率得到所述飞机跟踪目标的关联代价矩阵;
利用匈牙利算法Hungarian对关联代价矩阵进行运算,得出与调整前的目标框具有关联性的调整后目标框;
确定与调整前目标框具有关联性的调整后目标框,
确定所述具有关联性的调整后目标框在第i帧图像上所占的区域为所述飞机跟踪目标飞机在第i帧图像上的最终目标区域。
本领域技术人员应当理解,图4中所示的多飞机跟踪系统中的各处理单元的实现功能可参照前述多飞机跟踪方法的相关描述而理解。本领域技术人员应当理解,图4所示的多飞机跟踪系统中各处理单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (10)

1.一种多飞机跟踪方法,其特征在于,所述方法包括:
获取第i帧图像中的所有飞机跟踪目标的初始目标区域;
当存在有Q个飞机跟踪目标的初始目标区域的重叠度超出预设的第一阈值时,确定所述Q个飞机跟踪目标为临近目标;
获取所述临近目标在第i帧图像中的特征相似性矩阵;
依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群;所述Q个关键点簇群对应于所述Q个飞机跟踪目标中的相应飞机跟踪目标;
依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标在所述第i帧图像中的各自目标区域;
其中,i为大于等于1的正整数,Q为大于等于2的正整数。
2.根据权利要求1所述的方法,其特征在于,所述获取第i帧图像中的所有飞机跟踪目标的初始目标区域之前,所述方法还包括:
获取第i帧图像的数学模型;
获取第i-1帧图像中飞机跟踪目标的目标区域;
在以所述目标区域位置为圆心、r为搜索半径的搜索范围内,获取所述第i帧图像的所有搜索框;
相应的,所述获取第i帧图像中的所有飞机跟踪目标的初始目标区域,包括:
对每一个搜索框计算所述数学模型中的目标函数的大小;
在所有搜索框中,确定使目标函数值最大的搜索框在第i帧图像上所占的位置为飞机跟踪目标在第i帧图像中的初始目标区域;
其中,r为自然数。
3.根据权利要求1或2所述的方法,其特征在于,所述获取所述临近目标在第i帧图像中的特征相似性矩阵之前,所述方法还包括:
将所述临近目标外接矩形进行预定尺度的拉伸,拉伸后的区域作为尺度不变特征转换SIFT特征计算区域;
在所述区域中,计算第i帧图像的SIFT特征矩阵
相应的,获取所述临近目标在第i帧图像中的特征相似性矩阵,包括:
计算SIFT特征矩阵的任意两个元素的欧式距离,得到第i帧图像的特征相似性矩阵St
S t = 0 s 12 . . . s 1 , m 0 0 s 23 . . . . . . . . . . . . s m - 1 , m 0 0 . . . 0 ;
相应的,依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群,包括:
计算特征相似性矩阵St中的特征向量i'与其它特征向量的欧式距离;
挑选出与特征向量i'的欧式距离最小的Q个特征向量;
在Q个特征向量中,确定满足于max{si'1,si'2,...si',Q-1}<γ*si'Q的特征向量与特征向量i'相匹配;
配置特征相似性矩阵中所有相互匹配的特征向量为匹配点对;
按照每一个匹配点对的坐标的大小,将匹配点对中的每一个匹配点划分至Q个关键点簇群中的相应关键点簇群;
其中,0<γ<1;m为SIFT特征矩阵的维数;特征相似性矩阵St的各元素值 S i &prime; j = | | d t i &prime; - d t j | | , i &prime; = 1,2 , . . . . m ; j = 1,2 , . . . . m .
4.根据权利要求3所述的方法,其特征在于,在依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标的在所述第i帧图像中的各自目标区域之前,所述方法还包括:
对第i帧图像的所述Q个关键点簇群中的错误匹配点进行删除;
进一步的,包括:
步骤A:在第i帧图像的所述Q个关键点簇群中,将第1个关键点簇群中的匹配点与其它簇群的相应匹配点构成k个匹配点对;
在k个匹配点对中,计算当前匹配点对之间的欧式距离,确定为第一距离;计算其它匹配点对之间的欧式距离,确定为第二距离;
当第一距离与每一个第二距离之差均大于预设的第一距离阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配对;
或者,计算当前匹配点对之间的角度值,确定为第一角度;
计算其它匹配点对之间的角度值,确定为第二角度;
当第一角度与每一个第二角度之差均大于预设角度阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配点对;
其中,k为关键点簇群中的匹配点的个数;
步骤B:获取第i-1帧的Q个关键点簇群的平均欧式距离;
获取k个匹配点对中每一个匹配点对之间的欧式距离;
计算每一个欧式距离与第i-1帧图像的平均欧式距离的差值;
在所获取的k个匹配点对中,当存在有匹配点对与平均欧式距离的差值大于预设的第二距离阈值时,确定该匹配点对为错误的匹配点对,删除该匹配点对。
5.根据权利要求4所述的方法,其特征在于,所述依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标的在所述第i帧图像中的各自目标区域,包括:
获取飞机跟踪目标在第i帧图像上的初始目标区域;
确定所述初始目标区域为调整前目标框;
将调整前目标框进行平移、伸缩变换,以包含删除错误匹配点之后的Q个关键点簇群的最小外接矩形,得到所述飞机跟踪目标的调整后目标框;
计算调整前目标框与调整后目标框的联合概率;
通过联合概率得到所述飞机跟踪目标的关联代价矩阵;
利用匈牙利算法Hungarian对关联代价矩阵进行运算,得出与调整前的目标框具有关联性的调整后目标框;
确定所述具有关联性的调整后目标框在第i帧图像上所占的区域为所述飞机跟踪目标飞机在第i帧图像上的最终目标区域。
6.一种多飞机跟踪系统,其特征在于,所述系统包括:
第一获取单元,用于获取第i帧图像中的所有飞机跟踪目标的初始目标区域;
第一确定单元,用于当存在有Q个飞机跟踪目标的初始目标区域的重叠度超出预设的第一阈值时,确定所述Q个飞机跟踪目标为临近目标;
第二获取单元,用于获取所述临近目标在第i帧图像中的特征相似性矩阵;
第三获取单元,用于依据所述特征相似性矩阵,获取所述临近目标的Q个关键点簇群;所述Q个关键点簇群对应于所述Q个飞机跟踪目标中的相应飞机跟踪目标;
第四获取单元,用于依据所述Q个关键点簇群,确定所述Q个飞机跟踪目标中的每个飞机跟踪目标在所述第i帧图像中的各自目标区域;
其中,i为大于等于1的正整数,Q为大于等于2的正整数。
7.根据权利要求6所述的系统,其特征在于,所述系统还包括:第五获取单元,用于:
获取第i帧图像的数学模型;
获取第i-1帧图像中飞机跟踪目标的目标区域;
在以所述目标区域位置为圆心、r为搜索半径的搜索范围内,获取所述第i帧图像的所有搜索框;
相应的,所述第一获取单元,用于:
对每一个搜索框计算所述数学模型中的目标函数的大小;
在所有搜索框中,确定使目标函数值最大的搜索框在第i帧图像上所占的位置为飞机跟踪目标在第i帧图像中的初始目标区域;
其中,r为自然数。
8.根据权利要求6或7所述的系统,其特征在于,所述第二获取单元,还用于:
将所述临近目标外接矩形进行预定尺度的拉伸,拉伸后的区域作为尺度不变特征转换SIFT特征计算区域;
在所述区域中,计算第i帧图像的SIFT特征矩阵
计算SIFT特征矩阵的任意两个元素的欧式距离,得到第i帧图像的特征相似性矩阵St
S t = 0 s 12 . . . s 1 , m 0 0 s 23 . . . . . . . . . . . . s m - 1 , m 0 0 . . . 0 ;
相应的,第三获取单元,还用于:
计算特征相似性矩阵St中的特征向量i'与其它特征向量的欧式距离;
挑选出与特征向量i'的欧式距离最小的Q个特征向量;
在Q个特征向量中,确定满足于max{si'1,si'2,...si',Q-1}<γ*si'Q的特征向量与特征向量i'相匹配;
配置特征相似性矩阵中所有相互匹配的特征向量为匹配点对;
按照每一个匹配点对的坐标的大小,将匹配点对中的每一个匹配点划分至Q个关键点簇群中的相应关键点簇群;
其中,0<γ<1;m为SIFT特征矩阵的维数;特征相似性矩阵St的各元素值 S i &prime; j = | | d t i &prime; - d t j | | , i &prime; = 1,2 , . . . . m ; j = 1,2 , . . . . m .
9.根据权利要求8所述的系统,其特征在于,所述系统还包括:第一删除单元,用于:
对第i帧图像的所述Q个关键点簇群中的错误匹配点进行删除;
所述第一删除单元,具体用于:
在第i帧图像的所述Q个关键点簇群中,将第1个关键点簇群中的匹配点与其它簇群的相应匹配点构成k个匹配点对;
在k个匹配点对中,计算当前匹配点对之间的欧式距离,确定为第一距离;计算其它匹配点对之间的欧式距离,确定为第二距离;
当第一距离与每一个第二距离之差均大于预设的第一距离阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配对;
或者,计算当前匹配点对之间的角度值,确定为第一角度;
计算其它匹配点对之间的角度值,确定为第二角度;
当第一角度与每一个第二角度之差均大于预设角度阈值时,确定当前匹配点对为错误的匹配点对,删除当前匹配点对;
其中,k为关键点簇群中的匹配点的个数;
获取第i-1帧的Q个关键点簇群的平均欧式距离;
获取k个匹配点对中每一个匹配点对之间的欧式距离;
计算每一个欧式距离与第i-1帧图像的平均欧式距离的差值;
在所获取的k个匹配点对中,当存在有匹配点对与平均欧式距离的差值大于预设的第二距离阈值时,确定该匹配点对为错误的匹配点对,删除该匹配点对。
10.根据权利要求9所述的系统,其特征在于,所述第四获取单元,还用于:
获取飞机跟踪目标在第i帧图像上的初始目标区域;
确定所述初始目标区域为调整前目标框;
将调整前目标框进行平移、伸缩变换,以包含删除错误匹配点之后的Q个关键点簇群的最小外接矩形,得到所述飞机跟踪目标的调整后目标框;
计算调整前目标框与调整后目标框的联合概率;
通过联合概率得到所述飞机跟踪目标的关联代价矩阵;
利用匈牙利算法Hungarian对关联代价矩阵进行运算,得出与调整前的目标框具有关联性的调整后目标框;
确定所述具有关联性的调整后目标框在第i帧图像上所占的区域为所述飞机跟踪目标飞机在第i帧图像上的最终目标区域。
CN201410325846.2A 2014-07-09 2014-07-09 一种多飞机跟踪方法及系统 Active CN105243654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410325846.2A CN105243654B (zh) 2014-07-09 2014-07-09 一种多飞机跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410325846.2A CN105243654B (zh) 2014-07-09 2014-07-09 一种多飞机跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN105243654A true CN105243654A (zh) 2016-01-13
CN105243654B CN105243654B (zh) 2019-10-01

Family

ID=55041287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410325846.2A Active CN105243654B (zh) 2014-07-09 2014-07-09 一种多飞机跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN105243654B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803263A (zh) * 2016-11-29 2017-06-06 深圳云天励飞技术有限公司 一种目标跟踪方法及装置
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN108932730A (zh) * 2018-05-31 2018-12-04 哈工大机器人(昆山)有限公司 基于数据关联的视频多目标跟踪方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN101159855A (zh) * 2007-11-14 2008-04-09 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
US20080317308A1 (en) * 2005-06-24 2008-12-25 Xiaodong Wu System and methods for image segmentation in N-dimensional space
CN102930300A (zh) * 2012-11-21 2013-02-13 北京航空航天大学 一种飞机目标识别方法及系统
CN103281477A (zh) * 2013-05-17 2013-09-04 天津大学 基于多级别特征数据关联的多目标视觉跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317308A1 (en) * 2005-06-24 2008-12-25 Xiaodong Wu System and methods for image segmentation in N-dimensional space
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN101159855A (zh) * 2007-11-14 2008-04-09 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
CN102930300A (zh) * 2012-11-21 2013-02-13 北京航空航天大学 一种飞机目标识别方法及系统
CN103281477A (zh) * 2013-05-17 2013-09-04 天津大学 基于多级别特征数据关联的多目标视觉跟踪方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803263A (zh) * 2016-11-29 2017-06-06 深圳云天励飞技术有限公司 一种目标跟踪方法及装置
WO2018099268A1 (zh) * 2016-11-29 2018-06-07 深圳云天励飞技术有限公司 目标跟踪方法、装置及存储介质
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN108363946B (zh) * 2017-12-29 2022-05-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN108932730A (zh) * 2018-05-31 2018-12-04 哈工大机器人(昆山)有限公司 基于数据关联的视频多目标跟踪方法及系统
CN108932730B (zh) * 2018-05-31 2021-11-23 哈工大机器人集团(昆山)有限公司 基于数据关联的视频多目标跟踪方法及系统

Also Published As

Publication number Publication date
CN105243654B (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
US11776280B2 (en) Systems and methods for mapping based on multi-journey data
Liu et al. Seqlpd: Sequence matching enhanced loop-closure detection based on large-scale point cloud description for self-driving vehicles
EP3920095A1 (en) Image processing method and apparatus, moveable platform, unmanned aerial vehicle and storage medium
US20160379375A1 (en) Camera Tracking Method and Apparatus
CN103440318B (zh) 移动终端的景观识别系统
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
US11853080B2 (en) Spray operation method and device for unmanned aerial vehicle
CN112509056A (zh) 一种动态战场环境实时路径规划系统及方法
CN105243654A (zh) 一种多飞机跟踪方法及系统
CN116012422B (zh) 基于单目视觉的无人机6d位姿估计跟踪方法及其应用
Cui et al. Precise landing control of UAV based on binocular visual SLAM
CN107543541B (zh) 一种适合室内自由运动载体的地磁定位方法
US10447992B1 (en) Image processing method and system
CN107272732A (zh) 无人飞行装置集群系统
CN111724438B (zh) 一种数据处理方法、装置
Yang et al. A sequence-based visual place recognition method for aerial mobile robots
Michaelsen et al. A google-earth based test bed for structural image-based UAV navigation
Tang et al. Automatic geo‐localization framework without GNSS data
Chen et al. Multi-robot point cloud map fusion algorithm based on visual SLAM
CN114674307B (zh) 一种重定位方法及电子设备
Wang et al. Stream Query Denoising for Vectorized HD Map Construction
Zhang et al. UAV target detection algorithm based on improved YOLOv5s
CN117058358B (zh) 一种场景边界检测方法和移动平台
CN115631240B (zh) 大规模场景的视觉定位数据处理方法
Yao Resource-Constrained State Estimation with Multi-Modal Sensing.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant