CN116777956A - 基于多尺度航迹管理的运动目标筛选方法 - Google Patents
基于多尺度航迹管理的运动目标筛选方法 Download PDFInfo
- Publication number
- CN116777956A CN116777956A CN202310899180.0A CN202310899180A CN116777956A CN 116777956 A CN116777956 A CN 116777956A CN 202310899180 A CN202310899180 A CN 202310899180A CN 116777956 A CN116777956 A CN 116777956A
- Authority
- CN
- China
- Prior art keywords
- scale
- track
- curvature
- tracks
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012216 screening Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims description 33
- 238000006073 displacement reaction Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 10
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度航迹管理的运动目标筛选方法,包括以下几个步骤:多尺度曲率特征点提取:依据基于曲率的近地面红外小目标检测算法完成对点目标曲率特征点的提取,并由点目标拓展到斑目标,完成多尺度目标的曲率特征点提取;多尺度航迹自适应关联:根据某一物体历史点迹信息,确定其运动状态,预测波门中心位置和波门大小,并在波门范围内准确地找到此时的物体点迹,实现关联;多尺度航迹决策与合并:在众多航迹中筛选出运动目标航迹,并对相同目标的多尺度航迹进行合并。本发明能够在兼顾计算速度和算法稳定性的同时,对复杂场景下不同尺寸目标进行稳定筛选。
Description
技术领域
本发明属于目标探测领域,具体为一种基于多尺度航迹管理的运动目标筛选方法。
背景技术
对于多尺度目标检测问题,国内外很多学者根据目标本身的多尺度特性与其他显著特征提出了不同的检测方法。
(1)传统检测算法:可以利用具有尺度不变性的SIFT、SURF和HOG等特征来描述多尺度目标。Felzenszwalb提出的DPM算法,是对HOG的扩展,对多尺度目标有着很好的鲁棒性。余莉等提出一种基于多尺度变形模板的检测方法,在已有的Snake算法基础上,加入形状约束,再利用小波变换的多尺度特性,实现多尺度目标匹配。卢军等提出一种基于时刻多尺度运动目标检测方法,基于运动显著性准则,提出新的检验运动显著性方法,检测出图像中存在显著运动性的区域,实现对不同大小目标的检测。
(2)深度学习方法:KimKH等提出的PVANet算法是改进的R-CNN算法网络,该网络将多层特征进行融合后再实现预测,对多尺度目标检测有较好的效果。Lin等考虑到网络深层特征有较强的语义信息,而浅层特征有较强的空间信息,于是提出了将深层特征图通过多次上采样和浅层特征图逐一结合的FPN架构,基于多层融合后的特征图进行输出,能够更好地检测到不同尺度的目标,是多尺度目标检测的里程碑。Singh B等提出SNIPER算法,可以使模型进行多尺度训练,从而实现多尺度目标的检测。Redmon J等提出的YOLOv3网络模型,使用了三条分支来检测多尺度目标物体。朱佩佩等提出一种基于改进特征金字塔网络网络结构的实时多尺度目标检测识别模型,该模型增加了特征金字塔以覆盖到更广尺度的目标。
尽管传统检测算法和基于深度学习的方法在多尺度目标检测方面取得了显著的进展,但仍然存在一些问题:
Surf、Harris、Sift等特征点主要应对较大目标的检测,弱小目标不能稳定提取这些特征点,现有特征点提取框架不能解决多尺度中弱小目标的检测问题;而基于深度学习的方法通常需要大量的标注数据进行训练,尤其是对于多尺度目标检测而言,涉及到不同尺度目标的训练数据更为重要,获取大规模且多尺度的标注数据是一项挑战性任务;一些应用场景对多尺度目标检测的实时性要求比较高,例如视频监控和自动驾驶等领域,传统检测算法和一些基于深度学习的方法可能存在计算复杂度较高的问题。
发明内容
本发明的目的在于提供一种基于多尺度航迹管理的运动目标筛选方法,能够从多尺度特征点提取、多尺度航迹自适应稳定关联和多尺度航迹决策三个层面对图像中不同尺寸大小的目标进行稳定检测。
实现本发明目的的技术方案为:一种基于多尺度航迹管理的运动目标筛选方法,包括如下步骤:
(10)多尺度曲率特征点提取:对点目标进行曲率特征点提取,并由点目标拓展到斑目标,完成多尺度目标的曲率特征点提取,构建出多尺度点迹集合;
(20)多尺度航迹自适应关联:将多尺度点迹集合与对应尺度的航迹进行匹配关联,实现航迹的更新、新建;并进行航迹删除与航迹质量评价,输出稳定关联的多尺度航迹;
(30)多尺度航迹决策与合并:筛选出运动目标航迹,并对相同目标的多尺度航迹进行合并。
优选地,步骤(10)多尺度曲率特征点提取的具体步骤为:
(11)利用二维高斯滤波模板对目标原图进行下采样,产生多尺度图像集合;
(12)利用曲率滤波算法对小目标曲率点迹特征点进行初步提取,完成多尺度曲率特征点的提取;
(13)利用整幅图像各位置的SOT值,对曲率特征点密集的区域的稀疏化处理。
优选地,步骤(20)多尺度航迹自适应关联的具体步骤包括:
(21)多尺度自适应观测值滤波:
对于任意尺度新一帧图像检测出的曲率特征点迹,遍历该尺度已关联的所有航迹,计算航迹观测速度,并对航迹的观测速度进行一阶低通滤波,获得滤波速度;
(22)基于航迹质量的多尺度自适应波门选取:
利用滤波速度预测波门中心位置,根据历史残差选取波门大小;
(23)波门内航迹与点迹匹配:
判断波门内是否存在点迹,若存在,进行余弦相似度计算,选取相似度最大且大于相似度阈值的点迹进行关联;
(24)对关联上新点迹的航迹更新航迹一系列信息,对该帧未被关联的点迹直接新建航迹,删除该尺度中长时间未关联到新点迹的航迹。
优选地,筛选出运动目标航迹,并对相同目标的多尺度航迹进行合并的具体方法为:
(31)遍历所有尺度的所有航迹,选取关联点数大于一定阈值,且质量也大于一定阈值的航迹,计算出这类航迹的平均速度;
(32)利用速度映射的关系,将降采样图像中航迹的速度乘以平均倍数,将不同尺度航迹的平均速度映射到原始尺度;
(33)根据速度映射后多尺度航迹的平均速度的均值与标准差,估计背景航迹平均速度范围,将速度在估计范围外的航迹初步认定为疑似目标;
(34)计算被初步认定为疑似目标的航迹的真实位移,把真实位移大于一定阈值的航迹判定为运动目标航迹。
本发明与现有技术相比,其显著优点为:
1、可提取多尺度目标的特征点:本发明可应对多尺度不同大小的目标,与传统弱小目标检测算法只能针对一种目标尺度相对比,本发明可同时应对多种不同尺度的目标。
2、针对多尺度航迹自适应关联:本发明可依据自适应航迹关联算法实现多尺度点迹的独立稳定关联。
3、可对运动目标进行稳定决策:提出了速度映射、统一聚类、真实位移的概念,多尺度航迹需要先进行速度映射后进行统一聚类,先找出速度差异较大的航迹,再计算这类航迹的真实位移,只有真实位移较大的航迹才被判定成运动目标航迹。
附图说明
图1为基于多尺度航迹管理的运动目标筛选方法流程图。
图2为20*15尺寸目标图。
图3为目标检测效果图。
图4为模拟近似匀速运动情况。
图5为模拟近似匀加速运动情况。
图6为降尺度图像中航迹关联结果。
图7为航迹决策效果图。
具体实施方式
如图1所示,一种基于多尺度航迹管理的运动目标筛选方法,包括如下步骤:
(10)多尺度曲率特征点提取:对点目标进行曲率特征点提取,并由点目标拓展到斑目标,完成多尺度目标的曲率特征点提取;
(11)原始图像下采样:
图2为建筑背景下的20*15尺寸目标原图,用二维高斯滤波模板对原图进行下采样,产生多尺度图像集合;
高斯差分图像金字塔常用于图像多尺度分解,本发明利用二维高斯滤波函数计算空域滤波的卷积模板,对图像进行卷积和下采样,从而得到保留特征的多尺度、多分辨率图像集合。下式为二维高斯滤波的函数表达式:
其中,Gσ(x,y)是滤波器在(x,y)点的响应;σ是标准差,决定了高斯分布的“宽度”;x和y是距离滤波器中心的水平和垂直距离。
红外小目标的三维响应具有类高斯分布的特性,目标所在区域的各方向曲率值明显大于背景的曲率值。针对这一特性,通过曲率滤波算法实现对小目标曲率点迹特征点的初步提取,完成多尺度曲率特征点的提取;
图3(a)则是由图2经过一次金字塔降采样的降尺度图像,高分辨率的原图I0,将按照图像金字塔下采样的操作记为DownSampling{·},对于下采样一次得到的图像记为I1,那么图像下采样用公式表示为:
Ii+1=DownSampling{Ii},(i=0,1,2...)
(12)基于曲率的多尺度目标特征点提取:
对于任意一幅原始图像或者下采样图像Ii,其在β方向上的曲率图可用下式表示:
其中,
在得到β方向上的下采样图像Ii的曲率图后,可得到该图像的最终曲率图/>
通过下式,得到下采样图像的融合曲率图
式中的表示下采样图像Ii的顶帽结果图。
同样根据融合曲率图来计算自适应的二值化阈值Threi:
Threi=μi+kiσi2,(i=0,1,2...)
其中,μi为融合曲率图的均值,ki为系数,σi2为融合曲率图/>的方差。
二值化后,将融合曲率图中大于二值化阈值Threi的在图像中置1,将小于二值化阈值Threi的在图像中置0,得到融合曲率的二值图/>该过程可表示为:
最终,在获得原始图像或者下采样图像Ii的融合曲率的二值图后,采用滑动窗口模式,对这一系列多分辨率二值图的除边缘行列的所有位置进行遍历。先判断某一位置在融合曲率的二值图/>中是否为1,如果是,继续判断该位置的曲率值是否为滑动窗口内的最大曲率值,如果成立,则保留该位置的曲率值并记录其像素坐标,作为图像的曲率特征点输出,若不是则剔除,最终输出曲率特征点图/>
如图3(b)是降采样图像中目标所在区域的三维响应图,由于建筑背景的影响其呈现虽然并不是尖峰状,但仍旧是突起的曲面,说明其0°、45°、90°、135°的灰度曲线符合一维高斯曲线,目标整体三维响应图符合类高斯分布的特性。图3(c)是对降采样图像图3(a)进行曲率滤波所提取的特征点图,对照图3(a)和图3(c)红框区域,可以发现降尺寸后,目标特征点能够被有效得提取出来。
(13)基于类目标指数的曲率特征点稀疏化:
利用整幅图像各位置的SOT值,对曲率特征点密集的区域的稀疏化处理,具体的操作为在固定窗口大小内,只保留SOT值最大的曲率特征点,计算SOT值的公式为:
式中,Ig(x,y)为梯度强度;Igavg(x,y)为平均梯度强度;Ik(x,y)为曲率值;Ikavg(x,y)为平均曲率值;h(g(x,y))和h(k(x,y))是对梯度强度和曲率值的修正或调节项;a和b是权重参数,它们决定了梯度强度和曲率值在计算结果中的相对重要性。
(20)多尺度航迹自适应关联:将多尺度点迹集合与对应尺度的航迹进行匹配关联,实现航迹的更新、新建;再进行航迹删除与航迹质量评价,输出稳定关联的多尺度航迹;
(21)多尺度自适应观测值滤波:
本发明采用不同尺度之间点迹独立关联的策略,不存在跨尺度的点迹关联,从而形成多尺度航迹。对于同一个尺度内的不同航迹,同样采用航迹间独立预测波门的方式,实现航迹间的独立自适应关联。
(211)预测当前时刻点迹位置:
Pxk=xk-1+Vxpredicted
Pyk=yk-1+Vypredicted
式中,Pxk、Pyk为当前k时刻的点迹预测位置,xk-1、yk-1为目标上一时刻在图像上的位置信息,Vxpredicted、Vypredicted为当前的预测速度。
(212)计算当前时刻的速度:
Vxk=xk-xk-1
Vyk=yk-yk-1
式中,Vxk、Vyk表示当前时刻的速度,可表示为:
Pxk=xk-1+Vxk-1
Pyk=yk-1+Vyk-1
(213)对速度进行一阶低通滤波:
和/>表示s尺度的第j条航迹在t时刻的滤波速度,/>和/>表示s尺度的第j条航迹在t-1时刻的滤波速度,/>和/>表示s尺度的第j条航迹在t时刻的观测速度,a表示滤波系数且取值范围为0~1,a的值越小,新的观测值所占权重越小,滤波结果越平滑,算法越不灵敏。计算出当前时刻的滤波速度作为当前时刻的预测角速度;
(214)将预测位置和实际位置的偏差定义为残差,计算残差:
若用观测速度作为预测速度,将s尺度的第j条航迹在t时刻的残差,称为观测残差可表示为:
若用滤波速度作为预测速度,将s尺度的第j条航迹在t时刻的残差,称为滤波残差可表示为:
观测残差和滤波残差/>的大小关系,表示了观测速度和滤波速度与实际速度的偏差。滤波系数a表示观测速度和滤波速度的占比,用一段时间内残差绝对值均值来代替短时间内的残差。
(215)观测残差和滤波残差/>与滤波系数/>的关系可表示为:
是由上一时刻,即t-1时刻的残差计算所得,a(s,j,t)是由t时刻前累积残差和计算所得。
式中,表示求t-1时刻前某条航迹的残差绝对值均值。当/>小于时,表示由滤波速度作为预测速度所预测的位置偏离程度小于由观测速度作为预测速度所预测的位置偏离程度,在预测下一时刻航迹的位置时,需要减小观测速度的占比,增大滤波速度的占比。
图4是模拟目标做近似匀速运动时,和a(s,j,t)的变化情况。
(216)对于目标变速运动的情况,在判断出目标的加速度不近似为0时,需要在计算滤波速度的公式中引入加速度信息。对于明显的变速运动,目标的相邻两次的观测速度会有明显的改变,此时可以计算出目标的加速度信息
(217)统计一段时间内滤波系数a(s,j,t)和加速度信息的值,如果一段时间内滤波系数a(s,j,t)都远大于0.5,且加速度信息/>的值均不近似为0,那么可以判断为目标在做变速运动,从而对滤波系数进行强制修正,同时在计算滤波速度的过程中也引入加速度信息。
因此,原滤波系数的计算公式可以修正为:
因此,原滤波速度的计算公式可以修正为:
将上述修正策略添加到匀加速模拟情况中,得到结果图5。当目标航迹被判别为作变速运动,强行增大滤波系数并添加加速度信息后,滤波残差迅速下降,且滤波速度的残差明显小于观测速度的残差,残差值几乎为0,改进之后的一阶滤波能够更好的适应目标作变速运动的情况。
(22)基于航迹质量的多尺度自适应波门选取:
自适应波门大小的选取,使得每条航迹在预测波门内包含有该航迹在下个时刻的点迹,同时又不能包含太多其他航迹在下个时刻的点迹。
因此,本发明引入航迹质量模型来自适应调整航迹波门大小,波门大小调整得原则为:对于质量高的航迹,即运动状态稳定且规律,采用小波门进行关联,降低计算量;对于质量低的航迹,即运动状态会变化或者并不是连续关联的航迹,采用大波门关联,保证点迹落在波门内。用和/>表示s尺度的第j条航迹在t时刻在x方向与y方向的质量,其取值范围为[0~1]。
用和/>表示s尺度的第j条航迹在t'时刻在x方向与y方向的波门大小。/>和/>可以由下式计算得到,并一直自适应更新。由于检测的运动目标在视场内的运动速度存在一个范围,所以航迹的波门大小同样存在上下限制,给波门设定下限保证波门不会一直变小趋向于0,导致无法关联;给波门设定上限防止波门一直变大,增大关联错误的概率。
以x方向的波门大小为例,s尺度的第j条航迹在t'时刻x方向波门大小与该条航迹在t时刻x方向波门大小和在t-1、t'-1时刻的航迹质量相关。
该公式可以解释若t'-1时刻的航迹质量为0情况时,说明航迹运动状态非常不稳定,强制使用规定的该尺度的最大波门进行关联。若t'-1时刻的航迹质量不为0情况且t'-1的航迹质量比t-1的航迹质量高,说明航迹质量在变高,航迹运动状态趋于稳定,由于将会是一个小于1的数,再与t时刻x方向波门大小相乘,实现波门的缩小;反之,当t'-1的航迹质量比t-1的航迹质量低,即航迹质量变低,航迹运动状态不稳定,由于将会是一个大于1的数,再与t时刻x方向波门大小相乘,实现波门的放大。
用和/>来分别表示检测对象在20ms时间内的在x、y方向的运动速度上下限。那么不同尺度航迹的波门上下限可以表示为:
αs代表的第s尺度的倍数系数,由于检测对象的上下限速度是对于原尺度即s=0的情况而言,对于其他降尺度航迹而言,相邻尺度的航迹运动速度存在接近2倍的关系。对于刷新率不同的目标,以刷新周期为20ms的情况为基准,进行自动调整,从而目标适应刷新率不同,运动速度不同的情况。本实施例α的取值为2.5。
(23)波门内航迹与点迹匹配:
判断波门内是否存在点迹,若存在,进行余弦相似度计算,选取相似度最大且大于相似度阈值的点迹进行关联;
一个点迹可以由x方向像素坐标、y方向像素坐标、方位角度az、俯仰角度el、灰度值gray、曲率值cur、sot值来表征。
用来表示s尺度的第j条航迹在t-1时刻的描述向量,其可以表示为:
表示根据航迹信息预测的t时刻波门中心位置,/>表示的是该航迹在t-1时刻关联到点迹的曲率值。
用来表示在s尺度的t时刻图像中检出的第i个点迹的描述向量,其可以表示为:
表示在s尺度的t时刻图像中检出的第i个点迹角度位置,curi (s,t)表示的是该点迹的曲率值。
本实施例通过计算这两个描述向量的夹角余弦值来评估两者的相似程度,也就是计算两者的余弦相似度,计算公式如下:
·表示点积运算,||·||表示向量的模运算,表示s尺度的第j条航迹在t时刻与s尺度的t时刻图像中检出的第i个点迹的相似程度。由于一条航迹在任意一个时刻内至多关联一个点迹,所以,与相似程度最高的点迹进行关联是最佳选择。此外,对于所有待匹配的点迹,都需要大于一个相似度阈值,只有大于相似度阈值的点迹,才可以认为是真正的目标点迹。总而言之,在波门内航迹与点迹的匹配,需要满足两个条件,一是相似度大于相似度阈值,二是选取相似度最大的点迹。用数学公式可以表示为:
式中,csim_thre表示相似度阈值,本实施例选取的值为0.95。
表示的是只对波门范围内的点迹进行相似度计算。/>表示的是s尺度的第j条航迹在t时刻与s尺度的t时刻图像中检出的波门内点迹的最大相似度,当/>不为0则说明该航迹在波门内实现了与当前时刻的点迹的匹配。
(24)对关联上新点迹的航迹更新航迹一系列信息,对该批未被关联的点迹直接新建航迹,删除该尺度中长时间未关联到新点迹的航迹。
(30)多尺度航迹决策与合并:在众多航迹中筛选出运动目标航迹,并对相同目标的多尺度航迹进行合并。
(31)遍历所有尺度的所有航迹,选取关联点数大于一定阈值,且质量也大于一定阈值的航迹,计算出这类航迹的平均速度;
用t1时刻表示当前时刻,以方位角度为例,那么s尺度的第j条航迹在t0~t1时段内的平均速度可以表示为:
表示s尺度的第j条航迹在t时刻的方位角度,为了计算出来的航迹平均速度更加准确,本发明规定航迹必须在t0~t1的关联点数大于10,将t1时刻满足该条件的航迹总数记为/>
(32)利用速度映射的关系,将降采样图像中航迹的速度乘以平均倍数,将不同尺度航迹的平均速度映射到原始尺度;
(33)根据速度映射后多尺度航迹的平均速度的均值与标准差,来估计背景航迹平均速度范围,将速度在估计范围外的航迹初步认定为疑似目标;
采用不同尺度航迹进行速度统一聚类方式进行航迹决策,多尺度航迹的平均速度的均值与标准差/>公式为:
式中,表示s尺度在t1时刻的所有航迹数;/>表示满足在t0~t1时段内关联点数大于10条件的航迹总数;Ms为不同尺度航迹进行速度映射的倍数。
在得到符合条件的所有航迹在同一段时间内的平均速度后,根据大量航迹的平均速度估计背景航迹平均速度的范围,本发明以符合条件的所有航迹平均速度均值加减其标准差的固定倍数作为背景点航迹的速度范围。航迹平均速度在该范围内,可认定为背景航迹,在范围外则可能是运动目标航迹,也有可能是背景航迹。根据此公式,可对任意不同分辨率的一组图像的航迹进行统一聚类,聚类出背景航迹和疑似目标航迹。
图6是运动目标为空中的无人机,图6(a)是原图I0,分辨率为640*512,图6(b)是由原图I0下采样得到的图I1,分辨率为320*256,图6(c)是由图I1下采样得到的图I2,分辨率为160*128。由于原图像中大尺度的无人机斑目标经两次降采样后,在图6(b)中已经形成可以表征该斑目标的点目标,所以没必要再进一步降采样。并在一段时间过后,在3个不同分辨率的图像中都形成了航迹。
(34)对被初步认定为疑似目标的航迹进行真实位移计算,把真实位移大于一定阈值的航迹判定为运动目标航迹。
背景航迹在一段时间内的位移值与相机的运动有紧密关系。对于背景航迹,一段时间内的位移减去相机的在这段时间的运动位移,得到差值应该趋向0。
t时刻相机的运动使得背景航迹在t时刻产生了速度,那么反过来,统计背景航迹在t时刻速度情况可以来表征相机在t时刻的运动情况。显然,要得到更加准确的相机运动状态,必须对所有的航迹进行筛选,排除运动状态差异较大的航迹,选取运动状态类似的航迹才作为样本,这样可以尽可能地使运动目标航迹或者异常关联航迹不被统计。
此处主要是为了得到在特定某一时刻的相机运动状态,所以,采用的是瞬时速度进行聚类。表示的是s尺度的第j条航迹在t时刻的速度,那么在s尺度下所有航迹t时刻速度的均值为:
同样,将所有航迹t时刻速度的均值加减其的标准差的固定倍数作为筛选范围,s尺度下所有航迹t时刻速度的标准差为:
在得到t时刻航迹速度均值和标准差后,t时刻背景航迹速度的估计范围可表示为:
对于t时刻航迹速度在该范围内的航迹,重新计算t时刻航迹速度均值,以此来表征相机运动给背景航迹带来的普遍影响,将该速度均值记为
那么对于s尺度的第j条航迹在t0~t2时段的真实位移值可以表示为:
当一条航迹的平均速度在估计范围外,且在一段时间内的真实位移值大于位移阈值thre_dis,即可被认定为运动目标航迹。
如图7所示,是先通过航迹平均速度聚类,再计算真实位移进行决策的运动检测效果图。由检测结果可知,当背景从天空切换为建筑背景,运动的无人机仍旧可以被稳定的检测出。
本发明采用曲率特征点检测算法取代Surf、Harris、Sift等传统特征点检测算法,因为“曲率点”可以检测到弱小目标,所以“曲率点”提取就是传统的运动小目标检测的流程中“疑似点提取”的增强版。并依据图像的自相似性,使用二维高斯滤波对图像进行降采样,使得斑目标转为点目标,适用于上述曲率滤波算法,从而实现了多尺度曲率特征点的提取,将该检测方法应用到多尺度目标。
Claims (10)
1.一种基于多尺度航迹管理的运动目标筛选方法,其特征在于,包括如下步骤:
(10)多尺度曲率特征点提取:对点目标进行曲率特征点提取,并由点目标拓展到斑目标,完成多尺度目标的曲率特征点提取,构建出多尺度点迹集合;
(20)多尺度航迹自适应关联:将多尺度点迹集合与对应尺度的航迹进行匹配关联,实现航迹的更新、新建;并进行航迹删除与航迹质量评价,输出稳定关联的多尺度航迹;
(30)多尺度航迹决策与合并:筛选出运动目标航迹,并对相同目标的多尺度航迹进行合并。
2.根据权利1要求所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,步骤(10)多尺度曲率特征点提取的具体步骤为:
(11)利用二维高斯滤波模板对目标原图进行下采样,产生多尺度图像集合;
(12)利用曲率滤波算法对小目标曲率点迹特征点进行初步提取,完成多尺度曲率特征点的提取;
(13)利用整幅图像各位置的SOT值,对曲率特征点密集的区域的稀疏化处理。
3.根据权利要求2所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,利用曲率滤波算法对小目标曲率点迹特征点进行初步提取,完成多尺度曲率特征点的提取的具体方法为:
多尺度图像集合中的任一下采样图像Ii在β方向上的曲率图具体为:
其中:
其中,W表示图像x方向的像素个数,H表示图像y方向的像素个数,i为下采样尺度;
确定图像的最终曲率图
确定下采样图像的融合曲率图
式中,表示下采样图像Ii的顶帽结果图;
根据融合曲率图计算自适应的二值化阈值Threi:
Threi=μi+kiσi2,(i=0,1,2...)
其中,μi为融合曲率图的均值,ki为系数,σi2为融合曲率图/>的方差;
将融合曲率图中大于二值化阈值Threi的在图像中置1,将小于二值化阈值Threi的在图像中置0,得到融合曲率的二值图/>
采用滑动窗口模式,对多分辨率二值图的除边缘行列的所有位置进行遍历;判断任一位置在融合曲率的二值图中是否为1:如果是1,继续判断该位置的曲率值是否为滑动窗口内的最大曲率值,如果是最大曲率值,则保留该位置的曲率值并记录其像素坐标,作为图像的曲率特征点输出,若不是最大曲率值,则剔除,最终输出曲率特征点图/>若不是1则继续遍历其他位置。
4.根据权利要求2所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,利用整幅图像各位置的SOT值,对曲率特征点密集的区域的稀疏化处理的具体方法为:
在固定窗口大小内,只保留SOT值最大的曲率特征点,其中,SOT值的计算公式为:
式中,Ig(x,y)为梯度强度;Igavg(x,y)为平均梯度强度;Ik(x,y)为曲率值;Ikavg(x,y)为平均曲率值;h(g(x,y))和h(k(x,y))是对梯度强度和曲率值的修正或调节项;a和b是权重参数。
5.根据权利要求1所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,步骤(20)多尺度航迹自适应关联的具体步骤包括:
(21)多尺度自适应观测值滤波:
对于任意尺度新一帧图像检测出的曲率特征点迹,遍历该尺度已关联的所有航迹,计算航迹观测速度,并对航迹的观测速度进行一阶低通滤波,获得滤波速度;
(22)基于航迹质量的多尺度自适应波门选取:
利用滤波速度预测波门中心位置,根据历史残差选取波门大小;
(23)波门内航迹与点迹匹配:
判断波门内是否存在点迹,若存在,进行余弦相似度计算,选取相似度最大且大于相似度阈值的点迹进行关联;
(24)对关联上新点迹的航迹更新航迹一系列信息,对该帧未被关联的点迹直接新建航迹,删除该尺度中长时间未关联到新点迹的航迹。
6.根据权利要求5所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,一阶低通滤波的滤波系数为:
非近似匀速情况下:
表示s尺度的第j条航迹在t-1时刻的滤波系数;
近似匀速情况下:
表示s尺度的第j条航迹在t-1时刻的滤波残差,/>表示s尺度的第j条航迹在t-1时刻的观测残差。
滤波速度为:
表示s尺度的第j条航迹在t时刻的滤波速度,/>表示s尺度的第j条航迹在t-1时刻的滤波速度,/>和/>表示s尺度的第j条航迹在t时刻的观测速度,/>为目标s尺度的第j条航迹在t时刻的加速度信息。
7.根据权利要求5所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,不同尺度航迹的波门上下限表示为:
式中,s表示尺度号,αs表示第s尺度的倍数系数,T为目标刷新周期。对于刷新率不同的目标,α以刷新周期为tms的情况为基准,进行自动调整,从而适应目标刷新率不同,运动速度不同的情况。和/>分别表示检测对象在tms时间内的在x、y方向的运动速度上下限。
8.根据权利要求5所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,余弦相似度的计算公式为:
式中,csim_thre表示相似度阈值,表示的是只对波门范围内的点迹进行相似度计算,/>表示的是s尺度的第j条航迹在t时刻与s尺度的t时刻图像中检出的波门内点迹的最大相似度。
式中,表示在s尺度的t时刻图像中检出的第i个点迹的描述向量,/>表示s尺度的第j条航迹在t-1时刻的描述向量。
9.根据权利1要求所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,筛选出运动目标航迹,并对相同目标的多尺度航迹进行合并的具体方法为:
(31)遍历所有尺度的所有航迹,选取关联点数大于一定阈值,且质量也大于一定阈值的航迹,计算出这类航迹的平均速度;
(32)利用速度映射的关系,将降采样图像中航迹的速度乘以平均倍数,将不同尺度航迹的平均速度映射到原始尺度;
(33)根据速度映射后多尺度航迹的平均速度的均值与标准差,估计背景航迹平均速度范围,将速度在估计范围外的航迹初步认定为疑似目标;
(34)计算被初步认定为疑似目标的航迹的真实位移,把真实位移大于一定阈值的航迹判定为运动目标航迹。
10.根据权利9要求所述的基于多尺度航迹管理的运动目标筛选方法,其特征在于,初步认定为疑似目标的航迹的s尺度的第j条航迹在t0~t2时段的真实位移的计算公式为:
式中,表示s尺度的第j条航迹在t时刻的方位角度,/>表示速度均值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310899180.0A CN116777956A (zh) | 2023-07-21 | 2023-07-21 | 基于多尺度航迹管理的运动目标筛选方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310899180.0A CN116777956A (zh) | 2023-07-21 | 2023-07-21 | 基于多尺度航迹管理的运动目标筛选方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116777956A true CN116777956A (zh) | 2023-09-19 |
Family
ID=87991432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310899180.0A Pending CN116777956A (zh) | 2023-07-21 | 2023-07-21 | 基于多尺度航迹管理的运动目标筛选方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116777956A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117251748A (zh) * | 2023-10-10 | 2023-12-19 | 中国船舶集团有限公司第七〇九研究所 | 一种基于历史规律挖掘的航迹预测方法、设备及存储介质 |
-
2023
- 2023-07-21 CN CN202310899180.0A patent/CN116777956A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117251748A (zh) * | 2023-10-10 | 2023-12-19 | 中国船舶集团有限公司第七〇九研究所 | 一种基于历史规律挖掘的航迹预测方法、设备及存储介质 |
CN117251748B (zh) * | 2023-10-10 | 2024-04-19 | 中国船舶集团有限公司第七〇九研究所 | 一种基于历史规律挖掘的航迹预测方法、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
CN109949375B (zh) | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 | |
CN107292911B (zh) | 一种基于多模型融合和数据关联的多目标跟踪方法 | |
CN113807187B (zh) | 基于注意力特征融合的无人机视频多目标跟踪方法 | |
CN114972418B (zh) | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 | |
CN109859238B (zh) | 一种基于多特征最优关联的在线多目标跟踪方法 | |
CN111784747B (zh) | 一种基于关键点检测和校正的车辆多目标跟踪系统及方法 | |
CN106709472A (zh) | 一种基于光流特征的视频目标检测与跟踪方法 | |
CN111199556B (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
CN115995063A (zh) | 作业车辆检测与跟踪方法和系统 | |
CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
CN111340881B (zh) | 一种动态场景下基于语义分割的直接法视觉定位方法 | |
CN107944354B (zh) | 一种基于深度学习的车辆检测方法 | |
CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
CN111340842B (zh) | 一种基于联合模型的相关滤波目标跟踪方法 | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、系统及设备 | |
CN116402850A (zh) | 一种面向智能驾驶的多目标跟踪方法 | |
CN111199245A (zh) | 油菜害虫识别方法 | |
CN107609571A (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
CN115359407A (zh) | 一种视频中的多车辆跟踪方法 | |
CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
CN112184767A (zh) | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 | |
CN110147768B (zh) | 一种目标跟踪方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |