CN115345902A - 基于机器学习的红外图像弱小目标检测跟踪方法及系统 - Google Patents

基于机器学习的红外图像弱小目标检测跟踪方法及系统 Download PDF

Info

Publication number
CN115345902A
CN115345902A CN202210857720.4A CN202210857720A CN115345902A CN 115345902 A CN115345902 A CN 115345902A CN 202210857720 A CN202210857720 A CN 202210857720A CN 115345902 A CN115345902 A CN 115345902A
Authority
CN
China
Prior art keywords
target
tracking
track
infrared image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210857720.4A
Other languages
English (en)
Inventor
许祯瑜
曹岸杰
楼宇涛
茹海忠
杜一凡
吴泽鹏
朱晨聪
汪伊婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Satellite Engineering
Original Assignee
Shanghai Institute of Satellite Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Satellite Engineering filed Critical Shanghai Institute of Satellite Engineering
Priority to CN202210857720.4A priority Critical patent/CN115345902A/zh
Publication of CN115345902A publication Critical patent/CN115345902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于机器学习的红外图像弱小目标检测跟踪方法及系统，包括如下步骤：步骤1：输入红外图像，构建先验权重块张量图；步骤2：构建红外图像块张量图，确定目标函数；步骤3：求解目标函数，得到背景和目标块张量图；步骤4：重建背景和目标二维图像，得到候选检测目标质心位置，得到红外图像的候选目标位置；步骤5：由滤波器初始轨迹假设；步骤6：将连续轨迹估计模型和离散数据关联模型融合得到跟踪能量模型；步骤7：对跟踪能量模型进行求解，实现红外图像检测目标的实时跟踪；步骤8：选取目标轨迹进行有效目标检测跟踪。本发明使红外图像弱小目标检测精度更高，跟踪效果更为稳定,同时实现特定需求目标的选择检测跟踪。

Description

基于机器学习的红外图像弱小目标检测跟踪方法及系统
技术领域
本发明涉及红外图像目标检测跟踪的技术领域，具体地，涉及基于机器学习的红外图像弱小目标检测跟踪方法及系统。
背景技术
红外技术不仅能进行远距离的探测，实现全天连续工作，还具备不易受干扰、屏蔽性高、细节捕捉力强等诸多优点。红外探测和跟踪识别系统军事和民用价值极高，红外图像弱小目标检测跟踪技术在红外探测系统中不可或缺。红外图像中的弱小目标是指：复杂背景下，目标在整幅图像中辐射能量占比较弱，一般认为其信杂比不大于3，另外，目标在图像中占的像素少，通常尺寸不超过9*9个像素，面积不超过一幅256*256图像的0.15％。目标弱小意味着可提取特征少，导致红外弱小目标检测跟踪充满挑战，难点主要体现在：目标在成像平面上往往呈点状和斑点状，缺乏纹理、结构和颜色等特征；红外探测器的成像分辨率普遍不高，成像质量低下；实际应用中背景复杂，包含许多干扰会造成虚警；目标的位置、形状和尺寸可能会随着自身的运动而变化。以上难点均为红外图像弱小目标检测跟踪需要克服的问题。
为了解决以上问题，研究期间学习调研了大量的文献资料，发现对于红外图像目标检测的方法中以基于单帧图像进行检测的方法为主，能够有效关联单帧和多帧的红外目标检测方法很少。
公开号CN102819740A的中国发明专利文件公开了一种基于形态学带通滤波和尺度空间理论的单帧红外图像弱小目标检测和定位方法。首先对预处理后的红外图像进行形态学带通滤波，检测出红外弱小目标的潜在区域；然后利用DoG算子对预处理后的红外图像进行多尺度空间变换，并在目标的潜在区域通过尺度空间的极大值检测获得候选目标的位置和尺度；最后通过对候选目标的信杂比进行阈值化实现红外弱小目标的精确检测和定位。利用本发明方法，可以从复杂背景下的单帧红外图像中检测并定位出弱小目标。本方法具有很高的检测精度和较低的虚警率，同时具有较小的运算量，利于硬件系统实现。该方法通过尺度空间的极大值检测获取目标位置，通过目标信杂比进行阈值分割，但是对噪声影响和信杂比低的图像效果不明显。
公开号为CN110827262A的中国发明申请文件公开了一种基于连续有限帧的红外图像弱小目标检测方法，首先采用Lucas–Kanade光流法对连续两帧红外原始图像进行光流场计算，建立红外图像光流场；然后对得到红外图像光流场进行疑似运动区域检测，在保证检测精度的情况下处理帧数更少，处理速度更快，冗余信息更少；之后通过将感兴趣区域分解为更小的红外图像块，进行基于SVD分解的背景抑制，处理后的目标集与背景集分别重构；最后通过自适应滤波检测出红外弱小目标位置。通过在构建的modis 红外弱小目标图像库中进行验证，选取3组红外弱小目标序列图像实验分析，验证了本发明的检测准确性。该方法采用光流法进行运动区域检测，并基于SVD分解对背景进行抑制，最后通过自适应滤波检测出目标位置，然而该方法对光线变化敏感，会影响检测效果，而且计算量大，无法满足实时需求。
公开号为CN110427875A的中国发明申请文件公开了一种基于深度迁移学习和极限学习机的红外图像目标检测方法，包括下列步骤:可见光图像目标检测模型训练，使用maskrcnn二阶段多任务检测架构，在可见光样本集D上训练，将mask掩膜输入神经网络中，重新定义整体网络结构的损失函数；基于样本迁移的方法，通过扩大目标域，即红外样本集T的分布，得到迁移学习的数据集；基于模型迁移的方法，将基于可见光图像的精度高的目标检测模型当作上述生成的迁移学习的数据集的预训练模型，采用与可见光目标检测相同的框架，进行训练；采用极限学习机代替网络全连接层，克服小样本模型迁移训练的过拟合现象。本方法利用可见光图像进行目标检测模型训练，后基于样本迁移的方法扩大目标域，得到红外样本集，但是此方法对样本集的依赖性强，不利于复杂目标的检测。
文献“C.L.P.Chen,H.Li,Y.T.Wei,et al.A Local Contrast Method for SmallInfrared Target Detection[J].IEEE Transactions on Geoscience and RemoteSensing,2014,52(1):574-581”针对单帧图像目标显著性检测，首次提出局部对比度方法(Local contrast method,LCM)来描述当前位置与其邻域之间的非相似性，由于计算局部对比度时需遍历整幅图像，每一个像素都需要计算，因此LCM较为耗时。此外，LCM仅利用局部区域内的灰度均值、最大值等信息，不足以很好地区分目标与背景。
文献“张兰丹.基于张量恢复的红外弱小目标检测方法研究[D].电子科技大学,2020.”针对时间与性能难以兼顾、场景适应性不高、边缘抑制力较弱等目标检测难点，提出了基于张量恢复的红外目标检测方法，通过构建相应的单帧红外图像的三维张量表示，根据预先设定的张量恢复模型，求解得到背景和目标，最后得到高质量的检测结果。然而该方法没有加入序列帧目标运动信息的考虑，如果在单帧图像中检测到虚警目标，无法再进行更精确的虚警去除。
文献“M.M.Hadhoud,D.W.Thomas.The two-dimensional adaptive LMS(TDLMS)algorithm[J].IEEE Transactions on Circuits and Systems,1988,35(5):485-494”提出了二维最小均方滤波器(Two dimensional least mean square,TDLMS)来预测红外图像的背景，接着再用原图减去预测的背景，最后对差分图像进行阈值分割达到检测弱小目标的任务。该方法可通过自适应地迭代来对背景进行估计，具有较强的鲁棒性，然而，实际的红外图像非常复杂，含有大量的随机噪声，这并不符合简单的背景一致性假设。因此，尽管这类方法实现简单，但是抗噪声极差，不适用于真实数据，导致在大部分红外图像中检测效果很差。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于机器学习的红外图像弱小目标检测跟踪方法及系统。
根据本发明提供的一种基于机器学习的红外图像弱小目标检测跟踪方法，，包括如下步骤：
步骤1：输入红外图像，对所述红外图像进行特征提取，构建先验权重块张量图；
步骤2：构建红外图像块张量图，所述红外图像块张量图融合所述先验权重块张量图确定目标函数；
步骤3：求解所述目标函数，分离得到背景和目标块张量图，并对所述先验权重块张量图进行更新；
步骤4：由所述背景和目标块张量图重建背景和目标二维图像，对目标图像进行阈值分割得到候选检测目标质心位置，得到每一帧的红外图像的候选目标位置；
步骤5：根据候选目标位置，由滤波器初始轨迹假设；
步骤6：分别构建连续轨迹估计模型和离散数据关联模型，将所述连续轨迹估计模型和所述离散数据关联模型融合得到跟踪能量模型；
步骤7：对所述跟踪能量模型进行求解得到能使轨迹能量最小化的最优解，每新输入一帧图片，不断对前面的轨迹进行优化，从而实现红外图像检测目标的实时跟踪；
步骤8：红外图像检测目标的实时跟踪过程中，实时将多目标跟踪轨迹与本地目标轨迹数据库进行相似度对比，确认目标种类或型号，选取所需目标轨迹进行有效目标检测跟踪。
优选的，所述步骤2包括：构建块张量图时滑块尺寸以及滑动步长需要根据输入图像的尺寸进行调整，经多次实验测试最优的滑块尺寸和滑动步长，构建最优块张量图，最大程度表征目标与背景的有效信息，得到最优的目标检测效果。
优选的，所述步骤4包括：计算得到每一帧红外图像中的目标位置后，分别建立候选目标位置存储模型和虚警目标位置存储模型，在输入多帧图像后进行轨迹形成过程中，候选目标位置存储模型用于存储形成轨迹中的有效目标位置，虚警目标位置存储模型用于存储被剔除的虚警目标位置。
优选的，所述步骤6包括：描述的跟踪能量模型中添加标签成本项，用于在分别最小化数据关联模型和轨迹估计模型时规范轨迹的数量。
优选的，所述步骤6包括：所述跟踪能量模型包括便签成本模型，标签成本模型包括运动标签成本、轨迹连续成本、防碰撞成本、外观特征成本、高阶数据保真成本和归一化成本六项成本模型，其中外观特征成本包括红外目标的多种特征描述，红外目标的多种特征描述包括灰度分布特征、形状特征和亮度特征，可根据实际情况调整丰富，加强对检测目标的准确性约束，提高轨迹估计的准确性。
优选的，所述步骤8包括：对计算得到的实时目标轨迹与本地目标轨迹数据库的轨迹进行形状相似度对比和速度变化相似度对比，若是已知型号或种类目标，可进行针对性跟踪，提高可用目标检测跟踪速率。
根据本发明提供的一种基于机器学习的红外图像弱小目标检测跟踪系统，包括如下模块：
模块M1：输入红外图像，对所述红外图像进行特征提取，构建先验权重块张量图；
模块M2：构建红外图像块张量图，所述红外图像块张量图融合所述先验权重块张量图确定目标函数；
模块M3：求解所述目标函数，分离得到背景和目标块张量图，并对所述先验权重块张量图进行更新；
模块M4：由所述背景和目标块张量图重建背景和目标二维图像，对目标图像进行阈值分割得到候选检测目标质心位置，得到每一帧的红外图像的候选目标位置；
模块M5：根据候选目标位置，由滤波器初始轨迹假设；
模块M6：分别构建连续轨迹估计模型和离散数据关联模型，将所述连续轨迹估计模型和所述离散数据关联模型融合得到跟踪能量模型；
模块M7：对所述跟踪能量模型进行求解得到能使轨迹能量最小化的最优解，每新输入一帧图片，不断对前面的轨迹进行优化，从而实现红外图像检测目标的实时跟踪；
模块M8：红外图像检测目标的实时跟踪过程中，实时将多目标跟踪轨迹与本地目标轨迹数据库进行相似度对比，确认目标种类或型号，选取所需目标轨迹进行有效目标检测跟踪。
优选的，所述模块M2包括：构建块张量图时滑块尺寸以及滑动步长需要根据输入图像的尺寸进行调整，经多次实验测试最优的滑块尺寸和滑动步长，构建最优块张量图，最大程度表征目标与背景的有效信息，得到最优的目标检测效果。
优选的，所述模块M4包括：计算得到每一帧红外图像中的目标位置后，分别建立候选目标位置存储模型和虚警目标位置存储模型，在输入多帧图像后进行轨迹形成过程中，候选目标位置存储模型用于存储形成轨迹中的有效目标位置，虚警目标位置存储模型用于存储被剔除的虚警目标位置。
优选的，所述模块M6包括：描述的跟踪能量模型中添加标签成本项，用于在分别最小化数据关联模型和轨迹估计模型时规范轨迹的数量。
与现有技术相比，本发明具有如下的有益效果：
1、本发明对复杂环境下的红外图像弱小目标检测跟踪都具有普适性，特别是对于机载相机对地拍摄运动小目标场景，或者地对天拍摄运动小目标场景下具有优秀的检测跟踪效果，该思路具有可行性，将本方法应用于研究红外图像弱小目标检测跟踪过程当中，既弥补了基于单帧的红外图像目标检测方法缺少目标运动信息关联的缺陷，又能够很好地保证对每一帧红外图像进行检测时，目标被凸出，背景被有效抑制。此外增加了简单的目标识别，根据检测出的目标的运动轨迹，确定目标是否为合作目标；
2、本发明使红外图像弱小目标检测精度更高，跟踪效果更为稳定,同时可以实现特定需求目标的选择检测跟踪；
3、本发明可以有效地检测出视场内的运动目标并进行实时跟踪,并能根据轨迹对比匹配确定目标种类,在民用和军事领域具有较好的应用价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明红外图像弱小目标检测跟踪算法框图；
图2为本发明底层成对马尔可夫随机场的邻域结构图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例公开了一种基于机器学习的红外图像弱小目标检测跟踪方法及系统，如图1和图2所示，包括如下步骤：
步骤1：输入红外图像，对红外图像进行特征提取，构建先验权重块张量图。
输入红外图像，基于结构张量模型对图像进行特征提取，构建背景和目标先验权重图，后融合构建先验权重块张量图。
假设输入的红外图像为I0。传统方法中提取图像的局部特征不足以区分出背景和目标，基于低秩矩阵恢复理论的方法使用的是非局部特征，即背景的低秩性和目标的稀疏性，有着更强的场景鲁棒性，但是对背景中的边缘非常敏感，抑制能力一般。归根结底，背景中的强边缘，甚至是一些噪声，在全局上也是稀疏的，强边缘有着明显的局部特征，可通过在利用非局部特征的方法中适当地引入局部特征来改善表征性能。
结构张量常用于特征提取、角点检测等图像处理领域，结构张量不仅能进行图像的结构分析和方向估计，还能获取更为丰富的局部结构特征。经典的线性结构张量的计算方式如下：
Figure RE-GDA0003869503920000061
式中，Kρ表示方差为ρ的高斯核函数；*表示卷积运算；Dσ表示对原始图像进行方差为σ＞0的高斯平滑滤波；
Figure RE-GDA0003869503920000062
表示Kronecker积；
Figure RE-GDA0003869503920000066
表示求梯度；
Figure RE-GDA0003869503920000063
表示 Dσ沿图像x轴坐标方向的梯度；
Figure RE-GDA0003869503920000064
表示Dσ沿图像y轴坐标方向的梯度。其中，线性结构张量是对称正定的；Jρ表示方差为ρ的线性结构张量；
Figure RE-GDA0003869503920000065
表示偏导数的表示符号。
图像每个位置处的结构张量存在两个非负特征值，结构张量的两个特征值可以区分平坦区域、角点和边缘。整幅图像的两个特征值矩阵记为Λ1和Λ2，
Figure RE-GDA0003869503920000071
Figure RE-GDA0003869503920000072
(m，n为原始图像的长和宽)，
Figure RE-GDA0003869503920000073
表示实数域，表示为
Figure RE-GDA0003869503920000074
令λ1＝Λ1(x,y)，λ2＝Λ2(x,y)，其中λ1≥λ2，(x,y)为像素点坐标。结构张量的两个特征值可以区分平坦区域、角点和边缘。当λ1≈λ2≈0时，表示图像在该点附近的灰度变化很小，该点处于平坦区域；当λ1≥λ2≥0时，表示图像在该点附近灰度变化相当快，存在两个相互垂直的方向，这符合角点的特征；当λ1＞＞λ2≈0时，此时图像在此方向的灰度变化远大于与此方向垂直处的灰度变化，差异显著，符合边缘的特征。
λ1和λ2表示图像在像素点坐标(x,y)位置处的结构张量的两个非负特征值。
结构张量能够度量图像的局部结构，将结构张量的两个特征值作为局部结构权重引入到红外块张量模型(IPT)中，得到重加权红外块张量模型，实现了局部特征与全局特征的结合，其局部结构权重的计算方式如下：
Figure RE-GDA0003869503920000075
其中WLS表示局部结构权重，dmax和dmin分别是Λ1-Λ2的最大值和最小值，h是一个拉伸参数；exp表示以自然常数e为底的指数函数。
WLS实际上提取的与背景相关的先验信息，为了同时考虑背景和目标，创建描述子。描述子分为两部分，第一部分是背景先验权重，第二部分为目标先验权重，二者相乘得到最终的先验权重W(x,y)表达式为
Figure RE-GDA0003869503920000076
通过融合背景先验和目标先验，得到的先验权重能很好地突出目标，然后构建先验权重块张量图W。
步骤2：构建红外图像块张量图，所述红外图像块张量图融合所述先验权重块张量图确定目标函数。构建块张量图时滑块尺寸以及滑动步长需要根据输入图像的尺寸进行调整，经多次实验测试最优的滑块尺寸和滑动步长，构建最优块张量图，最大程度表征目标与背景的有效信息，得到最优的目标检测效果。
构建红外图像块张量图，融合先验权重块张量图确定目标求解函数。假设输入的红外图像为I0，构建的红外图像块张量图为I，利用滑动窗口遍历整幅图像，但每一次取到的小块不转换为向量，而是直接作为I的正面切片。把滑动窗口中的每一小块直接用作正面切片来构建张量，这样就能保证图像的局部特征得以保留，有利于后续先验信息的提取。同时，算法的计算复杂度不再直接取决于原图的大小，而是与滑动窗口的大小和滑动的次数直接相关。通过合理地选取窗口的大小和滑动的步长，可以显著地降低运行时间。
构建块张量图时滑块尺寸以及滑动步长需要根据输入图像的尺寸进行调整，经多次实验测试最优的滑块尺寸和滑动步长，构建最优块张量图，最大程度表征目标与背景的有效信息，得到最优的目标检测效果。
红外块张量模型(IPT)表示为I＝B+A+Nnoise，I、B、A和Nnoise分别表示红外图像块张量图、背景块张量图、目标块张量图和随机噪声。在IPT模型的基础上，结合局部结构先验W、张量核范数的部分和(PSTNN)正则项，可构建如下目标函数：
Figure RE-GDA0003869503920000081
其中PSTNN定义为
Figure RE-GDA0003869503920000082
χ为一个实值张量，K表示χ的秩，X为χ中的切片矩阵，||·||p＝N表示部分奇异值的和(Partial sum of singular values,PSSV)，N为部分奇异值数量,
Figure RE-GDA0003869503920000083
表示张量χ的第q个正面切片的傅里叶变换，λ表示正则化因子，用以平衡背景分量和目标分量，Wrec表示对W中每一个元素取倒数；符号‖‖表示范数；s.t.表示约束条件，是subject to的缩写。
步骤3：基于ADMM求解法求解所述目标函数，分离得到背景和目标块张量图，并对所述先验权重块张量图进行更新。
步骤4：由所述背景和目标块张量图重建背景和目标二维图像，对目标图像进行阈值分割得到候选检测目标质心位置，得到每一帧的红外图像的候选目标位置。计算得到每一帧红外图像中的目标位置后，分别建立候选目标位置存储模型和虚警目标位置存储模型，在输入三帧图像后进行轨迹形成过程中，候选目标位置存储模型用于存储形成轨迹中的有效目标位置，虚警目标位置存储模型用于存储被剔除的虚警目标位置。
由背景和目标块张量图重建背景和目标二维图像，对目标图像进行自适应阈值分割得到候选检测目标质心位置。由红外图像块张量图I重构出二维图像I0的过程与上述构建过程相反，把每一个正面切片放到对应的位置即可。当滑动步长小于窗口大小时，块与块之间会有重叠，在重构时若某一位置处于重叠处，该位置的像素通过一维滤波的方式来实现。由背景和目标块张量图重建背景和目标二维图像，对目标图像进行自适应阈值分割得到候选检测目标质心位置。
计算得到每一帧红外图像中的目标位置后，分别建立候选目标位置存储模型和虚警目标位置存储模型，在输入三帧图像后进行轨迹形成过程中，候选目标位置存储模型用于存储形成轨迹中的有效目标位置，虚警目标位置存储模型用于存储被剔除的虚警目标位置。
步骤5：根据候选目标位置，由滤波器初始轨迹假设。输入三帧图像之后，根据之前存储的每一帧中的候选目标位置，由扩展卡尔曼滤波器初始轨迹假设；
目标检测点已通过上述单帧检测算法得到，可以是目标的质心或形心。根据目标检测点得到一组目标假设用于推断目标轨迹。定义时间t∈{1,…,T}，T∈Z，Z表示整数集，T为整数，的第j个目标检测点为
Figure RE-GDA0003869503920000091
它的位置为
Figure RE-GDA0003869503920000092
置信度为
Figure RE-GDA0003869503920000093
它们对应于图像平面上的像素坐标。对于一组目标假设D＝{dj∈D(j＝1,…n,…N)，n、N∈Z}，n和 N为整数，大括号中的D表示图像中所有目标的集合；需要确定一组目标轨迹
Figure RE-GDA0003869503920000094
Figure RE-GDA0003869503920000095
Figure RE-GDA0003869503920000096
表示第n条轨迹；
Figure RE-GDA0003869503920000097
表示第N条目标轨迹。假设数据关联表示为l，它给目标检测点dj分配一个标签
Figure RE-GDA0003869503920000098
Figure RE-GDA0003869503920000099
表示空集。每个目标检测点要么被关联为属于某个轨迹
Figure RE-GDA00038695039200000910
要么被标识为虚警，此时赋予其附加离群值，标签为
Figure RE-GDA00038695039200000911
本算法通过最小化轨迹
Figure RE-GDA00038695039200000912
和数据关联l的联合跟踪能量
Figure RE-GDA00038695039200000913
得到最优的多运动目标轨迹分布。
最初的一组轨迹假设是通过两种方式获得的：使用RANSAC(Random SampleConsensus)算法来将轨迹拟合成小的随机选择的检测子集。RANSAC是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。为了最大化有用的轨迹假设的数量，随机采样器优选在空间和时间上接近的目标检测点，以及经过更多检测点附近的轨迹。另外，使用扩展卡尔曼滤波器(EKF)对所有目标检测点生成初始候选轨迹。实验发现不同的初始轨迹假设虽然会导致略有不同的跟踪结果，但是对最终的最优轨迹的计算的影响很微小。
步骤6：分别构建连续轨迹估计模型和离散数据关联模型，将所述连续轨迹估计模型和所述离散数据关联模型融合得到跟踪能量模型。描述的跟踪能量模型中添加标签成本项，用于在分别最小化数据关联模型和轨迹估计模型时规范轨迹的数量。跟踪能量模型包括便签成本模型，标签成本模型包括运动标签成本、轨迹连续成本、防碰撞成本、外观特征成本、高阶数据保真成本和归一化成本六项成本模型，其中外观特征成本包括红外目标的多种特征描述，红外目标的多种特征描述包括灰度分布特征、形状特征和亮度特征，可根据实际情况调整丰富，加强对检测目标的准确性约束，提高轨迹估计的准确性。
分别构建连续轨迹估计模型和离散数据关联模型，基于标签成本模型将连续轨迹估计模型和离散数据关联模型融合得到跟踪能量模型。
连续轨迹估计模型：本方法用连续空间来表示每个轨迹，对离散目标检测点使用三次B样条曲线拟合轨迹，从而准确的表示真实场景中目标运动模式，避免离散化伪像，最大限度的保留轨迹估计的灵活性和目标运动的平滑性。针对每个轨迹
Figure RE-GDA0003869503920000101
Figure RE-GDA0003869503920000102
的样条描述了每个时间点t的目标位置(x,y)T，
Figure RE-GDA0003869503920000103
表示时间t为正实数。假设样条的控制点数为cn，则用一个系数矩阵
Figure RE-GDA0003869503920000104
进行轨迹参数化，
Figure RE-GDA0003869503920000105
表示Cn为大小为2cn×4的实数矩阵。每个轨迹的起点为sn、终点为en，本方法在轨迹的起点和终点两边增添安全余量Δ，以扩大轨迹的始末搜索帧范围，于是每个轨迹的时间为t∈ [sn-Δ,en+Δ]。
对于一个确定的数据关联
Figure RE-GDA0003869503920000106
则轨迹估计能量函数
Figure RE-GDA0003869503920000107
表示为
Figure RE-GDA0003869503920000108
式中
Figure RE-GDA0003869503920000109
表示轨迹
Figure RE-GDA00038695039200001010
对
Figure RE-GDA00038695039200001011
的估计，
Figure RE-GDA00038695039200001012
表示
Figure RE-GDA00038695039200001013
对安全余量的平滑性。
Figure RE-GDA00038695039200001014
式中|Dt|为第t帧中目标检测点的数目，
Figure RE-GDA00038695039200001015
为第t帧第j个目标的置信度；
Figure RE-GDA00038695039200001016
表示在第t帧中第n条轨迹经过的位置。如果a＝b，则Kronecker delta函数(δ[a-b]＝1，否则为0)确保只计算分配给轨迹i的目标假设
Figure RE-GDA00038695039200001017
a和b表示两个自变量。在安全边界内，样条曲线通过线性外推法获得虚拟位置
Figure RE-GDA00038695039200001018
Figure RE-GDA00038695039200001019
本实施例通过实验，确定安全余量Δ＝2。
离散数据关联模型：本方法利用标签将每个目标检测点dj∈D唯一地分配给N个轨迹
Figure RE-GDA00038695039200001020
中的一个，或者将其标识为虚警离群值标签
Figure RE-GDA00038695039200001021
从而可以利用强大的离散优化方法进行求解。根据离散的、成对的马尔可夫随机场中的能量最小化来制定标签，如图2所示，距离低于阈值τ的相邻帧中的所有目标检测对通过一条边相连。如果相邻帧中的目标检测点距离低于某个阈值，则连接检测点，能量函数E表示为：
Figure RE-GDA0003869503920000111
其中，
Figure RE-GDA0003869503920000112
表示时间t+1的第k个目标，
Figure RE-GDA0003869503920000113
为目标
Figure RE-GDA0003869503920000114
的位置。
上式的目的是使相邻帧中的附近目标检测点具有相同的轨迹标签，这样可以避免使用较长距离的连接，否则需要一个大的阈值τ来允许足够的检测目标点动态位置变化，这是以密集图形为代价的，并且可能是不恰当的标签平滑。图2方法构成了离散的成对多重参考模型(MRF)能量函数
Figure RE-GDA0003869503920000115
Figure RE-GDA0003869503920000116
其中，每个顶点(检测点)的一元项(数据项)
Figure RE-GDA0003869503920000117
和每个连接线的成对平滑项
Figure RE-GDA0003869503920000118
组成。这种成对的电位链接的顶点链可以被视为概率性的“软轨迹”。数据项负责保持解决方案接近观察数据。平滑项连接了时间和空间域相邻的目标检测点，并基于一个简单的广义Potts模型来支持它们之间的一致性标记，
跟踪能量模型中添加一项标签成本项，是用于在分别最小化数据关联模型和轨迹估计模型时规范轨迹的数量。标签成本模型由运动标签成本、轨迹连续成本、防碰撞成本、外观特征成本、高阶数据保真成本和归一化成本等六项成本模型组成，其中外观特征成本可包含红外目标的多种特征描述，例如灰度分布特征、形状特征、亮度特征等，可根据实际情况调整丰富，加强对检测目标的准确性约束，提高轨迹估计的准确性。
结合标签成本的联合多目标跟踪能量模型表示为
Figure RE-GDA0003869503920000119
上式中最后一项为标签成本项，κ为标签成本权重，κ＞0。在标签成本项不活跃的情况(即κ＝0)下，将上式最小化，给定固定标记l的轨迹
Figure RE-GDA00038695039200001112
等同于轨迹估计，给定固定轨迹
Figure RE-GDA00038695039200001113
的标记l等同于数据关联。然而，交替最小化这两部分不会得到期望最优的结果。其中最明显的问题是这两个部分都没有包含一个模型选择项来规范轨迹的数量。给定可变数量的目标，通过实例化更多的轨迹来减少拟合误差会使交替最小化过度拟合。
为了解决这个问题，添加了标签成本项
Figure RE-GDA00038695039200001110
其指定应用于每个标签的成本，标签成本项
Figure RE-GDA00038695039200001111
集成动态模型并将轨迹保持在物理极限内；通过惩罚长时间缺失的检测证据以及远离图像边界开始或结束的轨迹，强制执行长而持久的轨迹；丢弃不能同时存在的相互竞争的假设点；最终约束惩罚当前目标存在的总数。
标签成本被定义为：
Figure RE-GDA0003869503920000121
式中：
Figure RE-GDA0003869503920000122
为运动标签成本，
Figure RE-GDA0003869503920000123
为轨迹连续成本，
Figure RE-GDA0003869503920000124
高阶数据保真度成本，
Figure RE-GDA0003869503920000125
为防碰撞成本，
Figure RE-GDA0003869503920000126
为外观特征成本，
Figure RE-GDA0003869503920000127
为归一化成本。相对于一元和成对项的权重，标签成本权重是由κ来控制的。另外，只有那些至少有一个目标检测点分配给它们的轨迹才会产生标签成本。
步骤7：对跟踪能量模型进行求解得到能使轨迹能量最小化的最优解，每新输入一帧图片，不断对前面的轨迹进行优化，从而实现红外图像检测目标的实时跟踪。
结合标签成本的跟踪能量函数是全局性的，故优化具有挑战性，可以使用综合能量最小化框架来处理，交替最小化跟踪能量方程中的l和
Figure RE-GDA0003869503920000128
由于能量函数仍然是子模块结构，故数据关联，即最小化l得益于将标签成本无缝集成到经过充分研究的具有图形切割的α扩展框架中，这不仅在实验中能得到轨迹强烈的局部最优性，而且保证了有界的最优性缺口。轨迹估计，即最小化
Figure RE-GDA0003869503920000129
有些更具挑战性，因为标签成本很难优化轨迹
Figure RE-GDA00038695039200001210
为了解决这个问题，暂时忽略标签成本，对每个单独的
Figure RE-GDA00038695039200001211
执行剩余成本项的最小二乘法最小化，最终确定包括标签成本在内的总体能量是否减少。在标签成本的总体能量没有减少的情况下保留之前的轨迹。
步骤8：红外图像检测目标的实时跟踪过程中，实时将多目标跟踪轨迹与本地目标轨迹数据库进行相似度对比，确认目标种类或型号，选取所需目标轨迹进行有效目标检测跟踪。对计算得到的实时目标轨迹与本地目标轨迹数据库的轨迹进行形状相似度对比和速度变化相似度对比，若是已知型号或种类目标，可进行针对性跟踪，提高可用目标检测跟踪速率。
跟踪过程中，实时将多目标跟踪轨迹与本地目标轨迹数据库进行相似度对比，确认目标种类或型号，选取所需目标轨迹进行有效目标检测跟踪。对计算得到的实时目标轨迹与本地目标轨迹数据库的轨迹进行形状相似度、速度变化相似度等相似度对比，若是已知型号或种类目标，可进行针对性跟踪，提高可用目标检测跟踪速率。
该思路具有可行性，将本方法应用于研究红外图像弱小目标检测跟踪过程当中，既弥补了基于单帧的红外图像目标检测方法缺少目标运动信息关联的缺陷，又能够很好地保证对每一帧红外图像进行检测时，目标被凸出，背景被有效抑制。此外增加了简单的目标识别，根据检测出的目标的运动轨迹，确定目标是否为合作目标。
本发明基于块张量模型对单帧输入图像进行目标检测,获取候选目标位置，后结合离散数据关联与连续轨迹估计对序列图像检测目标进行跟踪，剔除误检和虚警，对得到的检测目标轨迹与本地目标轨迹数据库进行相似度对比，得到有效跟踪目标，从而实现红外图像中弱小目标的实时检测跟踪。该技术可以有效地检测出视场内的运动目标并进行实时跟踪,并能根据轨迹对比匹配确定目标种类,在民用和军事领域具有较好的应用价值。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于机器学习的红外图像弱小目标检测跟踪方法，其特征在于，包括如下步骤：
步骤1：输入红外图像，对所述红外图像进行特征提取，构建先验权重块张量图；
步骤2：构建红外图像块张量图，所述红外图像块张量图融合所述先验权重块张量图确定目标函数；
步骤3：求解所述目标函数，分离得到背景和目标块张量图，并对所述先验权重块张量图进行更新；
步骤4：由所述背景和目标块张量图重建背景和目标二维图像，对目标图像进行阈值分割得到候选检测目标质心位置，得到每一帧的红外图像的候选目标位置；
步骤5：根据候选目标位置，由滤波器初始轨迹假设；
步骤6：分别构建连续轨迹估计模型和离散数据关联模型，将所述连续轨迹估计模型和所述离散数据关联模型融合得到跟踪能量模型；
步骤7：对所述跟踪能量模型进行求解得到能使轨迹能量最小化的最优解，每新输入一帧图片，不断对前面的轨迹进行优化，从而实现红外图像检测目标的实时跟踪；
步骤8：红外图像检测目标的实时跟踪过程中，实时将多目标跟踪轨迹与本地目标轨迹数据库进行相似度对比，确认目标种类或型号，选取所需目标轨迹进行有效目标检测跟踪。
2.根据权利要求1所述的一种基于机器学习的红外图像弱小目标检测跟踪方法，其特征在于，所述步骤2包括：构建块张量图时滑块尺寸以及滑动步长需要根据输入图像的尺寸进行调整，经多次实验测试最优的滑块尺寸和滑动步长，构建最优块张量图，最大程度表征目标与背景的有效信息，得到最优的目标检测效果。
3.根据权利要求1所述的一种基于机器学习的红外图像弱小目标检测跟踪方法，其特征在于，所述步骤4包括：计算得到每一帧红外图像中的目标位置后，分别建立候选目标位置存储模型和虚警目标位置存储模型，在输入多帧图像后进行轨迹形成过程中，候选目标位置存储模型用于存储形成轨迹中的有效目标位置，虚警目标位置存储模型用于存储被剔除的虚警目标位置。
4.根据权利要求1所述的一种基于机器学习的红外图像弱小目标实时检测跟踪方法，其特征在于，所述步骤6包括：描述的跟踪能量模型中添加标签成本项，用于在分别最小化数据关联模型和轨迹估计模型时规范轨迹的数量。
5.根据权利要求4所述的一种基于机器学习的红外图像弱小目标检测跟踪方法，所述步骤6包括：所述跟踪能量模型包括便签成本模型，标签成本模型包括运动标签成本、轨迹连续成本、防碰撞成本、外观特征成本、高阶数据保真成本和归一化成本六项成本模型，其中外观特征成本包括红外目标的多种特征描述，红外目标的多种特征描述包括灰度分布特征、形状特征和亮度特征，可根据实际情况调整丰富，加强对检测目标的准确性约束，提高轨迹估计的准确性。
6.根据权利要求1所述的一种基于机器学习的红外图像弱小目标检测跟踪方法，其特征在于，所述步骤8包括：对计算得到的实时目标轨迹与本地目标轨迹数据库的轨迹进行形状相似度对比和速度变化相似度对比，若是已知型号或种类目标，可进行针对性跟踪，提高可用目标检测跟踪速率。
7.一种基于机器学习的红外图像弱小目标检测跟踪系统，其特征在于，应用权利要求1-6任一所述的一种基于机器学习的红外图像弱小目标检测跟踪方法，包括如下模块：
模块M1：输入红外图像，对所述红外图像进行特征提取，构建先验权重块张量图；
模块M2：构建红外图像块张量图，所述红外图像块张量图融合所述先验权重块张量图确定目标函数；
模块M3：求解所述目标函数，分离得到背景和目标块张量图，并对所述先验权重块张量图进行更新；
模块M4：由所述背景和目标块张量图重建背景和目标二维图像，对目标图像进行阈值分割得到候选检测目标质心位置，得到每一帧的红外图像的候选目标位置；
模块M5：根据候选目标位置，由滤波器初始轨迹假设；
模块M6：分别构建连续轨迹估计模型和离散数据关联模型，将所述连续轨迹估计模型和所述离散数据关联模型融合得到跟踪能量模型；
模块M7：对所述跟踪能量模型进行求解得到能使轨迹能量最小化的最优解，每新输入一帧图片，不断对前面的轨迹进行优化，从而实现红外图像检测目标的实时跟踪；
模块M8：红外图像检测目标的实时跟踪过程中，实时将多目标跟踪轨迹与本地目标轨迹数据库进行相似度对比，确认目标种类或型号，选取所需目标轨迹进行有效目标检测跟踪。
8.根据权利要求7所述的一种基于机器学习的红外图像弱小目标检测跟踪系统，其特征在于，所述模块M2包括：构建块张量图时滑块尺寸以及滑动步长需要根据输入图像的尺寸进行调整，经多次实验测试最优的滑块尺寸和滑动步长，构建最优块张量图，最大程度表征目标与背景的有效信息，得到最优的目标检测效果。
9.根据权利要求7所述的一种基于机器学习的红外图像弱小目标检测跟踪系统，其特征在于，所述模块M4包括：计算得到每一帧红外图像中的目标位置后，分别建立候选目标位置存储模型和虚警目标位置存储模型，在输入多帧图像后进行轨迹形成过程中，候选目标位置存储模型用于存储形成轨迹中的有效目标位置，虚警目标位置存储模型用于存储被剔除的虚警目标位置。
10.根据权利要求7所述的一种基于机器学习的红外图像弱小目标实时检测跟踪系统，其特征在于，所述模块M6包括：描述的跟踪能量模型中添加标签成本项，用于在分别最小化数据关联模型和轨迹估计模型时规范轨迹的数量。
CN202210857720.4A 2022-07-20 2022-07-20 基于机器学习的红外图像弱小目标检测跟踪方法及系统 Pending CN115345902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210857720.4A CN115345902A (zh) 2022-07-20 2022-07-20 基于机器学习的红外图像弱小目标检测跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210857720.4A CN115345902A (zh) 2022-07-20 2022-07-20 基于机器学习的红外图像弱小目标检测跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN115345902A true CN115345902A (zh) 2022-11-15

Family

ID=83949539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210857720.4A Pending CN115345902A (zh) 2022-07-20 2022-07-20 基于机器学习的红外图像弱小目标检测跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN115345902A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563348A (zh) * 2023-07-06 2023-08-08 中国科学院国家空间科学中心 基于双特征模板的红外弱小目标多模态跟踪方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563348A (zh) * 2023-07-06 2023-08-08 中国科学院国家空间科学中心 基于双特征模板的红外弱小目标多模态跟踪方法及系统
CN116563348B (zh) * 2023-07-06 2023-11-14 中国科学院国家空间科学中心 基于双特征模板的红外弱小目标多模态跟踪方法及系统

Similar Documents

Publication Publication Date Title
Balaji et al. A survey on moving object tracking using image processing
Yuan et al. Particle filter re-detection for visual tracking via correlation filters
Kervrann et al. A hierarchical Markov modeling approach for the segmentation and tracking of deformable shapes
Pilet et al. Real-time nonrigid surface detection
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
Sukanya et al. A survey on object recognition methods
Hanek et al. The contracting curve density algorithm: Fitting parametric curve models to images using local self-adapting separation criteria
Patel et al. A comparative study of object tracking techniques
CN115345902A (zh) 基于机器学习的红外图像弱小目标检测跟踪方法及系统
Favorskaya Motion estimation for objects analysis and detection in videos
Beleznai et al. Human Tracking by Fast Mean Shift Mode Seeking.
Mei et al. Integrated detection, tracking and recognition for ir video-based vehicle classification
Shan et al. Visual tracking using IPCA and sparse representation
Juang et al. Moving object recognition by a shape-based neural fuzzy network
CN113033356B (zh) 一种尺度自适应的长期相关性目标跟踪方法
Li et al. Multitarget tracking of pedestrians in video sequences based on particle filters
Lee et al. Object tracking and target reacquisition based on 3-D range data for moving vehicles
CN110751189B (zh) 一种基于感知对比度和特征选择的椭圆检测方法
Li et al. Real-time tracking by double templates matching based on timed motion history image with HSV feature
Bi A motion image pose contour extraction method based on B-spline wavelet
Sujatha et al. An innovative moving object detection and tracking system by using modified region growing algorithm
Dhassi et al. Visual tracking based on adaptive mean shift multiple appearance models
Wang MRCNNAM: Mask Region Convolutional Neural Network Model Based On Attention Mechanism And Gabor Feature For Pedestrian Detection
CN111462181B (zh) 一种基于矩形非对称逆布局模型的视频单目标跟踪方法
Wangulkar et al. A Review on Object Detection and Tracking in Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination