CN111652150A - 一种红外抗干扰跟踪方法 - Google Patents

一种红外抗干扰跟踪方法 Download PDF

Info

Publication number
CN111652150A
CN111652150A CN202010498900.9A CN202010498900A CN111652150A CN 111652150 A CN111652150 A CN 111652150A CN 202010498900 A CN202010498900 A CN 202010498900A CN 111652150 A CN111652150 A CN 111652150A
Authority
CN
China
Prior art keywords
target
track
tracking
interference
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010498900.9A
Other languages
English (en)
Other versions
CN111652150B (zh
Inventor
崔洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN202010498900.9A priority Critical patent/CN111652150B/zh
Publication of CN111652150A publication Critical patent/CN111652150A/zh
Application granted granted Critical
Publication of CN111652150B publication Critical patent/CN111652150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种红外抗干扰跟踪方法，包括如下步骤：在稳定跟踪过程中定时进行干扰出现检测，判断是否发生遮挡干扰和可疑目标干扰；若发生遮挡干扰，则将目标的轨迹信息与状态信息融合形成多变量向量，输入轨迹预测模型，进行目标的轨迹信息以及状态信息预测，找到候选目标及对应的轨迹集；若发生可疑目标干扰，则以最小费用网络流模型为基础构建多目标跟踪模型，通过求解网络流，得到多目标的轨迹信息，并与跟踪得到的目标的轨迹信息进行比较，找到最相似的轨迹，确定候选目标及对应的轨迹集；判断候选目标是否与跟踪得到真实目标相匹配，若匹配，则确定找到真实目标并对其进行稳定跟踪。本发明能够提高红外跟踪性能，减少跟踪错误目标的情况。

Description

一种红外抗干扰跟踪方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种红外抗干扰跟踪方法。
背景技术
红外成像跟踪系统采用全被动工作方式，具备较强的隐蔽性和可靠性，难以被电子干扰，可全天时工作，具有高灵敏度、高空间分辨率、大动态范围的特点，对舰船目标、低空飞行器、地面目标的检测跟踪具有其独特的优势，是国际上重点研究的发展方向之一。由于地物、飞鸟、背景杂波对红外跟踪目标均会造成干扰，越发复杂的应用环境需求使红外成像跟踪系统面临严峻挑战，所以提高红外成像跟踪系统的红外抗干扰能力已成为发展新型红外成像跟踪技术和研制高性能红外跟踪系统亟待解决的重要课题。
红外成像跟踪系统的抗干扰能力主要体现在两方面，一方面为预测目标轨迹，另一方面为识别区分真伪目标。进一步研究红外抗干扰技术，形成更有效的红外抗干扰跟踪系统，对提高其跟踪性能具有十分关键的研究意义与实用价值。
目前，抗干扰检测跟踪方案大致可分为利用神经网络与基于相关滤波的处理模型。基于神经网络的处理模型能融合目标的多特征信息，往往具有很高的识别精度，能很好的区分目标和干扰，但需要海量训练样本，并且模型维数很高，难以实现实时检测与跟踪。基于相关滤波的处理模型表现了较好的识别率和鲁棒性，在红外应用中却很难克服特征稀少的缺点，对弱小目标和目标存在干扰情况下，跟踪效果不理想，特别是当目标处发生遮挡干扰、可疑目标干扰时，容易跟踪错误。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是解决现有红外成像跟踪系统难以处理目标遮挡干扰、可疑目标干扰，在复杂背景中容易跟踪错误目标的问题。
(二)技术方案
为了解决上述技术问题，本发明提供了一种红外抗干扰跟踪方法，包括如下步骤：
(1)在稳定跟踪过程中进行干扰出现检测，判断是否发生遮挡干扰和可疑目标干扰；
(2)若发生遮挡干扰，则将目标的轨迹信息与状态信息融合形成多变量向量，输入轨迹预测模型，进行目标的轨迹信息以及状态信息预测，找到候选目标及对应的轨迹集；其中，所述轨迹预测模型基于LSTM神经网络构建，采用仿真数据与实际采集的历史数据进行预先训练并保存；
(3)若发生可疑目标干扰，则以最小费用网络流模型为基础构建多目标跟踪模型，通过求解网络流，得到多目标的轨迹信息，并与跟踪得到的目标的轨迹信息进行比较，找到最相似的轨迹，确定候选目标及对应的轨迹集；
(4)判断所述轨迹预测模型和/或多目标跟踪模型得到的候选目标是否与跟踪得到真实目标相匹配，若匹配，则确定找到真实目标并对其进行稳定跟踪。
优选地，所述步骤(1)中，判断是否发生遮挡干扰和可疑目标干扰时，若检测到图像中目标出现特征突变，则判断为发生遮挡干扰；若检测到图像中存在与真实目标特征相似的相似目标，则判断为发生可疑目标干扰。
优选地，所述轨迹预测模型包括对应多种不同目标运动的多个LSTM模型，所述步骤(2)中，通过所述轨迹预测模型进行目标的轨迹信息以及状态信息预测时，根据稳定跟踪过程中采集的目标运动信息选择相应的LSTM模型。
优选地，所述步骤(2)中，目标运动信息包括目标的运动速度、运动方向。
优选地，所述步骤(3)中，以最小费用网络流模型为基础构建多目标跟踪模型时，将目标的检测概率建模为最小费用网络流中的费用，将独立的目标轨迹建模为最小费用网络流中互相分离的路径，通过求解最小费用网络流，得到多目标的轨迹信息。
优选地，所述步骤(1)中，检测到图像中存在与真实目标特征相似的相似目标时，将所有相似目标连同真实目标作为可疑目标加入目标总集χ＝{Xi}，所述目标总集χ中的元素Xi表示第i个目标，Xi＝(xi,yi,areai,grayi,wi,hi,ti)，其中，(xi,yi)是目标的位置，areai是目标的面积，grayi是目标的灰度均值，wi、hi分别是目标的长度、宽度，ti是目标所处帧处于图像序列中的帧号；
以目标的一个序列表示一个独立的轨迹Tk，
Figure BDA0002524008080000031
所有的独立的轨迹合在一起形成数据关联结果Τ＝{Tk}，Τ的最优估计表示为：
Figure BDA0002524008080000032
其中，P(T|χ)表示给定目标总集χ的情况下轨迹集的后验概率，P(Tk)表示第k个目标轨迹的独立概率，P(χ|Tk)为似然函数，满足伯努利分布，与数据关联结果Τ互相独立，表达式为：
Figure BDA0002524008080000033
ζk为目标总集χ在给定轨迹结果Tk的条件下的检测概率，1-ζk为误检概率。
优选地，所述步骤(3)中，通过求解最小费用网络流，得到多目标的轨迹信息时，以各目标为节点，利用动态规划方法求解所述多目标跟踪模型起点与终点之间的最短路径，并判断最短路径的总费用，若不高于给定阈值，则将该最短路径作为一条目标轨迹输出，然后排除该最短路径的全部节点，重复计算所述多目标跟踪模型起点与终点之间的最短路径，并判断最短路径的总费用，直至最短路径的总费用高于给定阈值，结束计算。
优选地，所述步骤(3)中，判断最短路径的总费用时，以两节点对应的两个目标的不相似度衡量费用，费用与不相似度正相关，目标Xi与目标Xj之间不相似度dQ(i,j)为对应的特征集Fi与特征集Fj的不相似度，表达式为：
Figure BDA0002524008080000041
其中，l为特征集包含特征的数量，ωk为对应特征的权重，满足
Figure BDA0002524008080000042
Figure BDA0002524008080000043
分别表示特征集Fi、特征集Fj的第k个特征。
优选地，所述步骤(3)中，通过求解最小费用网络流，得到多目标的轨迹信息时，利用滑动时间窗分割红外视频，得到一组滑动时间窗内的图像序列，基于得到的图像序列求解最小费用网络流。
优选地，所述步骤(4)中，判断所述轨迹预测模型和/或多目标跟踪模型得到的候选目标是否与跟踪得到真实目标相匹配时，计算候选目标与跟踪得到真实目标的不相似度，若不相似度小于匹配阈值，则认为匹配真实目标。
(三)有益效果
本发明的上述技术方案具有如下优点：本发明提供了一种红外抗干扰跟踪方法，该方法在进行正常的稳定跟踪过程中判断是否发生遮挡干扰和可疑目标干扰，若发生遮挡干扰，则采用基于LSTM神经网络构建的轨迹预测模型来预测目标轨迹，若发生可疑目标干扰，则采用基于最小费用网络流模型构建的多目标跟踪模型跟踪所有候选目标，结合轨迹信息与轨迹预测，综合决策分析得到置信度最大的候选目标为真实目标，从而实现稳定的抗干扰跟踪。
附图说明
图1是本发明实施例中一种红外抗干扰跟踪方法流程示意图；
图2是本发明实施例中基于滑动时间窗的实时处理可疑目标干扰的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的一种红外抗干扰跟踪方法，包括如下步骤：
(1)在稳定跟踪过程中进行干扰出现检测，判断是否发生遮挡干扰和可疑目标干扰。
通过进行干扰出现检测，可判断是否需要进行抗干扰跟踪，若不发生遮挡干扰，也不发生可疑目标干扰，则无需进行抗干扰跟踪，继续执行正常的稳定跟踪即可。
优选地，步骤(1)中，判断是否发生遮挡干扰和可疑目标干扰时，若检测到图像中目标出现特征突变，则判断为发生遮挡干扰；若检测到图像中存在与真实目标特征相似的相似目标，则判断为发生可疑目标干扰。
进一步地，目标特征包括目标的状态信息和轨迹信息，目标的轨迹信息包括每个时刻目标的位置、运动方向、运动速度，状态信息包括灰度、面积、长宽(即长度和宽度)。特征突变即在相邻两帧间，目标的面积、灰度或长宽的变化值超过其自身原有值的0.5倍，和/或目标的位置、运动方向、运动速度的变化值超过相应的预设阈值。相似目标即两个目标的特征的不相似度小于设定的相似阈值。相似阈值的具体大小可根据实际需要进行设定，在此不再进一步限定。
(2)若发生遮挡干扰，则利用基于LSTM神经网络构建的轨迹预测模型进行处理：将目标的轨迹信息与状态信息融合形成多变量向量，将多变量向量输入轨迹预测模型，通过轨迹预测模型进行目标的轨迹信息以及状态信息预测，找到候选目标及对应的轨迹集；其中，轨迹预测模型基于LSTM神经网络构建，采用仿真数据与实际采集的历史数据进行预先训练并保存。
长短期记忆(Long Short Term Memory，LSTM)神经网络在循环神经网络(RecurrentNeural Network，RNN)结构基础上添加了三种门结构与单元状态，三种门结构分别为输入门、输出门与遗忘门，所有的门由网络状态变化可以选择打开或者关闭。在任意时刻t时刻，LSTM神经网络输入有三个：上一个时刻LSTM输出值、上一个时刻记忆单元的状态值、当前时刻LSTM输入值；LSTM神经网络的输出有两个：当前时刻记忆单元的状态值与当前时刻LSTM输出值。
常见的目标预测方法均是对目标的轨迹预测，包含了目标的运动信息，目标的其它历史特征则放入缓存区。但当遮挡时间较长，目标与(红外成像跟踪系统中的)红外热像仪相对运动速度较快，且背景存在变化，如云层、光照变化等，随着目标轨迹的变化，目标自身的状态信息也会发生变化，从而导致遮挡结束后重新匹配目标时，出现较大的误差甚至匹配到虚假目标。所以，为了提高抗干扰跟踪的稳健性，在轨迹预测的同时增加与融合对目标状态信息的预测也是非常必要的。
本发明提供的方法将目标的轨迹信息与状态信息融合形成多变量向量，在传统预测目标轨迹位置的情况下，增加对目标状态信息的预测，这样做的难点在于预测模型的输入需要增加维数，形成更多维的输入变量。相比传统卡尔曼滤波与粒子滤波，LSTM神经网络模型可以更方便有效地对多变量输入完成建模，在多变量时间序列预测问题上更有优势。将目标的轨迹信息与状态信息融合形成多维的输入变量带来的好处是提高预测精度。由前面研究分析可看到，目标的状态信息(灰度、面积、长宽)的变化其实也反映了目标轨迹的变化，这些信息并非是彼此独立而是互相关联的，例如，当目标的灰度、面积在逐渐增大时，则目标的轨迹应当是逐渐接近红外热像仪。
由于LSTM神经网络训练规模较大，耗时较长，难以实现在实际跟踪过程中的训练及预测，可利用实际采集的历史数据(红外图像及目标信息)与仿真数据提前完成LSTM模型训练并保存，在实际对目标进行抗干扰跟踪时，选择合适的、已训练的LSTM模型进行预测。对可能的多种目标运动，则要进行训练多个相应的LSTM模型。选择合适的LSTM模型则需要充分利用在正常目标跟踪下目标运动的先验信息，包括目标的运动速度、运动方向等。
因此，在一些优选的实施方式中，轨迹预测模型包括对应多种不同目标运动的多个LSTM模型，步骤(2)中，通过轨迹预测模型进行目标的轨迹信息以及状态信息预测时，根据稳定跟踪过程中采集的目标运动信息选择相应的LSTM模型；其中，目标运动信息包括目标的运动速度、运动方向。
(3)若发生可疑目标干扰，则利用基于网络流构建的多目标跟踪模型进行处理：以最小费用网络流模型为基础构建多目标跟踪模型，通过求解网络流，得到多目标的轨迹信息；将通过多目标跟踪模型求解得到的多目标的轨迹信息与实际跟踪得到的目标的轨迹信息进行比较，剔除虚假目标干扰，从多目标的轨迹信息中找到与跟踪得到的目标轨迹最相似的轨迹，从而确定候选目标及对应的轨迹集。
将多个预测得到的轨迹信息与实际的目标轨迹信息进行比较，可确定其中与实际跟踪的目标的轨迹最为相似的、预测所得的目标，即确定了通过求解网络流得到的候选目标。
网络流(Network Flow，NF)是图论中设计的一种方法，多目标跟踪中的数据关联过程可以转换为一个最大后验概率问题从而建模成了NF模型。目标的转移概率被建模成最小费用网络流(MCNF)中的费用，独立的(即互不重叠的)目标轨迹被建模成MCNF中互相分离的路径，通过求解MCNF便可得到多目标(即真实目标及各个可目标)的运动轨迹。
因此，在一些优选的实施方式中，步骤(3)中，以最小费用网络流模型为基础构建多目标跟踪模型时，将目标的检测概率建模为最小费用网络流中的费用，将独立的目标轨迹建模为最小费用网络流中互相分离的路径，通过求解最小费用网络流，得到多目标的轨迹信息。
(4)判断轨迹预测模型和/或多目标跟踪模型得到的候选目标是否与跟踪得到真实目标相匹配，若匹配，则确定找到真实目标并对其进行稳定跟踪。
将通过轨迹预测模型和/或多目标跟踪模型得到的候选目标与跟随所得的真实目标进行匹配，若匹配成功，则可认为跟踪到真实目标，即可结束抗干扰跟踪，回到正常的稳定跟踪过程。通过在发生遮挡干扰和可疑目标干扰时进行抗干扰跟踪过程，可避免跟踪中出现丢失目标或误判目标等问题。
优选地，步骤(1)中，检测到图像中存在与(原本进行稳定跟踪的)真实目标特征相似的相似目标时，将所有可疑目标，包括所有相似目标连同(原本进行稳定跟踪的)真实目标，形成一个目标总集χ＝{Xi}，所述目标总集χ中的元素Xi表示第i个目标，Xi＝(xi,yi,areai,grayi,wi,hi,ti)，其中，(xi,yi)是目标的位置，areai是目标的面积，grayi是目标的灰度均值，wi、hi分别是目标的长度、宽度，ti是目标的时间节点，即目标所处帧处于图像序列中的帧号。
以目标的一个序列表示一个独立的轨迹Tk，
Figure BDA0002524008080000091
所有的独立的轨迹合在一起形成数据关联结果Τ＝{Tk}，Τ的最优估计表示为：
Figure BDA0002524008080000092
其中，P(T|χ)表示给定目标总集χ的情况下轨迹集的后验概率，P(Tk)表示第k个目标轨迹的独立概率，P(χ|Tk)为似然函数，满足伯努利分布，与数据关联结果Τ互相独立，表达式为：
Figure BDA0002524008080000093
ζk为目标总集χ在给定轨迹结果Tk的条件下的检测概率，1-ζk为误检概率。
运用动态规划的思路代入实际的多目标跟踪网络流模型中，网络结构节点数众多并随时间帧数增加，每一帧目标节点数不同，若要得到多目标的独立不重复的运动轨迹，进一步地，步骤(3)中，通过求解最小费用网络流，得到多目标的轨迹信息时，以各目标为节点，利用动态规划方法求解所述多目标跟踪模型起点与终点之间的最短路径，并判断最短路径的总费用，若不高于给定阈值，则将该最短路径作为一条目标轨迹输出，然后排除该最短路径的全部节点，重复计算所述多目标跟踪模型起点与终点之间的最短路径，并判断最短路径的总费用，直至最短路径的总费用高于给定阈值，结束计算。
即，步骤(3)通过求解最小费用网络流，得到多目标的轨迹信息时具体包括：
(3-1)利用动态规划方法求解连接起点s到终点t的最短路径，该最短路径代表了一条目标轨迹，包含在整个所述多目标跟踪模型起点s与终点t之间。
(3-2)排除掉步骤(3-1)得到的最短路径的全部节点后，重新计算所述多目标跟踪模型的最短路径，得到了另一条候选的目标轨迹。
(3-3)按照上述步骤(3-1)及步骤(3-2)所述，迭代K+1次，则求解了k条独立的目标轨迹，直至最短路径的总费用高于给定阈值，本流程结束。
优选地，步骤(3)中，判断最短路径的总费用时，将路径中，连接前后两节点的边的费用表示为Ci,j＝c(vi,uj)，其中，vi表示在前的(第i个)节点，ui表示在后的(第j个)节点。一个节点即对应一个目标Xi，Ci,j＝c(vi,uj)代表了目标Xi转移到目标Xj所需的费用。
进一步地，以两节点对应的两个目标的不相似度衡量费用，费用与不相似度正相关，即当两个目标不相似度较高时，则转移所需费用较高，所以本方法采用特征不相似度表征最小费用网络流中的费用概念。计算两个目标的不相似度时，对目标总集χ中的目标Xi提取特征，构成特征集Fi，优选地，提取的特征包括灰度特征fgray、位置特征fposition、面积特征farea、速度特征fvelocity，特征集Fi＝{fgary,fposition,farea,fvelocity}。
不同目标Xi与目标Xj之间不相似度dQ(i,j)体现为两个对应的特征集Fi(目标Xi的特征集)与特征集Fj(目标Xj的特征集)的不相似度，表达式为：
Figure BDA0002524008080000101
其中，l为特征集Fi(特征集Fj)包含特征的数量，对于特征集Fi＝{fgary,fposition,farea,fvelocity}，l＝4。ωk为对应特征的权重，满足
Figure BDA0002524008080000102
Figure BDA0002524008080000103
分别表示特征集Fi、特征集Fj的第k个特征。
为实现在线实时抗干扰跟踪，核心在于简化网络流模型规模，减少递归计算量。优选地，步骤(3)中，通过求解最小费用网络流，得到多目标的轨迹信息时，利用滑动时间窗分割红外成像跟踪系统采集到的红外视频，得到一组滑动时间窗内的图像序列，基于得到的图像序列求解最小费用网络流。
如图2所示，通过设置滑动时间窗，在抗干扰跟踪过程的每一时刻只需处理当前滑动时间窗内的图像序列，即将完整的红外视频分解成了许多个子序列，分别对其分析多目标轨迹并抗干扰。在完整的红外视频序列截取的一段连续的图像帧，类似于在时间轴上放置了一个窗口。假设完整的红外视频总帧数为N，设时间窗起始于其中第t帧，窗长为L，则该时间窗记作
Figure BDA0002524008080000111
随着时间窗在时间轴上移动，可形成一种时间窗集合：
Figure BDA0002524008080000112
若红外视频序列的总帧数不超过窗长L，则建立目标初始轨迹，当红外视频序列的总帧数超过窗长L，且发生可疑目标干扰(即图像中存在多个可疑目标)，则利用本发明提供的、基于最小费用网络流构建的多目标跟踪模型计算多目标轨迹，并找到候选目标及对应的轨迹集，与前一个时间窗对应的历史的轨迹集融合。
当遮挡干扰结束后，应尽快恢复对目标的正常跟踪，因为随着遮挡时间的增加，预测的误差也越来越大，若目标自身还存在机动，则误差愈发显著。故尽快在遮挡结束后准确匹配真实目标，恢复正常跟踪，有助于提高抗干扰跟踪的稳健性。若考虑利用判断遮挡出现的方法原理来判断遮挡结束，则结果往往不太理想，是因为遮挡过程中目标的真实轨迹与状态信息都是未知的，不能以此作为判据。但判断遮挡结束的目的是为了匹配真实目标，故考虑在遮挡过程中一直利用预测结果匹配真实目标，若能匹配成功则认为遮挡事件结束。
优选地，步骤(4)中，判断轨迹预测模型和/或多目标跟踪模型求解得到的候选目标是否与跟踪得到真实目标相匹配时，计算候选目标与跟踪得到真实目标的不相似度，若不相似度小于匹配阈值，则认为匹配真实目标。
匹配的判定表达式，也即不相似度的计算表达式为：
Figure BDA0002524008080000113
综上所述，本发明提供了一种可应用于红外成像跟踪系统的红外抗干扰目标跟踪方法，本发明提出了基于LSTM神经网络的遮挡处理模型(即轨迹预测模型)，检测、判断目标被遮挡的发生，然后预测在被遮挡的情况下目标轨迹与状态信息，从而在遮挡结束后匹配真实目标，并继续跟踪目标，极大程度地减少因遮挡造成的丢失或跟错目标现象，提高了抗干扰跟踪的稳健性。本发明还利用网络流对多目标跟踪建模，显著提高红外抗干扰跟踪性能，有效减小跟踪错误目标或跟踪丢失的可能性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种红外抗干扰跟踪方法，其特征在于，包括如下步骤：
(1)在稳定跟踪过程中进行干扰出现检测，判断是否发生遮挡干扰和可疑目标干扰；
(2)若发生遮挡干扰，则将目标的轨迹信息与状态信息融合形成多变量向量，输入轨迹预测模型，进行目标的轨迹信息以及状态信息预测，找到候选目标及对应的轨迹集；其中，所述轨迹预测模型基于LSTM神经网络构建，采用仿真数据与实际采集的历史数据进行预先训练并保存；
(3)若发生可疑目标干扰，则以最小费用网络流模型为基础构建多目标跟踪模型，通过求解网络流，得到多目标的轨迹信息，并与跟踪得到的目标的轨迹信息进行比较，找到最相似的轨迹，确定候选目标及对应的轨迹集；
(4)判断所述轨迹预测模型和/或多目标跟踪模型得到的候选目标是否与跟踪得到真实目标相匹配，若匹配，则确定找到真实目标并对其进行稳定跟踪。
2.根据权利要求1所述的红外抗干扰跟踪方法，其特征在于：所述步骤(1)中，判断是否发生遮挡干扰和可疑目标干扰时，若检测到图像中目标出现特征突变，则判断为发生遮挡干扰；若检测到图像中存在与真实目标特征相似的相似目标，则判断为发生可疑目标干扰。
3.根据权利要求2所述的红外抗干扰跟踪方法，其特征在于：所述轨迹预测模型包括对应多种不同目标运动的多个LSTM模型，所述步骤(2)中，通过所述轨迹预测模型进行目标的轨迹信息以及状态信息预测时，根据稳定跟踪过程中采集的目标运动信息选择相应的LSTM模型。
4.根据权利要求3所述的红外抗干扰跟踪方法，其特征在于：所述步骤(2)中，目标运动信息包括目标的运动速度、运动方向。
5.根据权利要求4所述的红外抗干扰跟踪方法，其特征在于：所述步骤(3)中，以最小费用网络流模型为基础构建多目标跟踪模型时，将目标的检测概率建模为最小费用网络流中的费用，将独立的目标轨迹建模为最小费用网络流中互相分离的路径，通过求解最小费用网络流，得到多目标的轨迹信息。
6.根据权利要求5所述的红外抗干扰跟踪方法，其特征在于：所述步骤(1)中，检测到图像中存在与真实目标特征相似的相似目标时，将所有相似目标连同真实目标作为可疑目标加入目标总集χ＝{Xi}，所述目标总集χ中的元素Xi表示第i个目标，Xi＝(xi,yi,areai,grayi,wi,hi,ti)，其中，(xi,yi)是目标的位置，areai是目标的面积，grayi是目标的灰度均值，wi、hi分别是目标的长度、宽度，ti是目标所处帧处于图像序列中的帧号；
以目标的一个序列表示一个独立的轨迹Tk，
Figure FDA0002524008070000021
所有的独立的轨迹合在一起形成数据关联结果Τ＝{Tk}，Τ的最优估计表示为：
Figure FDA0002524008070000022
其中，P(T|χ)表示给定目标总集χ的情况下轨迹集的后验概率，P(Tk)表示第k个目标轨迹的独立概率，P(χ|Tk)为似然函数，满足伯努利分布，与数据关联结果Τ互相独立，表达式为：
Figure FDA0002524008070000023
ζk为目标总集χ在给定轨迹结果Tk的条件下的检测概率，1-ζk为误检概率。
7.根据权利要求6所述的红外抗干扰跟踪方法，其特征在于：所述步骤(3)中，通过求解最小费用网络流，得到多目标的轨迹信息时，以各目标为节点，利用动态规划方法求解所述多目标跟踪模型起点与终点之间的最短路径，并判断最短路径的总费用，若不高于给定阈值，则将该最短路径作为一条目标轨迹输出，然后排除该最短路径的全部节点，重复计算所述多目标跟踪模型起点与终点之间的最短路径，并判断最短路径的总费用，直至最短路径的总费用高于给定阈值，结束计算。
8.根据权利要求7所述的红外抗干扰跟踪方法，其特征在于：所述步骤(3)中，判断最短路径的总费用时，以两节点对应的两个目标的不相似度衡量费用，费用与不相似度正相关，目标Xi与目标Xj之间不相似度dQ(i,j)为对应的特征集Fi与特征集Fj的不相似度，表达式为：
Figure FDA0002524008070000031
其中，l为特征集包含特征的数量，ωk为对应特征的权重，满足
Figure FDA0002524008070000032
Figure FDA0002524008070000033
分别表示特征集Fi、特征集Fj的第k个特征。
9.根据权利要求8所述的红外抗干扰跟踪方法，其特征在于：所述步骤(3)中，通过求解最小费用网络流，得到多目标的轨迹信息时，利用滑动时间窗分割红外视频，得到一组滑动时间窗内的图像序列，基于得到的图像序列求解最小费用网络流。
10.根据权利要求8所述的红外抗干扰跟踪方法，其特征在于：所述步骤(4)中，判断所述轨迹预测模型和/或多目标跟踪模型得到的候选目标是否与跟踪得到真实目标相匹配时，计算候选目标与跟踪得到真实目标的不相似度，若不相似度小于匹配阈值，则认为匹配真实目标。
CN202010498900.9A 2020-06-04 2020-06-04 一种红外抗干扰跟踪方法 Active CN111652150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010498900.9A CN111652150B (zh) 2020-06-04 2020-06-04 一种红外抗干扰跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010498900.9A CN111652150B (zh) 2020-06-04 2020-06-04 一种红外抗干扰跟踪方法

Publications (2)

Publication Number Publication Date
CN111652150A true CN111652150A (zh) 2020-09-11
CN111652150B CN111652150B (zh) 2024-03-19

Family

ID=72344105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010498900.9A Active CN111652150B (zh) 2020-06-04 2020-06-04 一种红外抗干扰跟踪方法

Country Status (1)

Country Link
CN (1) CN111652150B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114398A (zh) * 2021-04-14 2021-07-13 中南大学 基于残差连接与膨胀卷积的通信干扰存在性检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835178A (zh) * 2015-02-02 2015-08-12 郑州轻工业学院 一种低信噪比运动小目标的跟踪与识别的方法
CN106327526A (zh) * 2016-08-22 2017-01-11 湖南挚新科技发展有限公司 图像目标跟踪方法与系统
CN107146234A (zh) * 2017-05-17 2017-09-08 西北工业大学 多层次约束的多目标追踪算法
US20180114072A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking Using Tracklets
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110660084A (zh) * 2019-09-30 2020-01-07 上海淡竹体育科技有限公司 一种多目标跟踪的方法及装置
CN110751096A (zh) * 2019-10-21 2020-02-04 陕西师范大学 一种基于kcf轨迹置信度的多目标跟踪方法
CN111127513A (zh) * 2019-12-02 2020-05-08 北京交通大学 一种多目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835178A (zh) * 2015-02-02 2015-08-12 郑州轻工业学院 一种低信噪比运动小目标的跟踪与识别的方法
CN106327526A (zh) * 2016-08-22 2017-01-11 湖南挚新科技发展有限公司 图像目标跟踪方法与系统
US20180114072A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking Using Tracklets
CN107146234A (zh) * 2017-05-17 2017-09-08 西北工业大学 多层次约束的多目标追踪算法
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110660084A (zh) * 2019-09-30 2020-01-07 上海淡竹体育科技有限公司 一种多目标跟踪的方法及装置
CN110751096A (zh) * 2019-10-21 2020-02-04 陕西师范大学 一种基于kcf轨迹置信度的多目标跟踪方法
CN111127513A (zh) * 2019-12-02 2020-05-08 北京交通大学 一种多目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘雅婷;王坤峰;王飞跃;: "基于踪片Tracklet关联的视觉目标跟踪:现状与展望", 自动化学报 *
张丽娟: "复杂场景下的多目标跟踪研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张丽娟;周治平;: "基于网络流的分层关联多目标跟踪", 计算机辅助设计与图形学学报 *
王鹏;: "多目标跟踪中目标数量准确识别算法", 光学与光电技术 *
赵开开: "基于循环神经网络的视频目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114398A (zh) * 2021-04-14 2021-07-13 中南大学 基于残差连接与膨胀卷积的通信干扰存在性检测方法

Also Published As

Publication number Publication date
CN111652150B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110084831B (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN110660082B (zh) 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN109146921B (zh) 一种基于深度学习的行人目标跟踪方法
Zhao et al. A spatial-temporal attention model for human trajectory prediction.
CN109872346B (zh) 一种支持循环神经网络对抗学习的目标跟踪方法
CN104835178B (zh) 一种低信噪比运动小目标的跟踪与识别的方法
CN106846355B (zh) 基于提升直觉模糊树的目标跟踪方法及装置
CN111476302A (zh) 基于深度强化学习的Faster-RCNN目标物体检测方法
CN111612243A (zh) 交通速度预测方法、系统及存储介质
CN111932583A (zh) 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN106846361B (zh) 基于直觉模糊随机森林的目标跟踪方法及装置
CN109993770B (zh) 一种自适应时空学习与状态识别的目标跟踪方法
Dai et al. Instance segmentation enabled hybrid data association and discriminative hashing for online multi-object tracking
CN111274917A (zh) 一种基于深度检测的长时目标跟踪方法
Wen et al. End-to-end semi-supervised learning for differentiable particle filters
CN112233145A (zh) 一种基于rgb-d时空上下文模型的多目标遮挡跟踪方法
Li et al. Multi-target tracking with trajectory prediction and re-identification
Li et al. Fish trajectory extraction based on object detection
CN111652150B (zh) 一种红外抗干扰跟踪方法
Akabane et al. Pedestrian trajectory prediction using pre-trained machine learning model for human-following mobile robot
Zhang et al. Pedestrian trajectory prediction with MLP-social-GRU
CN111241965A (zh) 一种基于多示例学习进行遮挡检测的目标跟踪方法
CN115951325A (zh) 基于BiGRU的多舰船目标跟踪方法、存储介质及产品
CN112767438B (zh) 结合时空运动的多目标跟踪方法
Liu et al. Multipedestrian online tracking based on social force-predicted deformable key-points mapping via compressive sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant