CN112700477A - 基于背景抑制和记忆跟踪的红外目标跟踪方法 - Google Patents

基于背景抑制和记忆跟踪的红外目标跟踪方法 Download PDF

Info

Publication number
CN112700477A
CN112700477A CN202011559836.7A CN202011559836A CN112700477A CN 112700477 A CN112700477 A CN 112700477A CN 202011559836 A CN202011559836 A CN 202011559836A CN 112700477 A CN112700477 A CN 112700477A
Authority
CN
China
Prior art keywords
target
tracking
image
background
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011559836.7A
Other languages
English (en)
Inventor
张蛟淏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN202011559836.7A priority Critical patent/CN112700477A/zh
Publication of CN112700477A publication Critical patent/CN112700477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于背景抑制和记忆跟踪的红外目标跟踪方法，其包括：首先对红外图像进行背景抑制以得到第一个目标位置响应图；然后，利用概率模型区分图像中的前景和背景以得到第二个目标位置响应图；线性融合以上两个响应图，其最大响应值的位置作为目标的新位置。本发明利用背景抑制技术降低噪声，使用记忆跟踪强化对红外目标的跟踪能力，极大程度提高红外跟踪能力，提高成功率。

Description

基于背景抑制和记忆跟踪的红外目标跟踪方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于背景抑制和记忆跟踪的红外目标跟踪方法。
背景技术
近年来，随着视频监控、机器人、无人驾驶、无人机等行业的迅速崛起，基于图像处理的自动跟踪算法也成为了计算机视觉领域的一个热点。跟踪算法需要克服的一大难题是抗干扰。
以红外图像对无人机跟踪为例，在跟踪过程中，以用途最广泛的大疆精灵系列为例，若无人机距离超过300m，则在图像中往往只能看到十几个像素大小的无人机图像，使用模式识别的方法很难将其与干扰物做分类。而在红外视场中，与无人机目标类似的干扰物有很多，诸如树枝末梢、小块的云层、山上较亮的石头、建筑物的尖端等，很容易对红外跟踪造成干扰。
此外，无人机飞行中还会相对红外镜头有尺度变化，如果出现这种情况，会对跟踪很大的负面影响。传统的目标跟踪算法通常采用滤波的方法首先将无关信息滤去，同时使用HOG特征对目标做一定的识别，以此完成目标跟踪。
发明内容
本发明提出一种基于背景抑制和记忆跟踪的红外目标跟踪方法，其属于复合型红外目标跟踪方法，使用背景抑制的方法解决抗干扰的问题，使用记忆跟踪方法增加跟踪的成功率，从而实现红外小目标跟踪下的抗干扰。
对此，本发明提出一种基于背景抑制和记忆跟踪的红外目标跟踪方法，其包括：首先对红外图像进行背景抑制以得到第一个目标位置响应图；然后，利用概率模型区分图像中的前景和背景以得到第二个目标位置响应图；线性融合以上两个响应图，其最大响应值的位置作为目标的新位置。
进一步的，利用自适应高斯窗对红外图像的DCF跟踪模型的采样样本进行背景抑制，以得到第一个目标位置响应图。
进一步的，利用颜色概率模型区分图像中的前景和背景以得到第二个目标位置响应图。
进一步的，本跟踪方法是在粒子滤波框架下,对下一帧每个粒子候选目标区域提取分块协方差矩阵特征向量,候选目标和模板用非重叠的协方差特征表示；然后将一组目标模板集作为基函数来线性表示每一个目标候选。通过记忆梯度追踪得到优化解后的稀疏系数。
本发明的技术方案具有以下有益效果：
本发明利用背景抑制技术降低噪声，使用记忆跟踪强化对红外目标的跟踪能力，极大程度提高红外跟踪能力，提高成功率。
附图说明
图1是背景抑制策略中，分别使用固定高斯窗与自适应高斯窗提取到的目标灰度概率模型。
图2是该算法在实际使用中稳定跟踪案例。
具体实施方式
本发明提出一种基于背景抑制和记忆跟踪的红外目标跟踪方法。其包括：首先对红外图像进行背景抑制以得到第一个目标位置响应图；然后，利用概率模型区分图像中的前景和背景以得到第二个目标位置响应图；线性融合以上两个响应图，其最大响应值的位置作为目标的新位置。
利用自适应高斯窗对红外图像的DCF跟踪模型的采样样本进行背景抑制，以得到第一个目标位置响应图。自适应高斯窗可以在很好地适应目标与背景的变化，可以自适应调整高斯窗的带宽，从而应对目标尺度变化或相似的问题时拥有更好的鲁棒性。
利用颜色概率模型区分图像中的前景和背景以得到第二个目标位置响应图。
本跟踪方法是在粒子滤波框架下,对下一帧每个粒子候选目标区域提取分块协方差矩阵特征向量,候选目标和模板用非重叠的协方差特征表示；然后将一组目标模板集作为基函数来线性表示每一个目标候选。通过记忆梯度追踪得到优化解后的稀疏系数。
本发明的背景抑制策略：
本发明的背景抑制策略主要用于压制可能的干扰物，以提高目标跟踪的准确性。在本方案中，背景抑制策略分为两种：自适应高斯窗和灰度概率模型。
1.自适应高斯窗
在图像上使用高斯窗函数可以有效降低边界效应，通过这种方法不但可以抑制背景区域，而且可以有效降低频率泄漏。而在选取窗函数时为了克服固定带宽难以适应尺度变化的弱点，使用一种自适应的窗函数。其定义为：
G(m,n，σw，σh)＝g(m，σw)*g(n,σh) (1)
其中，g(m,σw)与g(n,σh)可以用高斯函数g(n，σ)表示，其中：
Figure BDA0002860132050000031
而正如我们所知道的，对一个高斯函数做傅里叶变换，其结果仍然是一个高斯函数，在这个理论基础上，前景与背景可以得到较为有效的分割。所述的算法通过控制高斯窗的带宽，从而对目标尺度变化不敏感，克服固定带宽适应能力弱的问题。假设初始目标区域大小为l×h，采样区域大小为L×H，高斯窗的大小为m×n。由于FHOG特征窗大小为4×4，所以m＝L/4，h＝H/4。通过理论分析可知，当目标很小时，传统的固定带宽的窗函数无法将目标与背景分割开来；而当目标很大时，则会产生大量的漏检。这是其窗带宽固定导致的适应能力低下。而自适应高斯窗可以在很大程度上适应目标与背景的变化，从而应对目标尺度变化或相似的问题时拥有更好的鲁棒性。
2.灰度概率模型
通过长期从事目标跟踪的技术积累，我们知道在红外图像中一定时间内同一运动目标的灰度不会发生很大的变化，利用该特性，可以对一定时间内特定目标的灰度做处理从而完成背景抑制的工作。
其公式如下：
Figure BDA0002860132050000041
其中，Pt(ax|x∈O)是第t帧中还未归一化的前景与背景直方图在第ax区间中的统计个数。通过这种统计的方法，可以有效统计与预测目标位置，从而提高目标跟踪的成功率。
本发明的基于背景抑制和记忆跟踪的红外目标跟踪方法，其代码可采用C++编程实现。
本发明针对干扰较多场景下的红外目标跟踪问题，提出一种基于背景抑制与记忆跟踪的跟踪算法，利用背景抑制技术降低噪声，使用记忆跟踪强化对红外目标的跟踪能力，极大程度提高红外跟踪能力，提高成功率。
本发明一般与红外镜头和伺服云台一起使用，作为以上两种设备的后端使用。可搭载于Windows系统，借助OpenCV与cuda使一部分运算量较大的算法在GPU平台上处理。
该算法对640*512大小的红外图片处理速度保持在10ms/帧以上，对80Hz左右的红外图传可以实现实时跟踪。
图1是背景抑制策略中，分别使用固定高斯窗与自适应高斯窗提取到的目标灰度概率模型。可以看出，与固定高斯窗相比，自适应高斯窗提取的目标对比度更好，相对峰值更高，可以更加有效地对目标完成跟踪。
图2是该算法在实际使用中稳定跟踪案例。可以看到，算法锁定目标后，即使在目标周围有亮度很高(即干扰很强的电线等干扰物)的干扰，依然可以通过背景抑制策略降低其背景噪声，从而保持稳定跟踪。而当目标被电线杆遮挡时，记忆跟踪起到了作用，使跟踪框在目标从遮挡物后探出时仍然可以做稳定跟踪。

Claims (4)

1.一种基于背景抑制和记忆跟踪的红外目标跟踪方法，其特征在于，其包括：
首先对红外图像进行背景抑制以得到第一个目标位置响应图；然后，利用概率模型区分图像中的前景和背景以得到第二个目标位置响应图；最后，线性融合以上两个响应图，其最大响应值的位置作为目标的新位置。
2.根据权利要求1所述的方法，其特征在于，利用自适应高斯窗对红外图像的DCF跟踪模型的采样样本进行背景抑制，以得到第一个目标位置响应图。
3.根据权利要求1所述的方法，其特征在于，利用颜色概率模型区分图像中的前景和背景以得到第二个目标位置响应图。
4.根据权利要求1所述的方法，其特征在于，所述方法在粒子滤波框架下,对下一帧每个粒子候选目标区域提取分块协方差矩阵特征向量,候选目标和模板用非重叠的协方差特征表示；然后将一组目标模板集作为基函数来线性表示每一个目标候选；通过记忆梯度追踪得到优化解后的稀疏系数。
CN202011559836.7A 2020-12-25 2020-12-25 基于背景抑制和记忆跟踪的红外目标跟踪方法 Pending CN112700477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011559836.7A CN112700477A (zh) 2020-12-25 2020-12-25 基于背景抑制和记忆跟踪的红外目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011559836.7A CN112700477A (zh) 2020-12-25 2020-12-25 基于背景抑制和记忆跟踪的红外目标跟踪方法

Publications (1)

Publication Number Publication Date
CN112700477A true CN112700477A (zh) 2021-04-23

Family

ID=75510402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011559836.7A Pending CN112700477A (zh) 2020-12-25 2020-12-25 基于背景抑制和记忆跟踪的红外目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112700477A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096343A (zh) * 2015-08-14 2015-11-25 中国联合网络通信集团有限公司 一种移动目标跟踪方法及装置
CN107194408A (zh) * 2017-06-21 2017-09-22 安徽大学 一种混合块稀疏协作模型的目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN109166139A (zh) * 2018-07-18 2019-01-08 天津大学 一种结合快速背景抑制的尺度自适应目标跟踪方法
CN111951297A (zh) * 2020-08-31 2020-11-17 郑州轻工业大学 一种基于结构化逐像素目标注意机制的目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096343A (zh) * 2015-08-14 2015-11-25 中国联合网络通信集团有限公司 一种移动目标跟踪方法及装置
CN107194408A (zh) * 2017-06-21 2017-09-22 安徽大学 一种混合块稀疏协作模型的目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN109166139A (zh) * 2018-07-18 2019-01-08 天津大学 一种结合快速背景抑制的尺度自适应目标跟踪方法
CN111951297A (zh) * 2020-08-31 2020-11-17 郑州轻工业大学 一种基于结构化逐像素目标注意机制的目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANZI WANG等: "Adaptive Object Tracking Based on an Effective Appearance Filter", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 29, no. 9, pages 1661 - 1667, XP011190170, DOI: 10.1109/TPAMI.2007.1112 *
华逸伦等: "基于背景抑制和前景抗干扰的多尺度跟踪算法", 《红外技术》, vol. 40, no. 11, pages 1098 - 1105 *
郭强等: "基于记忆梯度追踪的高效稀疏跟踪算法", 《计算机辅助设计与图形学学报》, vol. 28, no. 4, pages 565 - 571 *

Similar Documents

Publication Publication Date Title
US10325351B2 (en) Systems and methods for normalizing an image
CN111241931B (zh) 一种基于YOLOv3的空中无人机目标识别和跟踪方法
CN106707296A (zh) 一种基于双孔径光电成像系统的无人机检测与识别方法
CN109377555B (zh) 自主水下机器人前景视场三维重建目标特征提取识别方法
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN109785366A (zh) 一种针对遮挡的相关滤波目标跟踪方法
CN112561899A (zh) 电力巡检图像识别方法
CN114299002A (zh) 一种路面抛洒异常行为智能检测系统与方法
CN111915558B (zh) 一种高压输电线销钉状态检测方法
CN108765460B (zh) 基于高光谱图像的空时联合异常检测方法和电子设备
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN109448024B (zh) 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统
FAN et al. Robust lane detection and tracking based on machine vision
Miller et al. Person tracking in UAV video
CN111260686B (zh) 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN111611866B (zh) 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
CN109948570B (zh) 一种用于动态环境下的无人机实时检测方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN115082517B (zh) 基于数据增强的赛马场景多目标追踪方法
CN112700477A (zh) 基于背景抑制和记忆跟踪的红外目标跟踪方法
CN112329796B (zh) 基于视觉显著性的红外成像卷云检测方法和装置
CN111027427B (zh) 一种用于小型无人机竞速比赛的目标门检测方法
Brosch et al. Automatic target recognition on high resolution sar images with deep learning domain adaptation
CN114429593A (zh) 基于快速导向滤波的红外小目标检测方法及其应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination