CN115222775A - 弱小目标检测跟踪装置及其检测跟踪方法 - Google Patents

弱小目标检测跟踪装置及其检测跟踪方法 Download PDF

Info

Publication number
CN115222775A
CN115222775A CN202211118444.6A CN202211118444A CN115222775A CN 115222775 A CN115222775 A CN 115222775A CN 202211118444 A CN202211118444 A CN 202211118444A CN 115222775 A CN115222775 A CN 115222775A
Authority
CN
China
Prior art keywords
target
tracking
suspected
characteristic
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211118444.6A
Other languages
English (en)
Other versions
CN115222775B (zh
Inventor
王佳荣
孙佳琪
孙海江
朱明�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202211118444.6A priority Critical patent/CN115222775B/zh
Publication of CN115222775A publication Critical patent/CN115222775A/zh
Application granted granted Critical
Publication of CN115222775B publication Critical patent/CN115222775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明涉及图像处理领域，特别涉及一种弱小目标检测跟踪装置及其检测跟踪方法，其中的检测方法包括：S1、通过基于卷积神经网络的时空融合背景抑制算法将红外图像中的目标与背景进行分离，得到粗检测结果；S2、通过基于卷积神经网络的跨尺度与多形态自适应的红外小目标检测算法对粗检测结果进行二次真实目标筛选与捕获，得到细检测结果；其中的跟踪方法包括：S11、通过基于卷积神经网络的红外点目标跟踪算法对红外图像的细检测结果进行粗跟踪；S22、通过基于鉴别逻辑的多层次目标确认算法对粗跟踪结果进行判别，得到最终的每帧检测结果和跟踪航迹结果。本发明在目标呈现不同灰度和不同形态状况时均确保准确率，且不受干扰物影响。

Description

弱小目标检测跟踪装置及其检测跟踪方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种弱小目标检测跟踪装置及其检测跟踪方法。
背景技术
红外探测器距离目标较远时，目标呈“弱”和“小”属性，所谓“弱”是指目标红外辐射的强度，即信噪比较低，边缘模糊、信号强度弱。所谓“小”是指目标所占的像素数，通常在9*9像素以内，缺乏纹理、形状、大小等结构信息。本发明所针对的目标通常存在复杂运动状态，其运动过程中或可出现多次自身状态变化，包括自身分解、主目标与分解干扰物相近、同屏存在等，且干扰物与真实目标的面积和亮度特征相近、甚至大于真实目标，所以很容易造成目标检测跟踪中的虚警。因此如何对复杂运动的弱小目标实现有效检测、不间断跟踪成为了红外探测系统所关注的焦点。
发明内容
鉴于上述问题，本发明的目的是提出一种弱小目标检测跟踪装置及其检测跟踪方法。通过对目标分别进行“粗、细检测”和“粗、细跟踪”的方式，得到每帧检测结果和跟踪航迹结果。
与现有的技术相比，本发明具有以下优点：
（1）打破了“检测前跟踪”和“跟踪前检测”的界限，构建了一体化检测跟踪模型，将传统图像处理、逻辑建模方法和人工智能、大数据相结合，智能地优化目标信息的先验分布，将检测、跟踪均采用由粗到精的两段式策略；
（2）针对红外图像背景干扰造成的虚警和小目标检测率低的问题，设计了背景抑制级联小目标检测网络，在目标呈现不同灰度（暗弱、高亮）、不同形态（点、斑）状况时均确保准确率；
（3）针对目标运动状态复杂、频繁消隐再现导致跟踪难的问题，设计了跟踪网络级联目标确认算法，解决目标外观持续变化、无明显纹理而导致特征提取难的问题；
（4）引入了目标的运动先验信息，实现了去除干扰物、云层、孤立高亮噪点的目的。
附图说明
图1是根据本发明实施例提供的弱小目标检测跟踪方法的流程示意图。
图2是根据本发明实施例提供的弱小目标检测跟踪方法的逻辑框架示意图。
图3是根据本发明实施例提供的弱小目标检测跟踪方法的外观信息特征提取网络及注意力模块结构示意图。
图4是根据本发明实施例提供的弱小目标检测跟踪方法的检测跟踪技术效果示意图。
具体实施方式
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
图1示出了根据本发明实施例提供的弱小目标检测跟踪方法的流程示意图。
图2示出了根据本发明实施例提供的弱小目标检测跟踪方法的逻辑框架示意图。
噪声和背景杂波是影响红外小目标检测的主要因素，则背景抑制及减除的策略被广泛应用于红外小目标检测。基于空域（视觉特征）的背景抑制方法是针对空天目标的“奇异点”特性，在无云或是背景起伏不大时具有比较好的表现，但无法应对复杂背景（比如多云、光照）；基于时域（运动特征）的背景抑制方法难以应对目标长时间静止或是背景变化或抖动的情况。通过时域和空域融合的方式克服了单从某一方面进行背景抑制的局限性，更好地分辨目标与构建的背景区域之间的多方面差异，提高点、斑目标信噪比，最大限度的得到全部的疑似目标。
如图1和图2所示，本发明提供的弱小目标检测跟踪方法中的检测方法包括以下步骤：
S1、通过基于卷积神经网络的背景抑制算法将所述红外图像中的目标与背景进行分离，得到粗检测结果；
步骤S1包括以下子步骤：
S101、通过轻量化的空天目标红外图像背景抑制网络对红外图像进行空域背景抑制，根据目标和背景的形态差异性得到空域背景抑制图像；
S102、通过混合高斯模型背景差分法对红外图像进行时域背景抑制，根据目标的运动特性得到时域背景抑制图像；
S103、根据当前序列红外图像场景状况及需求对所述两种背景抑制图像进行像素级融合后得到融合结果。融合时，默认设置为空域背景抑制图像占0.7权重，时域背景抑制图像占0.3权重。若预知该序列图像为背景静止状态，则空域背景抑制图像占0.3权重，时域背景抑制图像占0.7权重；
S104、对所述图像融合结果进行对比度拉伸处理和锐化增强处理后得到增强图像；
S105、通过对所述增强图像进行取门限操作，保留疑似目标，得到粗检测结果。
S2、通过红外小目标检测网络对粗检测结果中的疑似目标进行二次目标捕获，得到细检测结果。
在真实红外序列图像中，目标的尺度不是一成不变的，受到外界多种因素的影响（如观测距离的改变，大气环境的不同，传感器观测角的改变等），与标准的点目标（经典3*3像素）相比，存在变尺度的小目标（圆斑状，一般最大可达到9*9像素）。在这种情况下，传统的固定阈值或自适应阈值滤波器的背景抑制滤波方法性能则会大大下降。
基于此，本发明设计基于卷积神经网络的跨尺度与多形态自适应的红外小目标检测网络，级联于背景抑制方法之后，作为细检测器，从大量疑似目标中对目标进行二次捕获，得到真实目标。
红外小目标检测网络可采用Yolo系列、Cascade RCNN系列、CenterNet等，改进其特征提取网络，针对小目标特性减少网络层数（卷积层、池化层），采用多尺度特征融合策略，迁移图像分割思想，充分学习目标在运动过程中状态的变化，在目标呈现不同灰度（暗弱、高亮）、不同形态（点、斑）、不同尺寸状况时均确保检测准确率。
本发明提供的弱小目标检测跟踪方法中的跟踪方法包括以下步骤：
S11、通过红外点目标跟踪网络对红外图像的目标进行粗跟踪，得到粗跟踪结果。
本发明所针对的目标运动状态复杂，以一般情况举例：目标运动开始时灰度较大，高于周围背景；在运动过程中，由于受到云层遮挡，灰度变化较为剧烈，目标与周围背景的灰度差异很小；目标运动中存在数次相机转动情况因而发生大幅度位移。简言之，运动全过程中，同一目标尺度、形状与背景对比度发生了明显变化，这大大提升了跟踪中表观建模的难度。
基于此，本发明借鉴Deepsort方法，采用经典的卡尔曼滤波轨迹预测、运动关联度量、匈牙利跟踪分配进行粗跟踪。
粗跟踪步骤S11包括以下步骤：
S111、基于细检测模块输出的细检测结果对目标进行轨迹处理和状态估计；
S112、结合目标的运动信息和外观特征进行数据关联；
S113、目标的建立与销毁。
本发明在上述步骤S112进行了创新和改进：
原经典的Deepsort方法中在此步骤会提取每一个目标的外观特征（应用经过训练的卷积神经网络），并且将每一个目标的每一次匹配到新的检测框的外观特征存储为一个集合，在每一次跟踪匹配的时候，计算新的检测框外观特征与该匹配目标的外观特征集合的最小余弦距离，来判断轨迹是否匹配，以便更好地进行重识别和处理遮挡。但问题在于若仅使用卷积神经网络提取的特征对不同帧间的目标进行匹配，当目标形态帧间变化时，算法就不能保证其提取到的特征的唯一不变性，易导致关联匹配失败。
本发明对Deepsort算法进行了如下改进：
第一、对Deepsort算法外观信息特征提取部分的输入进行了增扩，第二、对Deepsort算法的外观信息特征提取网络进行了改进。
图3示出了根据本发明实施例提供的弱小目标检测跟踪方法的外观信息特征提取网络及注意力模块结构示意图。
如图3所示，所设计的红外点目标跟踪网络中的外观特征提取网络的输入端叠加了圆形LBP特征，即在每个检测框/预测框上计算该区域的圆形LBP特征（计算简单，几乎不耗时），再将其与原始网络输入（即细检测结果对应的目标图像区域）进行像素级融合，以增加小目标的多维度辨识性。圆形LBP特征(Circular LBP or Extended LBP)使用圆形邻域代替原始LBP的正方形邻域，其允许在半径为R的邻域内有任意多个像素点，从而得到在半径为R的区域内含有P个采样点的LBP算子特征，更适用于描述点、斑图像局部纹理特征。
经过红外点目标跟踪网络获得的粗跟踪结果仍有可能包含自身解体干扰物、云层、高亮噪点，所以需要基于先验知识进行下一步细跟踪。
原Deepsort算法的外观信息特征提取网络不是很适应特征不明显的暗弱小目标，本发明基于原有网络重新设计了其结构：
首先减少Deepsort的特征提取网络的网络层数（卷积层、池化层）以避免弱纹理信息丢失。
然后将通道注意力模块、空间注意力模块无缝集成于特征网络中，使特征提取网络能够根据局部上下文和全局语义信息来决定所提取特征的“传递”系数，促使关键信息在最终特征图中占多数，从而强化点、斑目标外观信息表征，避免类内干扰。
改进后的Deepsort算法包括以下处理步骤：
S1101：输入大小为H×W×1（高、宽和通道数）的图像A，经过Conv层（卷积、正则化、ReLU激活函数）处理后，输出大小为H×W×64的特征Q1；
S1102：特征Q1经过最大池化层处理后输出大小为H/2×W/2×64的特征Q2；
S1103：特征Q2经过两次BasicBlock层（Conv层、卷积操作、正则化、相加、ReLU激活函数）处理后输出大小为H/2×W/2×64的特征Q3；
S1104：特征Q3经过Attention模块（下文介绍）处理后输出大小为H/2×W/2×64的特征Q4；
S1105：特征Q4经过BasicBlock_downsample层（并行的Conv层与卷积操作、正则化、相加、ReLU激活函数）处理后输出大小为H/4×W/4×128的特征Q5；
S1106：特征Q5经过BasicBlock层处理（Conv层、卷积操作、正则化、相加、ReLU激活函数）输出大小为H/4×W/4×128的特征Q6；
S1107：特征Q6经过Attention模块（下文介绍）处理后输出大小为H/4×W/4×128的特征Q7；
S1108：特征Q7经过BasicBlock_downsample层（并行的Conv层与卷积操作、正则化、相加、ReLU激活函数）处理后输出大小为H/8×W/8×256的特征Q8；
S1109：特征Q8经过BasicBlock层（Conv层、卷积操作、正则化、相加、ReLU激活函数）处理后输出大小为H/8×W/8×256特征Q9；
S1110：特征Q9经过Attention模块（下文介绍）输出大小为H/8×W/8×256的特征Q10；
S1111：特征Q10经过BasicBlock_downsample层（并行的Conv层与卷积操作、正则化、相加、ReLU激活函数）处理后输出大小为H/16×W/16×512的特征Q11；
S1112：特征Q11经过BasicBlock层（Conv层、卷积操作、正则化、相加、ReLU激活函数）处理后输出大小为H/16×W/16×512的特征Q12，得到最终的特征图；
Attention模块结构设计详见如图2所示，包括通道注意力与空间注意力级联，具体包括：
首先进行通道注意力操作：
S11a：输入大小为H×W×C（高、宽和通道数）的特征E，对空间维度进行平均池化处理后输出大小为1×1×C特征E1，对空间维度进行最大池化处理输出大小为1×1×C的特征E2；
S11b：特征E1经过全连接、Relu激活函数后输出大小为1×1×C1的特征E1-1，C1=H×W×C/16；
特征E2经过全连接、Relu激活函数后层输出大小为1×1×C1的特征E2-1，C1=H×W×C/16；
S11c：特征E1-1经过全连接后输出大小为1×1×C的特征E1-2, E2-1经过全连接层输出大小为1×1×C的特征E2-2；
S11d：特征E1-2与特征E2-2相加经过Sigmoid函数输出大小为1×1×C的特征E3，特征E3与输入原始特征E沿通道维度进行哈达玛积处理，输出大小为H×W×C的特征E4；
再进行空间注意力操作：
S11e：输入大小为H×W×C（高、宽和通道数）的特征E4，对通道维度进行平均池化处理后输出大小为H×W×1的特征E5，对通道维度进行最大池化处理输出大小为H×W×1的特征E6；
S11f：特征E5与特征E6进行拼接，经过卷积层、Sigmoid函数处理后输出大小为H×W×1的特征E7；
S11g：特征E7与特征E4沿空间维度进行哈达玛积处理，输出大小为H×W×C的最终特征E8。
S22、通过基于鉴别逻辑的多层次目标确认算法对细检测结果中的真实目标进行判别，得到目标的最终检测结果。
步骤S22包括以下子步骤：
预处理步骤S220、设置以下参数：第一轨迹长度阈值len_long_th，第二轨迹长度阈值len_short_th，重复帧号率scale，帧号阈值frame_th；轨迹断续次数阈值interrupt_th，目标短间隔移动距离阈值distance_th，置信度阈值confidence_th，预设置信度值confidence_low；粗跟踪结果Trai内包含多个疑似目标集id，每个idi指代该疑似目标编号，并随编号附上其在当前的轨迹信息（帧号、边框尺寸位置、质心位置）。
S221、根据粗跟踪结果计算疑似目标的二维运动趋势direc。
因为目标运动状态复杂（有中断、拐弯），需动态判断目标在图像上的二维运动趋势direc（二维运动趋势direc包括：左上或左下或右下或右上。）。
S222、根据疑似目标的二维运动趋势direc对粗跟踪结果中的虚假目标进行动态去除，得到每帧图像和全序列检测结果。
在步骤S222中，包括以下虚假目标的去除以及判定方法：
对于序列红外图像中的粗跟踪结果Trai：
根据前n帧疑似目标idi位置推算当前帧疑似目标idi初始位置区域Ai。
基于目标初始位置区域Ai，根据目标二维运动趋势direc划分，求解非正确探测区域，将疑似目标idi轨迹中处于非正确探测区域的虚假目标位置去掉，同时更新疑似目标集id和粗跟踪结果Trai。
取图像中前n帧进行自适应阈值分割，大于阈值的像素点即为坏亮点，得到坏亮点集S(i,j)；
若坏亮点在子序列轨迹结果Li轨迹点的邻域内，则认为该坏亮点实际为目标点，将其从坏亮点集S(i,j)中删除；
以前n帧计算的坏亮点集S(i,j)为依据，若该疑似目标idi轨迹点在坏亮点预设邻域内（预设邻域的半径为0.5或1pixel），则认为该点为坏亮点，将该点从粗跟踪结果Trai中去除，同时更新疑似目标集id。
当疑似目标idi轨迹中第ni帧与相邻帧、短间隔帧移动距离大于目标短间隔移动距离阈值distance_th时：
判断该疑似目标idi在第ni帧是虚警，将该帧轨迹点从疑似目标idi轨迹中去除，同时更新疑似目标集id和粗跟踪结果Trai。
若疑似目标idi轨迹中第ni帧与相邻帧的运动方向与所述二维运动趋势direc不一致时：
判断该疑似目标idi在第ni帧是虚警，将该帧轨迹从疑似目标idi轨迹中去除，并更新粗跟踪结果Trai；
若疑似目标idi轨迹发生断续，则根据断续点拆成多个新的疑似目标id，方便后期的疑似目标集id进行关联匹配、路径拼接，同时更新红外图像粗跟踪结果Trai。
当疑似目标idi轨迹小于第二轨迹长度阈值len_short_th时：
判断该疑似目标idi为虚警，将其从疑似目标集id中去除，更新疑似目标集id和红外图像粗跟踪结果Trai。
若该疑似目标idi与相邻疑似目标idi（单/多个）的运动方向与二维运动趋势direc不一致时：
判断该疑似目标idi为虚警目标，将其从疑似目标集id中去除，更新疑似目标集id和红外图像粗跟踪结果Trai。
若疑似目标idi轨迹发生静止异常（非正常运动状态下的原地不动）：
判断该疑似目标idi为虚警目标，将其从疑似目标集id中去除，更新红外图像粗跟踪结果Trai和疑似目标集id。根据轨迹发生时间段，对红外图像粗跟踪结果Trai内疑似目标集id按时间先后顺序进行排序。
对于同一段红外图像粗跟踪结果Trai中的疑似目标idi：
若任一个疑似目标idi与红外图像粗跟踪结果Trai中的另一个疑似目标idj的重复帧号超过
Figure 250622DEST_PATH_IMAGE001
时：
以轨迹长度和轨迹出现先后为依据，对疑似目标idi和疑似目标idj中较短的疑似目标或较晚出现的疑似目标设定预设置信度confidence_low。
当疑似目标idi的轨迹长度<第一轨迹长度阈值len_long_th时，判定为短疑似目标idi，当疑似目标idi的轨迹长度≥第一轨迹长度阈值len_ long th时，判定为疑似目标idlong。在红外图像粗跟踪结果Trai中以预设疑似目标idlong为节点和基准对将满足以下条件时的任一短疑似目标idi设定预设置信度confidence_low：
（1）所述短疑似目标idi比疑似目标idlong先出现
（2）所述短疑似目标idi与疑似目标idlong之间的距离大于目标短间隔移动距离阈值distance_th；
当疑似目标idi的轨迹断续次数大于轨迹断续次数阈值interrupt_th且该疑似目标idi轨迹长度小于第一轨迹长度阈值len_long_th时，设定该疑似目标idi预设置信度confidence_low；
当疑似目标idi的累积置信度小于置信度阈值confidence_th，将其从目标集id中去除，更新疑似目标集id。
将红外图像粗跟踪结果Trai内所有疑似目标集id的轨迹信息按帧号拼接为一个第一轨迹序列Li，将第一轨迹序列Li中的异常轨迹点（尖峰、孤立点）去除，反向更新红外图像粗跟踪结果Trai和疑似目标集id。
将第一轨迹序列Li作为当前红外图像中目标最终轨迹。
若当前红外图像的尾帧大于帧号阈值frame_th且当前第一轨迹序列Li小于第一轨迹长度阈值len_long_th时：
认为当前轨迹为虚警段，不存在目标，不保留当前第一轨迹结果Li。
选择是否将第一轨迹结果Li和原图比对、去除空关联。
将第一轨迹结果Li转换全序列每帧检测结果。
图4示出了根据本发明实施例提供的弱小目标检测跟踪方法的检测跟踪技术效果示意图。
本发明部分实验结果可视化如图4所示，每组红外仿真图像序列由400帧组成，第一行、第二行为单目标，第三、四、五行则含多个移动目标点。从运动特性角度：移动目标随机起始点；加速度/速度按规律曲线拟合，但在一定范围内随机化；运动角度多样化；轨迹多样化。从目标角度：目标亮度、形态随运动变化；多目标跟踪时目标数量随机。
本发明还包括一种弱小目标检测跟踪装置，包括：检测模块和跟踪模块；
检测模块包括粗检测单元和细检测单元；
粗检测单元用于通过基于卷积神经网络的背景抑制算法将红外图像中的目标与背景进行分离得到粗检测结果；
粗检测单元包括空域背景抑制子单元、时域背景抑制子单元、图像融合子单元、图像增强子单元和阈值分割子单元；
空域背景抑制子单元通过轻量化的空天目标红外图像背景抑制网络对红外图像进行空域背景抑制，根据目标和背景的形态差异性得到空域背景抑制图像；
时域背景抑制子单元用于通过混合高斯模型背景差分法对红外图像进行时域背景抑制，根据目标的运动特性得到时域背景抑制图像；
图像融合子单元用于根据当前序列红外图像场景状况及需求对空域背景抑制图像和时域背景抑制图像进行像素级融合后得到图像融合结果。融合时，默认设置为空域背景抑制图像占0.7权重，时域背景抑制图像占0.3权重。若预知该序列图像为背景静止状态，则空域背景抑制图像占0.3权重，时域背景抑制图像占0.7权重；
图像增强子单元用于对图像融合结果进行对比度拉伸处理和锐化增强处理后得到增强图像；
阈值分割子单元用于通过对增强图像进行取门限操作，保留疑似目标，得到粗检测结果。
细检测单元用于通过基于卷积神经网络的跨尺度与多形态自适应的红外小目标检测算法对粗检测结果进行二次真实目标捕获，得到细检测结果；
跟踪模块包括粗跟踪单元和细跟踪单元；
粗跟踪单元用于通过基于卷积神经网络的红外点目标跟踪网络对红外图像中的细检测结果进行粗跟踪，得到粗跟踪结果；
细跟踪单元用于通过基于鉴别逻辑的多层次目标确认算法对粗跟踪结果中的真实目标进行判别，得到最终的每帧检测结果和跟踪航迹结果。
细跟踪单元包括：预处理子单元、目标运动趋势计算子单元和虚假目标去除子单元；
预处理子单元用于设置以下参数：第一轨迹长度阈值len_long_th，第二轨迹长度阈值len_short_th，重复帧号率scale，帧号阈值frame_th，轨迹断续次数阈值interrupt_th，目标短间隔移动距离阈值distance_th，置信度阈值confidence_th，预设置信度值confidence_low；
目标运动趋势计算子单元用于根据粗跟踪结果动态计算疑似目标的二维运动趋势direc；
虚假目标去除子单元用于根据二维运动趋势direc对粗跟踪结果中的虚假目标进行动态去除，得到最终的每帧检测结果和跟踪航迹结果。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (12)

1.一种弱小目标检测跟踪方法，其特征在于，包括弱小目标的检测方法和跟踪方法；
其中的检测方法包括以下步骤：
S1、通过基于卷积神经网络的时空融合背景抑制算法将红外图像中的目标与背景进行分离，得到粗检测结果；
S2、通过基于卷积神经网络的跨尺度与多形态自适应的红外小目标检测算法对所述粗检测结果进行二次真实目标捕获，得到细检测结果；
其中的跟踪方法包括以下步骤：
S11、通过基于卷积神经网络的红外点目标跟踪算法对所述红外图像的细检测结果进行粗跟踪，得到粗跟踪结果；
S22、通过基于鉴别逻辑的多层次目标确认算法对所述粗跟踪结果中的真实目标进行判别，得到最终的每帧检测结果和跟踪航迹结果。
2.根据权利要求1所述的弱小目标检测跟踪方法，其特征在于，
所述步骤S1包括以下子步骤：
S101、通过轻量化的空天目标红外图像背景抑制网络对所述红外图像进行空域背景抑制，根据目标和背景的形态差异性得到空域背景抑制图像；
S102、通过混合高斯模型背景差分法对所述红外图像进行时域背景抑制，根据目标的运动特性得到时域背景抑制图像；
S103、根据当前序列红外图像场景状况及需求对所述空域背景抑制图像和所述时域背景抑制图像进行像素级融合后得到融合结果；融合时，默认设置为空域背景抑制图像占0.7权重，时域背景抑制图像占0.3权重；若预知该序列图像为背景静止状态，则空域背景抑制图像占0.3权重，时域背景抑制图像占0.7权重；
S104、对所述融合结果进行对比度拉伸处理和锐化增强处理后得到增强图像；
S105、通过对所述增强图像进行取门限操作，保留疑似目标，得到粗检测结果。
3.根据权利要求2所述的弱小目标检测跟踪方法，其特征在于，
所述步骤S11包括以下子步骤：
S111、基于细检测模块输出的细检测结果对目标进行轨迹处理和状态估计；
S112、结合目标的运动信息和外观特征进行数据关联；
S113、目标的建立与销毁。
4.根据权利要求3所述的弱小目标检测跟踪方法，其特征在于，
所述步骤S112包括：
首先对Deepsort算法外观信息特征提取部分的输入进行了增扩；
在所述红外点目标跟踪算法中的外观特征提取网络的输入端叠加了圆形LBP特征，即在每个检测框/预测框上计算该区域的圆形LBP特征，再将其与所述细检测结果得到的目标图像区域进行像素级融合，以增加小目标的多维度辨识性；
其次对Deepsort算法的外观信息特征提取网络进行了改进；
减少网络卷积层、池化层以避免弱纹理信息丢失，再将通道注意力模块、空间注意力模块无缝集成于外观信息特征提取网络中。
5.根据权利要求4所述的弱小目标检测跟踪方法，其特征在于，
所述改进后的Deepsort算法包括以下处理步骤：
S1101：输入大小为H×W×1的图像A，经过Conv层处理后，输出大小为H×W×64的特征Q1；
S1102：所述特征Q1经过最大池化层处理后输出大小为H/2×W/2×64的特征Q2；
S1103：所述特征Q2经过两次BasicBlock层处理后输出大小为H/2×W/2×64的特征Q3；
S1104：所述特征Q3经过Attention模块处理后输出大小为H/2×W/2×64的特征Q4；
S1105：所述特征Q4经过BasicBlock_downsample层处理后输出大小为H/4×W/4×128的特征Q5；
S1106：所述特征Q5经过BasicBlock层处理输出大小为H/4×W/4×128的特征Q6；
S1107：所述特征Q6经过Attention模块处理后输出大小为H/4×W/4×128的特征Q7；
S1108：所述特征Q7经过BasicBlock_downsample层处理后输出大小为H/8×W/8×256的特征Q8；
S1109：所述特征Q8经过BasicBlock层处理后输出大小为H/8×W/8×256特征Q9；
S1110：所述特征Q9经过Attention模块输出大小为H/8×W/8×256的特征Q10；
S1111：所述特征Q10经过BasicBlock_downsample层处理后输出大小为H/16×W/16×512的特征Q11；
S1112：所述特征Q11经过BasicBlock层处理后输出大小为H/16×W/16×512的特征Q12，得到最终的特征图。
6.根据权利要求5所述的弱小目标检测跟踪方法，其特征在于，
在所述Attention模块中：
首先进行通道注意力操作：
S11a：输入大小为H×W×C的特征E，对空间维度进行平均池化处理后输出大小为1×1×C特征E1，对空间维度进行最大池化处理输出大小为1×1×C的特征E2；
S11b：所述特征E1经过全连接、Relu激活函数后输出大小为1×1×C1的特征E1-1，C1=H×W×C/16；
所述特征E2经过全连接、Relu激活函数后输出大小为1×1×C1的特征E2-1，C1=H×W×C/16；
S11c：所述特征E1-1经过全连接后输出大小为1×1×C的特征E1-2, 所述E2-1经过全连接后输出大小为1×1×C的特征E2-2；
S11d：所述特征E1-2与特征E2-2相加经过Sigmoid函数输出大小为1×1×C的特征E3，所述特征E3与输入原始特征E沿通道维度进行哈达玛积处理，输出大小为H×W×C的特征E4；
再进行空间注意力操作：
S11e：输入所述特征E4，对通道维度进行平均池化处理后输出大小为H×W×1的特征E5，对通道维度进行最大池化处理输出大小为H×W×1的特征E6；
S11f：所述特征E5与特征E6进行拼接，经过卷积层、Sigmoid函数处理后输出大小为H×W×1的特征E7；
S11g：所述特征E7与特征E4沿空间维度进行哈达玛积处理，输出大小为H×W×C的最终特征E8。
7.根据权利要求6所述的弱小目标检测跟踪方法，其特征在于，
所述步骤S22包括以下子步骤：
预处理步骤S220、设置以下参数：第一轨迹长度阈值len_long_th，第二轨迹长度阈值len_short_th，重复帧号率scale，帧号阈值frame_th，轨迹断续次数阈值interrupt_th，目标短间隔移动距离阈值distance_th，置信度阈值confidence_th，预设置信度值confidence_low；
S221、根据所述粗跟踪结果动态计算疑似目标的二维运动趋势direc；
S222、根据所述二维运动趋势direc对所述粗跟踪结果中的虚假目标进行动态去除，得到最终每帧检测结果和跟踪航迹结果。
8.根据权利要求7所述的弱小目标检测跟踪方法，其特征在于，
所述步骤S222中的虚假目标判定方法为：
对粗跟踪结果Trai内疑似目标集id按时间先后顺序进行排序；
当任一个疑似目标idi与另一个疑似目标idj的重复帧号超过
Figure 151298DEST_PATH_IMAGE001
时：以轨迹长度和轨迹出现时间为依据，对疑似目标idi和疑似目标idj中较短的疑似目标或较晚出现的疑似目标设定预设置信度confidence_low；
当疑似目标idi的轨迹长度<第一轨迹长度阈值len_long_th时，判定为短疑似目标idi，当疑似目标idi的轨迹长度≥第一轨迹长度阈值len_long_th时，判定为疑似目标idlong；将满足以下条件时的任一短疑似目标idi设定预设置信度confidence_low：
（1）所述短疑似目标idi比疑似目标idlong先出现；
（2）所述短疑似目标idi与疑似目标idlong之间的距离大于目标短间隔移动距离阈值distance_th；
当疑似目标idi的轨迹断续次数大于轨迹断续次数阈值interrupt_th且该疑似目标idi轨迹长度小于第一轨迹长度阈值len_long_th时，设定该疑似目标idi预设置信度confidence_low；
当疑似目标idi的累积置信度小于置信度阈值confidence_th时，将其从疑似目标集id中去除，更新疑似目标集id；
将粗跟踪结果Trai内所有疑似目标集id的轨迹信息按帧号拼接为第一轨迹序列Li，将第一轨迹序列Li中的异常轨迹点去除，反向更新粗跟踪结果Trai和疑似目标集id；
若当前红外图像的尾帧大于帧号阈值frame_th且当前第一轨迹序列Li小于第一轨迹长度阈值len_long_th时：
认为当前轨迹为虚警段，不存在目标，不保留当前轨迹结果；
将所有长轨迹结果Li合并成全序列跟踪结果L，即得到目标的最终检测结果。
9.根据权利要求8所述的弱小目标检测跟踪方法，其特征在于，
所述步骤S222中的虚假目标去除方法为：
取红外图像中前n帧进行自适应阈值分割，大于阈值的像素点即为坏亮点，得到坏亮点集S(i,j)；
若坏亮点在第一轨迹序列Li轨迹点的邻域内，则认为该坏亮点实际为目标点，将其从坏亮点集S(i,j)中删除；
以前n帧计算的坏亮点集S(i,j)为依据，若该疑似目标idi轨迹点在坏亮点预设邻域内，则认为该点为坏亮点，将该点从所述粗跟踪结果Trai中去除，同时更新所述疑似目标集id；
当所述疑似目标idi轨迹中第ni帧与相邻帧、短间隔帧的移动距离大于目标短间隔移动距离阈值distance_th时：判断该疑似目标idi在第ni帧中是虚警，将该帧轨迹点从疑似目标idi轨迹中去除，同时更新粗跟踪结果Trai；若疑似目标idi轨迹中第ni帧与相邻帧的运动方向与所述二维运动趋势direc不一致时：判断该疑似目标idi在第ni帧是虚警，将该帧轨迹从疑似目标idi轨迹中去除，并更新粗跟踪结果Trai；
当疑似目标idi轨迹小于第二轨迹长度阈值len_short_th时：
判断该疑似目标idi为虚警，将其从疑似目标集id中去除，更新疑似目标集id和红外图像粗跟踪结果Trai；
若该疑似目标idi与相邻疑似目标idi的运动方向与二维运动趋势direc不一致时：
判断该疑似目标idi为虚警目标，将其从疑似目标集id中去除，更新疑似目标集id和红外图像粗跟踪结果Trai；
当疑似目标idi的轨迹发生静止异常时：
判断该疑似目标idi为虚警，将其从疑似目标集id中去除，更新疑似目标集id和红外图像粗跟踪结果Trai。
10.一种弱小目标检测跟踪装置，其特征在于，包括：检测模块和跟踪模块；
所述检测模块包括粗检测单元和细检测单元；
所述粗检测单元用于通过基于卷积神经网络的背景抑制算法将红外图像中的目标与背景进行分离得到粗检测结果；
所述细检测单元用于通过基于卷积神经网络的跨尺度与多形态自适应的红外小目标检测算法对所述粗检测结果进行二次真实目标捕获，得到细检测结果；
所述跟踪模块包括粗跟踪单元和细跟踪单元；
所述粗跟踪单元用于通过基于卷积神经网络的红外点目标跟踪网络对所述红外图像中的细检测结果进行粗跟踪，得到粗跟踪结果；
所述细跟踪单元用于通过基于鉴别逻辑的多层次目标确认算法对所述粗跟踪结果中的真实目标进行判别，得到最终的每帧检测结果和跟踪航迹结果。
11.根据权利要求10所述的弱小目标检测跟踪装置，其特征在于，所述粗检测单元包括空域背景抑制子单元、时域背景抑制子单元、图像融合子单元、图像增强子单元和阈值分割子单元；
所述空域背景抑制子单元通过轻量化的空天目标红外图像背景抑制网络对所述红外图像进行空域背景抑制，根据目标和背景的形态差异性得到空域背景抑制图像；
所述时域背景抑制子单元用于通过混合高斯模型背景差分法对所述红外图像进行时域背景抑制，根据目标的运动特性得到时域背景抑制图像；
所述图像融合子单元用于根据序列红外图像场景状况及需求对所述空域背景抑制图像和所述时域背景抑制图像进行像素级融合后得到图像融合结果；
融合时，默认设置为空域背景抑制图像占0.7权重，时域背景抑制图像占0.3权重；若预知该序列图像为背景静止状态，则空域背景抑制图像占0.3权重，时域背景抑制图像占0.7权重；
所述图像增强子单元用于对所述图像融合结果进行对比度拉伸处理和锐化增强处理后得到增强图像；
所述阈值分割子单元用于通过对所述增强图像进行取门限操作，保留疑似目标，得到粗检测结果。
12.根据权利要求11所述的弱小目标检测跟踪装置，其特征在于，
所述细跟踪单元包括：预处理子单元、目标运动趋势计算子单元和虚假目标去除子单元；
所述预处理子单元用于设置以下参数：第一轨迹长度阈值len_long_th，第二轨迹长度阈值len_short_th，重复帧号率scale，帧号阈值frame_th，轨迹断续次数阈值interrupt_th，目标短间隔移动距离阈值distance_th，置信度阈值confidence_th，预设置信度值confidence_low；
所述目标运动趋势计算子单元用于根据所述粗跟踪结果动态计算疑似目标的二维运动趋势direc；
所述虚假目标去除子单元用于根据所述二维运动趋势direc对所述粗跟踪结果中的虚假目标进行动态去除，得到最终的每帧检测结果和跟踪航迹结果。
CN202211118444.6A 2022-09-15 2022-09-15 弱小目标检测跟踪装置及其检测跟踪方法 Active CN115222775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211118444.6A CN115222775B (zh) 2022-09-15 2022-09-15 弱小目标检测跟踪装置及其检测跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211118444.6A CN115222775B (zh) 2022-09-15 2022-09-15 弱小目标检测跟踪装置及其检测跟踪方法

Publications (2)

Publication Number Publication Date
CN115222775A true CN115222775A (zh) 2022-10-21
CN115222775B CN115222775B (zh) 2022-12-06

Family

ID=83617097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118444.6A Active CN115222775B (zh) 2022-09-15 2022-09-15 弱小目标检测跟踪装置及其检测跟踪方法

Country Status (1)

Country Link
CN (1) CN115222775B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237511A1 (en) * 2008-03-18 2009-09-24 Bae Systems Information And Electronic Systems Integration Inc. Multi-window/multi-target tracking (mw/mt tracking) for point source objects
CN104299229A (zh) * 2014-09-23 2015-01-21 西安电子科技大学 一种基于时空域背景抑制的红外弱小目标检测方法
CN109002848A (zh) * 2018-07-05 2018-12-14 西华大学 一种基于特征映射神经网络的弱小目标检测方法
CN109978851A (zh) * 2019-03-22 2019-07-05 北京航空航天大学 一种红外视频空中弱小运动目标检测跟踪方法
CN110728697A (zh) * 2019-09-30 2020-01-24 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于卷积神经网络的红外弱小目标检测跟踪方法
CN111861968A (zh) * 2019-04-23 2020-10-30 中国科学院长春光学精密机械与物理研究所 一种红外弱小目标检测方法及检测系统
CN112465867A (zh) * 2020-11-30 2021-03-09 南京莱斯电子设备有限公司 一种基于卷积神经网络的红外点目标实时检测跟踪方法
CN112990317A (zh) * 2021-03-18 2021-06-18 中国科学院长春光学精密机械与物理研究所 一种弱小目标检测方法
CN113822153A (zh) * 2021-08-11 2021-12-21 桂林电子科技大学 一种基于改进DeepSORT算法的无人机跟踪方法
CN113888628A (zh) * 2021-10-18 2022-01-04 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种目标跟踪丢失后的精确定位方法及精确定位系统
CN114463686A (zh) * 2022-04-11 2022-05-10 西南交通大学 基于复杂背景下的移动目标检测方法和系统
CN114677554A (zh) * 2022-02-25 2022-06-28 华东理工大学 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237511A1 (en) * 2008-03-18 2009-09-24 Bae Systems Information And Electronic Systems Integration Inc. Multi-window/multi-target tracking (mw/mt tracking) for point source objects
CN104299229A (zh) * 2014-09-23 2015-01-21 西安电子科技大学 一种基于时空域背景抑制的红外弱小目标检测方法
CN109002848A (zh) * 2018-07-05 2018-12-14 西华大学 一种基于特征映射神经网络的弱小目标检测方法
CN109978851A (zh) * 2019-03-22 2019-07-05 北京航空航天大学 一种红外视频空中弱小运动目标检测跟踪方法
CN111861968A (zh) * 2019-04-23 2020-10-30 中国科学院长春光学精密机械与物理研究所 一种红外弱小目标检测方法及检测系统
CN110728697A (zh) * 2019-09-30 2020-01-24 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于卷积神经网络的红外弱小目标检测跟踪方法
CN112465867A (zh) * 2020-11-30 2021-03-09 南京莱斯电子设备有限公司 一种基于卷积神经网络的红外点目标实时检测跟踪方法
CN112990317A (zh) * 2021-03-18 2021-06-18 中国科学院长春光学精密机械与物理研究所 一种弱小目标检测方法
CN113822153A (zh) * 2021-08-11 2021-12-21 桂林电子科技大学 一种基于改进DeepSORT算法的无人机跟踪方法
CN113888628A (zh) * 2021-10-18 2022-01-04 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种目标跟踪丢失后的精确定位方法及精确定位系统
CN114677554A (zh) * 2022-02-25 2022-06-28 华东理工大学 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法
CN114463686A (zh) * 2022-04-11 2022-05-10 西南交通大学 基于复杂背景下的移动目标检测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王会改等: "基于多尺度自适应稀疏字典的小弱目标检测方法", 《红外与激光工程》 *

Also Published As

Publication number Publication date
CN115222775B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109284670B (zh) 一种基于多尺度注意力机制的行人检测方法及装置
CN107274445B (zh) 一种图像深度估计方法和系统
Zhang et al. Moving vehicles detection based on adaptive motion histogram
Wang et al. A multi-view learning approach to foreground detection for traffic surveillance applications
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
KR100572768B1 (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
Petraglia et al. Pipeline tracking and event classification for an automatic inspection vision system
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN113205138A (zh) 人脸人体匹配方法、设备和存储介质
CN113205494B (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Patro Design and implementation of novel image segmentation and BLOB detection algorithm for real-time video surveillance using DaVinci processor
Kumar et al. Saliency subtraction inspired automated event detection in underwater environments
CN115222775B (zh) 弱小目标检测跟踪装置及其检测跟踪方法
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
Chowdhury et al. A background subtraction method using color information in the frame averaging process
Savakis et al. Semantic background estimation in video sequences
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
CN114359332A (zh) 基于深度图像的目标跟踪方法、装置、设备和介质
He et al. A Pedestrian Detection Method Using SVM and CNN Multistage Classification.
Varkonyi-Koczy Fuzzy logic supported corner detection
CN108492320B (zh) 一种基于并行处理的红外弱小目标检测方法
Li et al. Infrared Small Target Detection Based on Gradient-Intensity Joint Saliency Measure
Ishida et al. Shadow detection by three shadow models with features robust to illumination changes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant