CN115690381A - 一种基于非重叠块时空张量模型的热红外小目标检测方法 - Google Patents

一种基于非重叠块时空张量模型的热红外小目标检测方法 Download PDF

Info

Publication number
CN115690381A
CN115690381A CN202211429557.8A CN202211429557A CN115690381A CN 115690381 A CN115690381 A CN 115690381A CN 202211429557 A CN202211429557 A CN 202211429557A CN 115690381 A CN115690381 A CN 115690381A
Authority
CN
China
Prior art keywords
tensor
norm
sparse
thermal infrared
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211429557.8A
Other languages
English (en)
Inventor
厉小润
骆源
陈淑涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211429557.8A priority Critical patent/CN115690381A/zh
Publication of CN115690381A publication Critical patent/CN115690381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明公开了一种基于非重叠块时空张量模型的热红外小目标检测方法。包括：(1)利用原始热红外图像序列，以特定的规则构造非重叠块时空张量；(2)将红外弱小目标检测任务转化为张量鲁棒主成分分析问题，搭建低秩稀疏张量分解框架；(3)利用张量的多模式展开和拉普拉斯函数，获得背景张量的非凸低秩估计范数；(4)利用重加权策略，获得目标张量的稀疏度估计；(5)利用管状稀疏正则化项，度量稀疏结构成分,并利用Frobenius范数度量噪声；(6)基于改进的ADMM算法优化求解模型，获得目标张量成分，并重构目标检测结果图像，实现红外弱小目标检测。本发明利用设计的低秩稀疏张量分解框架和改进的基于ADMM优化算法能够有效实现红外弱小目标的检出。

Description

一种基于非重叠块时空张量模型的热红外小目标检测方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于非重叠块时空张量模型的热红外小目标检测方法。
背景技术
近年来，红外搜索与跟踪系统在地雷探测、低空安全、导弹跟踪等军事和领域有着广泛的应用，鲁棒稳健的红外弱小目标检测在红外搜索与跟踪系统中发挥着重要作用。然而，由于远距离成像，红外图像中小目标的尺寸一般为2×2到9×9像素之间，且红外小目标通常缺乏具体的形状、纹理细节和其他结构信息。同时，由于复杂的成像环境，红外图像的背景错综复杂，低信噪比的小目标通常受到浓云、海洋杂波等各种干扰。在复杂背景下，很难同时提高算法的目标可检测性和背景抑制能力。因此，红外弱小目标检测仍然面临着诸多挑战。
目前，国内外学者在红外小目标检测领域开展了广泛的研究，提出了各种方法来检测红外弱小目标，包括基于模型驱动的检测方法和基于深度学习的检测方法。基于单帧的检测方法大致可分为三类：基于背景抑制，基于人类视觉系统(human visual system-based,HVS)模型和基于低秩稀疏表示。基于背景抑制通常是设计滤波器来估计背景，从原图中滤除背景以检测目标，但在复杂噪声场景检测性能相对较差。基于HVS的方法假设人类可以根据目标与背景之间的亮度差异来区分小目标，最经典的方法是局部对比法LCM，但检测器的检测能力容易受到背景的影响。基于低秩稀疏表示可分为基于矩阵的方法和基于张量的方法，通过低秩背景估计，稀疏目标估计和随机噪声度量，实现目标组分的分离。在红外图像上通过滑动窗口获得图像块，并重构为新图像矩阵，开展矩阵低秩稀疏分解，但是构造矩阵的过程会极大破坏原始红外图像的空间结构信息，一定程度上限制了红外小目标检测的性能。因此，将矩阵域拓展至张量域，由图像块构造张量，利用不同块之间的相关信息，开展张量低秩稀疏分解。由于现有大多数方法未能非常准确地进行背景低秩估计和目标稀疏度估计，基于低秩稀疏表示尽管在简单背景下取得了较好效果，在复杂背景中存在一定的局限性。
随着深度学习在各领域应用的蓬勃发展，基于深度学习的红外小目标检测得到了广泛关注。神经网络具有强大的特征学习能力，为了克服传统方法的缺点，可以将红外小目标检测建模为一个有监督的机器学习问题，将神经网络用作小目标检测的特征提取器和检测器。例如，ACM和AlcNet融合了低级特征和高级特征，以突出并保留小目标特征。为了利用卷积神经网络，MDvsFA-cGAN使用浅层CNN实现高精度检测红外小目标，使用相对较深的CNN以低漏检率检测目标，最终的检测结果是通过融合来自浅层和深层CNN的结果得到的。然而，对于许多现成的基线网络，有监督地进行红外小目标检测或分割仍然具有挑战性。许多深度网络可能会因小目标内在特征的稀缺性以及背景干扰物的存在而失败。此外，大多数网络通过逐渐衰减特征图大小来学习高级语义特征，使得小目标很容易被深层周围的背景特征所淹没。目前依旧没有在复杂背景和低信噪比条件下取得较好检测效果的红外小目标检测算法。
发明内容
针对现有技术中的不足，本发明的目的是提供一种基于非重叠块时空张量模型的热红外小目标检测方法，实现复杂背景下的红外弱小目标检测，在提高热红外小目标的检测率同时降低误检率。
充分利用红外图像中背景的低秩特性和目标的稀疏特性，将原始红外图像序列转化成非重叠块时空张量，综合考虑了背景、噪声和稀有结构成分对红外小目标检测的影响，将小目标检测问题转化为低秩稀疏张量分解优化问题，并搭建红外小目标检测框架。在保持张量结构信息的前提下，利用背景张量在不同维度上的时空结构信息，更真实地表征背景张量的低秩特性。通过改进的ADMM算法高效求解优化模型，实现红外小目标检测。
为实现上述目的，本发明提供了如下技术方案：
本发明提供一种基于非重叠块时空张量模型的热红外小目标检测方法，其特征在于，包括如下步骤：
步骤1)：利用原始热红外图像序列D，在每一帧图像上以固定的滑动步长滑动固定尺寸的窗口，对获得的图像块进行依次堆叠，实现从原始图像序列到非重叠块时空张量
Figure BDA0003944334940000021
的变换；
步骤2)：将热红外弱小目标检测任务转化为张量鲁棒主成分分析问题，搭建低秩稀疏张量分解框架；
步骤3)：利用张量的模式-k1k2展开和奇异值的拉普拉斯函数值之和，构建非凸低秩估计范数，即多模式加权张量核范数||·||MWTNN，度量背景张量
Figure BDA0003944334940000031
的低秩特性；
步骤4)：估计目标张量
Figure BDA0003944334940000032
的稀疏度，并利用稀疏度重加权策略加快算法求解速度；
步骤5)：利用l1,1,2范数作为管状稀疏正则化项，度量强边缘等线性稀疏结构张量ε，同时利用Frobenius范数度量噪声张量
Figure BDA0003944334940000033
步骤6)：经步骤3)-步骤5)后，低秩稀疏张量分解框架转化为可解的优化模型，求解优化模型，获得目标张量成分
Figure BDA0003944334940000034
然后按照步骤1)中构建非重叠块时空张量的逆变换方式，重构目标检测结果图像序列T，得到热红外弱小目标检测结果。
总而言之，通过本发明构思的技术方案与现有技术相比，具有下列优点：
(1)本发明综合考虑了背景、噪声和线性稀疏结构对红外小目标检测的影响机理，并搭建了一个红外小目标检测框架，本质上将目标检测问题转化为低秩稀疏张量分解优化问题，一定程度上可以缓解检测器目标检测性能和背景抑制性能之间存在的矛盾。
(2)本发明提出了一种新的非凸低秩估计范数，即多模式加权张量核范数，充分考虑了背景张量在不同维度上的时空结构信息，可以更加真实地表征背景张量的低秩特性，有利于实现背景分离。
(3)本发明提出了一种新的非重叠块时空张量构造方法，并将提出的张量非凸低秩估计和管状稀疏正则化项整合进入非重叠时空张量分解模型，在此基础上，提出了一种改进的ADMM算法以高效求解优化模型。
附图说明
图1为本发明热红外图像小目标检测方法实施例的总体流程图。
图2为本发明中单帧热红外图像构造非重叠块张量的示意图。
图3为本发明中热红外图像序列构造非重叠块时空张量的示意图。
图4为实验测试用热红外图像序列的示例帧图像。
图5为热红外图像用不同方法检测后的小目标检测结果对比图和对应的三维灰度可视化图像。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合具体的实施例详细说明本发明。下面描述了具体实施例以简化本发明。但是需要认识到，本发明不局限于所说明的实施例，并且在不脱离基本原理的前提下，本发明的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例，基于非重叠块时空张量模型的热红外小目标检测方法，具体实施流程如图1所示，包括：
步骤1)：利用原始热红外图像序列D，在每一帧图像上以固定的滑动步长滑动固定尺寸的窗口，对获得的图像块进行依次堆叠，实现从原始图像序列到非重叠块时空张量
Figure BDA0003944334940000041
的变换；
步骤2)：将热红外弱小目标检测任务转化为张量鲁棒主成分分析问题，搭建低秩稀疏张量分解框架；
步骤3)：利用张量的模式-k1k2展开和奇异值的拉普拉斯函数值之和，构建非凸低秩估计范数，即多模式加权张量核范数||·||MWTNN，度量背景张量
Figure BDA0003944334940000042
的低秩特性；
步骤4)：估计目标张量
Figure BDA0003944334940000043
的稀疏度，并利用稀疏度重加权策略加快算法求解速度；
步骤5)：利用l1,1,2范数作为管状稀疏正则化项，度量强边缘等线性稀疏结构张量ε，同时利用Frobenius范数度量噪声张量
Figure BDA0003944334940000044
步骤6)：经步骤3)-步骤5)后，低秩稀疏张量分解框架转化为可解的优化模型，求解优化模型，获得目标张量成分
Figure BDA0003944334940000045
然后按照步骤1)中构建非重叠块时空张量的逆变换方式，重构目标检测结果图像序列T，得到热红外弱小目标检测结果。
在本发明的一个具体实施例中，所述的步骤1)具体为：
利用原始热红外图像序列
Figure BDA0003944334940000051
通过固定尺寸ps×ps的滑动窗口以滑动步长ss(＝ps)在每一帧图像上以s形路径滑动，将获得的n(＝nr×nc)个图像块作为正面切片依次堆叠，获得非重叠图像块张量
Figure BDA0003944334940000052
如图2所示；依次将相邻k帧图像所对应的张量进行堆叠，获得富含时间和空间信息的非重叠块时空张量
Figure BDA0003944334940000053
如图3所示。具体到示例中，k的取值为3，ps的取值为15；
进一步地，所述的步骤2)具体为：非重叠块时空张量
Figure BDA0003944334940000054
可以视作背景张量
Figure BDA0003944334940000055
目标张量
Figure BDA0003944334940000056
和噪声张量
Figure BDA0003944334940000057
的线性组合，计算公式为
Figure BDA0003944334940000058
考虑到背景的低秩特性和目标的稀疏特性，可将小目标检测可以转化为张量鲁棒主成分分析问题，搭建低秩稀疏张量分解框架，如公式(2)所示：
Figure BDA0003944334940000059
考虑到在复杂情况下具有流线外观的非目标物体通常呈现线性稀疏结构的性质，并且由这些结构产生的异常(例如，显著的建筑物边缘)可能被误检为目标成分，因此将非重叠块时空张量
Figure BDA00039443349400000510
建模为背景张量
Figure BDA00039443349400000511
目标张量
Figure BDA00039443349400000512
稀疏结构成分张量ε和噪声张量
Figure BDA00039443349400000513
的线性组合，计算公式为：
Figure BDA00039443349400000514
在本发明的一个具体实施例中，所述的步骤3)具体为：
非重叠块时空张量
Figure BDA00039443349400000515
的前两个维度具有丰富的空间信息，共同描述了每个patch的局部相关性，其第三个维度包含充分的时间和空间特征，可以从中挖掘背景的非局部特征。为保留张量多种模式之间的结构信息并提高计算效率，对背景张量
Figure BDA00039443349400000516
进行模式-k1k2展开，计算公式为：
Figure BDA00039443349400000517
其中，
Figure BDA00039443349400000518
表示张量的模式-k1k2展开运算符。
由于红外图像中的不同的奇异值具有明确的物理意义，需要赋予其不同的权重，防止图像信息丢失，将背景张量
Figure BDA0003944334940000061
的所有正面切片B(k)(k＝1,2,…,n3)的奇异值的拉普拉斯函数数值之和作为改进的张量核范数，表征背景张量的低秩特性，计算公式为：
Figure BDA0003944334940000062
其中，张量
Figure BDA0003944334940000063
的维度为n1×n2×n3，k＝1,2,…,n3，
Figure BDA0003944334940000064
是背景张量
Figure BDA0003944334940000065
经快速傅里叶变换后的第k张正面切片
Figure BDA0003944334940000066
的第j个奇异值，g(·)是拉普拉斯函数，定义为
Figure BDA0003944334940000067
x是自变量，ε是正常数；
优选的，所述的可以深度挖掘背景张量的时空信息并表征其低秩特性的非凸低秩估计范数(多模加权张量核范数||·||MWTNN)，计算公式为：
Figure BDA0003944334940000068
其中，
Figure BDA0003944334940000069
为加权系数，用于加权背景张量
Figure BDA00039443349400000610
经过模式-k1k2展开后获得的所有张量的改进的张量核范数
Figure BDA00039443349400000611
为张量
Figure BDA00039443349400000612
的第i张正面切片。
在本发明的一个优选实施例中，所述的步骤4)中，采用l1范数替代步骤2)中l0范数，使目标张量的稀疏度度量具有可解性，并采用稀疏重加权策略加快算法求解速度，稀疏性增强权重的迭代计算公式为：
Figure BDA00039443349400000613
其中，a是一个正常数，b为正常数，防止分母为零，j为迭代次数，
Figure BDA00039443349400000614
为第j次迭代中目标张量
Figure BDA00039443349400000615
的绝对值，通过
Figure BDA00039443349400000616
可以获得第j+1代的稀疏性增强权重
Figure BDA00039443349400000617
具体到实施例中，a的取值为2，b的取值为0.01。
进一步地，所述的步骤5)中利用l1,1,2范数作为管状稀疏正则化项以度量稀疏线性结构张量ε，计算公式为：
Figure BDA0003944334940000071
其中，||·||1,1,2为l1,1,2范数，||·||2为l2范数，ε(i,l,j)为稀疏线性结构张量ε中第j张正面切片上第i行，第l列的元素。
在本发明的一个优选实施例中，所述的步骤6)的具体实现方式为：
将低秩稀疏张量分解框架(3)转化为可解的优化模型，如公式(9)所示。
Figure BDA0003944334940000072
其中，||·||MWTNN为多模加权张量核范数，λ1，λ2和λ3为协调参数，||·||1为l1范数，||·||F表示Frobenius范数，⊙为哈达玛积，
Figure BDA0003944334940000073
为稀疏性增强权重。
优选的，采用基于改进的ADMM算法求解优化模型，由于构造的非重叠块时空张量的是三维张量，则背景张量通过模式-12，模式-13，模式23展开可分别获得三个张量
Figure BDA0003944334940000074
即
Figure BDA0003944334940000075
由此，通过引入三个辅助变量
Figure BDA0003944334940000076
即
Figure BDA0003944334940000077
得到等价模型如公式(10)所示：
Figure BDA0003944334940000078
其中，||·||MWTNN为多模加权张量核范数，λ1，λ2和λ3表示协调参数，||·||1表示l1范数，||·||F表示Frobenius范数，1≤k1＜k2≤3；
公式(10)的增广拉格朗日函数的计算公式为：
Figure BDA0003944334940000079
其中，||·||MWTNN为多模加权张量核范数，ρ和
Figure BDA00039443349400000710
是惩罚参数，
Figure BDA00039443349400000711
和
Figure BDA00039443349400000712
是拉格朗日乘子，
Figure BDA00039443349400000713
是独立变量，三个辅助变量
Figure BDA00039443349400000714
的改进的张量核范数加权系数为α12＝ω/(2+ω)，α13＝α23＝1/(2+ω)，ω是自定义参数，
Figure BDA00039443349400000715
为Frobenius范数的平方；具体到实施例中，ω的取值为0.001。
由于难以同时求解(10)中的所有变量，将(10)分解为若干个子问题，并交替更新变量。
Figure BDA0003944334940000081
-子问题：固定第j代其他参数，迭代更新第j+1代
Figure BDA0003944334940000082
的计算公式为
Figure BDA0003944334940000083
其中，
Figure BDA0003944334940000084
表示张量
Figure BDA0003944334940000085
按照模式-k1k2复原的运算符，
Figure BDA0003944334940000086
表示奇异值收缩算子，
Figure BDA0003944334940000087
σ为奇异值，τ为阈值，diag[·]为取矩阵对角线元素操作符，ζ+＝max(ζ,0)表示取最大值，
Figure BDA0003944334940000088
为对张量
Figure BDA0003944334940000089
进行t-SVD分解，“*”为张量乘积运算，由此可得
Figure BDA00039443349400000810
且
Figure BDA00039443349400000811
表示拉普拉斯函数
Figure BDA00039443349400000812
的导数，
Figure BDA00039443349400000813
为张量
Figure BDA00039443349400000814
的第i张正面切片的第s个奇异值，σ(i)1≥σ(i)2≥…≥σ(i)s为辅助变量
Figure BDA00039443349400000815
的第i张正面切片
Figure BDA00039443349400000816
的奇异值；
Figure BDA00039443349400000817
-子问题：固定第j代其他参数，迭代更新第j+1代
Figure BDA00039443349400000818
的计算公式为
Figure BDA00039443349400000819
Figure BDA00039443349400000820
-子问题：固定第j代其他参数，迭代更新第j+1代
Figure BDA00039443349400000821
的计算公式为
Figure BDA00039443349400000822
其中，
Figure BDA00039443349400000823
为软阈值收缩算子，
Figure BDA00039443349400000824
sign(·)为符号函数，ξ为软阈值；
ε-子问题：固定第j代其他参数，迭代更新第j+1代ε(j+1)的计算公式为
Figure BDA0003944334940000091
Figure BDA0003944334940000092
Figure BDA0003944334940000093
-子问题：固定第j代其他参数，迭代更新第j+1代
Figure BDA0003944334940000094
的计算公式为
Figure BDA0003944334940000095
Figure BDA0003944334940000096
ρ,
Figure BDA0003944334940000097
-子问题：
Figure BDA0003944334940000098
Figure BDA0003944334940000099
ρ(j+1)＝min(κρ(j),ρmax) (20)
Figure BDA00039443349400000910
其中，κ为放大系数，使第j+1代的惩罚参数ρ,
Figure BDA00039443349400000911
为第j代的κ倍，ρmax和
Figure BDA00039443349400000912
为设定的惩罚参数最大值。
迭代过程中，当相对误差
Figure BDA00039443349400000913
小于δ时，迭代终止；为了提高计算效率，当目标张量
Figure BDA00039443349400000914
中非零元素数量(即
Figure BDA00039443349400000915
)不再变化，停止迭代。具体到示例中，
Figure BDA00039443349400000916
λ2＝λ3＝50λ1，
Figure BDA00039443349400000917
λL的取值为1.4，
Figure BDA00039443349400000918
的取值为5，κ的取值为1.5，δ的取值为10-4。对于最终获得的目标张量成分
Figure BDA00039443349400000919
按照权利要求2所述的构建非重叠块时空张量的逆变换方式，重构目标检测结果图像序列T，实现热红外弱小目标检测。
本发明实施例的方法，对比现有技术，本发明综合考虑了背景、噪声和稀有结构成分对红外小目标检测的影响，并搭建了一个红外小目标检测框架，本质上将目标检测问题转化为低秩稀疏张量分解优化问题，可以缓解检测器目标检测性和背景抑制性之间存在的矛盾；提出的一种新的非凸低秩估计范数，即多模式加权张量核范数，充分考虑了背景张量在不同维度上的时空结构信息，可以更加真实地表征背景张量的低秩特性，有利于实现背景分离；提出了一种非重叠块时空张量构造方法，并将提出的张量非凸低秩估计和管状稀疏正则化项整合进入非重叠时空张量分解模型，在此基础上，提出了一种改进的ADMM算法以高效求解优化模型。
实施例
接下来以公开的红外图像序列为研究对象，开展热红外小目标检测算法验证。为了从定性和定量角度评估小目标检测结果，分别采用小目标检测结果图和3D-ROC及其衍生评价指标包括AUCTD，AUCBS，AUCSNPR，AUCTDBS和AUCODP等，从目标检测能力、背景抑制能力以及检测器有效性等角度全面评估小目标检测结果。3D-ROC包括的AUC(D,F)，AUC(D,τ)，AUC(F,τ)可分别表征检测器有效性、目标检测能力以及背景抑制能力，其衍生的评价指标也按照相应评价角度进行划分，具体定义如下：
AUC(D,F)表示(PD,PF)曲线的AUC值，表征检测器的有效性，
AUC(D,F)∈[0,1]
AUC(D,τ)表示(PD,τ)曲线的AUC值，表征检测器的目标检测能力，
AUC(D,τ)∈[0,1]
AUC(F,τ)表示(PD,τ)曲线的AUC值，表征检测器的背景抑制能力，
AUC(F,τ)∈[0,1]
AUCTD表示检测器的联合检测能力，
AUCTD＝AUC(D,F)+AUC(D,τ))∈[0,2]
AUCBS表示检测器的联合背景抑制能力，
AUCBS＝AUC(D,F)-AUC(F,τ))∈[-1,1]
AUCTDBS表示检测器的目标检测与背景抑制综合能力，
AUCTDBS＝AUC(D,τ)-AUC(F,τ))∈[-1,1]
AUCSNPR表示检测器的信噪比，
Figure BDA0003944334940000101
AUCODP表示检测器的总检测概率
AUCODP＝AUC(D,F)+AUC(D,τ)-AUC(F,τ)∈[-1,2]
总的来说，评价指标的划分方式如下：
(i)目标检测能力(TD)：AUC(D,τ),AUCTD
(ii)背景抑制能力(BS)：AUC(F,τ),AUCBS,AUCSNPR
(iii)检测器有效性：AUC(D,F),AUCTDBS,AUCODP
对于一公开的真实的100帧图像热红外图像序列，其特征为：天空-地面背景，局部对比度较低的小型直升机，背景中具有疑似目标物，包含厚厚的云层和严重的噪声，图像尺寸为256×256。热红外图像序列的示例帧如图4所示。表1为热红外图像序列采用IPI,NRAM,RIPT,WSNM-STIPT,TCNN-NPSTT,ASTTV-NTLA和本发明方法进行小目标检测结果的量化指标。
表1热红外图像采用IPI,NRAM,RIPT,WSNM-STIPT,TCNN-NPSTT,ASTTV-NTLA和本发明方法的检测结果的量化指标
方法 AUC<sub>(D,F)</sub> AUC<sub>(D,τ)</sub> AUC<sub>(F,τ)</sub> AUC<sub>TD</sub> AUC<sub>BS</sub> AUC<sub>SNPR</sub> AUC<sub>TDBS</sub> AUC<sub>ODP</sub>
本发明 1.0000 1.0000 0.0050 2.0000 0.9950 2.0000e2 0.9950 1.9950
IPI 1.0000 1.0000 0.1903 2.0000 0.8097 5.2538 0.8097 1.8097
NRAM 1.0000 0.9903 <u>0.0051</u> 1.9902 <u>0.9949</u> <u>1.9436e2</u> <u>0.9852</u> <u>1.9852</u>
RIPT 1.0000 0.9745 0.0053 1.9745 0.9947 1.8376e2 0.9692 1.9692
WSNM-STIPT 1.0000 0.9634 <u>0.0051</u> 1.9633 <u>0.9949</u> 1.8980e2 0.9583 1.9583
TCNN-NPSTT 1.0000 0.9649 <u>0.0051</u> 1.9648 <u>0.9949</u> 1.9067e2 0.9598 1.9598
ASTTV-NTLA 1.0000 <u>0.9942</u> 0.0589 <u>1.9941</u> 0.9411 1.6891e1 0.9353 1.9353
图5为热红外图像序列采用IPI,NRAM,RIPT,WSNM-STIPT,TCNN-NPSTT,ASTTV-NTLA和本发明方法进行检测的小目标检测结果对比图和对应的三维灰度可视化图像，结合表1所示的8个评价指标的量化检测结果。可以看出，本发明提出的方法在8个3D-ROC衍生评价指标均优于对比方法。从总体来看，无论是背景抑制还是目标增强效果，所提出的方法都优于对比算法。综上，通过视觉效果和量化指标两个层面都能体现出，本发明中提出的热红外小目标检测方法在目标增强与背景抑制方面的优越性，具有优异的热红外小目标检测能力。
本发明实施例所示的附图说明，可使本发明的目的、技术方案及优点介绍得更加清楚明白。应当说明，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。凡在本发明提供的方法思路和原则之内所作的等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于非重叠块时空张量模型的热红外小目标检测方法，其特征在于，包括如下步骤：
步骤1)：利用原始热红外图像序列D，在每一帧图像上以固定的滑动步长滑动固定尺寸的窗口，对获得的图像块进行依次堆叠，实现从原始图像序列到非重叠块时空张量
Figure FDA0003944334930000011
的变换；
步骤2)：将热红外弱小目标检测任务转化为张量鲁棒主成分分析问题，搭建低秩稀疏张量分解框架；
步骤3)：利用张量的模式-k1k2展开和奇异值的拉普拉斯函数值之和，构建非凸低秩估计范数，即多模式加权张量核范数||·||MWTNN，度量背景张量
Figure FDA0003944334930000012
的低秩特性；
步骤4)：估计目标张量
Figure FDA0003944334930000013
的稀疏度，并利用稀疏度重加权策略加快算法求解速度；
步骤5)：利用l1,1,2范数作为管状稀疏正则化项，度量强边缘等线性稀疏结构张量ε，同时利用Frobenius范数度量噪声张量
Figure FDA0003944334930000014
步骤6)：经步骤3)-步骤5)后，低秩稀疏张量分解框架转化为可解的优化模型，求解优化模型，获得目标张量成分
Figure FDA0003944334930000015
然后按照步骤1)中构建非重叠块时空张量的逆变换方式，重构目标检测结果图像序列T，得到热红外弱小目标检测结果。
2.根据权利要求1所述的一种基于非重叠块时空张量模型的热红外小目标检测方法，其特征在于，所述的步骤1)具体为：
利用原始热红外图像序列f，通过固定尺寸的滑动窗口以一定的滑动步长在每一帧图像上以s形路径滑动，将获得的无重叠的图像块作为正面切片依次堆叠，获得每一帧图像的非重叠图像块张量；依次堆叠相邻k帧图像所对应的非重叠图像块张量，获得富含时间和空间信息的非重叠块时空张量
Figure FDA0003944334930000016
3.根据权利要求1所述的一种基于非重叠块时空张量模型的热红外小目标检测方法，其特征在于，所述的步骤2)具体为：
非重叠块时空张量
Figure FDA0003944334930000017
视作背景张量
Figure FDA0003944334930000018
目标张量
Figure FDA0003944334930000019
和噪声张量
Figure FDA00039443349300000110
的线性组合，公式为：
Figure FDA0003944334930000021
考虑到背景的低秩特性和目标的稀疏特性，将热红外小目标检测任务转化为张量鲁棒主成分分析问题，搭建低秩稀疏张量分解框架，如公式(2)所示：
Figure FDA0003944334930000022
其中，rank(·)表示秩计算算子，||·||0表示l0范数，||·||F表示Frobenius范数，λ1表示协调参数，δ表示噪声误差项；
考虑到在复杂情况下具有流线外观的非目标物体通常呈现线性稀疏结构的性质，并且由这些结构产生的异常可能被误检为目标成分，因此将非重叠块时空张量
Figure FDA0003944334930000023
建模为背景张量
Figure FDA0003944334930000024
目标张量
Figure FDA0003944334930000025
稀疏结构张量ε和噪声张量
Figure FDA0003944334930000026
的线性组合，公式为：
Figure FDA0003944334930000027
4.根据权利要求1所述的一种基于非重叠块时空张量模型的热红外小目标检测方法，其特征在于，所述的步骤3)具体为：
对背景张量
Figure FDA0003944334930000028
进行模式-k1k2展开，计算公式为：
Figure FDA0003944334930000029
其中，
Figure FDA00039443349300000210
表示张量的模式-k1k2展开运算符，
Figure FDA00039443349300000211
表示背景张量
Figure FDA00039443349300000220
经模式-k1k2展开后的三维张量，
Figure FDA00039443349300000212
表示该三维张量的维度为
Figure FDA00039443349300000213
Π表示求积运算符；
将背景张量
Figure FDA00039443349300000214
经快速傅里叶变换后的所有正面切片
Figure FDA00039443349300000215
的奇异值的拉普拉斯函数数值之和作为改进的张量核范数||·||ε,*，表征背景张量的低秩特性，计算公式为：
Figure FDA00039443349300000216
其中，张量
Figure FDA00039443349300000217
的维度为n1×n2×n3，k＝1,2,…,n3，
Figure FDA00039443349300000218
是背景张量
Figure FDA00039443349300000219
经快速傅里叶变换后的第k张正面切片
Figure FDA0003944334930000031
的第j个奇异值，g(·)是拉普拉斯函数，定义为
Figure FDA0003944334930000032
x是自变量，ε是正常数；
所述的多模加权张量核范数||·||MWTNN，计算公式为：
Figure FDA0003944334930000033
其中，
Figure FDA0003944334930000034
为加权系数，用于加权背景张量
Figure FDA0003944334930000035
经过模式-k1k2展开后获得的所有张量的改进的张量核范数
Figure FDA0003944334930000036
Figure FDA0003944334930000037
为张量
Figure FDA0003944334930000038
的第i张正面切片。
5.根据权利要求1所述的一种基于非重叠块时空张量模型的热红外小目标检测方法，其特征在于，所述的步骤4)中采用l1范数最优近似步骤2)中l0范数，使目标张量的稀疏度度量具有可解性，并采用稀疏重加权策略加快算法求解速度，稀疏性增强权重的迭代计算公式为：
Figure FDA0003944334930000039
其中，a是一个正常数，b为正常数，防止分母为零，j为迭代次数，
Figure FDA00039443349300000310
为第j次迭代中目标张量
Figure FDA00039443349300000311
的绝对值，通过
Figure FDA00039443349300000312
可以获得第j+1代的稀疏性增强权重
Figure FDA00039443349300000313
6.根据权利要求1所述的一种基于非重叠块时空张量模型的热红外小目标检测方法，其特征在于，所述的步骤5)中利用l1,1,2范数作为管状稀疏正则化项以度量稀疏线性结构张量ε，计算公式为：
Figure FDA00039443349300000314
其中，||·||1,1,2为l1,1,2范数，||·||2为l2范数，ε(i,l,j)为稀疏线性结构张量ε中第j张正面切片上第i行，第l列的元素。
7.根据权利要求1所述的一种基于非重叠块时空张量模型的热红外小目标检测方法，其特征在于，所述的步骤6)的具体实现方式为：
将低秩稀疏张量分解框架转化为可解的优化模型，如公式(9)所示，
Figure FDA0003944334930000041
其中，||·||MWTNN为多模加权张量核范数，λ1，λ2和λ3为协调参数，||·||1为l1范数，||·||F表示Frobenius范数，⊙为哈达玛积，
Figure FDA0003944334930000042
为稀疏性增强权重；
采用基于改进的ADMM算法求解优化模型，由于构造的非重叠块时空张量的是三维张量，则背景张量通过模式-12，模式-13，模式23展开可分别获得三个张量
Figure FDA0003944334930000043
即
Figure FDA0003944334930000044
由此，通过引入三个辅助变量
Figure FDA0003944334930000045
即
Figure FDA0003944334930000046
得到等价模型如公式(10)所示：
Figure FDA0003944334930000047
其中，||·||MWTNN为多模加权张量核范数，λ1，λ2和λ3表示协调参数，||·||1表示l1范数，||·||F表示Frobenius范数，1≤k1＜k2≤3；
公式(10)的增广拉格朗日函数
Figure FDA0003944334930000048
的计算公式为：
Figure FDA0003944334930000049
其中，||·||MWTNN为多模加权张量核范数，ρ和
Figure FDA00039443349300000410
是惩罚参数，
Figure FDA00039443349300000411
和
Figure FDA00039443349300000412
是拉格朗日乘子，
Figure FDA00039443349300000413
是独立变量，三个辅助变量
Figure FDA00039443349300000414
的改进的张量核范数加权系数为α12＝ω/(2+ω)，α13＝α23＝1/(2+ω)，ω是自定义参数，
Figure FDA00039443349300000415
为Frobenius范数的平方；
将公式(10)分解为若干个子问题，并交替更新变量：
Figure FDA00039443349300000416
-子问题：固定第j代其他参数，迭代更新第j+1代
Figure FDA00039443349300000417
的计算公式为
Figure FDA00039443349300000418
其中，
Figure FDA0003944334930000051
表示张量
Figure FDA0003944334930000052
按照模式-k1k2复原的运算符，
Figure FDA0003944334930000053
表示奇异值收缩算子，
Figure FDA0003944334930000054
σ为奇异值，τ为阈值，diag[·]为取矩阵对角线元素操作符，ζ+＝max(ζ,0)表示取最大值，
Figure FDA0003944334930000055
为对张量
Figure FDA0003944334930000056
进行t-SVD分解，“*”为张量乘积运算，由此可得
Figure FDA0003944334930000057
且
Figure FDA0003944334930000058
表示拉普拉斯函数
Figure FDA0003944334930000059
的导数，
Figure FDA00039443349300000510
为张量
Figure FDA00039443349300000511
的第i张正面切片的第s个奇异值，σ(i)1≥σ(i)2≥…≥σ(i)s为辅助变量
Figure FDA00039443349300000512
的第i张正面切片
Figure FDA00039443349300000513
的奇异值；
Figure FDA00039443349300000514
-子问题：固定第j代其他参数，迭代更新第j+1代
Figure FDA00039443349300000515
的计算公式为
Figure FDA00039443349300000516
Figure FDA00039443349300000517
-子问题：固定第j代其他参数，迭代更新第j+1代
Figure FDA00039443349300000518
的计算公式为
Figure FDA00039443349300000519
其中，
Figure FDA00039443349300000520
为软阈值收缩算子，
Figure FDA00039443349300000521
sign(·)为符号函数，ξ为软阈值；
ε-子问题：固定第j代其他参数，迭代更新第j+1代ε(j+1)的计算公式为
Figure FDA00039443349300000522
Figure FDA00039443349300000523
Figure FDA00039443349300000524
-子问题：固定第j代其他参数，迭代更新第j+1代
Figure FDA00039443349300000525
的计算公式为
Figure FDA0003944334930000061
Figure FDA0003944334930000062
ρ,
Figure FDA0003944334930000063
-子问题：
Figure FDA0003944334930000064
Figure FDA0003944334930000065
ρ(j+1)＝min(κρ(j),ρmax) (20)
Figure FDA0003944334930000066
其中，κ为放大系数，使第j+1代的惩罚参数ρ,
Figure FDA0003944334930000067
为第j代的κ倍，ρmax和
Figure FDA0003944334930000068
为设定的惩罚参数最大值；
迭代过程中，当相对误差
Figure FDA0003944334930000069
小于η时，迭代终止；当目标张量
Figure FDA00039443349300000610
中非零元素数量
Figure FDA00039443349300000611
不再变化，停止迭代；
最终获得目标张量成分
Figure FDA00039443349300000612
按照构建非重叠块时空张量的逆变换方式，重构目标检测结果图像序列T，得到热红外弱小目标检测结果。
CN202211429557.8A 2022-11-15 2022-11-15 一种基于非重叠块时空张量模型的热红外小目标检测方法 Pending CN115690381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211429557.8A CN115690381A (zh) 2022-11-15 2022-11-15 一种基于非重叠块时空张量模型的热红外小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211429557.8A CN115690381A (zh) 2022-11-15 2022-11-15 一种基于非重叠块时空张量模型的热红外小目标检测方法

Publications (1)

Publication Number Publication Date
CN115690381A true CN115690381A (zh) 2023-02-03

Family

ID=85052447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211429557.8A Pending CN115690381A (zh) 2022-11-15 2022-11-15 一种基于非重叠块时空张量模型的热红外小目标检测方法

Country Status (1)

Country Link
CN (1) CN115690381A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392378A (zh) * 2023-12-11 2024-01-12 西南交通大学 一种红外小目标检测方法、装置、设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392378A (zh) * 2023-12-11 2024-01-12 西南交通大学 一种红外小目标检测方法、装置、设备及可读存储介质
CN117392378B (zh) * 2023-12-11 2024-02-27 西南交通大学 一种红外小目标检测方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN103810699B (zh) 基于无监督深度神经网络的sar图像变化检测方法
CN108010320A (zh) 一种基于自适应时空约束低秩算法的路网交通数据的补全方法
Chen et al. Remote sensing image quality evaluation based on deep support value learning networks
CN110135344B (zh) 基于加权固定秩表示的红外弱小目标检测方法
CN109215025B (zh) 一种基于非凸秩逼近极小化的红外弱小目标检测方法
CN107730482A (zh) 一种基于区域能量和方差的稀疏融合算法
CN115690381A (zh) 一种基于非重叠块时空张量模型的热红外小目标检测方法
CN109345563A (zh) 基于低秩稀疏分解的运动目标检测方法
CN103226825B (zh) 基于低秩稀疏模型的遥感图像变化检测方法
CN114202539A (zh) 基于端到端rx的高光谱图像异常检测方法
CN103700109A (zh) 基于多目标优化moea/d和模糊聚类的sar图像变化检测方法
Liu et al. Infrared small target detection via nonconvex tensor tucker decomposition with factor prior
CN115731174A (zh) 基于图像信息熵和多尺度局部对比度量的红外小目标检测方法及装置
CN114331976A (zh) 一种基于多级张量先验约束的高光谱异常检测方法
Zhao et al. Real-time kernel collaborative representation-based anomaly detection for hyperspectral imagery
CN110992342B (zh) 基于3datv约束的spcp红外弱小目标检测方法
Zhou et al. Infrared small target detection via learned infrared patch-image convolutional network
Luo et al. LEC-MTNN: a novel multi-frame infrared small target detection method based on spatial-temporal patch-tensor
CN104240249B (zh) 基于方向波变换和改进的水平集的sar图像变化检测方法
Yufeng et al. Research on SAR image change detection algorithm based on hybrid genetic FCM and image registration
CN116708807A (zh) 监控视频的压缩重建方法、压缩重建装置
CN104851090A (zh) 图像变化检测方法及装置
Wang et al. Tensor-based low-rank and sparse prior information constraints for hyperspectral image denoising
CN114565850A (zh) 基于全变差低秩张量分解的高光谱图像异常目标检测方法
Rawat et al. Infrared small target detection based on non-convex Lp-norm minimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination