CN116503746B - 基于多层嵌套非全映射u型网络的红外小目标检测方法 - Google Patents
基于多层嵌套非全映射u型网络的红外小目标检测方法 Download PDFInfo
- Publication number
- CN116503746B CN116503746B CN202310780145.7A CN202310780145A CN116503746B CN 116503746 B CN116503746 B CN 116503746B CN 202310780145 A CN202310780145 A CN 202310780145A CN 116503746 B CN116503746 B CN 116503746B
- Authority
- CN
- China
- Prior art keywords
- feature
- target detection
- layer
- image
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000013507 mapping Methods 0.000 title claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多层嵌套非全映射U型网络的红外小目标检测方法,涉及目标检测和图像处理技术领域,包括以下步骤:步骤1、构建密集嵌套特征提取模型;步骤2、构建级联模型,计算通道空间注意模块特征映射;步骤3、对特征图进行通道维度的连接,重建图像的质量和细节;步骤4、计算全局鲁棒特征图,获取深层特征信息;步骤5、计算属于同一类像素的每一个目标的质心;步骤6、根据红外图像和重建图像得到目标检测图像;从而通过引入级联模型和计算全局鲁棒特征图来充分挖掘红外图像的邻域信息和空间信息的相关性,以提升红外图像目标检测的准确性,本发明的目标检测结果准确率为96.12%,相比现有技术具有更高的准确性。
Description
技术领域
本发明涉及计算机视觉领域中的目标检测和图像处理技术领域,特别是涉及一种基于多层嵌套非全映射U型网络的红外小目标检测方法。
背景技术
红外图像是热辐射成像,它是随着红外成像技术的出现而诞生的。它是根据红外辐射的差异成像的,红外热成像系统能够把物体表面的自然发射的红外辐射分布转变为可见图像。由于红外图像是灰度图像,目标和背景的分别可以通过它们在图像中的亮度和温度区别来区分。目标通常会比背景更亮或更暗,这取决于它们的温度相对于背景的温度是更高还是更低。红外目标检测是一种不需要提供待测目标先验信息的目标检测,其通过挖掘图像自身的一些周围像素值差异来判断区域是否存在目标。红外图像的获取不依赖于外部光线,具有全天侯特点,从而使得红外图像的目标检测成为研究热点。
红外弱小目标检测存在以下难点:1、红外图像由于成像距离长,红外目标一般较小,图像范围从一个像素到几十个像素不等;2、红外图像的大部分区域是背景像素,目标昏暗,具有较低的信杂波比,其所占红外图像区域小,红外图像的背景和目标分布不均衡;3、由于红外弱小目标尺寸较小,表面材质和温度分布不均匀等因素,会导致红外弱小目标具有有限的形状特征;4、红外目标的大小和形状在不同的场景中差异很大,在不同的场景中,红外目标的距离和角度会发生变化,从而影响目标在红外图像中的大小和形状。
针对上述难点,尤其是目标在复杂的背景下所占的像素区域极小,红外图像包含多种物质(端元)的混合噪声的情况,现有方法存在对红外图像的光谱信息和空间信息挖掘不充分的问题,因此,需提供一种有效挖掘红外图像的光谱信息和空间信息的目标检测方法,以提高目标检测结果准确率。
发明内容
为了解决以上技术问题,本发明提供一种基于多层嵌套非全映射U型网络的红外小目标检测方法,包括以下步骤
S1、构建密集嵌套特征提取模型:密集嵌套特征提取模型包括密集嵌套模块、特征金字塔融合模块以及线性光谱混合模型,密集嵌套模块对数层U型网络进行堆叠,利用密集嵌套特征提取模型获取到的五个初步有效特征层进行上采样,对获取到的特征进行反卷积并对每一层的特征图像进行放大,并且进行特征融合,获得一个最终的融合了所有特征的有效特征层,再加入不同的跳跃连接;
通过获取U型网络的第i层来形成密集嵌套特征提取模型,假设Kij表示节点的输出,其中i是沿编码器的第i个下采样层,j是沿平原跳跃路径的密集块的第j个卷积层,由Kij表示的特征映射堆栈公式如下所示:
其中,表示同一卷积块的多个级联卷积层,/>表示最大池化,Qij表示密集嵌套层数;Li-1,j-1表示i行j列层的邻层特征信息;当j>0时,每个节点接收来自密集纯跳跃连接和嵌套双向交互跳跃连接三个方向的输出;
S2、构建级联模型,计算通道空间注意模块特征映射,通道空间注意模块包括两个级联注意单元,两个级联注意单元分别为通道注意力和空间注意力;
S3、对特征图进行通道维度的连接,重建图像的质量和细节:以通道注意矩阵为样本,通过将两个特征图在通道维度上连接,将高分辨率特征图和低分辨率特征图进行拼接;对拼接后的特征图进行卷积操作;
S4、计算全局鲁棒特征图,获取深层特征信息:在密集嵌套模块之后,通过特征金字塔融合模块来聚合所得到的多层特征,将多层特征扩展到相同大小,其中Ci,H0,W0分别表示/>的通道数、高度以及宽度;
然后,将具有空间和轮廓信息的浅层特征与具有语义信息的深层特征进行拼接,生成全局鲁棒特征图;
S5、计算属于同一类像素的每一个目标的质心和目标矩阵E,根据自注意力聚合邻域信息相邻节点的特征和自身的特征来计算一个权重,然后用这个权重来加权平均邻居节点的特征;
S6、根据红外图像X和重建图像Xr之间的误差来提取目标,得到目标检测图像。
本发明进一步限定的技术方案是:
进一步的,步骤S2中,对通道空间注意模块计算特征映射,Kij从节点由一维通道注意图/>和二维空间注意图/>进行顺序处理,其中Ci表示Kij的通道数,/>表示空间维度;
将r个特征映射组作为一个组进行全局平均池化,得到每个组的特征向量D,获得每个组的整体特征表示,并且利用不同的特征映射组的信息进行整合。
前所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,步骤S2包括以下分步骤
S2.1、利用鲁棒最小单形体体积方法对线性光谱混合模型进行解混,以获得端元矩阵Z;利用不同映射之间的对称比函数计算复合层之间的联通值,以获得空间注意力信息矩阵V;
S2.2、通过对空间注意力信息矩阵V的激活函数Sigmoid提取得到信息矩阵A,建立线性多层感知混合模型的初始目标函数,如下式所示:
其中,A为信息矩阵,Z为端元矩阵;
S2.3、在线性多层感知混合模型的初始目标函数中引入特征因子和空间加权因子/>,构建通道注意力机制过程模型,如下式所示:
其中,为元素级加法,/>为S型函数,/>为1×1卷积的线性变换;在元素级加法运算之前,/>空间映射被拉伸到/>的大小。
前所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,步骤S2.3中,空间加权因子的计算包括以下步骤
S2.3.1、将红外图像X分割成具有多分辨率图像X*,然后根据相邻像素之间的相似性进行多分辨率图像X*稀疏,求得权重引导丰度矩阵H;
S2.3.2利用权重引导丰度矩阵H计算空间权重因子,计算过程如下式所示:
其中,H(i,:)表示权重引导丰度矩阵H的第i行的元素,表示矩阵的2范数,/>为可调节参数,/>表示/>的第i行第j列的值。
前所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,步骤S2.3.1包括以下分步骤
S2.3.1.1、利用STN算法将红外图像X分割为g个超像素块,构建多分辨率图像X*∈RL×B,构建基于多分辨率图像X*的目标函数,如下式所示:
其中,和/>是非线性函数,它们都输出具有相同维度的向量,/>表示元素乘积,用于融合两个分支的信息;
S2.3.1.2、采用基于变量分裂的交替方向乘子法对基于多分辨率图像X*的目标函数进行迭代优化求解,求得权重引导丰度矩阵H。
前所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,步骤S2.3中,空间权重因子的第i行第j列的第t+1次迭代结果/>如下式所示:
其中,t表示当前迭代的次数,表示为可调节参数值,N(h)表示矩阵H中的第i行第j列元素hij的邻域集合,h∈{1,2,...,u}为相邻元素集的数量,u为邻域窗口大小,Hij表示矩阵H中第i行第j列的值hij的相邻元素集。
前所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,步骤S4中,通过下式计算全局鲁棒特征图G:
其中,为浅层特征信息。
前所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,步骤S5中,通过目标矩阵E,求得与红外图像X同维度大小的重建图像Xr,在特征金字塔融合模块之后,引入一个八连通邻域聚类模块,将属于同一目标的像素聚类在一起,并计算每个目标的质心;
假设特征图G中的任何两个像素(m0,n0)、(m1,n1)在它们的八个邻域中都有交叉区域,如下式所示:
其中,和/>代表像素(m0,n0)和(m1,n1)、(m0,n0)和(m1,n1)的八个邻域被判定为相邻像素,如果这两个像素具有相同的值,该值为0或1,则认为这两个像素位于连通区域,即如下式所示;一个连接区域中的像素属于相同的目标,在确定了图像中的所有目标后,根据所有目标的坐标计算出质心,
其中,g(m0,n0)和g(m1,n1)表示像素(m0,n0)和(m1,n1)的灰度值。
前所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,步骤S5中,自注意力聚合邻域信息结果,即通过卷积内核使用加权和聚合邻域信息的过程,如下式所示:
其中,W为聚合邻域,X为加权,a*=i+a-[k/2],b*=j+b-[k/2],k是内核大小,a,b表示当前层,a*,b*表示相邻层,c表示通道。
前所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,步骤S6包括以下分步骤
S6.1、通过下式计算红外图像X和重建图像Xr之间的误差:
S6.2、根据误差error(X)得到灰度图像,再选取分割阈值δ,灰度图像中大于δ的像素值标记为1,表示为目标;反之标记为0,表示背景,得到只有0和1的二值结果图,得到目标检测结果。
本发明的有益效果是:
(1)本发明中,通过对多层嵌套非全映射U型网络模型进行双空间权重稀疏解混以获得丰度矩阵H,以丰度矩阵H为样本,生成字典,引入加权因子和基于自身层和相邻层之间邻域信息的空间加权因子/>,多层嵌套非全映射U型网络模型,以获取目标矩阵E,通过目标矩阵E,求得与原始红外弱小目标图像X同维度大小的重建图像Xr,据原始图像X和重建图像Xr之间的误差来提取目标;
(2)本发明中,通过引入加权因子和基于空间邻域信息的空间加权因子/>来充分挖掘红外图像的邻域信息和像素信息的相关性,以提升红外图像目标检测检测的准确性,在真实的红外数据集上的实验结果表明,本发明获得的目标检测结果准确率为96.12%;
(3)本发明中,可以有效地提取红外小目标的特征,同时抑制背景噪声和干扰;同时可以实现物体的多层次和多尺度表示学习,提高检测率和鲁棒性,降低误报率;也可以适应不同的场景和环境,如云层、雾霾、水面等。
附图说明
图1为本发明的整体流程示意图;
图2为本发明的模型结构示意图;
图3为本发明实施例中实施数据集IRSTD-1k红外图像的真实地物位置图;
图4为本发明实施例中使用Method1方法的对比数据集IRSTD-1k红外图像的目标检测结果图;
图5为本发明实施例中使用Method2方法的对比数据集IRSTD-1k红外图像的目标检测结果图;
图6为本发明实施例中实施数据集IRSTD-1k红外图像的目标检测结果图。
具体实施方式
本实施例提供的一种基于多层嵌套非全映射U型网络的红外小目标检测方法,如图1所示,包括以下步骤
S1、构建密集嵌套特征提取模型:如图2所示,密集嵌套特征提取模型包括密集嵌套模块、特征金字塔融合模块以及线性光谱混合模型,密集嵌套模块对数层U型网络进行堆叠,利用密集嵌套特征提取模型获取到的五个初步有效特征层进行上采样,对获取到的特征进行反卷积并对每一层的特征图像进行放大,并且进行特征融合,获得一个最终的融合了所有特征的有效特征层,再加入不同的跳跃连接;
特征金字塔融合模块,可以提取和结合不同尺度的特征图,从而提高目标检测和图像分割等任务的效果;线性光谱混合模型分析红外图像,它假设每个像元的光谱是不同地物的光谱的线性组合,通过求解端元光谱和丰度系数,可以得到像元中各种地物的分布情况;
通过获取U型网络的第i层来形成密集嵌套特征提取模型,假设Kij表示节点的输出,其中i是沿编码器的第i个下采样层,j是沿平原跳跃路径的密集块的第j个卷积层,由Kij表示的特征映射堆栈公式如下所示:
其中,表示同一卷积块的多个级联卷积层,/>表示最大池化,Qij表示密集嵌套层数;Li-1,j-1表示i行j列层的邻层特征信息;当j>0时,每个节点接收来自密集纯跳跃连接和嵌套双向交互跳跃连接三个方向的输出。
S2、构建级联模型,计算通道空间注意模块特征映射,对由两个级联注意单元组成的通道空间注意模块计算特征映射,Kij从节点由一维通道注意图/>和二维空间注意图/>进行顺序处理,其中Ci表示Kij的通道数,/>表示空间维度;
将r个特征映射组作为一个组进行全局平均池化,得到每个组的特征向量D,获得每个组的整体特征表示,并且利用不同的特征映射组的信息进行整合,提高特征的表示能力,从而提高网络的性能。
步骤S2具体包括以下分步骤
S2.1、利用鲁棒最小单形体体积方法对线性光谱混合模型进行解混,以获得端元矩阵Z;利用不同映射之间的对称比函数计算复合层之间的联通值,以获得空间注意力信息矩阵V。
S2.2、通过对空间注意力信息矩阵V的激活函数Sigmoid提取得到信息矩阵A,建立线性多层感知混合模型的初始目标函数,如下式所示:
其中,A为信息矩阵,Z为端元矩阵。
S2.3、在线性多层感知混合模型的初始目标函数中引入特征因子和空间加权因子/>,构建通道注意力机制过程模型,如下式所示:
其中,为元素级加法,/>为S型函数,/>为1×1卷积的线性变换;在元素级加法运算之前,/>空间映射被拉伸到/>的大小;
空间权重因子的第i行第j列的第t+1次迭代结果/>如下式所示:
其中,t表示当前迭代的次数,表示为可调节参数值,N(h)表示矩阵H中的第i行第j列元素hij的邻域集合,h∈{1,2,...,u}为相邻元素集的数量,u为邻域窗口大小,Hij表示矩阵H中第i行第j列的值hij的相邻元素集。
步骤S2.3中,空间加权因子的计算包括以下步骤
S2.3.1、将红外图像X分割成具有多分辨率图像X*,然后根据相邻像素之间的相似性进行多分辨率图像X*稀疏,具体如下:
利用STN算法将红外图像X分割为g个超像素块,构建多分辨率图像X*∈RL×B,构建基于多分辨率图像X*的目标函数,如下式所示:
其中,和/>是非线性函数,它们都输出具有相同维度的向量,/>表示元素乘积,用于融合两个分支的信息;
采用基于变量分裂的交替方向乘子法对基于多分辨率图像X*的目标函数进行迭代优化求解,求得权重引导丰度矩阵H。
S2.3.2利用权重引导丰度矩阵H计算空间权重因子,计算过程如下式所示:
其中,H(i,:)表示权重引导丰度矩阵H的第i行的元素,表示矩阵的2范数,/>为可调节参数,/>表示/>的第i行第j列的值。
S3、对特征图进行通道维度的连接,重建图像的质量和细节:以通道注意矩阵为样本,通过将两个特征图在通道维度上连接,将高分辨率特征图和低分辨率特征图进行拼接;对拼接后的特征图进行卷积操作;
以通道注意矩阵为样本,通过将两个特征图在通道维度上连接,将高分辨率特征图和低分辨率特征图进行拼接。对拼接后的特征图进行卷积操作,利用低分辨率特征图中的全局信息,以及高分辨率中局部细节信息,提高重建图像的质量和细节保留能力。
S4、计算全局鲁棒特征图,获取深层特征信息:在密集嵌套模块之后,通过特征金字塔融合模块来聚合所得到的多层特征,将多层特征扩展到相同大小,其中Ci,H0,W0分别表示/>的通道数、高度以及宽度;然后将具有丰富空间和轮廓信息的浅层特征与具有丰富语义信息的深层特征进行拼接,生成全局鲁棒特征图;
通过下式计算全局鲁棒特征图G:
其中,为浅层特征信息。
S5、计算属于同一类像素的每一个目标的质心和目标矩阵E,根据自注意力聚合邻域信息相邻节点的特征和自身的特征来计算一个权重,然后用这个权重来加权平均邻居节点的特征;增强网络对多尺度特征的表示能力,使得模型更加灵活和可调节,提高非线性表达能力;
通过目标矩阵E,求得与红外图像X同维度大小的重建图像Xr,在特征金字塔融合模块之后,引入一个八连通邻域聚类模块,将属于同一目标的像素聚类在一起,并计算每个目标的质心;
假设特征图G中的任何两个像素(m0,n0)、(m1,n1)在它们的八个邻域中都有交叉区域,如下式所示:
其中,和/>代表像素(m0,n0)和(m1,n1)、(m0,n0)和(m1,n1)的八个邻域被判定为相邻像素,如果这两个像素具有相同的值,该值为0或1,则认为这两个像素位于连通区域,即如下式所示;一个连接区域中的像素属于相同的目标,在确定了图像中的所有目标后,根据所有目标的坐标计算出质心,
其中,g(m0,n0)和g(m1,n1)表示像素(m0,n0)和(m1,n1)的灰度值。
步骤S5中,自注意力聚合邻域信息结果,即通过卷积内核使用加权和聚合邻域信息的过程,如下式所示:
上式看作是通过卷积内核使用加权和聚合邻域信息的过程,其中W为聚合邻域,X为加权,a*=i+a-[k/2],b*=j+b-[k/2],k是内核大小,a,b表示当前层,a*,b*表示相邻层,c表示通道。
S6、根据红外图像X和重建图像Xr之间的误差来提取目标,得到目标检测图像,具体包括以下分步骤
S6.1、通过下式计算红外图像X和重建图像Xr之间的误差:
S6.2、根据误差error(X)得到灰度图像,再选取分割阈值δ,灰度图像中大于δ的像素值标记为1,表示为目标;反之标记为0,表示背景,得到只有0和1的二值结果图,得到目标检测结果。
本发明实施例采用通过数据集IRSTD-1k红外图像获取的户外无人机图像,IRSTD-Ik数据集提供了1000个具有各种目标形状、不同目标大小和丰富杂波背景的真实图像,该背景具有精确的像素级注释,该数据集分为两个文件夹,分别为IRSTD1k_Img存放真实图像和IRSTD1k_Label存放标签mask。
如图3所示,为IRSTD-1k红外图像的真实地物位置,实验区域数据大小为100×100,共62个像元,对应为红外图像X;分别采用MPCM、NIPPS、RIPT、RISTDnet、Yolov5、PSTNN和本发明方法对IRSTD-1k红外图像进行目标检测,其目标检测准确率如表1所示,本发明的目标检测准确率高达96.12%,其明显优于其他几种方法。
表1 红外弱小目标检测准确率对比表
假设本发明多层嵌套非全映射U型网络模型中只考虑加权因子的方法为Method1,只考虑基于空间邻域信息的空间加权因子/>的方法为Method2,如图4至图5所示,分别通过Method1和Method2对IRSTD-1k户外无人机图像进行目标检测,Method1的目标检测准确率为95.86%,Method2的目标检测准确率为95.89%,本发明的目标检测准确率比Method1和Method2分别高0.22%和0.19%,如图6所示,可以看出本发明的目标检测效果明显要比Method1和Method2好。
除上述实施例外,本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案,均落在本发明要求的保护范围。
Claims (10)
1.一种基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:包括以下步骤
S1、构建密集嵌套特征提取模型:密集嵌套特征提取模型包括密集嵌套模块、特征金字塔融合模块以及线性光谱混合模型,密集嵌套模块对数层U型网络进行堆叠,利用密集嵌套特征提取模型获取到的五个初步有效特征层进行上采样,对获取到的特征进行反卷积并对每一层的特征图像进行放大,并且进行特征融合,获得一个最终的融合了所有特征的有效特征层,再加入不同的跳跃连接;
通过获取U型网络的第i层来形成密集嵌套特征提取模型,假设Kij表示节点 的输出,其中i是沿编码器的第i个下采样层,j是沿平原跳跃路径的密集块的第j个卷积层,由Kij表示的特征映射堆栈公式如下所示:
其中,表示同一卷积块的多个级联卷积层,/>表示最大池化,Qij表示密集嵌套层数;Li-1,j-1表示i行j列层的邻层特征信息;当j>0时,每个节点接收来自密集纯跳跃连接和嵌套双向交互跳跃连接三个方向的输出;
S2、构建级联模型,计算通道空间注意模块特征映射,通道空间注意模块包括两个级联注意单元,两个级联注意单元分别为通道注意力和空间注意力;
S3、对特征图进行通道维度的连接,重建图像的质量和细节:以通道注意矩阵为样本,通过将两个特征图在通道维度上连接,将高分辨率特征图和低分辨率特征图进行拼接;对拼接后的特征图进行卷积操作;
S4、计算全局鲁棒特征图,获取深层特征信息:在密集嵌套模块之后,通过特征金字塔融合模块来聚合所得到的多层特征,将多层特征扩展到相同大小,其中Ci,H0,W0分别表示/>的通道数、高度以及宽度;
然后,将具有空间和轮廓信息的浅层特征与具有语义信息的深层特征进行拼接,生成全局鲁棒特征图;
S5、计算属于同一类像素的每一个目标的质心和目标矩阵E,根据自注意力聚合邻域信息相邻节点的特征和自身的特征来计算一个权重,然后用这个权重来加权平均邻居节点的特征;
S6、根据红外图像X和重建图像Xr之间的误差来提取目标,得到目标检测图像。
2.根据权利要求1所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S2中,对通道空间注意模块计算特征映射,Kij从节点由一维通道注意图/>和二维空间注意图/>进行顺序处理,其中Ci表示Kij的通道数,/>表示空间维度;
将r个特征映射组作为一个组进行全局平均池化,得到每个组的特征向量D,获得每个组的整体特征表示,并且利用不同的特征映射组的信息进行整合。
3.根据权利要求1所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S2包括以下分步骤
S2.1、利用鲁棒最小单形体体积方法对线性光谱混合模型进行解混,以获得端元矩阵Z;利用不同映射之间的对称比函数计算复合层之间的联通值,以获得空间注意力信息矩阵V;
S2.2、通过对空间注意力信息矩阵V的激活函数Sigmoid提取得到信息矩阵A,建立线性多层感知混合模型的初始目标函数,如下式所示:
其中,A为信息矩阵,Z为端元矩阵;
S2.3、在线性多层感知混合模型的初始目标函数中引入特征因子和空间加权因子,构建通道注意力机制过程模型,如下式所示:
其中,为元素级加法,/>为S型函数,/>为1×1卷积的线性变换;在元素级加法运算之前,/>空间映射被拉伸到/>的大小。
4.根据权利要求3所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S2.3中,空间加权因子的计算包括以下步骤
S2.3.1、将红外图像X分割成具有多分辨率图像X*,然后根据相邻像素之间的相似性进行多分辨率图像X*稀疏,求得权重引导丰度矩阵H;
S2.3.2利用权重引导丰度矩阵H计算空间权重因子,计算过程如下式所示:
其中,H(i,:)表示权重引导丰度矩阵H的第i行的元素,表示矩阵的2范数,/>为可调节参数,/>表示/>的第i行第j列的值。
5.根据权利要求4所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S2.3.1包括以下分步骤
S2.3.1.1、利用STN算法将红外图像X分割为g个超像素块,构建多分辨率图像X*∈RL×B,构建基于多分辨率图像X*的目标函数,如下式所示:
其中,和/>是非线性函数,它们都输出具有相同维度的向量,/>表示元素乘积,用于融合两个分支的信息;
S2.3.1.2、采用基于变量分裂的交替方向乘子法对基于多分辨率图像X*的目标函数进行迭代优化求解,求得权重引导丰度矩阵H。
6.根据权利要求3所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S2.3中,空间权重因子的第i行第j列的第t+1次迭代结果/>如下式所示:
其中,t表示当前迭代的次数,表示为可调节参数值,N(h)表示矩阵H中的第i行第j列元素hij的邻域集合,h∈{1,2,...,u}为相邻元素集的数量,u为邻域窗口大小,Hij表示矩阵H中第i行第j列的值hij的相邻元素集。
7.根据权利要求1所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S4中,通过下式计算全局鲁棒特征图G:
其中,为浅层特征信息。
8.根据权利要求1所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S5中,通过目标矩阵E,求得与红外图像X同维度大小的重建图像Xr,在特征金字塔融合模块之后,引入一个八连通邻域聚类模块,将属于同一目标的像素聚类在一起,并计算每个目标的质心;
假设特征图G中的任何两个像素(m0,n0)、(m1,n1)在它们的八个邻域中都有交叉区域,如下式所示:
其中,和/>代表像素(m0,n0)和(m1,n1)、(m0,n0)和(m1,n1)的八个邻域被判定为相邻像素,如果这两个像素具有相同的值,该值为0或1,则认为这两个像素位于连通区域,即如下式所示;一个连接区域中的像素属于相同的目标,在确定了图像中的所有目标后,根据所有目标的坐标计算出质心,
其中,g(m0,n0)和g(m1,n1)表示像素(m0,n0)和(m1,n1)的灰度值。
9.根据权利要求1所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S5中,自注意力聚合邻域信息结果,即通过卷积内核使用加权和聚合邻域信息的过程,如下式所示:
其中,W为聚合邻域,X为加权,a*=i+a-[k/2],b*=j+b-[k/2],k是内核大小,a,b表示当前层,a*,b*表示相邻层,c表示通道。
10.根据权利要求1所述的基于多层嵌套非全映射U型网络的红外小目标检测方法,其特征在于:所述步骤S6包括以下分步骤
S6.1、通过下式计算红外图像X和重建图像Xr之间的误差:
S6.2、根据误差error(X)得到灰度图像,再选取分割阈值δ,灰度图像中大于δ的像素值标记为1,表示为目标;反之标记为0,表示背景,得到只有0和1的二值结果图,得到目标检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310780145.7A CN116503746B (zh) | 2023-06-29 | 2023-06-29 | 基于多层嵌套非全映射u型网络的红外小目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310780145.7A CN116503746B (zh) | 2023-06-29 | 2023-06-29 | 基于多层嵌套非全映射u型网络的红外小目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116503746A CN116503746A (zh) | 2023-07-28 |
CN116503746B true CN116503746B (zh) | 2023-09-12 |
Family
ID=87328886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310780145.7A Active CN116503746B (zh) | 2023-06-29 | 2023-06-29 | 基于多层嵌套非全映射u型网络的红外小目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116503746B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113447901A (zh) * | 2021-05-17 | 2021-09-28 | 西安大衡天成信息科技有限公司 | 一种不依赖概率模型的海杂波识别与目标检测方法 |
CN114529830A (zh) * | 2022-01-19 | 2022-05-24 | 重庆邮电大学 | 基于混合卷积网络遥感图像时空融合方法 |
CN114998566A (zh) * | 2022-05-09 | 2022-09-02 | 中北大学 | 一种可解释的多尺度红外弱小目标检测网络设计方法 |
CN115393718A (zh) * | 2022-08-29 | 2022-11-25 | 河南大学 | 基于自适应融合NestedUNet的光学遥感图像变化检测方法 |
CN115493583A (zh) * | 2022-07-06 | 2022-12-20 | 北京航空航天大学 | 一种天文目标检测与精确定位一体化方法 |
CN115620128A (zh) * | 2022-09-20 | 2023-01-17 | 南昌工程学院 | 一种高光谱异常检测方法 |
CN115909077A (zh) * | 2022-12-27 | 2023-04-04 | 中国科学院西安光学精密机械研究所 | 基于无监督光谱解混神经网络的高光谱图像变化检测方法 |
-
2023
- 2023-06-29 CN CN202310780145.7A patent/CN116503746B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113447901A (zh) * | 2021-05-17 | 2021-09-28 | 西安大衡天成信息科技有限公司 | 一种不依赖概率模型的海杂波识别与目标检测方法 |
CN114529830A (zh) * | 2022-01-19 | 2022-05-24 | 重庆邮电大学 | 基于混合卷积网络遥感图像时空融合方法 |
CN114998566A (zh) * | 2022-05-09 | 2022-09-02 | 中北大学 | 一种可解释的多尺度红外弱小目标检测网络设计方法 |
CN115493583A (zh) * | 2022-07-06 | 2022-12-20 | 北京航空航天大学 | 一种天文目标检测与精确定位一体化方法 |
CN115393718A (zh) * | 2022-08-29 | 2022-11-25 | 河南大学 | 基于自适应融合NestedUNet的光学遥感图像变化检测方法 |
CN115620128A (zh) * | 2022-09-20 | 2023-01-17 | 南昌工程学院 | 一种高光谱异常检测方法 |
CN115909077A (zh) * | 2022-12-27 | 2023-04-04 | 中国科学院西安光学精密机械研究所 | 基于无监督光谱解混神经网络的高光谱图像变化检测方法 |
Non-Patent Citations (1)
Title |
---|
Hyperspectral Image Classification Using a Superpixel–Pixel–Subpixel Multilevel Network;Bing Tu等;《IEEE Transactions on Instrumentation and Measurement》;第72卷;1-18 * |
Also Published As
Publication number | Publication date |
---|---|
CN116503746A (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN108665496B (zh) | 一种基于深度学习的端到端的语义即时定位与建图方法 | |
Xie et al. | Linking points with labels in 3D: A review of point cloud semantic segmentation | |
Wang et al. | Fusing bird’s eye view lidar point cloud and front view camera image for 3d object detection | |
CN103810744B (zh) | 在点云中回填点 | |
CN113706480B (zh) | 一种基于关键点多尺度特征融合的点云3d目标检测方法 | |
CN112052783A (zh) | 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法 | |
CN111401380B (zh) | 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法 | |
CN113159232A (zh) | 一种三维目标分类、分割方法 | |
CN111126385A (zh) | 一种可变形活体小目标的深度学习智能识别方法 | |
CN114724120A (zh) | 基于雷视语义分割自适应融合的车辆目标检测方法及系统 | |
CN113642571B (zh) | 一种基于显著性注意力机制的细粒度图像识别方法 | |
CN112270694B (zh) | 基于激光雷达扫描图进行城市环境动态目标检测的方法 | |
CN114973031B (zh) | 一种无人机视角下的可见光-热红外图像目标检测方法 | |
CN115497002A (zh) | 一种多尺度特征融合的激光雷达遥感分类方法 | |
CN113449612A (zh) | 一种基于子流型稀疏卷积的三维目标点云识别的方法 | |
CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
CN113657225B (zh) | 一种目标检测方法 | |
CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
CN114332796A (zh) | 一种多传感器融合体素特征图生成方法及系统 | |
Qayyum et al. | Deep convolutional neural network processing of aerial stereo imagery to monitor vulnerable zones near power lines | |
CN117557884A (zh) | 一种基于多尺度注意力的旋转目标检测方法 | |
Oh et al. | Local selective vision transformer for depth estimation using a compound eye camera | |
CN116503746B (zh) | 基于多层嵌套非全映射u型网络的红外小目标检测方法 | |
CN116665185A (zh) | 用于自动驾驶的三维目标检测方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |