CN114897842A - 基于纹理增强网络的红外小目标分割检测方法 - Google Patents

基于纹理增强网络的红外小目标分割检测方法 Download PDF

Info

Publication number
CN114897842A
CN114897842A CN202210545081.8A CN202210545081A CN114897842A CN 114897842 A CN114897842 A CN 114897842A CN 202210545081 A CN202210545081 A CN 202210545081A CN 114897842 A CN114897842 A CN 114897842A
Authority
CN
China
Prior art keywords
texture enhancement
output
network
convolution
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210545081.8A
Other languages
English (en)
Inventor
曹舒雅
朱虎
邓丽珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210545081.8A priority Critical patent/CN114897842A/zh
Publication of CN114897842A publication Critical patent/CN114897842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于纹理增强网络的红外小目标分割检测方法，包括步骤1：从原始视频数据集中获取带有红外小目标的图片，将图片划分为训练集和测试集，然后为图片打上标注，得到数据图片以及与之对应的标签图像数据集；步骤2：将获得的数据图片以及标签图像数据集输入纹理增强网络中，得到三个子输出；步骤3：构建差异性损失来度量得到的3个子输出特征图，得到差异性损失，并根据3个子输出计算出平均输出；步骤4：将得到的平均输出转化成单通道的分割预测图像，得到最终预测图像的输出。本发明在纹理增强网络的基础上构建了差异性损失，以一种更加高效准确的方式逼近网络，检测概率得到了提升，生成的预测分割图片简洁明了，无多余杂波出现。

Description

基于纹理增强网络的红外小目标分割检测方法
技术领域
本发明属于计算机视觉领域，具体的说是涉及一种基于纹理增强网络的红外小目标分割检测方法。
背景技术
近年来，随着计算机技术的不断进步，计算机性能的不断提高，利用计算机取代繁重的人工作业己经成为趋势。计算机视觉作为人工智能研究领域重要的基础组成部分，有着广泛的应用，例如目标检测、人脸识别、场景重建以及目标跟踪等。红外小目标检测是红外搜索和跟着的关键技术之一，在海上监控系统，预警系统应用广泛。
红外小目标检测近年来越来越受关注，但由于探测距离较远，红外小目标图像成像面积小、强度弱，再加上大气云层的干扰，使得红外小目标容易淹没在背景里。另外，成像过程会产生噪声，在检测中容易被误检为目标，出现“高虚警”现象。近年来，红外小目标检测技术的研究发展迅速，许多方法相继被提出，如Dai等人提出的同时利用局部和非局部先验信息的RIPT模型(Dai Y,Wu Y.Reweighted infrared patch-tensor model with bothnonlocal and local priors for single-frame small target detection[J].IEEEjournal of selected topics in applied earth observations and remote sensing,2017,10(8):3752-3767.)，Kong等人提出的红外小目标检测网络new-IPT(Kong X,Yang C,Cao S,et al.Infrared small target detection via nonconvex tensor fibered rankapproximation[J].IEEE Transactions on Geoscience and Remote Sensing,2021,60:1-21.)，以及Han等人提出的用于红外小目标检测的加权增强局部对比度度量算法wslcm(Han J,Moradi S,Faramarzi I,et al.Infrared small target detection based onthe weighted strengthened local contrast measure[J].IEEE Geoscience andRemote Sensing Letters,2020,18(9):1670-1674.)。这些传统的红外小目标检测方法非常依赖手工特征的设置，导致模型不稳定，难以适应场景的变化。而随着深度学习的发展，各类神经网络层出不穷，已经应用到许多计算机视觉的任务中，如人脸识别，图像分类，文本检测识别等领域中。相比于传统算法，深度学习方法可以大幅度地提高许多任务的准确性，提高算法的鲁棒性，现已有不少研究者将深度学习的思想应用到红外小目标探测中。相比于经典方法，基于深度学习的目标检测算法不需要人为设置特征，建模方便、灵活，并且可以准确地区分各类目标的类别，在满足实时性能的前提下可以准确地检测出各类目标，充分地发挥了其优势。Wang等人提出的深度对抗学习网络MDvsFA_cGAN(Wang H,Zhou L,Wang L.Miss detection vs.false alarm:Adversarial learning for small objectsegmentation in infrared images[C]//Proceedings of the IEEE/CVF InternationalConference on Computer Vision.2019:8509-8518.)就是将红外小目标检测任务放到深度学习领域中来。但现有的基于深度学习的小目标检测模型一般都存在着检测精度不够高，细节纹理特征易被丢失的问题。
发明内容
为了解决上述问题，提高红外小目标检测的准确率，本发明提供一种基于纹理增强网络的红外小目标分割检测方法，该方法在不提高网络运算复杂度的同时，有效提取图像的目标特征，具有更高的识别精度。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明是一种基于纹理增强网络的红外小目标分割检测方法，包括如下步骤：
步骤1：从原始视频数据集中获取带有红外小目标的图片，将这些图片划分为训练集和测试集。然后使用标注工具为这些图片打上标注，得到数据图片以及与之对应的ground_truth(标签图像)。
步骤2：将步骤1中获得的数据图片以及标签图像数据集输入纹理增强网络中，得到三个子输出。
纹理增强网络由编码网络和解码网络组合而成，所述编码网络由4个卷积模块和2个先验模块组成，将4个卷积模块依次表示为conv1，conv2，conv3和conv4，2个先验模块依次表示为p1和p2，其中，conv1，conv2和conv3均依次包含两个相同的卷积层和一个最大池化层，conv4则包含两个相同的卷积层，conv1，conv2，conv3和conv4中包含的卷积层的卷积核大小均为3，步长均为1，conv1，conv2，conv3和conv4中包含的卷积层的卷积核的数量依次为32、64、128和256，所述最大池化层的池化大小和步长均为2，所述先验模块依次由一个双线性下采样和一个卷积层以及Relu激活函数组成，所述下采样才做具体为：p1采样至64*64，p2采样至32*32。p1和p2卷积层的卷积核尺寸均为3，步长均为1，卷积核数量分别为64和128。
所述解码网络则由3个纹理增强模块和3个分类模块组成，来获取一些更深层次的特征，每个分类模块输出一个双通道特征图，将3个纹理增强模块依次表示为G1，G2和G3，分类模块表示为F，纹理增强模块依次由一个上采样操作和一个基于纹理增强的神经网络层组成，纹理增强模块G1，纹理增强模块G2和纹理增强模块G3的上采样操作的输出尺寸分别为32*32，64*64和128*128，基于纹理增强神经网络层是由一个卷积层组成，纹理增强模块G1，纹理增强模块G2和纹理增强模块G3中对应的该卷积层卷积核大小为3，步长为1，卷积核数量分别为128、64和32，分类模块F依次由一个上采样操作和一个卷积核尺寸为1，步长为1，卷积核数量为2的卷积层构成的，所述上采样操作具体为：选择输出尺寸为w*h，是将图像恢复至原图大小，经过3个分类模块分别得到：子输出1，子输出2和子输出3。
所述基于纹理增强的神经网络层是采用具有各向异性的Gabor算子来实现的，已知Gabor算子有5个参数：θ，γ，λ，
Figure BDA0003651964800000031
σ，其实现包括如下步骤：
步骤2-1：将参数θ，γ，λ，
Figure BDA0003651964800000032
σ初始化为大小为(outchannel，inchannel)的随机矩阵，其中outchannel表示的是该层的输出特征图通道数(也就是G1，G2和G3对应的卷积核数量)，inchannel则表示该层输入特征图通道数(G1，G2和G3分别是256，128和64)；
步骤2-2：设置一个横向的卷积核x，并将其初始化成二维矩阵
[[-1 0 1]
[-1 0 1]
[-1 0 1]]；
步骤2-3：设置一个纵向的卷积核y，并将其初始化成二维矩阵
[[-1 -1 -1]
[0 0 0]
[1 1 1]]；
步骤2-4：按照下面的公式(1)和(2)计算得到大小为(outchannel，inchannel，3，3)的变换坐标后的横纵向卷积核
Figure BDA0003651964800000033
与
Figure BDA0003651964800000034
Figure BDA0003651964800000035
Figure BDA0003651964800000036
步骤2-5：将卷积核
Figure BDA0003651964800000041
与
Figure BDA0003651964800000042
输入公式(3)，计算得到大小为(outchannel，inchannel，3，3)的具有各项异性的纹理增强卷积核K(x,y)
Figure BDA0003651964800000043
步骤2-6：指定K(x,y)作为纹理增强层中的卷积核进行卷积操作，实现基于纹理增强的神经网络层。
步骤3：构建一种差异性损失来度量所述骤2得到的3个子输出特征图，得到差异性损失，并根据所述3个子输出计算出平均输出。
将步骤2中的3个子网络输出表示为：out1，out2和out3，根据公式(4)计算得到out4
out4＝(out1+out2+out3)/3 (4)
步骤3-1：使用公式(5)分别度量输出out1，out2，out3与标签图像的差异，得到Loss1，Loss2和Loss3，先分别计算出输出与标签图像的均值和方差，记为δ1，δ2，γ1和γ2
Figure BDA0003651964800000044
其中λ1和λ2分别设置为1和0.01，p(x)表示标签图像，q(x)表示输出的概率分布；这种概率分布是由sigmoid函数(二分类函数)计算得来的。
步骤3-2：使用公式(6)度量out4与标签图像的差异，得到Loss4
Loss＝-∑p(x)logq(x) (6)
步骤3-3：综合步骤3-1和步骤3-2得到该纹理增强网络的差异性损失，该损失可由公式(7)表示
TotalLoss＝Loss1+Loss2+Loss3+Loss4 (7)。
步骤4：将在步骤3中得到的所述平均输出转化成单通道的分割预测图像，得到最终预测图像的输出，具体为：红外图像经过步骤3中的差异性损失结构后得到输出out4，然后将out4输入np.argmax函数(python中的返回最大值索引函数)，得到最终的输出结果——单通道的分割预测图像。
本发明的有益效果是：本发明基于U-Ne网络的骨干结构，设计了一个基于纹理增强的红外小目标分割网络，该网络同样分为编码和解码两个部分，考虑到红外小目标图像目标像素信息少的特性，并不需要增加跳跃连接来链接编码特征和解码特征，简单的串行结构已经可以满足小目标任务。
不同于普通的U-Net网络，本发明中的纹理增强网络在前期编码过程及时补充图像先验信息，来尽可能保留住图像中的关键目标特征，使其不被丢失在层层网络之中，解码网络主要由基于纹理增强的神经网络层组成，该网络层是受Gabor滤波的启发设计出来的。
本发明结合了基于纹理增强的卷积神经网络层可以充分提取小目标深度特征的关键信息，最大程度上保留图像中的纹理特征；
另外考虑到小目标具有体积小和易淹没在杂波中的特点，本发明在该纹理增强网络的基础上构建了一个差异性损失，结合整体特征和局部特征的信息，以一种更加高效准确的方式逼近网络，对预测分割图像进行有效地监督，全面有效地衡量网络的性能，进一步提高网络检测准确率。
附图说明
图1是本发明基于纹理增强网络的红外小目标分割检测方法。
图2是差异性损失结构图。
图3是部分数据集图片以及对应的对比方法结果图。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
如图1-3所示，一种基于纹理增强网络的红外小目标分割检测方法，该方法包括如下步骤：
步骤一
从原始视频数据集中获取带有红外小目标的图片，将这些图片划分为训练集和测试集，然后使用标注工具为这些图片打上标注，得到数据图片以及与之对应的ground_truth即标签图像数据集。
步骤二
将步骤一中获得的数据图片以及标签图像数据集输入纹理增强网络中，得到三个子输出，这里的所述纹理增强网络由编码网络和解码网络组合而成，其中先验模块输出的先验信息与卷积模块输出通过特征拼接的方式进行融合，具体实现方式如下：
为了方便表示，将4个卷积模块依次表示为conv1，conv2，conv3和conv4。2个先验模块依次表示为p1和p2。
读取的输入图片均统一尺寸为128*128并保存原图长宽(w，h)，然后将之输入卷积模块conv1，再将提取到的特征与经过先验模块p1的图片先验信息结合；得到的特征信息再次输入conv2且再一次与先验信息拼接；特征信息在经过4个卷积模块：conv1、conv2、conv3和conv4，即可完成编码过程。
其中conv1，conv2和conv3均依次包括两个相同的卷积层和一个最大池化层，而conv4则包含两个相同的卷积层。这些卷积层的卷积核大小均为3，步长均为1，区别在于卷积核数量，分别为32、64、128和256。涉及的最大池化层的参数一致：池化大小和步长均为2。
先验模块p依次由一个双线性下采样和一个卷积层以及Relu激活函数组成。下采样操作是为了方便与后面的特征图进行拼接，p1采样至64*64，p2采样至32*32。p1和p2卷积层的卷积核尺寸均为3，步长均为1，卷积核数量分别为64和128。
解码网络则是由3个纹理增强模块和分类模块组成，来获取一些更深层次的特征，每个分类模块输出一个双通道特征图。
为了方便表示，将3个纹理增强模块依次表示为G1，G2和G3，分类模块表示为F。
纹理增强模块依次由一个上采样操作和一个基于纹理增强的神经网络层组成。G1，G2和G3的上采样操作的输出尺寸分别为32*32，64*64和128*128。而基于纹理增强神经网络层是由一个卷积层组成，G1，G2和G3中对应的该卷积层卷积核大小为3，步长为1，卷积核数量分别为128、64和32。
分类模块F依次由一个上采样操作和一个卷积核尺寸为1，步长为1，卷积核数量为2的卷积层构成的。上采样操作选择输出尺寸为w*h，是将图像恢复至原图大小(w，h)。经过3个分类模块分别得到：子输出1，子输出2和子输出3。
基于纹理增强的神经网络层的具体实现如下：
不同于普通的卷积算子，基于纹理增强的神经网络层是采用具有各向异性的Gabor算子来实现的。结合了Gabor算子的纹理增强层强化了图像的尺度和方向分解，图像中的特征得到充分的保留。
1)已知Gabor算子有5个参数：θ，γ，λ，
Figure BDA0003651964800000071
σ。先将它们初始化为大小为(outchannel，inchannel)的随机矩阵，其中outchannel表示的是该层的输出特征图通道数(也就是G1，G2和G3对应的卷积核数量)，inchannel则表示该层输入特征图通道数(G1，G2和G3分别是256，128和64)。
2)设置一个横向的卷积核x，并将其初始化成二维矩阵。
[[-1 0 1]
[-1 0 1]
[-1 0 1]]
3)设置一个纵向的卷积核y，并将其初始化成二维矩阵。
[[-1 -1 -1]
[0 0 0]
[1 1 1]]
4)按照下面的公式(1)和(2)计算得到大小为(outchannel，inchannel，3，3)的变换坐标后的横纵向卷积核
Figure BDA0003651964800000072
与
Figure BDA0003651964800000073
Figure BDA0003651964800000074
Figure BDA0003651964800000075
5)然后将卷积核
Figure BDA0003651964800000076
与
Figure BDA0003651964800000077
输入公式(3)，计算得到大小为(outchannel，inchannel，3，3)的具有各项异性的纹理增强卷积核K(x,y)。
Figure BDA0003651964800000078
6)指定K(x,y)作为纹理增强层中的卷积核进行卷积操作，实现基于纹理增强的神经网络层。
步骤三
构建一种差异性损失来度量步所述骤二得到的3个子输出特征图，得到差异性损失，并根据所述3个子输出计算出平均输出，差异性损失结构如图2所示，具体实现步骤如下：
为了简化表示将步骤二中的3个子网络输出表示为：out1，out2和out3；然后根据公式(4)计算得到out4。
out4＝(out1+out2+out3)/3 (4)
1)使用公式(5)分别度量输出out1，out2，out3与ground_truth的差异，得到Loss1，Loss2和Loss3。先分别计算出输出与ground_truth的均值和方差，记为δ1，δ2，γ1和γ2。
Figure BDA0003651964800000081
其中λ1和λ2分别设置为1和0.01。p(x)表示ground_truth，q(x)表示输出的概率分布，这种概率分布是由sigmoid函数(二分类函数)计算得来的。
2)使用公式(6)度量out4与ground_truth的差异，得到Loss4。
Loss＝-∑p(x)logq(x) (6)
3)综合上述两个部分得到该纹理增强网络的差异性损失，该损失可由公式(7)表示。
TotalLoss＝Loss1+Loss2+Loss3+Loss4 (7)
步骤四
将在步骤三中得到的所述平均输出转化成单通道的分割预测图像，得到最终预测图像的输出。将输出转化成单通道的分割预测图像，具体实现步骤如下：红外图像经过步骤三中的差异性损失结构后得到输出out4，然后将out4输入np.argmax函数(python中的返回最大值索引函数)，得到最终的输出结果——单通道的分割预测图像。
为了验证本发明的有效性，我们在相同的数据集上使用多个目前主流的方法进行测试，与本发明的实验结果进行对比。
本发明使用的方法有IPI、RIPT、srws、MDvsFA-cGAN、new-IPT和wslcm，还将U-Net网络应用在该数据集上，与本发明进行比较。实验对比结果如图3所示。实验结果如表1。
表1
Recall <u>Prec</u> F1 <u>mIOU</u> Pd
本发明 0.678 0.578 0.593 0.722 0.726
<u>MDvsFA-cGAN</u> 0.68 0.46 0.458 0.666 0.551
IPI 0.425 0.301 0.314 0.594 0.036
RIPT 0.271 0.164 0.161 0.544 0.023
New-IPT 0.613 0.515 0.538 0.694 0.067
<u>srws</u> 0.165 0.944 0.281 0.163 0.345
<u>wslcm</u> 0.126 0.352 0.163 0.545 0.013
U-Net 0.418 0.461 0.473 0.675 0.277
分析表1可以得知，相较于传统小目标检测方法和其他基于深度学习的方法，本发明公开的方法在各项指标上都具有不同程度的优越性，其中指标Pd改善得尤为明显。通过图3，可以发现本发明方法预测出来的结果在产生精确的目标定位和形状分割输出的同时，无多余杂波出现，虚警率很低。在面对各种杂波背景、目标形状和目标大小时，均能保持更为稳定的预测输出。
所用数据集的训练集大小为2904，测试集大小为100。经过与近几年的红外小目标检测方法在5个指标上进行了比较，取得了良好的结果。各指标解释如下：
首先假设目标为正样本，而背景为负样本。
Recall(召回率)：度量正样本多少被预测对了。
Prec(精确率)：度量预测为真的样本里有多少是对的。
F1：Prec与Recall的调和均值(2*Prec*Recall/(Prec+Recall))。
mIOU(均交并比)：均交并比，背景和目标作为2个类别，分别求它们的交并比，然后求均值。
Pd(目标级准确率)：以目标为单位，度量预测出来的目标有多少是真实的目标。
从对比结果中可知，本发明的效果无论是在抑制背景还是增强目标，效果相较于对比的算法性能都更加优秀。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (9)

1.一种基于纹理增强网络的红外小目标分割检测方法，其特征在于：所述红外小目标分割检测方法包括如下步骤：
步骤1：从原始视频数据集中获取带有红外小目标的图片，将这些图片划分为训练集和测试集，然后使用标注工具为这些图片打上标注，得到数据图片以及与之对应的标签图像数据集；
步骤2：将步骤1中获得的数据图片以及标签图像数据集输入纹理增强网络中，得到三个子输出；
步骤3：构建一种差异性损失来度量所述骤2得到的3个子输出特征图，得到差异性损失，并根据所述3个子输出计算出平均输出；
步骤4：将在步骤3中得到的所述平均输出转化成单通道的分割预测图像，得到最终预测图像的输出。
2.根据权利要求1所述基于纹理增强网络的红外小目标分割检测方法，其特征在于：步骤2中的所述纹理增强网络由编码网络和解码网络组合而成。
3.根据权利要求2所述基于纹理增强网络的红外小目标分割检测方法，其特征在于：所述编码网络由4个卷积模块和2个先验模块组成，将4个卷积模块依次表示为conv1，conv2，conv3和conv4，2个先验模块依次表示为p1和p2，其中，conv1，conv2和conv3均依次包含两个相同的卷积层和一个最大池化层，conv4则包含两个相同的卷积层，conv1，conv2，conv3和conv4中包含的卷积层的卷积核大小均为3，步长均为1，conv1，conv2，conv3和conv4中包含的卷积层的卷积核的数量依次为32、64、128和256，所述最大池化层的池化大小和步长均为2，所述先验模块依次由一个双线性下采样和一个卷积层以及Relu激活函数组成。
4.根据权利要求3所述基于纹理增强网络的红外小目标分割检测方法，其特征在于：所述下采样才做具体为：p1采样至64*64，p2采样至32*32。p1和p2卷积层的卷积核尺寸均为3，步长均为1，卷积核数量分别为64和128。
5.根据权利要求2所述基于纹理增强网络的红外小目标分割检测方法，其特征在于：所述解码网络则由3个纹理增强模块和3个分类模块组成，来获取一些更深层次的特征，每个分类模块输出一个双通道特征图，将3个纹理增强模块依次表示为G1，G2和G3，分类模块表示为F，纹理增强模块依次由一个上采样操作和一个基于纹理增强的神经网络层组成，纹理增强模块G1，纹理增强模块G2和纹理增强模块G3的上采样操作的输出尺寸分别为32*32，64*64和128*128，基于纹理增强神经网络层是由一个卷积层组成，纹理增强模块G1，纹理增强模块G2和纹理增强模块G3中对应的该卷积层卷积核大小为3，步长为1，卷积核数量分别为128、64和32。
6.根据权利要求5所述基于纹理增强网络的红外小目标分割检测方法，其特征在于：分类模块F依次由一个上采样操作和一个卷积核尺寸为1，步长为1，卷积核数量为2的卷积层构成的，所述上采样操作具体为：选择输出尺寸为w*h，是将图像恢复至原图大小，经过3个分类模块分别得到：子输出1，子输出2和子输出3。
7.根据权利要求5所述基于纹理增强网络的红外小目标分割检测方法，其特征在于：所述基于纹理增强的神经网络层是采用具有各向异性的Gabor算子来实现的，已知Gabor算子有5个参数：θ，γ，λ，
Figure FDA0003651964790000021
σ，其实现包括如下步骤：
步骤2-1：将参数θ，γ，λ，
Figure FDA0003651964790000022
σ初始化为大小为(outchannel，inchannel)的随机矩阵，其中outchannel表示的是该层的输出特征图通道数，inchannel则表示该层输入特征图通道数；
步骤2-2：设置一个横向的卷积核x，并将其初始化成二维矩阵
[[-1 0 1]
[-1 0 1]
[-1 0 1]]；
步骤2-3：设置一个纵向的卷积核y，并将其初始化成二维矩阵
[[-1 -1 -1]
[0 0 0]
[1 1 1]]；
步骤2-4：按照下面的公式(1)和(2)计算得到大小为(outchannel，inchannel，3，3)的变换坐标后的横纵向卷积核
Figure FDA0003651964790000023
与
Figure FDA0003651964790000024
Figure FDA0003651964790000025
Figure FDA0003651964790000026
步骤2-5：将卷积核
Figure FDA0003651964790000027
与
Figure FDA0003651964790000028
输入公式(3)，计算得到大小为(outchannel，inchannel，3，3)的具有各项异性的纹理增强卷积核K(x,y)
Figure FDA0003651964790000031
步骤2-6：指定K(x,y)作为纹理增强层中的卷积核进行卷积操作，实现基于纹理增强的神经网络层。
8.根据权利要求1所述基于纹理增强网络的红外小目标分割检测方法，其特征在于：所述步骤3中，差异性损失实现步骤包括：
步骤3-1：将步骤2中的3个子网络输出表示为：out1，out2和out3，根据公式(4)计算得到out4
out4＝(out1+out2+out3)/3 (4)
步骤3-2：使用公式(5)分别度量输出out1，out2，out3与标签图像的差异，得到Loss1，Loss2和Loss3，先分别计算出输出与标签图像的均值和方差，记为δ1，δ2，γ1和γ2
Figure FDA0003651964790000032
其中λ1和λ2分别设置为1和0.01，p(x)表示标签图像，q(x)表示输出的概率分布；
步骤3-3：使用公式(6)度量out4与标签图像的差异，得到Loss4
Loss＝-∑p(x)logq(x) (6)
步骤3-4：综合步骤3-2和步骤3-3得到该纹理增强网络的差异性损失，该损失可由公式(7)表示
TotalLoss＝Loss1+Loss2+Loss3+Loss4 (7)。
9.根据权利要求8所述基于纹理增强网络的红外小目标分割检测方法，其特征在于：所述步骤7中，将得到的平均输出转化成单通道的分割预测图像具体为：红外图像经过步骤3中的差异性损失结构后得到输出out4，然后将out4输入np.argmax函数，得到最终的输出结果——单通道的分割预测图像。
CN202210545081.8A 2022-05-19 2022-05-19 基于纹理增强网络的红外小目标分割检测方法 Pending CN114897842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210545081.8A CN114897842A (zh) 2022-05-19 2022-05-19 基于纹理增强网络的红外小目标分割检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210545081.8A CN114897842A (zh) 2022-05-19 2022-05-19 基于纹理增强网络的红外小目标分割检测方法

Publications (1)

Publication Number Publication Date
CN114897842A true CN114897842A (zh) 2022-08-12

Family

ID=82724670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210545081.8A Pending CN114897842A (zh) 2022-05-19 2022-05-19 基于纹理增强网络的红外小目标分割检测方法

Country Status (1)

Country Link
CN (1) CN114897842A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972798A (zh) * 2022-08-01 2022-08-30 南京航空航天大学 一种基于特征纹理增强的目标检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972798A (zh) * 2022-08-01 2022-08-30 南京航空航天大学 一种基于特征纹理增强的目标检测方法

Similar Documents

Publication Publication Date Title
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
Liu et al. Denet: A universal network for counting crowd with varying densities and scales
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN111523546A (zh) 图像语义分割方法、系统及计算机存储介质
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
Qi et al. FTC-Net: Fusion of transformer and CNN features for infrared small target detection
CN112163990A (zh) 360度图像的显著性预测方法及系统
CN114897842A (zh) 基于纹理增强网络的红外小目标分割检测方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Ding et al. DHT: dynamic vision transformer using hybrid window attention for industrial defect images classification
Li et al. Evaluation the performance of fully convolutional networks for building extraction compared with shallow models
Schulz et al. Object-class segmentation using deep convolutional neural networks
CN116934820A (zh) 基于交叉注意力的多尺寸窗口Transformer网络布匹图像配准方法及系统
Jiang et al. Pseudo‐Siamese residual atrous pyramid network for multi‐focus image fusion
CN114913519B (zh) 一种3d目标检测方法、装置、电子设备及存储介质
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
Yan et al. CAINNFlow: Convolutional block attention modules and invertible neural networks flow for anomaly detection and localization tasks
CN114863132A (zh) 图像空域信息的建模与捕捉方法、系统、设备及存储介质
Huang et al. DeeptransMap: a considerably deep transmission estimation network for single image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhu Hu

Inventor after: Cao Shuya

Inventor after: Deng Lizhen

Inventor before: Cao Shuya

Inventor before: Zhu Hu

Inventor before: Deng Lizhen