CN115393635A - 一种基于超像素分割以及数据增强的红外小目标检测方法 - Google Patents

一种基于超像素分割以及数据增强的红外小目标检测方法 Download PDF

Info

Publication number
CN115393635A
CN115393635A CN202210962787.4A CN202210962787A CN115393635A CN 115393635 A CN115393635 A CN 115393635A CN 202210962787 A CN202210962787 A CN 202210962787A CN 115393635 A CN115393635 A CN 115393635A
Authority
CN
China
Prior art keywords
image
pixel
training
classification
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210962787.4A
Other languages
English (en)
Inventor
赵毅
郭亚飞
任获荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Radium Photoelectric Technology Co ltd
Original Assignee
Xi'an Radium Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Radium Photoelectric Technology Co ltd filed Critical Xi'an Radium Photoelectric Technology Co ltd
Priority to CN202210962787.4A priority Critical patent/CN115393635A/zh
Publication of CN115393635A publication Critical patent/CN115393635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超像素分割以及数据增强的红外小目标检测方法，针对现有技术中红外图像小目标检测方面存在的不足。该发明含有以下步骤：制作数据集并对数据集进行扩充，增加训练样本；将得到的所有图像输入至生成对抗网络模型得到输出结果；将数据集中的原始图像进行超像素分割；建立U‑Net网络模型，并使用生成的超像素分割后的图像与其对应的原真实标签输入至U‑Net网络模型进行训练；建立分类网络模型，使用数据集中的Mask标签图像和分类标签输入至分类网络进行训练；建立红外小目标检测管道，输出分类检测结果。该技术结合了分类网络模型，能在分割的基础上进行分类检测，对红外小目标的检测更加精确。

Description

一种基于超像素分割以及数据增强的红外小目标检测方法
技术领域
本发明涉及红外图像检测技术领域，特别是涉及一种基于超像素分割以及数据增强的红外小目标检测方法。
背景技术
红外图像的背景和噪声占有很大比例，目标不清晰、占比小也增加了检测的难度；另外，实际的红外小目标检测任务中，目标与背景之间的语义联系往往较弱，缺乏明显的形状、纹理和颜色等信息，难以直接检测，因此直接使用通用小目标检测方法进行红外小目标检测具有局限性。其次，在真实场景下，虚警也是一个难以解决的问题，它大多由两个方面的因素造成，首先探测器视场中有时不可避免地会出现各种各样的复杂背景，如树木、建筑、云层、海浪等，它们可能具有超过真实目标的亮度和比较复杂的边缘杂波信息，容易干扰检测，其次由于器件制造缺陷以及系统工作时的随机电噪声等因素，原始图像中会存在一些高亮度点噪声，这些点噪声也容易被错当成目标；一些实际应用场合(如制导等)对实时性的要求很高，这进一步增加了目标检测的难度。红外小目标也存在样本难以采集、红外成像纹理信息的缺乏以及红外小目标图像的前景和背景之间的严重不平衡，更使得精确检测红外小目标变得困难。实现对红外小目标的精确检测具有重要意义。
发明内容
本发明改善了现有技术中红外图像小目标检测方面存在的不足，提供一种容易采集红外小目标样本的基于超像素分割以及数据增强的红外小目标检测方法。
本发明的技术解决方案是，提供一种具有以下步骤的基于超像素分割以及数据增强的红外小目标检测方法：含有以下步骤：
步骤1、制作数据集并对数据集进行扩充，增加训练样本；
步骤2、将得到的所有图像输入至生成对抗网络模型得到输出结果，将原始数据集与生成对抗网络得到的图像数据视为新的数据集；
步骤3、使用超像素分割算法，将数据集中的原始图像进行超像素分割；
步骤4、建立U-Net网络模型，并使用生成的超像素分割后的图像与其对应的原真实标签输入至U-Net 网络模型进行训练；
步骤5、建立分类网络模型，使用数据集中的Mask标签图像和分类标签输入至分类网络进行训练；
步骤6、建立红外小目标检测管道，其中包含步骤4训练好的U-Net网络模型和步骤5训练好的分类网络模型，再输出分类检测结果。
优选地，所述步骤1中通过在包含小目标样本中多次复制粘贴小目标对数据集进行扩充，粘贴每个目标时保证粘贴的目标与现有的目标不重叠，在任意位置进行粘贴，不与其他对象重叠，每个对象粘贴在一张图像内不超过3个。
优选地，所述步骤2含有以下步骤，
步骤2.1、先把原始训练集中的图片送入GAN网络训练得到GAN的生成模型和判别模型，同时将原始训练集中的图片送入CNN网络中训练得到第一个预测模型；
步骤2.2、将原始训练集中的图再送步骤2.1中训练GAN后得到的生成模型中，得到若干输出的假样本；
步骤2.3、将步骤2.2得到的假样本和原始训练集组合得到一个在原始数据集上加了假样本进行扩充后的新训练集，将原始数据集与生成对抗网络得到的图像数据视为新的数据集。
优选地，所述步骤3中输入为数据集中的原始图像，将其预处理为128×128大小，将红外图像转换为三维特征向量V＝[l,x,y]T，该特征向量描述亮度空间和坐标空间，算法聚类过程从初始化聚类中心 Ck＝[lk,xk,yk]T开始，其中K个初始聚类中心在间隔S个像素的规则网格进行上采样，将聚类中心移动到与3×3邻域中的最低梯度位置相对应的位置，在分配步骤中的每个像素必须与所有聚类中心比较，通过引入距离测量D来实现，该距离测量D确定每个像素的最近聚类中心，由于超像素的预期空间范围是近似尺寸S×S的区域，则在超像素中心周围的区域2S×2S中进行类似像素的搜索，聚类中心到每一个像素之间的距离表示为D，如式
Figure RE-GDA0003906441460000021
m表示空间和像素颜色的相对重要性的度量，其中dl和ds分别表示颜色接近度和空间接近度，在计算距离D时，构造以像素i为中心，大小为
Figure RE-GDA0003906441460000022
的正方形区域
Figure RE-GDA0003906441460000023
来表示i的亮度值，在区域
Figure RE-GDA0003906441460000024
中，排除极端点后的非边缘像素集合表示为
Figure RE-GDA0003906441460000025
其平均值用于计算像素点和聚类中心的亮度相似度，其中颜色接近度如式
Figure RE-GDA0003906441460000026
其中
Figure RE-GDA0003906441460000027
Figure RE-GDA0003906441460000028
表示像素总数，
Figure RE-GDA0003906441460000029
表示
Figure RE-GDA00039064414600000210
的平均值，空间接近度
Figure RE-GDA00039064414600000211
直到每个像素点聚类中心不再发生变化停止迭代得到超像素分割图像。
优选地，所述步骤4中将步骤3中的每一个超像素分割后的图像像素进行归一化，方法为
Figure RE-GDA00039064414600000212
p'为归一化后的像素值，pmin为图像中像素值的最小值，pmax为图像中像素值的最大值，归一化后连同其原真实标签图像输入至U-Net网络模型进行训练，得到训练好的U-Net网络模型。
优选地，所述步骤5中建立分类网络模型，利用迁移学习，使用预训练模型DarkNet-19网络作为特征提取器，使用5个完全连接的层进行分类，在预训练模型DarkNet-19和第一个Dense层之间加入dropout 操作再进行Flatten操作；第二个Dense层和第三个Dense之间、第三个Dense层和第四个Dense层之间加入dropout操作，dropout比率选择0.2，以最小化过度拟合，且在每一个Dense层中，使用“tanh”激活函数，
Figure RE-GDA0003906441460000031
全连接层的末尾，使用具有一个节点的softmax层映射类别标签，以从红外图像中检测目标，并且使用数据集中的Mask标签图像和分类标签输入至分类网络进行训练。
优选地，所述步骤6中建立红外小目标检测管道，其中包含了步骤4训练好的U-Net网络模型和步骤 5训练好的分类网络模型，将128x128像素的红外原始图像作为输入，输入图像将使用超像素分割进行预处理，然后使用步骤4中训练好的U-Net模型，将生成对应的Mask图像，再经过必要的预处理步骤后的 Mask图像将被输入至步骤5中训练好的分类模型中，该模型预测图像中目标的类别。
与现有技术相比，本发明基于超像素分割以及数据增强的红外小目标检测方法具有以下优点：
1、扩充了样本数据集，发掘了红外图像中的局部对比度特征，基于超像素分割以及数据增强，来用于提升对红外小目标的检测能力，特别是弱小目标样本少的数据集下。
2、不仅使用了小目标在每张图像上的复制粘贴，还使用了生成对抗网络模型，进一步扩充了数据集，增加了弱小目标的正样本。通过在包含小目标样本中多次复制粘贴小目标以及生成对抗网络。增加了小目标位置的多样性，同时保证目标出现在合适的上下文，扩充了数据集。
3、由于引入了超像素分割，红外图像被聚类为超级像素，为进一步的语义分割任务提供更好的表示。
4、由于结合了分类网络模型，能够在分割的基础上进行分类检测，对红外小目标的检测更加精确。
5、利用扩充后的整个数据集，减少过拟合现象，增加模型的泛化能力。再通过改进原始的简单的线性迭代聚类SLIC算法，使其适用于红外图像，并且构造了以像素点为中心的大小为的正方形区域来表示像素点的亮度值，结合像素邻域信息提高了对异常像素的鲁棒性。为进一步的U-Net语义分割提供了更好的表示。
6、小目标检测的管道。包含训练好的U-Net语义分割网络模型和分类网络模型，是一种集成的自动化流水线，能够在分割的基础上进行分类检测，以低成本且更加准确地实现红外小目标的检测。
附图说明
图1是本发明的方法流程图；
图2是本发明中目标检测的框架流程图；
图3是本发明目标检测的框架中的分类模型的具体网络框架示意图；
图4是本发明复制粘贴小目标对象的具体实施流程算法图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面结合附图和具体实施方式对本发明基于超像素分割以及数据增强的红外小目标检测方法作进一步说明：如图所示，本实施例中包括以下步骤：
步骤1、首先，使用labelme标签标注工具生成yolo格式的标签txt文件和语义分割的Mask标签，并与原始图像共同组成数据集。其次，对于语义分割的Mask标签图像，使用labelme标签标注工具对其进行分类标注。对于其中已有的yolo格式数据集中的一半图片中选取所标注标签真值像素不超过64×64的小目标，复制其图像对象，粘贴至当前图像当中，粘贴时同时创建其标签真值，其中，粘贴小目标的具体算法过程为：
步骤1.1、读入待处理图像，并且读入待处理图像的标签txt文件。
步骤1.2、判断标签文件中的小目标标签像素宽高是否小于64×64，如果小于则选取没有目标的位置创建新的标签真实框并添加到当前图像中的标签文件。
步骤1.3、将图片抠出复制至创建的标签真实框中且count+1。
步骤1.4、判断count值是否大于4，若大于4则停止复制粘贴小目标对象的操作，若小于4，则重复步骤1.2。
步骤2、将上述所有图像输入至生成对抗网络模型，得到输出结果。
步骤2.1、先把原始训练集中的图片送入GAN网络训练得到GAN的生成模型和判别模型，同时将原始训练集中的图片送入CNN网络中训练得到第一个预测模型。
步骤2.2、将原始训练集中的图再送步骤2.1中训练GAN后得到的生成模型中，得到若干输出的“假样本”。
步骤2.3、将步骤2.2得到的“假样本”和原始训练集组合得到一个在原始数据集上加了“假样本”进行扩充后的新训练集。将原始数据集与生成对抗网络得到的图像数据视为新的数据集。
步骤3、使用超像素分割算法，将数据集中的原始图像应用尺度比例转换为128×128大小后进行超像素分割，其具体步骤如下：
步骤3.1、初始化；步骤3.1.1、初始化聚类中心Ck＝[lk,xk,yk]T：按照预先设定的超像素个数，在图像内均匀的分配聚类中心，相邻聚类中心的距离(步长)近似为
Figure RE-GDA0003906441460000041
其中l表示亮度值，x,y表示坐标图像的空间信息，N表示图像像素点个数，K表示预分割相同尺寸的超像素个数。
步骤3.1.2、在聚类中心的3×3邻域内重新选择聚类中心，其具体方法为：计算该邻域内所有像素点的梯度值，将聚类中心移动到该邻域内梯度最小的地方。
步骤3.1.3、在每个聚类中心周围的邻域内为每个像素点分配类标签label(i)＝-1。
步骤3.1.4、在每个聚类中心周围的邻域内为每个像素点设置距离d(i)＝∞。
步骤3.2、将每一个像素i在每一个聚类中心Ck周围的2S×2S区域内计算聚类中心Ck和像素i的距离D，设置标签label(i)＝k，其中
Figure RE-GDA0003906441460000042
m表示空间和像素颜色的相对重要性的度量，其中dl和ds分别表示颜色接近度和空间接近度。
步骤3.3、构造以像素i为中心，大小为
Figure RE-GDA0003906441460000051
的正方形区域
Figure RE-GDA0003906441460000052
来表示i的亮度值，在区域
Figure RE-GDA0003906441460000053
中，排除极端点后的非边缘像素集合表示为
Figure RE-GDA0003906441460000054
其平均值用于计算点i和聚类中心Ck的亮度相似度，其中颜色接近度
Figure RE-GDA0003906441460000055
Figure RE-GDA0003906441460000056
表示像素总数，
Figure RE-GDA0003906441460000057
表示
Figure RE-GDA0003906441460000058
的平均值，空间接近度
Figure RE-GDA0003906441460000059
步骤3.5、直到每个像素点聚类中心不再发生变化停止迭代得到超像素分割图像。
步骤4、建立U-Net网络模型，使用上述步骤3生成的超像素分割后的图像与其对应的原Ground Truth Mask输入至U-Net网络模型进行训练；将步骤3中的每一个超像素分割后的图像像素进行归一化。其中归一化方法为
Figure RE-GDA00039064414600000510
p'为归一化后的像素值，pmin为图像中像素值的最小值，pmax为图像中像素值的最大值。归一化后，连同其原真实标签(Ground Truth Masks)图像输入至U-Net网络模型进行训练，得到训练好的U-Net网络模型。
步骤5、建立分类网络模型，利用迁移学习，使用预训练模型DarkNet-19网络作为特征提取器，使用 5个完全连接的层进行分类，在预训练模型DarkNet-19和第一个Dense层之间加入dropout操作再进行 Flatten操作；进一步地，第二个Dense层和第三个Dense之间、第三个Dense层和第四个Dense层之间加入dropout操作，dropout比率选择0.2，以最小化过度拟合，且在每一个Dense层中，使用“tanh”激活函数，如式
Figure RE-GDA00039064414600000511
进一步地，全连接层的末尾，使用具有一个节点的softmax层映射类别标签。其中将数据集中的Mask 标签图像应用比例转换为128×128大小，并将其图像像素进行归一化操作，预处理后和其对应的分类标签输入至分类网络进行训练。得到训练好的分类网络模型。
步骤6、建立红外小目标检测管道，包含了上述步骤4训练好的U-Net网络模型和上述步骤5训练好的分类网络模型。其中将128x128像素的红外原始图像作为输入，输入图像将使用超像素分割进行预处理，然后使用步骤4中训练好的U-Net模型，将生成对应的Mask图像，再经过必要的预处理步骤后的Mask 图像将被输入至步骤5中训练好的分类模型中，该模型将预测图像中目标的类别，其中为“有目标”一类。该管道只需要原始的红外图像，它可以自动生成Mask的图像，从而实现最终的检测结果。
其具体包括以下步骤：
具体地、X是一组包含原始红外图像的数字矩阵表示的向量，创建一个向量T，用于存储由U-Net 分割模型预测的标签Mask图像。进一步地、在X中的每一个Xi上，应用比例转换，将其转换为128×128 像素的图像，进行U-Net图像分割，使用最大值归一化对图像像素进行标准化处理；通过之前训练的U-Net 分割模型预测相应Xi的分割Mask图像，并将其保存在向量T中；在T中的每一个Ti上，应用比例转换，将其转换为128×128像素的图像；通过先前训练的分类模型预测变换后的图像的分类标签，输出检测结果，类别为有目标。

Claims (7)

1.一种基于超像素分割以及数据增强的红外小目标检测方法，其特征在于：含有以下步骤：
步骤1、制作数据集并对数据集进行扩充，增加训练样本；
步骤2、将得到的所有图像输入至生成对抗网络模型得到输出结果，将原始数据集与生成对抗网络得到的图像数据视为新的数据集；
步骤3、使用超像素分割算法，将数据集中的原始图像进行超像素分割；
步骤4、建立U-Net网络模型，并使用生成的超像素分割后的图像与其对应的原真实标签输入至U-Net网络模型进行训练；
步骤5、建立分类网络模型，使用数据集中的Mask标签图像和分类标签输入至分类网络进行训练；
步骤6、建立红外小目标检测管道，其中包含步骤4训练好的U-Net网络模型和步骤5训练好的分类网络模型，再输出分类检测结果。
2.根据权利要求1所述的基于超像素分割以及数据增强的红外小目标检测方法，其特征在于：所述所述步骤1中通过在包含小目标样本中多次复制粘贴小目标对数据集进行扩充，粘贴每个目标时保证粘贴的目标与现有的目标不重叠，在任意位置进行粘贴，不与其他对象重叠，每个对象粘贴在一张图像内不超过3个。
3.根据权利要求1所述的基于超像素分割以及数据增强的红外小目标检测方法，其特征在于：所述步骤2含有以下步骤，
步骤2.1、先把原始训练集中的图片送入GAN网络训练得到GAN的生成模型和判别模型，同时将原始训练集中的图片送入CNN网络中训练得到第一个预测模型；
步骤2.2、将原始训练集中的图再送步骤2.1中训练GAN后得到的生成模型中，得到若干输出的假样本；
步骤2.3、将步骤2.2得到的假样本和原始训练集组合得到一个在原始数据集上加了假样本进行扩充后的新训练集，将原始数据集与生成对抗网络得到的图像数据视为新的数据集。
4.根据权利要求1所述的基于超像素分割以及数据增强的红外小目标检测方法，其特征在于：所述步骤3中输入为数据集中的原始图像，将其预处理为128×128大小，将红外图像转换为三维特征向量V＝[l,x,y]T，该特征向量描述亮度空间和坐标空间，算法聚类过程从初始化聚类中心Ck＝[lk,xk,yk]T开始，其中K个初始聚类中心在间隔S个像素的规则网格进行上采样，将聚类中心移动到与3×3邻域中的最低梯度位置相对应的位置，在分配步骤中的每个像素必须与所有聚类中心比较，通过引入距离测量D来实现，该距离测量D确定每个像素的最近聚类中心，由于超像素的预期空间范围是近似尺寸S×S的区域，则在超像素中心周围的区域2S×2S中进行类似像素的搜索，聚类中心到每一个像素之间的距离表示为D，如式
Figure FDA0003793501770000011
m表示空间和像素颜色的相对重要性的度量，其中dl和ds分别表示颜色接近度和空间接近度，在计算距离D时，构造以像素i为中心，大小为
Figure FDA0003793501770000012
的正方形区域
Figure FDA0003793501770000021
来表示i的亮度值，在区域
Figure FDA0003793501770000022
中，排除极端点后的非边缘像素集合表示为
Figure FDA0003793501770000023
其平均值用于计算像素点和聚类中心的亮度相似度，其中颜色接近度如式
Figure FDA0003793501770000024
其中
Figure FDA0003793501770000025
Figure FDA0003793501770000026
表示像素总数，
Figure FDA0003793501770000027
表示
Figure FDA0003793501770000028
的平均值，空间接近度
Figure FDA0003793501770000029
直到每个像素点聚类中心不再发生变化停止迭代得到超像素分割图像。
5.根据权利要求1所述的基于超像素分割以及数据增强的红外小目标检测方法，其特征在于：所述步骤4中将步骤3中的每一个超像素分割后的图像像素进行归一化，方法为
Figure FDA00037935017700000210
p'为归一化后的像素值，pmin为图像中像素值的最小值，pmax为图像中像素值的最大值，归一化后连同其原真实标签图像输入至U-Net网络模型进行训练，得到训练好的U-Net网络模型。
6.根据权利要求1所述的基于超像素分割以及数据增强的红外小目标检测方法，其特征在于：所述所述步骤5中建立分类网络模型，利用迁移学习，使用预训练模型DarkNet-19网络作为特征提取器，使用5个完全连接的层进行分类，在预训练模型DarkNet-19和第一个Dense层之间加入dropout操作再进行Flatten操作；第二个Dense层和第三个Dense之间、第三个Dense层和第四个Dense层之间加入dropout操作，dropout比率选择0.2，以最小化过度拟合，且在每一个Dense层中，使用“tanh”激活函数，
Figure FDA00037935017700000211
全连接层的末尾，使用具有一个节点的softmax层映射类别标签，以从红外图像中检测目标，并且使用数据集中的Mask标签图像和分类标签输入至分类网络进行训练。
7.根据权利要求1所述的基于超像素分割以及数据增强的红外小目标检测方法，其特征在于：所述步骤6中建立红外小目标检测管道，其中包含了步骤4训练好的U-Net网络模型和步骤5训练好的分类网络模型，将128x128像素的红外原始图像作为输入，输入图像将使用超像素分割进行预处理，然后使用步骤4中训练好的U-Net模型，将生成对应的Mask图像，再经过必要的预处理步骤后的Mask图像将被输入至步骤5中训练好的分类模型中，该模型预测图像中目标的类别。
CN202210962787.4A 2022-08-11 2022-08-11 一种基于超像素分割以及数据增强的红外小目标检测方法 Pending CN115393635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210962787.4A CN115393635A (zh) 2022-08-11 2022-08-11 一种基于超像素分割以及数据增强的红外小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210962787.4A CN115393635A (zh) 2022-08-11 2022-08-11 一种基于超像素分割以及数据增强的红外小目标检测方法

Publications (1)

Publication Number Publication Date
CN115393635A true CN115393635A (zh) 2022-11-25

Family

ID=84118400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210962787.4A Pending CN115393635A (zh) 2022-08-11 2022-08-11 一种基于超像素分割以及数据增强的红外小目标检测方法

Country Status (1)

Country Link
CN (1) CN115393635A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937229A (zh) * 2022-12-29 2023-04-07 深圳优立全息科技有限公司 一种基于超体素和图割算法的三维自动分割方法及装置
CN117152138A (zh) * 2023-10-30 2023-12-01 陕西惠宾电子科技有限公司 一种基于无监督学习的医学图像肿瘤目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937229A (zh) * 2022-12-29 2023-04-07 深圳优立全息科技有限公司 一种基于超体素和图割算法的三维自动分割方法及装置
CN115937229B (zh) * 2022-12-29 2023-08-04 深圳优立全息科技有限公司 一种基于超体素和图割算法的三维自动分割方法及装置
CN117152138A (zh) * 2023-10-30 2023-12-01 陕西惠宾电子科技有限公司 一种基于无监督学习的医学图像肿瘤目标检测方法
CN117152138B (zh) * 2023-10-30 2024-01-16 陕西惠宾电子科技有限公司 一种基于无监督学习的医学图像肿瘤目标检测方法

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
CN109685067B (zh) 一种基于区域和深度残差网络的图像语义分割方法
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN111783523B (zh) 一种遥感影像旋转目标检测方法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
TW202207077A (zh) 一種文本區域的定位方法及裝置
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN109800817B (zh) 基于融合语义神经网络的图像分类方法
CN115294473A (zh) 一种基于目标检测与实例分割的绝缘子故障识别方法及系统
CN111126389A (zh) 文本检测方法、装置、电子设备以及存储介质
CN112733614A (zh) 一种带有相似尺寸强化识别的害虫图像检测方法
CN114220126A (zh) 一种目标检测系统及获取方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN111652240A (zh) 一种基于cnn的图像局部特征检测与描述方法
CN112396035A (zh) 基于注意力检测模型的物体检测方法和装置
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN115240119A (zh) 一种基于深度学习的视频监控中行人小目标检测方法
CN113657225B (zh) 一种目标检测方法
CN111177811A (zh) 一种应用于云平台的消防点位自动布图的方法
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN111598140A (zh) 一种基于胶囊网络的遥感图像分类方法
CN114283431B (zh) 一种基于可微分二值化的文本检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination