CN116071658A - 一种基于深度学习的sar图像小目标检测识别方法及设备 - Google Patents

一种基于深度学习的sar图像小目标检测识别方法及设备 Download PDF

Info

Publication number
CN116071658A
CN116071658A CN202310211568.7A CN202310211568A CN116071658A CN 116071658 A CN116071658 A CN 116071658A CN 202310211568 A CN202310211568 A CN 202310211568A CN 116071658 A CN116071658 A CN 116071658A
Authority
CN
China
Prior art keywords
feature
image
sar image
small target
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310211568.7A
Other languages
English (en)
Other versions
CN116071658B (zh
Inventor
罗宇星
骆学春
刘洪�
陈虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202310211568.7A priority Critical patent/CN116071658B/zh
Publication of CN116071658A publication Critical patent/CN116071658A/zh
Application granted granted Critical
Publication of CN116071658B publication Critical patent/CN116071658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的SAR图像小目标检测识别方法及设备。本发明通过对SAR图像增强处理后进行预分析，改善图像背景包含过多噪声的问题，再结合融合特征图来进行多尺度小目标检测，从而形成一套完整的SAR图像小目标检测识别的理论和方法体系，通过图像增强以及预分析处理，削弱了背景噪声对网络学习的影响，有效的提升了目标检测任务的性能，同时基于融合特征图的特征信息进行多尺度的小目标检测，也进一步提高了针对SAR图像小目标的检测精度和准确度。

Description

一种基于深度学习的SAR图像小目标检测识别方法及设备
技术领域
本发明涉及雷达图像处理领域，特别是一种基于深度学习的SAR图像小目标检测识别方法及设备。
背景技术
SAR图像的目标检测的对象主要针对复杂背景下的小目标，包括地面建筑，地面车辆以及海洋船只等。对目标进行检测识别后，再根据不同任务进行规划安排。但通常受限于其他原因，图片背景中包含过多噪声干扰，这会严重影响目标检测识别的准确率。缺少针对SAR图像中小目标检测识别的方法。
现有的SAR图像目标检测方法主要分为两个大类：
（1）基于传统算法的SAR图像目标识别
传统的SAR图像目标检测算法主要有基于背景杂波统计分布的恒虚警率(constant false-alarm rate，CFAR) 检测算法和人工提取图像纹理特征的检测算法。CFAR检测算法利用目标周围的背景单元，选择恒定的虚警概率确定检测阈值。CFAR算法容易实现，计算量相对较小，在简单背景杂波下具有较好的检测效果。而在人工提取图像纹理特征的检测算法中，分形特征的应用最为广泛。该特征不仅对目标背景的对比度敏感，同时也对目标尺寸敏感，相比于 CFAR检测算法，基于纹理特征的算法利用了更多的图像信息，具有更高的检测精度。但是纹理特征需要人工设计提取，设计过程复杂耗时，难以保证检测的时效性。
（2）基于卷积神经网络的检测算法
基于卷积神经网络的检测算法是一种针对二维图像数据特征提取而设计的深度学习模型，通过多个卷积层拟合复杂函数，每个卷积层的特征都由前一层的局部特征通过共享的权重得到，有效地减少了网络的参数个数，缓解了模型的过拟合问题，是目标检测、识别等图像处理领域广泛采用的深度学习模型。当前主流的目标检测网络有SIGMA，YOLOX，AdaMixer等。
但针对SAR图像中复杂背景下小目标检测识别，CFAR算法只考虑灰度对比度，忽略了目标的结构信息，鲁棒性与抗干扰能力差，在复杂背景杂波下检测性能较差。而在人工提取图像纹理特征的检测算法中，纹理特征需要人工设计提取，设计过程复杂耗时，难以保证检测的时效性，对于日益增长的检测效率的要求无法满足。所以如今需要一种时效性更高，检测性能更强的小目标检测识别方法及设备。
发明内容
本发明的目的在于克服现有技术中所存在的检测性能以及时效性差的问题，提供一种基于深度学习的SAR图像小目标检测识别方法及设备。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于深度学习的SAR图像小目标检测识别方法，包括以下步骤：
S1：获取SAR图像，并生成SAR图像数据集；
S2：对所述SAR图像数据集内的SAR图像数据进行图像增强处理，输出增强图像；
S3：对所述增强图像进行小目标区域分析，输出预分析图像；
S4：提取所述预分析图像中各个层级的特征图，融合各特征图中的特征信息，进行多尺度小目标检测，并输出所述SAR图像数据集的对应的多尺度小目标检测结果。
作为本发明的优选方案，所述S1包括以下步骤：
S11：获取SAR图像；
S12：将所述SAR图像裁剪缩放为预设尺寸，并转为png格式；
S13：生成SAR图像数据集，并将转为png格式后的所述SAR图像存入所述SAR图像数据集。
作为本发明的优选方案，所述S2中所述图像增强包括背景抑制以及去噪处理，具体包括以下步骤：
S21：对所述SAR图像数据集内的SAR图像数据进行背景抑制处理，输出孤立图像数据；所述背景抑制处理包括背景估计以及背景消除；
S22：基于可形变卷积的背景抑制网络对所述孤立图像数据进行去噪处理，输出增强图像。
作为本发明的优选方案，所述背景抑制网络包括若干可形变卷积层、全连接层、平均混合池化层以及噪声抑制模块；
所述可形变卷积层通过控制不同卷积核的大小，对各采样点增加不同大小的偏移变量，从而在不同位置进行采样，得到不同特征信息；
所述全连接层用于筛选所述卷积层采样得到的特征信息，并输出稀疏特征矩阵图；
所述平均混合池化层用于将所述稀疏特征矩阵图池化为小目标特征向量，并输出初步增强图像；
所述噪声抑制模块包括一维卷积层Conv，批量归一化层BN和激活线性单元ReLU，用于对所述初步增强图像进一步剔除背景噪声，并输出为增强图像。
作为本发明的优选方案，所述S21包括以下步骤：
S211：对所述SAR图像数据进行图像膨胀以及背景腐蚀处理；其计算过程如下：
(f⊕I)(x,y)=Max(f((x-u),(y-v))+I(u,v))，
(fΘI)(x,y)=Min(f((x+u),(y+v))-I(u,v))，
其中，f(x,y)为所述SAR图像数据，x,y为所述SAR图像数据中对应的二维坐标，f⊕I和fΘI分别为图像膨胀处理和背景腐蚀处理，I(u,v)为预设的矩阵模板，u,v为所述矩阵模板中对应的二维坐标；
S212：对所述S211处理后的结果与原图像进行二值异或运算，得到背景估计数据g(x,y)，其计算式为：
g(x,y)=(α(f⊕I)+β(fΘI)) ⊕f(x,y)，
其中，α和β为预设值；
S213：对所述SAR图像数据进行背景消除处理；其计算式如下：
h(x,y)=f(x,y)-g(x,y)，
其中，h(x,y)为输出的孤立图像数据。
作为本发明的优选方案，所述S3包括以下步骤：
S31：将所述S2中背景估计的处理结果作为先验，并将所述增强图像作为输入，传入目标区域划分网络，并输出全局存在概率分布矩阵；
其中，所述目标区域划分网络为编码器-解码器结构，包括残差连接块和语义分割块；所述残差连接块用于对所述增强图像和编码器输出的图像进行计算，加快分析速度；所述语义分割块用于分析先验提供的语义信息，并对语义目标进行学习和提取；
S32：对所述全局存在概率分布矩阵进行二值化滤波处理，得到所述目标区域划分网络对小目标的最大响应区域，输出为预分析图像。
作为本发明的优选方案，所述S4包括以下步骤：
S41：以所述S2中背景估计的处理结果作为先验，并通过SAR小目标检测主干网络提取所述预分析图像中各个层级的特征图；其中，所述SAR小目标检测主干网络包括若干卷积层以及浅层特征增强结构；
S42：将各个层级的所述特征图，送入相邻特征融合网络与混合多视角网络；
其中，所述相邻特征融合网络包括Conv正向提取模块、反卷积模块以及修正线性单元；所述Conv正向提取模块用于处理低层级特征图；所述反卷积模块用于处理高层级特征图；所述修正线性单元用于对处理后的低层级特征图与高层级特征图进行融合，输出相近融合特征图；
所述混合多视角网络包括通道压缩层、多视角提取模块以及混合连接层；所述通道压缩层用于将各个层级的特征图压缩到同一维度；所述多视角提取模块包括若干不同空洞率的空洞卷积层，用于对不同尺寸的特征信息进行感知；所述混合连接层用于对感知到的特征信息进行融合，输出多视角融合特征图；
S43：将所述相近融合特征图以及所述多视角融合特征图放入全连接层中进行多尺度小目标检测，输出多尺度小目标检测结果。
作为本发明的优选方案，所述方法还包括S5：通过迁移学习网络，快速学习待检测的新类别待识别目标；所述迁移学习网络包括优选特征模型和自适应新类别样本迁移学习模型，具体包括以下步骤：
S51：将所述S41中的各个层级的特征图输入到优选特征模型，并输出优选特征；
所述优选特征模型包括双向特征金字塔、相对熵空间以及特征过滤器；所述双向特征金字塔的左塔用于接收所述特征图，并自底向上提取不同尺度的特征信息；所述双向特征金字塔的右塔用于进一步精炼特征信息，并筛选出中心特征信息；所述相对熵空间用于将不同特征信息与中心特征信息的距离信息表示为不同任务对于特征的需求，并通过所述特征过滤器对特征信息进行优选，输出优选特征；
S52：将新类别样本数据作为目标数据，将所述优选特征作为源域数据，一并输入到自适应新类别样本迁移学习模型进行迁移学习；
所述自适应新类别样本迁移学习模型包括特征解码模块以及自适应模块；所述特征解码模块用于将所述目标数据以及所述源域数据转换为对应的特征金字塔，并通过多层感知机将所述特征金字塔从图像层面的特征空间投影到实例层面的特征空间；所述自适应模块用于将所述图像层面的特征空间以及所述实例层面的特征空间进行归一化处理；
S53：对迁移学习后的所述自适应新类别样本迁移学习模型进行模型训练，并输出为SAR图像小目标检测模型。
作为本发明的优选方案，所述自适应模块的损失函数L的计算式为：
L=Lpred+λ(Limg+Lins+Lcst)，
其中，Lpred为所述SAR小目标检测主干网络的损失函数，λ为可学习参数，Limg 为特征金字塔训练时所采用的损失函数；Lins 为实例层面训练时的损失函数；Lcst 为强制域分类器的一致性正则化损失函数。
一种基于深度学习的SAR图像小目标检测识别设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
与现有技术相比，本发明的有益效果：
本发明通过对SAR图像增强处理后进行预分析，改善图像背景包含过多噪声的问题，再结合融合特征图来进行多尺度小目标检测，从而形成一套完整的SAR图像小目标检测识别的理论和方法体系，通过图像增强以及预分析处理，削弱了背景噪声对网络学习的影响，有效的提升了目标检测任务的性能，同时基于融合特征图的特征信息进行多尺度的小目标检测，也进一步提高了针对SAR图像小目标的检测精度和准确度。
附图说明
图1为本发明实施例1所述的一种基于深度学习的SAR图像小目标检测识别方法的流程示意图；
图2为本发明实施例2所述的一种基于深度学习的SAR图像小目标检测识别方法中基于可形变卷积的背景抑制网络框架的结构示意图；
图3为本发明实施例2所述的一种基于深度学习的SAR图像小目标检测识别方法中目标区域划分网络的工作流程示意图；
图4为本发明实施例2所述的一种基于深度学习的SAR图像小目标检测识别方法中SAR小目标检测主干网络的工作流程示意图；
图5为本发明实施例2所述的一种基于深度学习的SAR图像小目标检测识别方法中SAR小目标检测主干网络的结构示意图；
图6为本发明实施例2所述的一种基于深度学习的SAR图像小目标检测识别方法中相邻特征融合网络的架构示意图；
图7为本发明实施例2所述的一种基于深度学习的SAR图像小目标检测识别方法中混合多视角网络的架构示意图；
图8为本发明实施例3所述的一种基于深度学习的SAR图像小目标检测识别方法中优选特征模型的架构示意图；
图9为本发明实施例3所述的一种基于深度学习的SAR图像小目标检测识别方法中自适应新类别样本迁移学习模型的架构示意图；
图10为本发明实施例4中输入的SAR图像示意图A；
图11为本发明实施例4中输入的SAR图像示意图B；
图12为本发明实施例4中输入的SAR图像示意图C；
图13为本发明实施例4中SAR图像示意图A对应的多尺度小目标检测结果；
图14为本发明实施例4中SAR图像示意图B对应的多尺度小目标检测结果；
图15为本发明实施例4中SAR图像示意图C对应的多尺度小目标检测结果；
图16为本发明实施例5所述的一种利用了实施例1所述的一种基于深度学习的SAR图像小目标检测识别方法的一种基于深度学习的SAR图像小目标检测识别设备的结构示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
如图1所示，一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，包括以下步骤：
S1：获取SAR图像，并生成SAR图像数据集。
S2：对所述SAR图像数据集内的SAR图像数据进行图像增强处理，输出增强图像。
S3：对所述增强图像进行小目标区域分析，输出预分析图像。
S4：提取所述预分析图像中各个层级的特征图，融合各特征图中的特征信息，进行多尺度小目标检测，并输出所述SAR图像数据集的对应的多尺度小目标检测结果。
实施例2
本实施例的一种基于深度学习的SAR图像小目标检测识别方法为实施例1所述方案的一种具体实施方式，包括以下步骤：
S1：获取SAR图像，并生成SAR图像数据集。
S11：获取SAR图像。
S12：将所述SAR图像裁剪缩放为预设尺寸，并转为png格式。其中，本实施例选用预设尺寸为256×256。
S13：生成SAR图像数据集，并将转为png格式后的所述SAR图像存入所述SAR图像数据集。
S2：对所述SAR图像数据集内的SAR图像数据进行图像增强处理，输出增强图像。所述图像增强包括背景抑制以及去噪处理，具体包括以下步骤：
S21：对所述SAR图像数据集内的SAR图像数据进行背景抑制处理，输出孤立图像数据；所述背景抑制处理是结合原始Tophat滤波，针对SAR图像的成像特点对SAR图像进行的背景抑制预处理，包括背景估计以及背景消除。
S211：对所述SAR图像数据进行图像膨胀以及背景腐蚀处理；其计算过程如下：
(f⊕I)(x,y)=Max(f((x-u),(y-v))+I(u,v))，
(fΘI)(x,y)=Min(f((x+u),(y+v))-I(u,v))，
其中，f(x,y)为所述SAR图像数据，x,y为所述SAR图像数据中对应的二维坐标，f⊕I和fΘI分别为图像膨胀处理和背景腐蚀处理，I(u,v)为预设的矩阵模板，u,v为所述矩阵模板中对应的二维坐标，即本领域在图像膨胀处理和背景腐蚀处理时的通用结构。
S212：对所述S211处理后的结果与原图像进行二值异或运算，得到背景估计数据g(x,y)，其计算式为：
g(x,y)=(α(f⊕I)+β(fΘI)) ⊕f(x,y)，
其中，α和β为预设值，本实施例经过实验所得优选值分别为1/3和2/3。本步骤是对SAR图像先经过腐蚀操作，减弱目标与背景的连接，再通过膨胀操作，使目标边缘尽可能恢复。
S213：对所述SAR图像数据进行背景消除处理；其计算式如下：
h(x,y)=f(x,y)-g(x,y)，
其中，h(x,y)为输出的孤立图像数据，其保留下了孤立的图像部分，去除了可能存在的背景杂波。
S22：基于可形变卷积的背景抑制网络对所述孤立图像数据进行去噪处理，输出增强图像。由于SAR图像中的背景复杂度可能随着任务量的提升，有部分的干扰无法去除。基于此，本实施例将h(x,y)再经过一个基于可形变卷积的背景抑制网络，通过神经网络深度学习来进一步去除孤立干扰。
所述背景抑制网络包括若干可形变卷积层、全连接层、平均混合池化层以及噪声抑制模块；
所述可形变卷积层通过控制不同卷积核的大小，对各采样点增加不同大小的偏移变量，从而在不同位置进行采样，得到不同特征信息；具体的，如图2所示，所述卷积层采用可形变卷积来实现骨干网络，通过控制不同卷积核大小，对卷积核中的每个采样点的位置都增加一个偏移变量，通过控制偏移变量大小，对不同位置进行采样，得到不同特征信息。
所述全连接层用于筛选所述卷积层采样得到的特征信息，并输出稀疏特征矩阵图；其中，所述全连接层还可以提前设定一个阈值h，如果矩阵图中对应位置值大于阈值h，则说明是噪声点，用于筛选小于阈值h的有用信息点位。
所述平均混合池化层用于将所述稀疏特征矩阵图池化为小目标特征向量，并输出初步增强图像。
所述噪声抑制模块包括一维卷积层Conv，批量归一化层BN和激活线性单元ReLU，用于对所述初步增强图像进一步剔除背景噪声，并输出为增强图像。
S3：对所述增强图像进行小目标区域分析，输出预分析图像。
S31：如图3所示，将所述S2中背景估计的处理结果作为先验，并将所述增强图像作为输入，传入目标区域划分网络，并输出全局存在概率分布矩阵。
其中，所述目标区域划分网络为编码器-解码器结构，包括残差连接块和语义分割块；所述残差连接块用于对所述增强图像和编码器输出的图像进行计算，加快分析速度；所述语义分割块用于分析先验提供的语义信息，并对语义目标（譬如船只、车辆等）进行学习和提取。
S32：对所述全局存在概率分布矩阵进行二值化滤波处理，得到所述目标区域划分网络对小目标的最大响应区域，输出为预分析图像。
S4：提取所述预分析图像中各个层级的特征图，融合各特征图中的特征信息，进行多尺度小目标检测，并输出所述SAR图像数据集的对应的多尺度小目标检测结果。
S41：如图4所示，以所述S2中背景估计的处理结果作为先验，并通过SAR小目标检测主干网络提取所述预分析图像中各个层级的特征图；其中，如图5所示，所述SAR小目标检测主干网络包括若干卷积层以及浅层特征增强结构。所述卷积层为3×3的卷积层。
S42：将各个层级的所述特征图，送入相邻特征融合网络与混合多视角网络。
其中，如图6所示，所述相邻特征融合网络包括Conv正向提取模块、反卷积模块以及修正线性单元；所述Conv正向提取模块用于处理低层级特征图；所述反卷积模块用于处理高层级特征图；所述修正线性单元用于对处理后的低层级特征图与高层级特征图进行融合，输出相近融合特征图。
如图7所示，所述混合多视角网络包括通道压缩层、多视角提取模块以及混合连接层；所述通道压缩层用于将各个层级的特征图压缩到同一维度；所述多视角提取模块包括若干不同空洞率的空洞卷积层，空洞率大感知的更多是全局信息，而空洞率小则更加关注细节信息，分别对应着不同尺寸的目标，用于对不同尺寸的特征信息进行感知；所述混合连接层用于对感知到的特征信息进行融合，输出多视角融合特征图。
S43：将所述相近融合特征图以及所述多视角融合特征图放入全连接层中进行多尺度小目标检测，输出多尺度小目标检测结果。
实施例3
本实施例的一种基于深度学习的SAR图像小目标检测识别方法与实施例2的区别在于，还包括S5：通过迁移学习网络，快速学习待检测的新类别待识别目标；所述迁移学习网络包括优选特征模型和自适应新类别样本迁移学习模型，具体包括以下步骤：
S51：将所述S41中的各个层级的特征图输入到优选特征模型，并输出优选特征。
如图8所示，所述优选特征模型包括双向特征金字塔、相对熵空间以及特征过滤器；所述双向特征金字塔的左塔用于接收所述特征图，并自底向上提取不同尺度的特征信息；所述双向特征金字塔的右塔用于进一步精炼特征信息，并筛选出中心特征信息；所述相对熵空间用于将不同特征信息与中心特征信息的距离信息表示为不同任务对于特征的需求，并通过所述特征过滤器对特征信息进行优选，输出优选特征。
S52：将新类别样本数据作为目标数据，将所述优选特征作为源域数据，一并输入到自适应新类别样本迁移学习模型进行迁移学习。
如图9所示，所述自适应新类别样本迁移学习模型包括特征解码模块以及自适应模块；所述特征解码模块用于将所述目标数据以及所述源域数据转换为对应的特征金字塔，并通过多层感知机将所述特征金字塔从图像层面的特征空间投影到实例层面的特征空间；所述自适应模块用于将所述图像层面的特征空间以及所述实例层面的特征空间进行归一化处理。
S53：对迁移学习后的所述自适应新类别样本迁移学习模型进行模型训练，并输出为SAR图像小目标检测模型。
所述自适应模块的损失函数L的计算式为：
L=Lpred+λ(Limg+Lins+Lcst)，
其中，Lpred为所述SAR小目标检测主干网络的损失函数，λ为可学习参数，Limg为特征金字塔训练时所采用的损失函数，即所述特征金字塔的高层向下逐级上采样融合，再将特征金字塔展平，并对展平后的特征图的每个特征点做域二分类预测，其对应的损失函数；Lins为实例层面训练时的损失函数，即对投影到I空间的特征进行域二分类，得到预测值，其对应的损失函数；Lcst为强制域分类器的一致性正则化损失函数，即使得基于源域数据的模型快速在目标域数据上适应，一致性正则化损失，其对应的损失函数。
实施例4
本实施例为实施例2和3所述一种基于深度学习的SAR图像小目标检测识别方法的一种实际应用例。具体的，包括以下内容：
导入待识别船只目标的SAR图像（如图10、图11、图12所示，为输入待识别船只目标的SAR图像示意图A、B、C），并生成SAR图像数据集。
经过对所述SAR图像数据集内的SAR图像数据进行图像增强处理、小目标区域分析以及多尺度小目标检测，输出其的对应的多尺度小目标检测结果（输入的SAR图像示意图A、B、C对应的多尺度小目标检测结果如图13、图14、图15所示）。
同时，本实施例使用总共1000张SAR图像进行迁移学习网络学习验证，具体的，以80%的数据作为训练集，10%的数据作为测试集，10%的数据集作为验证集，在硬件条件是CPU为Intel Core i7-6800K，显卡为NVIDIA GeForceGTX2080，内存为32GB，操作系统为Windows10。实验结果如下表所示：
实验序号 数据集大小 目标检测准确率
1 200 57.2%
2 500 58.1%
3 1000 59.5%
根据以上实验可知，本发明所述方案能够根据训练数据集的扩充，有效提高目标检测的准确率。
实施例5
如图16所示，一种基于深度学习的SAR图像小目标检测识别设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，以及与所述至少一个处理器通讯连接的至少一个输入输出接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述实施例所述的一种基于深度学习的SAR图像小目标检测识别方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，包括以下步骤：
S1：获取SAR图像，并生成SAR图像数据集；
S2：对所述SAR图像数据集内的SAR图像数据进行图像增强处理，输出增强图像；
S3：对所述增强图像进行小目标区域分析，输出预分析图像；
S4：提取所述预分析图像中各个层级的特征图，融合各特征图中的特征信息，进行多尺度小目标检测，并输出所述SAR图像数据集的对应的多尺度小目标检测结果。
2.根据权利要求1所述的一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，所述S1包括以下步骤：
S11：获取SAR图像；
S12：将所述SAR图像裁剪缩放为预设尺寸，并转为png格式；
S13：生成SAR图像数据集，并将转为png格式后的所述SAR图像存入所述SAR图像数据集。
3.根据权利要求1所述的一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，所述S2中所述图像增强包括背景抑制以及去噪处理，具体包括以下步骤：
S21：对所述SAR图像数据集内的SAR图像数据进行背景抑制处理，输出孤立图像数据；所述背景抑制处理包括背景估计以及背景消除；
S22：基于可形变卷积的背景抑制网络对所述孤立图像数据进行去噪处理，输出增强图像。
4.根据权利要求3所述的一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，所述背景抑制网络包括若干可形变卷积层、全连接层、平均混合池化层以及噪声抑制模块；
所述可形变卷积层通过控制不同卷积核的大小，对各采样点增加不同大小的偏移变量，从而在不同位置进行采样，得到不同特征信息；
所述全连接层用于筛选所述卷积层采样得到的特征信息，并输出稀疏特征矩阵图；
所述平均混合池化层用于将所述稀疏特征矩阵图池化为小目标特征向量，并输出初步增强图像；
所述噪声抑制模块包括一维卷积层Conv，批量归一化层BN和激活线性单元ReLU，用于对所述初步增强图像进一步剔除背景噪声，并输出为增强图像。
5.根据权利要求3所述的一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，所述S21包括以下步骤：
S211：对所述SAR图像数据进行图像膨胀以及背景腐蚀处理；其计算过程如下：
(f⊕I)(x,y)=Max(f((x-u),(y-v))+I(u,v))，
(fΘI)(x,y)=Min(f((x+u),(y+v))-I(u,v))，
其中，f(x,y)为所述SAR图像数据，x,y为所述SAR图像数据中对应的二维坐标，f⊕I和fΘI分别为图像膨胀处理和背景腐蚀处理，I(u,v)为预设的矩阵模板，u,v为所述矩阵模板中对应的二维坐标；
S212：对所述S211处理后的结果与原图像进行二值异或运算，得到背景估计数据g(x,y)，其计算式为：
g(x,y)=(α(f⊕I)+β(fΘI)) ⊕f(x,y)，
其中，α和β为预设值；
S213：对所述SAR图像数据进行背景消除处理；其计算式如下：
h(x,y)=f(x,y)-g(x,y)，
其中，h(x,y)为输出的孤立图像数据。
6.根据权利要求3所述的一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，所述S3包括以下步骤：
S31：将所述S2中背景估计的处理结果作为先验，并将所述增强图像作为输入，传入目标区域划分网络，并输出全局存在概率分布矩阵；
其中，所述目标区域划分网络为编码器-解码器结构，包括残差连接块和语义分割块；所述残差连接块用于对所述增强图像和编码器输出的图像进行计算，加快分析速度；所述语义分割块用于分析先验提供的语义信息，并对语义目标进行学习和提取；
S32：对所述全局存在概率分布矩阵进行二值化滤波处理，得到所述目标区域划分网络对小目标的最大响应区域，输出为预分析图像。
7.根据权利要求3所述的一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，所述S4包括以下步骤：
S41：以所述S2中背景估计的处理结果作为先验，并通过SAR小目标检测主干网络提取所述预分析图像中各个层级的特征图；其中，所述SAR小目标检测主干网络包括若干卷积层以及浅层特征增强结构；
S42：将各个层级的所述特征图，送入相邻特征融合网络与混合多视角网络；
其中，所述相邻特征融合网络包括Conv正向提取模块、反卷积模块以及修正线性单元；所述Conv正向提取模块用于处理低层级特征图；所述反卷积模块用于处理高层级特征图；所述修正线性单元用于对处理后的低层级特征图与高层级特征图进行融合，输出相近融合特征图；
所述混合多视角网络包括通道压缩层、多视角提取模块以及混合连接层；所述通道压缩层用于将各个层级的特征图压缩到同一维度；所述多视角提取模块包括若干不同空洞率的空洞卷积层，用于对不同尺寸的特征信息进行感知；所述混合连接层用于对感知到的特征信息进行融合，输出多视角融合特征图；
S43：将所述相近融合特征图以及所述多视角融合特征图放入全连接层中进行多尺度小目标检测，输出多尺度小目标检测结果。
8.根据权利要求7所述的一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，所述方法还包括S5：通过迁移学习网络，快速学习待检测的新类别待识别目标；所述迁移学习网络包括优选特征模型和自适应新类别样本迁移学习模型，具体包括以下步骤：
S51：将所述S41中的各个层级的特征图输入到优选特征模型，并输出优选特征；
所述优选特征模型包括双向特征金字塔、相对熵空间以及特征过滤器；所述双向特征金字塔的左塔用于接收所述特征图，并自底向上提取不同尺度的特征信息；所述双向特征金字塔的右塔用于进一步精炼特征信息，并筛选出中心特征信息；所述相对熵空间用于将不同特征信息与中心特征信息的距离信息表示为不同任务对于特征的需求，并通过所述特征过滤器对特征信息进行优选，输出优选特征；
S52：将新类别样本数据作为目标数据，将所述优选特征作为源域数据，一并输入到自适应新类别样本迁移学习模型进行迁移学习；
所述自适应新类别样本迁移学习模型包括特征解码模块以及自适应模块；所述特征解码模块用于将所述目标数据以及所述源域数据转换为对应的特征金字塔，并通过多层感知机将所述特征金字塔从图像层面的特征空间投影到实例层面的特征空间；所述自适应模块用于将所述图像层面的特征空间以及所述实例层面的特征空间进行归一化处理；
S53：对迁移学习后的所述自适应新类别样本迁移学习模型进行模型训练，并输出为SAR图像小目标检测模型。
9.根据权利要求8所述的一种基于深度学习的SAR图像小目标检测识别方法，其特征在于，所述自适应模块的损失函数L的计算式为：
L=Lpred+λ(Limg+Lins+Lcst)，
其中，Lpred为所述SAR小目标检测主干网络的损失函数，λ为可学习参数，Limg为特征金字塔训练时所采用的损失函数；Lins为实例层面训练时的损失函数；Lcst为强制域分类器的一致性正则化损失函数。
10.一种基于深度学习的SAR图像小目标检测识别设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。
CN202310211568.7A 2023-03-07 2023-03-07 一种基于深度学习的sar图像小目标检测识别方法及设备 Active CN116071658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310211568.7A CN116071658B (zh) 2023-03-07 2023-03-07 一种基于深度学习的sar图像小目标检测识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310211568.7A CN116071658B (zh) 2023-03-07 2023-03-07 一种基于深度学习的sar图像小目标检测识别方法及设备

Publications (2)

Publication Number Publication Date
CN116071658A true CN116071658A (zh) 2023-05-05
CN116071658B CN116071658B (zh) 2023-06-13

Family

ID=86171649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310211568.7A Active CN116071658B (zh) 2023-03-07 2023-03-07 一种基于深度学习的sar图像小目标检测识别方法及设备

Country Status (1)

Country Link
CN (1) CN116071658B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN110610207A (zh) * 2019-09-10 2019-12-24 重庆邮电大学 一种基于迁移学习的小样本sar图像舰船分类方法
CN111368666A (zh) * 2020-02-25 2020-07-03 上海蠡图信息科技有限公司 一种基于新型池化及注意力机制双流网络的活体检测方法
CN111368671A (zh) * 2020-02-26 2020-07-03 电子科技大学 基于深度学习的sar图像舰船目标检测识别一体化方法
US20210003697A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for end-to-end sar image recognition, and storage medium
CN113158778A (zh) * 2021-03-09 2021-07-23 中国电子科技集团公司第五十四研究所 一种sar图像目标检测方法
WO2021161300A1 (en) * 2020-02-12 2021-08-19 Israel Aerospace Industries Ltd. Specific object detection in multi-sensor images
CN113361439A (zh) * 2021-06-17 2021-09-07 中国人民解放军海军航空大学航空作战勤务学院 一种sar图像舰船目标识别方法和系统
WO2022074643A1 (en) * 2020-10-08 2022-04-14 Edgy Bees Ltd. Improving geo-registration using machine-learning based object identification
CN115147731A (zh) * 2022-07-28 2022-10-04 北京航空航天大学 一种基于全空间编码注意力模块的sar图像目标检测方法
CN115294468A (zh) * 2022-07-29 2022-11-04 大连东软信息学院 一种改进Faster RCNN的SAR图像船舶识别方法
CN115393712A (zh) * 2022-08-23 2022-11-25 杭州电子科技大学 基于动态混合池化策略的sar图像道路提取方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
US20210003697A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for end-to-end sar image recognition, and storage medium
CN110610207A (zh) * 2019-09-10 2019-12-24 重庆邮电大学 一种基于迁移学习的小样本sar图像舰船分类方法
WO2021161300A1 (en) * 2020-02-12 2021-08-19 Israel Aerospace Industries Ltd. Specific object detection in multi-sensor images
CN111368666A (zh) * 2020-02-25 2020-07-03 上海蠡图信息科技有限公司 一种基于新型池化及注意力机制双流网络的活体检测方法
CN111368671A (zh) * 2020-02-26 2020-07-03 电子科技大学 基于深度学习的sar图像舰船目标检测识别一体化方法
WO2022074643A1 (en) * 2020-10-08 2022-04-14 Edgy Bees Ltd. Improving geo-registration using machine-learning based object identification
CN113158778A (zh) * 2021-03-09 2021-07-23 中国电子科技集团公司第五十四研究所 一种sar图像目标检测方法
CN113361439A (zh) * 2021-06-17 2021-09-07 中国人民解放军海军航空大学航空作战勤务学院 一种sar图像舰船目标识别方法和系统
CN115147731A (zh) * 2022-07-28 2022-10-04 北京航空航天大学 一种基于全空间编码注意力模块的sar图像目标检测方法
CN115294468A (zh) * 2022-07-29 2022-11-04 大连东软信息学院 一种改进Faster RCNN的SAR图像船舶识别方法
CN115393712A (zh) * 2022-08-23 2022-11-25 杭州电子科技大学 基于动态混合池化策略的sar图像道路提取方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONG CHEN等: ""SAR Ship Detection Based on Improved YOLOv3 "", 《IET INTERNATIONAL RADAR CONFERENCE (IET IRC 2020)》, pages 1 - 6 *

Also Published As

Publication number Publication date
CN116071658B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN110109060B (zh) 一种基于深度学习网络的雷达辐射源信号分选方法及系统
CN116168026B (zh) 基于计算机视觉的水质检测方法及系统
CN109101897A (zh) 水下机器人的目标检测方法、系统及相关设备
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN113962968B (zh) 面向复杂电磁环境下多源混合干扰雷达图像目标检测系统
Liang et al. Adaptive multiple kernel fusion model using spatial-statistical information for high resolution SAR image classification
CN116934762B (zh) 锂电池极片表面缺陷的检测系统及方法
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
Wu et al. WDFA-YOLOX: A Wavelet-Driven and Feature-Enhanced Attention YOLOX Network for Ship Detection in SAR Images
CN116071658B (zh) 一种基于深度学习的sar图像小目标检测识别方法及设备
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN113705489B (zh) 基于先验区域知识指导的遥感影像细粒度飞机识别方法
CN112508113B (zh) 被动式太赫兹人体图像隐蔽目标的检测方法及装置
CN113963017A (zh) 一种实时红外弱小目标检测方法、装置和计算机设备
CN112686222B (zh) 星载可见光探测器对船舶目标检测的方法和系统
Wang et al. Sonar image detection based on multi-scale multi-column convolution neural networks
Malathi et al. Optimzied resnet model of convolutional neural network for under sea water object detection and classification
Krupiński et al. Improved two-step binarization of degraded document images based on Gaussian mixture model
Wu et al. Object-Enhanced YOLO Networks for Synthetic Aperture Radar Ship Detection
CN112396648A (zh) 一种可定位目标物质心的目标识别方法和系统
CN108960254B (zh) 一种基于mscn信息识别模糊图像的方法和装置、计算设备及存储介质
Shin et al. Extraction of infrared target based on Gaussian mixture model
CN116416455A (zh) 基于声纳的无人水下航行器海底目标检测方法
Raj et al. Ship identification from SAR image using novel deep learning method with reduced false prediction
Chen et al. YOLO‐UOD: An underwater small object detector via improved efficient layer aggregation network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant