CN114926794A - 一种高效的轻量化sar船舶目标检测方法 - Google Patents

一种高效的轻量化sar船舶目标检测方法 Download PDF

Info

Publication number
CN114926794A
CN114926794A CN202210695454.XA CN202210695454A CN114926794A CN 114926794 A CN114926794 A CN 114926794A CN 202210695454 A CN202210695454 A CN 202210695454A CN 114926794 A CN114926794 A CN 114926794A
Authority
CN
China
Prior art keywords
image
feature information
module
characteristic information
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210695454.XA
Other languages
English (en)
Other versions
CN114926794B (zh
Inventor
吴涛
虞继敏
周尚波
潘慧兰
张鑫
张伟
王慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210695454.XA priority Critical patent/CN114926794B/zh
Publication of CN114926794A publication Critical patent/CN114926794A/zh
Application granted granted Critical
Publication of CN114926794B publication Critical patent/CN114926794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种高效的轻量化SAR船舶目标检测方法，属于SAR船舶目标检测领域，本发明具体包括：建立SAR船舶目标检测模型；通过SAR雷达获取目标图像；将目标图像输入到主干提取网络中提取图像特征信息，根据目标图像的大小将提取的图像特征信息划分为第一尺度图像特征信息、第二尺度图像特征信息以及第三尺度图像特征信息；将三个不同尺度的图像特征信息输入到颈部网络中进行多尺度深层特征信息融合；将融合后的深层特征信息输入到预测网络中，得到SAR船舶目标检测结果；本发明通过轻量化SAR船舶目标检测模型实现目标的快速精准定位，显著降低船舶检测的计算量和漏检率，能够在复杂环境下以最快速度达到理想的检测效果。

Description

一种高效的轻量化SAR船舶目标检测方法
技术领域
本发明属于SAR船舶目标检测领域，具体涉及一种高效的轻量化SAR船舶目标检测方法。
背景技术
准确的目标检测与识别在海洋、林业和交通导航等方面具有重要的科学和现实意义，一直是遥感领域的研究热点。然而，与现实生活中直接获取的图像(人类视觉直接观察到的影像或者直接拍摄的照片)相比，从卫星传感器获得的遥感影像具有不同的视角。这些遥感图片包含不同的复杂景观，通常更容易受到大气、背景杂波和光照差异的影响，空间细节较少。这导致及时准确地检测和识别高分辨率遥感图像中的目标是一个挑战。随着无线通信技术、传感器技术等相关学科的快速发展和创新，合成孔径雷达(SAR)出现了。SAR是一种基于合成孔径原理的有源高分辨率微波成像传感器，可以提供全天、整夜的连续稳定观测，对不断变化的海洋环境具有极好的适应性。因此，基于SAR的船舶检测系统在海事监视活动中得到广泛应用，并发挥着越来越重要的作用。
在SAR图像的早期检测中，Leng et al.提出了恒定误报率(CFAR)算法。该算法通过估计背景杂波的统计量来自适应地计算检测阈值，并保持恒定的虚警概率，是传统方法中使用最广泛的方法。但是这类算法存在适应性差的问题，限制了迁移的应用，而且背景的变化往往对检测结果影响很大。近年来，随着深度学习的蓬勃发展，基于卷积神经网络的目标检测技术不断成熟，在精度和速度上有了很大提升，逐渐取代传统方法，广泛地应用于船舶检测领域。
许多遥感专家试图将深度学习引入SAR目标检测领域。在大视野SAR图像中，船舶属于小目标类别，占用的像素较少，极易受背景因素的影响。然而，由于独特的成像机制SAR图像背景区域的复杂度远大于光学图像，这对检测网络的精度提出了更高的要求。为了追求更好的检测精度，有学者侧重于构建深层次、高宽度的神经网络。这样一来，会导致神经网络的计算复杂度和模型参数大幅度提升，会给计算资源有限的小型设备带来巨大的负荷，容易引起系统崩溃、功耗增大等不良影响，这会对目标检测技术的实际应用带来巨大的麻烦。
检测精度和检测速度似乎是一对天然的矛盾体，大幅度提高检测精度，会带来基于深度学习的目标检测算法网络结构臃肿，导致实时性低，训练时间漫长。然而追求高效的速度，必然要对网络进行轻量化处理，精简网络结构，但这也可能会导致网络结构过于精简无法充分提取待检测目标的特征信息和位置信息，会大大降低网络的检测性能。
终上所述，现有技术问题是：深层次、高宽度的神经网络的计算复杂度和模型参数大幅度提升，会给计算资源有限的小型设备带来巨大的负荷，容易引起系统崩溃、功耗增大；追求高效的速度，必然要对网络进行轻量化处理，精简网络结构，但这也可能会导致网络结构过于精简无法充分提取待检测目标的特征信息和位置信息，会大大降低网络的检测性能。
发明内容
针对上述技术问题，本发明提出一种高效的轻量化SAR船舶目标检测方法，具体包括以下步骤：
S1：建立SAR船舶目标检测模型，所述模型包括：SAR雷达，主干提取网络，颈部网络，预测网络；
S2：通过SAR雷达获取目标图像；
S3：将目标图像输入到主干提取网络中提取图像特征信息，根据目标图像的大小将提取的图像特征信息划分为第一尺度图像特征信息、第二尺度图像特征信息以及第三尺度图像特征信息；
S4：将三个不同尺度的图像特征信息输入到颈部网络中进行多尺度深层特征信息融合；
S5：将融合后的深层特征信息输入到预测网络中，得到SAR船舶目标检测结果。
优选的，主干提取网络包括：3×3卷积模块、Mobilenetv3基本模块和注意力机制模块，主干提取网络提取图像信息的过程包括：
S31：对输入的目标图像进行3×3卷积操作提取目标图像的特征信息，对提取的特征信息进行批量归一化和Hard-swish函数操作，得到浅层图像特征信息；
S32：在Mobilenetv3基本模块中，采用1×1卷积对浅层图像特征信息进行升维处理，将升维后的浅层图像特征信息输入到3×3卷积层中进行深度卷积，得到卷积后的特征信息；采用注意力机制模块和1×1卷积层对卷积后的特征信息进行降维处理，得到图像的深层特征信息，根据目标图像的大小将提取的深层特征信息划分为第一尺度图像特征信息、第二尺度图像特征信息以及第三尺度图像特征信息。优选的，颈部网络包括CFUPA模块、SPP模块、CISC模块以及两个1×1卷积层，采用颈部网络对不同尺度的深层特征信息进行融合的过程包括：
S41：将第三图像特征信息输入到SPP模块中，分离出上下文特征信息；
S42：将上下文特征信息、第一图像特征信息和第二图像特征信息分别输入CISC3和1×1卷积层进行卷积操作，提取整体上下文特征信息；
S43：将整体上下文特征信息输入到CFUPA模块中，进行上采样、下采样，得到图像的深层特征信息，对深层特征信息进行堆叠处理，完成不同尺度的图像特征信息融合。
进一步的，所述CFUPA模块包括改进的PANet网络和改进的上采样模块，所述改进的PANet网络采用CISC3对PANet网络中的一次5次卷积块进行替换，采用CISC5对PANet网络中的剩余的5次卷积块进行替换；所述改进的上采样模块包括1×1卷积、随机通道分割模块、SRM模块和通道混洗模块，所述改进的上采样模块对输入信息进行1×1卷积提取特征信息，对提取的特征信息进行上采样处理、随机通道分割、SRM注意力机制加权和通道混洗处理，得到最终输出信息。
进一步的，所述CISC3模块包括通道混洗、深度可分离卷积、1×1卷积、通道归一化；在CISC3模块中，输入深层特征信息经过通道分离分为两部分，第一深层特征信息保留自身映射并直接向下传递，第二深层特征信息通过1×1卷积、通道归一化、深度可分离卷积处理，对处理后的第一深层特征信息和第二深层信息通过通道叠加，对通道叠加后的第一深层特征信息和第二深层特征信息进行通道混洗，完成多次度深层特征信息融合。
优选地，预测网络由GCHE模块组成，预测网络处理过程如下：
S51：将颈部网络融合后的深层特征信息输入GCHE模块，经过GCT和卷积操作，得到图像的全局特征信息；
S52：根据图像的全局特征信息采用ECIoU回归损失函数定位出特征图像的预测框；
S53：利用非极大值抑制算法对定位出的预测框进一步处理，得到最终的图像特征信息；
S54：对最终的图像特征信息进行解码操作，得到目标检测结果。
优选的，所述GCHE模块：结合门控机制GCT和YOLOv4预测网络组成新的预测网络GCHE模块，该模块先通过门控机制对输入的信息进行加权处理，再通过3×3卷积层和1×1卷积层得到最终预测。
进一步的，损失函数由ECIoU回归损失函数和交叉熵损失函数构成，其中采用交叉熵损失函数检测置信度误差和分类误差，采用ECIoU损失函数来检测边界框的回归损失，实现边界框的定位，其中ECIoU公式如下：
Figure BDA0003702313520000041
其中，LECIOU表示回归损失函数值，IoU表示两个预测框面积的交并比，p(b,bgt)代表预测框和真实框的中心点的欧氏距离，bgt为真实框的中心点，b为预测框的中心点，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，β代表权重系数，
Figure BDA0003702313520000042
θ表示衡量预测框和真实框纵横比的一致性，
Figure BDA0003702313520000043
wgt表示真实框的宽度，hgt表示真实框的高度，e表示自然底数，h表示预测框的高度，w表示预测框的宽度。
进一步的，利用非极大值抑制算法对定位出的预测框进一步处理：
S531：对预测框按置信度(Confidence)排序，选取置信度最高的预测框；
S532：对剩下的预测框和置信度最高的预测框计算两框面积的交并比IoU,设定初始阈值0.5，IoU>0.5，表示两框为同一个目标的预测框，则该置信度最高的预测框为目标的预测框，淘汰大于设定阈值的预测框；
S533：对于IoU<0.5，重复S531-S532步骤，直到定位完图像中其余目标的预测框。
进一步的，置信度计算公式如下：
Figure BDA0003702313520000051
其中，Pr(Object)是预测框内存在目标的概率，若存在目标，Pr(Object)＝1，否则，Pr(Object)＝0；
Figure BDA0003702313520000052
是真实框(ground truth)与预测框(predicted box)面积的交并比。
本发明的有益效果：本发明针对复杂环境下的SAR船舶目标检测提出了一种高效的轻量化SAR船舶目标检测方法，该方法通过简化的网络结构、更好的回归损失函数、CFUPA和GCHE模块，在准确率和速度之间取得了理想的平衡，其整体效果优于其他先进的目标检测算法，该网络可以快速定位船舶目标区域，显著降低船舶检测的计算量和漏检率，能够在复杂环境下以最快速度达到理想的检测效果。
附图说明
图1为本发明流程图；
图2为本发明SAR船舶目标检测模型结构图；
图3为本发明Mobilenetv3基本模块结构图；
图4为本发明CFUPA模块结构图；
图5为本发明CISC3模块结构图；
图6为本发明CISC5模块结构图；
图7为本发明GCHE网络结构图；
图8为本发明GCT注意力机制图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种高效的轻量化SAR船舶目标检测方法，该方法包括：
S1：建立SAR船舶目标检测模型，如图2所示，所述模型包括：SAR雷达，主干提取网络，颈部网络，预测网络；
S2：通过SAR雷达获取目标图像；
S3：将目标图像输入到主干提取网络中提取图像特征信息，根据目标图像的大小将提取的图像特征信息划分为第一尺度图像特征信息、第二尺度图像特征信息以及第三尺度图像特征信息；
S4：将三个不同尺度的图像特征信息输入到颈部网络中进行多尺度深层特征信息融合；
S5：将融合后的深层特征信息输入到预测网络中，得到SAR船舶目标检测结果。
所述主干提取网络包括：3×3卷积模块、Mobilenetv3基本模块、注意力机制SE模块，Mobilenetv3基本模块如图3所示，整个主干提取网络主要由Mobilenetv3基本模块构成，MobileNetv3网络是一种轻量级深度神经网络模型，Mobilenetv3基本模块的结构图，这可以大大减少网络参数，同时也保证了不错的特征提取能力，极大程度上减少模型尺寸，实现网络模型的轻量化，整个主干提取网络均应用深度可分离卷积，深度可分离卷积原理为：
Figure BDA0003702313520000061
其中，DK·DK表示卷积核大小，M和N分别代表输入和输出通道，DF·DF表示特征图的大小。
主干提取网络提取图像特征信息的过程包括：
S31：对输入的目标图像进行3×3卷积操作提取目标图像的特征信息，对提取的特征信息进行批量归一化和Hard-swish函数操作，得到浅层图像特征信息；
S32：在Mobilenetv3基本模块中，采用1×1卷积对浅层图像特征信息进行升维处理，将升维后的浅层图像特征信息输入到3×3卷积层中进行深度卷积，得到卷积后的特征信息；采用注意力机制模块和1×1卷积层对卷积后的特征信息进行降维处理，得到图像的深层特征信息，根据目标图像的大小将提取的深层特征信息划分为第一尺度图像特征信息、第二尺度图像特征信息以及第三尺度图像特征信息。
CFUPA(CISC-based style Feature Upsample Path Aggregation)模块，如图4所示：路径聚合网络(PANet)结构进一步增强了网络的特征融合能力，然而，PANet存在两个缺点，影响了网络特征信息的融合，第一，直接运用大量的五次卷积块提取图片特征信息。虽然检测效果不错，但是没有充分利用特征信息，同时网络模型参数太大。第二，PANet运用最邻近插值方法对所提取的特征图进行上采样操作，导致特征信息损失，使得网络难以辨别特征图主要信息，会模糊待检测目标特征信息的表达；为了解决以上问题，本文提出了CFUPA模块。首先应用CISC5模块替换PANet中所有的5次卷积块，并将其中一个5次卷积块替换成CISC3模块。该方法能够有效减少网络计算复杂度和模型参数，提升模型的泛化性能，加强图片特征信息的复用。其次，为了进一步降低上采样操作对于图像信息表达的影响，本文利用通道混洗机制和随机通道分割操作以及SRM模块提出了新的上采样(Upsample-S)模块，能够进一步避免上采样操作导致图片特征信息流失的情况发生。
CISC(Channel Information Shuffle Convolution)的基本模块有2种，分别为CISC3和CISC5，如图5和图6所示：CISC3主要由通道混洗、深度可分离卷积、1×1卷积、通道归一化和激活函数ReLU6组成。CISC5模块组成类似CISC3,只是模块内部操作层数多于CISC3。具体地说，该模块将输入通道随机分为两部分，一部分保留自身映射并直接向下传递，另一部分则先后经过1×1卷积、通道归一化和激活函数ReLU6、深度可分离卷积操作，此处使用的一部分为原输入通道的一半。在模块底部，通过将两分支的输出通道级联，然后对输出的特征图进行随机通道混洗，将涵盖了所有通道的特征信息向下输出。其中通道混洗机制通过对分组卷积之后的多通道特征图信息进行重组，相互传递各通道之间的信息，该操作能够有效提升模型的泛化性。
多尺度的深层特征信息进行融合的过程包括：
S41：将第三图像特征信息输入到SPP模块中，分离出上下文特征信息；
S42：将上下文特征信息、第一图像特征信息和第二图像特征信息分别输入CISC3和1×1卷积层进行卷积操作，提取整体上下文特征信息；
S43：将整体上下文特征信息输入到CFUPA模块中，进行上采样、下采样，得到图像的深层特征信息，对深层特征信息进行堆叠处理，完成不同尺度的图像特征信息融合。
预测网络—GCHE(Gate Channel Head Embedded)模块：结合门控机制GCT和YOLOv4预测网络组成新的预测网络GCHE模块，该模块先通过门控机制对输入的信息进行加权处理，再通过3×3卷积层和1×1卷积层得到最终预测，如图7所示。
GCT(Gated Channel Transformation)注意力机制：GCT是一种简单有效的通道间关系建模体系结构，可以显著提高深度卷积网络在视觉识别任务和数据集上的泛化能力，GCT主要包括三个部分——全局上下文嵌入、通道归一化和门控自适应，如图8所示；
首先，利用l2-norm范数来提取每个通道的整体信息，定义如下：
Figure BDA0003702313520000081
其中，sc表示每个通道的整体信息，αc为可训练参数，用于控制不同通道的重要性，xc为输入图像整体特征信息，
Figure BDA0003702313520000091
表示宽度为i高度为j的图像特征信息，c表示通道数，∈为极小值，H表示图像信息的高度，W表示图像信息的宽度；
其次，将所得到的sc进行通道规范化处理得到
Figure BDA0003702313520000092
Figure BDA0003702313520000093
其中
Figure BDA0003702313520000094
为尺度因子，
Figure BDA0003702313520000095
表示规范化信息通道，sc表示每个通道的整体信息，xc为输入图像整体特征信息，c表示通道数；
最后，将所得信息输入tanh函数，经过门控自适应得到最终输出。
Figure BDA0003702313520000096
其中γc，βc为可训练参数，用于控制通道门限，
Figure BDA0003702313520000097
表示经过门控得到的最终输出，xc为输入图像整体特征信息，c表示通道数。
预测网络处理过程如下：
S51：将颈部网络融合后的深层特征信息输入GCHE模块，经过GCT和卷积操作，得到图像的全局特征信息；
S52：根据图像的全局特征信息采用ECIoU回归损失函数定位出特征图像的预测框；
S53：利用非极大值抑制算法对定位出的预测框进一步处理，得到最终的图像特征信息；
S54：对最终的图像特征信息进行解码操作，得到目标检测结果。
经过通道分离的图像整体特征信息通过门控机制(GCT)进行门控自适应处理：
Figure BDA0003702313520000098
其中，
Figure BDA0003702313520000099
表示经过门控得到的最终输出，γc，βc为控制通道门限的可训练参数，xc为输入图像整体特征信息，
Figure BDA00037023135200000910
表示规范化信息通道，c表示通道数。
损失函数由ECIoU回归损失函数和交叉熵损失函数构成，其中采用交叉熵损失函数检测置信度误差和分类误差，采用ECIoU损失函数来检测边界框的回归损失，实现边界框的定位，其中ECIoU公式如下：
Figure BDA0003702313520000101
Figure BDA0003702313520000102
Figure BDA0003702313520000103
其中，LECIOU表示回归损失函数值，IoU表示两个预测框面积的交并比，p(b,bgt)代表预测框和真实框的中心点的欧氏距离，bgt为真实框的中心点，b为预测框的中心点，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，α代表权重系数，β代表权重系数，θ表示衡量预测框和真实框纵横比的一致性，wgt表示真实框的宽度，hgt表示真实框的高度，e表示自然底数，h表示预测框的高度，w表示预测框的宽度。
利用非极大值抑制算法对定位出的预测框进一步处理：
S531：对预测框按置信度(Confidence)排序，选取置信度最高的预测框；
S532：对剩下的预测框和置信度最高的预测框计算两框面积的交并比IoU,设定初始阈值0.5，IoU>0.5，表示两框为同一个目标的预测框，则该置信度最高的预测框为目标的预测框，淘汰大于设定阈值的预测框；
S533：对于IoU<0.5，重复S531-S532步骤，直到定位完图像中其余目标的预测框。
置信度计算公式如下：
Figure BDA0003702313520000104
其中，Pr(Object)是预测框内存在目标的概率，若存在目标，Pr(Object)＝1，否则，Pr(Object)＝0；
Figure BDA0003702313520000105
是真实框(ground truth)与预测框(predicted box)面积的交并比。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种高效的轻量化SAR船舶目标检测方法，其特征在于，包括：
S1：建立SAR船舶目标检测模型，所述模型包括：SAR雷达，主干提取网络，颈部网络，预测网络；
S2：通过SAR雷达获取目标图像；
S3：将目标图像输入到主干提取网络中提取图像特征信息，根据目标图像的大小将提取的图像特征信息划分为第一尺度图像特征信息、第二尺度图像特征信息以及第三尺度图像特征信息；
S4：将第一尺度图像特征信息、第二尺度图像特征信息以及第三尺度图像特征信息输入到颈部网络中进行多尺度深层特征信息融合；
S5：将融合后的深层特征信息输入到预测网络中，得到SAR船舶目标检测结果。
2.根据权利要求1所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，主干提取网络包括：3×3卷积模块、Mobilenetv3基本模块和注意力机制模块，主干提取网络提取图像特征信息的过程包括：
S31：对输入的目标图像进行3×3卷积操作提取目标图像的特征信息，对提取的特征信息进行批量归一化和Hard-swish函数操作，得到浅层图像特征信息；
S32：在Mobilenetv3基本模块中，采用1×1卷积对浅层图像特征信息进行升维处理，将升维后的浅层图像特征信息输入到3×3卷积层中进行深度卷积，得到卷积后的特征信息；采用注意力机制模块和1×1卷积层对卷积后的特征信息进行降维处理，得到图像的深层特征信息，根据目标图像的大小将提取的深层特征信息划分为第一尺度图像特征信息、第二尺度图像特征信息以及第三尺度图像特征信息。
3.根据权利要求1所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，颈部网络包括CFUPA模块、SPP模块、CISC模块以及两个1×1卷积层，采用颈部网络对不同尺度的深层特征信息进行融合的过程包括：
S41：将第三图像特征信息输入到SPP模块中，分离出上下文特征信息；
S42：将上下文特征信息、第一图像特征信息和第二图像特征信息分别输入CISC3和1×1卷积层进行卷积操作，提取整体上下文特征信息；
S43：将整体上下文特征信息输入到CFUPA模块中，进行上采样、下采样，得到图像的深层特征信息，对深层特征信息进行堆叠处理，完成不同尺度的图像特征信息融合。
4.根据权利要求3所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，所述CFUPA模块包括改进的PANet网络和改进的上采样模块，所述改进的PANet网络采用CISC3对PANet网络中的一次5次卷积块进行替换，采用CISC5对PANet网络中的剩余的5次卷积块进行替换；所述改进的上采样模块包括1×1卷积、随机通道分割模块、SRM模块和通道混洗模块，所述改进的上采样模块对输入信息进行1×1卷积提取特征信息，对提取的特征信息进行上采样处理、随机通道分割、SRM注意力机制加权和通道混洗处理，得到最终输出信息。
5.根据权利要求4所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，所述CISC3模块包括通道混洗、深度可分离卷积、1×1卷积、通道归一化；在CISC3模块中，输入深层特征信息经过通道分离分为两部分，第一深层特征信息保留自身映射并直接向下传递，第二深层特征信息通过1×1卷积、通道归一化、深度可分离卷积处理，对处理后的第一深层特征信息和第二深层信息通过通道叠加，对通道叠加后的第一深层特征信息和第二深层特征信息进行通道混洗，完成多次度深层特征信息融合。
6.根据权利要求1所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，预测网络由GCHE模块组成，预测网络处理过程如下：
S51：将颈部网络融合后的深层特征信息输入GCHE模块，经过GCT和卷积操作，得到图像的全局特征信息；
S52：根据图像的全局特征信息采用ECIoU回归损失函数定位出特征图像的预测框；
S53：利用非极大值抑制算法对定位出的预测框进一步处理，得到最终的图像特征信息；
S54：对最终的图像特征信息进行解码操作，得到目标检测结果。
7.根据权利要求6所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，所述GCHE模块包括门控机制和YOLOv4预测网络，输入的特征信息通过门控机制进行加权处理，得到加权后的特征信息，加权后的特征信息通过3×3卷积层和1×1卷积层处理，得到图像的全局特征信息。
8.根据权利要求6所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，损失函数由ECIoU回归损失函数和交叉熵损失函数构成，其中采用交叉熵损失函数检测置信度误差和分类误差，采用ECIoU损失函数来检测边界框的回归损失，实现边界框的定位，其中ECIoU公式如下：
Figure FDA0003702313510000031
其中，LECIOU表示回归损失函数值，IoU表示两个预测框面积的交并比，p(b,bgt)代表预测框和真实框的中心点的欧氏距离，bgt为真实框的中心点，b为预测框的中心点，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，β代表权重系数，
Figure FDA0003702313510000032
θ表示衡量预测框和真实框纵横比的一致性，
Figure FDA0003702313510000033
wgt表示真实框的宽度，hgt表示真实框的高度，e表示自然底数，h表示预测框的高度，w表示预测框的宽度。
9.根据权利要求6所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，利用非极大值抑制算法对定位出的预测框进一步处理：
S531：对预测框按置信度排序，选取置信度最高的预测框；
S532：对剩下的预测框和置信度最高的预测框计算两框面积的交并比IoU,设定初始阈值0.5，IoU>0.5，表示两框为同一个目标的预测框，则该置信度最高的预测框为目标的预测框，淘汰大于设定阈值的预测框；
S533：对于IoU<0.5，重复S531-S532步骤，直到定位完图像中其余目标的预测框。
10.根据权利要求9所述的一种高效的轻量化SAR船舶目标检测方法，其特征在于，置信度计算公式如下：
Figure FDA0003702313510000041
其中，Confidence表示预测框的置信度，Pr(Object)表示预测框内存在目标的概率，若存在目标，Pr(Object)＝1，否则，Pr(Object)＝0；
Figure FDA0003702313510000042
表示真实框与预测框面积的交并比。
CN202210695454.XA 2022-06-20 2022-06-20 一种高效的轻量化sar船舶目标检测方法 Active CN114926794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210695454.XA CN114926794B (zh) 2022-06-20 2022-06-20 一种高效的轻量化sar船舶目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210695454.XA CN114926794B (zh) 2022-06-20 2022-06-20 一种高效的轻量化sar船舶目标检测方法

Publications (2)

Publication Number Publication Date
CN114926794A true CN114926794A (zh) 2022-08-19
CN114926794B CN114926794B (zh) 2024-07-02

Family

ID=82813621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210695454.XA Active CN114926794B (zh) 2022-06-20 2022-06-20 一种高效的轻量化sar船舶目标检测方法

Country Status (1)

Country Link
CN (1) CN114926794B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117468084A (zh) * 2023-12-27 2024-01-30 浙江晶盛机电股份有限公司 晶棒生长控制方法、装置、长晶炉系统和计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617628A (zh) * 2013-12-16 2014-03-05 北京航空航天大学 基于极化方位角正割函数特征的舰船检测方法
CN107256396A (zh) * 2017-06-12 2017-10-17 电子科技大学 基于卷积神经网络的船目标isar图像特征学习方法
CN112329542A (zh) * 2020-10-10 2021-02-05 中国人民解放军战略支援部队航天工程大学 基于特征细化网络模型的sar图像舰船目标检测方法
CN113379603A (zh) * 2021-06-10 2021-09-10 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113569667A (zh) * 2021-07-09 2021-10-29 武汉理工大学 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN114494829A (zh) * 2022-01-16 2022-05-13 西安电子科技大学 一种sar图像多尺度舰船目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617628A (zh) * 2013-12-16 2014-03-05 北京航空航天大学 基于极化方位角正割函数特征的舰船检测方法
CN107256396A (zh) * 2017-06-12 2017-10-17 电子科技大学 基于卷积神经网络的船目标isar图像特征学习方法
CN112329542A (zh) * 2020-10-10 2021-02-05 中国人民解放军战略支援部队航天工程大学 基于特征细化网络模型的sar图像舰船目标检测方法
CN113379603A (zh) * 2021-06-10 2021-09-10 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113569667A (zh) * 2021-07-09 2021-10-29 武汉理工大学 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN114494829A (zh) * 2022-01-16 2022-05-13 西安电子科技大学 一种sar图像多尺度舰船目标检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIMIN YU 等: "A Lightweight Fully Convolutional Neural Network for SAR Automatic Target Recognition", REMOTE SENSING, no. 13, 2 August 2021 (2021-08-02), pages 1 - 20 *
JIMIN YU等: "A Fast and Lightweight Detection Network for Multi-Scale SAR Ship Detection under Complex Backgrounds", REMOTE SENSING, no. 14, 22 December 2021 (2021-12-22), pages 1 - 24 *
JIMIN YU等: "An Efficient Lightweight SAR Ship Target Detection Network with Improved Regression Loss Fuction and Enhanced Feature Information Expression", SENSORS, no. 22, 30 April 2022 (2022-04-30), pages 1 - 26 *
JIMIN YU等: "An SAR Ship Object Detection Algorithm Based on Feature Information Efficient Representation Network", REMOTE SENSING, no. 14, 21 July 2022 (2022-07-21), pages 1 - 25 *
侯笑晗 等: "基于深度学习的SAR图像舰船目标检测综述", 激光与光电子学进展, vol. 58, no. 4, 21 October 2020 (2020-10-21), pages 53 - 64 *
张筱晗;姚力波;吕亚飞;简涛;赵志伟;藏洁;: "双向特征融合的数据自适应SAR图像舰船目标检测模型", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16), pages 229 - 238 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117468084A (zh) * 2023-12-27 2024-01-30 浙江晶盛机电股份有限公司 晶棒生长控制方法、装置、长晶炉系统和计算机设备
CN117468084B (zh) * 2023-12-27 2024-05-28 浙江晶盛机电股份有限公司 晶棒生长控制方法、装置、长晶炉系统和计算机设备

Also Published As

Publication number Publication date
CN114926794B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
Zhang et al. Asymmetric cross-attention hierarchical network based on CNN and transformer for bitemporal remote sensing images change detection
WO2019101221A1 (zh) 一种基于场景多维特征的船只检测方法及系统
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN112686207A (zh) 一种基于区域信息增强的城市街道场景目标检测方法
CN111753677A (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN112560865B (zh) 一种室外大场景下点云的语义分割方法
CN113505634B (zh) 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
CN112288776B (zh) 一种基于多时间步金字塔编解码器的目标跟踪方法
CN110458160A (zh) 一种基于深度压缩神经网络的无人艇水面目标识别算法
CN114882222B (zh) 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法
CN113743322A (zh) 基于改进YOLOv3算法的海上船舶检测方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN116310997A (zh) 一种基于深度学习的海上小目标检测方法
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
CN113554679A (zh) 一种面向计算机视觉应用的无锚框目标跟踪算法
Zhao et al. Deep learning-based object detection in maritime unmanned aerial vehicle imagery: Review and experimental comparisons
CN115019302A (zh) 一种改进型yolox目标检测模型构建方法及其应用
CN117496312A (zh) 基于多模态融合算法的三维多目标检测方法
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN114926794A (zh) 一种高效的轻量化sar船舶目标检测方法
CN112508848B (zh) 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN116580328B (zh) 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法
CN115719368B (zh) 一种多目标船舶跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant