CN113409325B - 基于精细分割的大幅面sar影像舰船目标检测识别方法 - Google Patents

基于精细分割的大幅面sar影像舰船目标检测识别方法 Download PDF

Info

Publication number
CN113409325B
CN113409325B CN202011553738.2A CN202011553738A CN113409325B CN 113409325 B CN113409325 B CN 113409325B CN 202011553738 A CN202011553738 A CN 202011553738A CN 113409325 B CN113409325 B CN 113409325B
Authority
CN
China
Prior art keywords
detection
target
network
segmentation
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011553738.2A
Other languages
English (en)
Other versions
CN113409325A (zh
Inventor
颜露新
曹旭航
邰园
龚恩
谭毅华
石清芳
黎瑞
王健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011553738.2A priority Critical patent/CN113409325B/zh
Publication of CN113409325A publication Critical patent/CN113409325A/zh
Application granted granted Critical
Publication of CN113409325B publication Critical patent/CN113409325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于SAR舰船目标检测识别技术领域，公开了一种基于精细分割的大幅面SAR影像舰船目标检测识别方法，首先对大幅面的SAR原始图像进行拉伸、裁剪处理，获得若干切片图；检测切片图得到检测结果并映射回原图，利用投票策略融合冗余的检测框，计算出新的目标位置；将每个目标区域送入分割网络FCN中，得到目标细腻的像素级分割结果；取出分割后的目标的最小包围框，并送入分类网络AlexNet中，抑制虚警的目标，得到最终的检测识别结果。本发明在检测阶段有效的提高了目标的定位精度和检测速度，经分割、分类网络处理后，进一步增加了预测框的准确度，降低了虚警率，实现了对SAR舰船精细定位的检测识别。

Description

基于精细分割的大幅面SAR影像舰船目标检测识别方法
技术领域
本发明属于SAR舰船目标检测识别技术领域，尤其涉及一种基于精细分割的大幅面SAR影像舰船目标检测识别方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)具有穿透力强、分辨率高、能全天候工作的特点，是目前人们对地观测最重要的手段之一，受到了各个国家的高度重视。2016年我国高分三号卫星发射成功，标致着我国拥有了首个自主研发的高分辨率微波遥感卫星。该卫星的成功发射有效的改善了我国高分辨率SAR依赖进口的状况，越来越多SAR被搭载到飞机、导弹上，用于战场侦查、海洋监视和制导领域，SAR数据也呈现逐年增长的趋势。
SAR舰船检测作为SAR影像的应用任务之一，一直受到了研究者的关注。传统的SAR图像舰船检测方法以对海杂波分布建模、恒虚警率及其衍生方法为主，这些方法在特定场景下具备不错有效果，但缺乏泛化能力。近几年随着人工智能的发展，越来越多的深度学习方法应用到了SAR舰船检测领域中。最常见的是以Faster RCNN、CascadeRCNN为代表的两阶段的检测网络和以SSD、YOLO为代表的一阶段检测网络，前者耗时长但精度高，后者速度快但精度略低。此外中科院研究人员针对SAR舰船检测提出了DCENN网络结构，该网络利用稠密连接融合上下文特征，并在4层特征图上分别用RPN进行检测，以适应不同形态、不同尺寸的舰船。针对遥感大幅面图像，也常采用如R2CNN的旋转框检测网络。相比于常规矩形框，旋转框更适合表现舰船的形状特征，能较为精细的勾勒出目标边界，适用于遥感目标密集的场景。
虽然SAR舰船检测已经有了大量研究，但距离实时智能化检测仍有一段距离。一方面遥感SAR图片幅面大，对于回传到地面的大幅面SAR图像，现有方法难以保证在高精度检测的同事，满足实时性的要求。另一方面，检测网络检测出的结果定位粗糙、虚警目标多，无法满足导弹精确制导、智能海洋监控的需求。为进一步推动SAR舰船检测的实际应用，现阶段亟需一种适合大幅面SAR舰船检测的神经网络，可以兼顾检测精度和速度，同时还具备排除虚警、实现目标精细定位的功能。
通过上述分析，现有技术存在的问题及缺陷为：
(1)对于遥感卫星或搭载SAR的无人机近实时拍摄的大量大幅面SAR数据，现有的SAR检测网络难以兼顾检测速度和检测精度，无法实现对海量大幅面数据的高效、高精度检测。
(2)SAR数据标注难度大，且以矩形框的标注形式为主，基于这种矩形框训练出来的检测网络对舰船目标的定位较为粗糙，无法实现像旋转框一样较为精细的定位。
(3)由于SAR图像幅面大而舰船目标小，检测网络往往会将岛礁、亮斑等物体误识别成舰船目标，导致虚警率较高。
解决以上问题及缺陷的难度为：
(1)常见的大幅面SAR图像尺寸在5600×4700左右，可切成6×5个1280×1280大小的子图，要实时检测这些图片对检测网络的运行速度提出了极高要求。此外舰船目标形状多样、尺寸不固定也会对检测网络的检测精度带来较大干扰。要想同时兼顾检测速度和精度难已成一大难点。
(2)虽然旋转框检测网路在一定程度上可以实现对舰船目标的精确定位，勾勒出舰船目标的大体轮廓，但现有旋转框数据集数量不足以支撑网络进行有效的训练。此外，SAR数据集标注需要专业的SAR专家通过SAR成像原理反推目标位置，要实现大量标注也易实现。因此，我们需要寻求一种新的方法来解决舰船目标定位粗糙的问题，实现对舰船的精细定位。
(3)SAR的成像机制导致舰船目标缺乏显著的纹理特征，多以十字亮斑为主，而对于拥有相同材质建筑的岛屿、港口，寄希望通过检测网络将其区分难度较大。
解决以上问题及缺陷的意义为：
(1)若能在保证精度的前提下实现大幅面SAR图像舰船目标的实时检测，将会极大地促进深度学习在SAR影像中的应用，推进导弹智能制导、智能遥感卫星的发展。
(2)更精细的舰船定位将进一步提高导弹制导打击精度、提升战场监视和精准调度能力。
(3)有效降低SAR舰船检测的虚警率对SAR影像的实际应用具有重大意义，将提高导弹制导打击的有效性、提升SAR舰船检测系统的智能能力。
发明内容
针对现有技术存在的问题，本发明提供了一种基于精细分割的大幅面SAR影像舰船目标检测识别方法。
本发明是这样实现的，一种基于精细分割的大幅面SAR影像舰船目标检测识别方法，包括：
(1)利用滑窗策略和检测网络对大幅面SAR图像检测，得到每幅切片图的检测结果；
(2)将所述检测结果映射回原图，经过投票策略融合后，得到检测网络初步的检测结果，所述结果包含一定的虚警目标，且目标定位不准确；
(3)将检测结果对应的区域送入到分割网络进行分割，得到对舰船目标精细的定位结果；
(4)将分割结果的最小外接框区域内的目标送入到分类网络中，对目标进行二分类，剔除虚警的目标，得到最终的有精细定位的检测结果。
进一步，所述基于精细分割的大幅面SAR影像舰船目标检测识别方法包括以下步骤：
步骤一，对大幅面的SAR原始图像进行拉伸和裁剪处理，得到若干切片图；
步骤二，利用改进的EfficientDet检测网络检测切片图，得到检测结果；
步骤三，将切片图的检测结果映射回原图，利用投票策略融合冗余的检测框，计算出新的目标位置；
步骤四，将每个目标区域送入分割网络FCN中，得到目标细腻的像素级分割结果；
步骤五，取出分割后的目标的最小包围框，并送入分类网络AlexNet中，抑制虚警的目标，得到最终的检测识别结果。
进一步，步骤一中，所述拉伸处理采用4倍均值拉伸方法，每幅图片的4倍均值作为最大截断值，将图片从最小值到最大截断值之间的像素线性拉伸到0-255之间；裁剪方法采用滑动框的方式，在大幅面图片上用1280×1280的滑框依次裁剪出切片图，两个相邻的切片图有300像素宽的重叠区域。
进一步，步骤二中，所述改进的EfficientDet算法结构由骨架网络MobileNet v2、特征融合网络3个BiFPN和轻量级检测头三部分组成；BiFPN采用自适应权重的特征融合方式，由网络给每一层特征图学习一个权重系数，用于区分每层特征图信息的重要程度，多个特征图在融合的时候，根据权重加权求和；在检测头回归分支中增加IoU预测分支，该分支与位置预测共享卷积通路，用于预测检测框与目标框的IoU的值，等同于预测预测框定位的准确度。
进一步，步骤三中，所述投票策略利用网络预测的类别得分值和IoU值，给每个检测框一个权重，将用于检测同一目标的检测框结合权重加权相加，去除冗余的检测框，得到新的检测框位置。
进一步，所述利用投票策略融合冗余的检测框，得到新的检测框位置，包括：
(1)按下列公式计算每个检测框的pi值：
Figure GDA0002967698050000041
其中，b为网络预测的检测框，bi为目标位置，σt为超参数。计算式输入为网络预测IoU的值，输出pi取值在0～1之间；
(2)将网络预测的类别得分si与pi相乘，得到每个检测框的权重wi：
wi＝Pi·si；
(3)将原图上所有的检测框按wi值从大到小排序；
(4)选出wi值最高的检测框b，计算其余的框与该框的IoU。若IoU>0.3，则认为这两个检测框检测同一目标；
(5)把所有与检测框b检测同一目标的框取出，包括b；将他们左上角和右下角的点的坐标按照下列公式计算加权平均值，得到新的检测框坐标，该检测框即为投票的结果；
Figure GDA0002967698050000051
(6)去掉上述参与投票的框，跳回步骤(4)，直到所有的框都参与了投票结束；
(7)所有投票计算出的检测框即为大幅面SAR图片的检测结果。
进一步，步骤四中，将检测网络检测的目标区域裁剪出来，并填充0直到裁剪的图片长宽达到32的整数倍；FCN分割网络采用VGG16骨架网络提取图片特征，得到16倍下采样的特征图后再经过卷积和反卷积后，最终在8倍下采样的特征图上利用一个8倍上采样卷积得到分割结果。
进一步，步骤五中，继续将分割出的目标区域其最小包围矩形框对应于原图的数据提取出来，送入给分类网络分类，该区域包含的背景信息极少，减小分类网络受背景的影响；AlexNet分类网络在经过特征提取后通过全连接预测两个值，一个代表舰船目标，一个代表背景；最后将分类为背景的目标从原图检测结果中去掉，分类为舰船目标的检测框用分割出的最小包围矩形框代替，得到最终的检测结果。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的基于精细分割的大幅面影像舰船目标检测识别方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于精细分割的大幅面SAR影像舰船目标检测识别方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于精细分割的大幅面SAR影像舰船目标检测识别方法，先利用滑窗策略和检测网络对大幅面SAR图像检测，得到每幅切片图的检测结果。将这些结果映射回原图，经过投票策略融合后，得到检测网络初步的检测结果，该结果包含一定的虚警目标，且目标定位不准确。将检测结果对应的区域送入到分割网络进行分割，得到对舰船目标精细的定位结果。最后分割结果的最小外接框区域内的目标送入到分类网络中，对目标进行二分类，剔除虚警的目标，得到最终的有精细定位的检测结果。本发明还包含以下三个优点：
(1)提出了一种改进的EfficientDet检测网络：在检测阶段有效的增加对目标的定位精度，提升了检测速度。
EfficientDet网络属于轻量型的检测网络，能够权衡网络的检测速度和检测精度。该发明在此结构基础上新增一个IoU预测分支，用于预测每个预测框的定位精度。通过该分支，网络可以选择定位更准确的预测框作为最终的预测结果，从而增加了检测网络的定位精度。与经典的Yolo v3检测网络相比，该改进的EfficientDet在2080Ti GPU上检测一张1280×1280的图片耗时71ms，检测率为98.6％，在同等情况下，Yolo v3耗时130ms，检测率只有94.5％。
(2)提出了一种基于投票的检测框融合策略：切片图的检测结果融合到大幅面图片上时，目标预测框定位更加准确。
在检测大幅面SAR图片时，本发明采用投票的方式融合所有子图的检测结果。具体来说，将每一个检测框都视作一票，利用网络预测的IoU给每个票赋予权重，把检测同一目标的票按权重相加即可得到所有检测框投票的结果。相比于常规的NMS抑制方法，投票策略融合了所有检测框的信息，对目标的定位更加精确。
(3)提出了一种检测-分割-分类的检测策略：有效的抑制虚警目标，实现对舰船的精细定位。
为了解决单个检测网络虚警率偏高、定位精度较为粗糙的问题，该发明提出了检测-分割-分类的串行处理方法。先用改进的EfficientDet检测网络进行初步的检测，检测出的区域送入给分割网络FCN，由FCN进行精细的像素级预测，将目标与背景切割开。取分割后的目标的最小包围框送入分类网络AlexNet中，由分类网络对其是背景还是前景进行预测，从而抑制掉虚警的目标。最终，检测-分割-分类的检测策略降低了检测的虚警率，实现了更精细的定位。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于精细分割的大幅面SAR影像舰船目标检测识别方法流程图。
图2是本发明实施例提供的基于精细分割的大幅面SAR影像舰船目标检测识别方法原理图。
图3是本发明实施例提供的改进的检测网络结构图。
图4是本发明实施例提供的实施案例流程图。
图5是本发明实施例提供的测试图片。
图6是本发明实施例提供的初步检测结果示意图。
图7是本发明实施例提供的投票策略效果图。
图8是本发明实施例提供的投票策略结果示意图。
图9是本发明实施例提供的分割效果图。
图10是本发明实施例提供的最终检测结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于精细分割的大幅面SAR影像舰船目标检测识别方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于精细分割的大幅面SAR影像舰船目标检测识别方法包括以下步骤：
S101，对大幅面的SAR原始图像进行拉伸和裁剪处理，得到若干切片图；
S102，利用改进的EfficientDet检测网络检测切片图，得到检测结果；
S103，将切片图的检测结果映射回原图，利用投票策略去掉冗余的检测框，计算出新的目标位置；
S104，将每个目标区域送入分割网络FCN中，得到目标细腻的像素级分割结果；
S105，取出分割后的目标的最小包围框，并送入分类网络AlexNet中，抑制虚警的目标，得到最终的检测识别结果。
本发明实施例提供的基于精细分割的大幅面SAR影像舰船目标检测识别方法原理图如图2所示。
下面结合术语解释对本发明作进一步描述。
1.EfficientDet：2019年提出的轻量级目标检测网络架构。
2.SAR：合成孔径雷达，一种高分辨率成像雷达。
3.虚警率：在所有检测结果中，检测错误的比率。
4.检测率：所有舰船目标中，检测网络检测到的比例。
5.IoU：交并比，常指预测框和目标相交面积与并集面积的比值。
6.NMS：非极大值抑制，一种常见的处理冗余检测结果的方法。
下面结合实施例对本发明作进一步描述。
实施例1
针对现有大幅面SAR图片检测方法虚警率高、目标定位粗糙的问题，该发明提出了一种基于精细分割的大幅面SAR影像舰船目标检测分类方法。该方法先利用滑窗策略和检测网络对大幅面SAR图像检测，得到每幅切片图的检测结果。将这些结果映射回原图，经过投票策略融合后，得到检测网络初步的检测结果，该结果包含一定的虚警目标，且目标定位不准确。将检测结果对应的区域送入到分割网络进行分割，得到对舰船目标精细的定位结果。最后分割结果的最小外接框区域内的目标送入到分类网络中，对目标进行二分类，剔除虚警的目标，得到最终的有精细定位的检测结果。
本发明的检测识别的步骤如下：
(1)对大幅面的SAR原始图像进行拉伸处理、裁剪处理，得到若干切片图；
(2)用改进的EfficientDet检测网络检测切片图，得到检测结果；
(3)将切片图的检测结果映射回原图，用投票策略去掉冗余的检测框，计算出新的目标位置；
(4)将每个目标区域送入分割网络FCN中，得到目标细腻的像素级分割结果；
(5)取出分割后的目标的最小包围框，将其送入分类网络AlexNet中，抑制虚警的目标，得到最终的检测识别结果。
进一步地，所述步骤(1)中的拉伸处理采用4倍均值拉伸方法，每幅图片的4倍均值作为最大截断值，将图片从最小值到最大截断值之间的像素线性拉伸到0-255之间；裁剪方法采用滑动框的方式，在大幅面图片上用1280×1280的滑框依次裁剪出切片图，两个相邻的切片图有300像素宽的重叠区域。
进一步地，所述步骤(2)中改进的EfficientDet算法结构由骨架网络MobileNetv2、特征融合网络3个BiFPN和轻量级检测头三部分组成，如图3所示；BiFPN采用自适应权重的特征融合方式，由网络给每一层特征图学习一个权重系数，用于区分每层特征图信息的重要程度，多个特征图在融合的时候，根据权重加权求和；在检测头回归分支中增加IoU预测分支，该分支与位置预测共享卷积通路，用于预测检测框与目标框的IoU的值，等同于预测预测框定位的准确度；
进一步地，所述步骤(3)中的投票策略利用网络预测的类别得分值和IoU值，给每个检测框一个权重，将用于检测同一目标的检测框结合权重加权相加，去除冗余的检测框，得到新的检测框位置，具体步骤如下：
step1：按下列公式计算每个检测框的pi值，其中，b为网络预测的检测框，bi为目标位置，σt为超参数，计算式输入为网络预测IoU的值，输出pi取值在0～1之间；
Figure GDA0002967698050000101
step2：将网络预测的类别得分si与pi相乘，得到每个检测框的权重wi；
wi＝pi·si
step3：将原图上所有的检测框按wi值从大到小排序；
step4：选出wi值最高的检测框b，计算其余的框与该框的IoU。若IoU>0.3，则认为这两个检测框检测同一目标；
step5：把所有与检测框b检测同一目标的框取出，包括b；将他们左上角和右下角的点的坐标按照下列公式计算加权平均值，得到新的检测框坐标，该检测框即为投票的结果；
Figure GDA0002967698050000102
step6：去掉上述参与投票的框，跳回step4，直到所有的框都参与了投票结束；
step7：所有投票计算出的检测框即为大幅面SAR图片的检测结果。
进一步地，所述步骤(4)将检测网络检测的目标区域裁剪出来，并填充0直到裁剪的图片长宽达到32的整数倍；FCN分割网络采用VGG16骨架网络提取图片特征，得到16倍下采样的特征图后再经过卷积和反卷积后，最终在8倍下采样的特征图上利用一个8倍上采样卷积得到分割结果。
进一步地，所述步骤(5)继续将分割出的目标区域其最小包围矩形框对应于原图的数据提取出来，送入给分类网络分类，该区域包含的背景信息极少，减小分类网络受背景的影响；AlexNet分类网络在经过特征提取后通过全连接预测两个值，一个代表舰船目标，一个代表背景；最后将分类为背景的目标从原图检测结果中去掉，分类为舰船目标的检测框用分割出的最小包围矩形框代替，得到最终的检测结果。
本发明提出了一种基于精细分割的大幅面SAR影像舰船目标检测识别方法，包含以下3个优点：
(1)提出了一种改进的EfficientDet检测网络：在检测阶段有效的增加对目标的定位精度，提升了检测速度。
EfficientDet网络属于轻量型的检测网络，能够权衡网络的检测速度和检测精度。该发明在此结构基础上新增一个IoU预测分支，用于预测每个预测框的定位精度。通过该分支，网络可以选择定位更准确的预测框作为最终的预测结果，从而增加了检测网络的定位精度。与经典的Yolo v3检测网络相比，该改进的EfficientDet在2080Ti GPU上检测一张1280×1280的图片耗时71ms，检测率为98.6％，在同等情况下，Yolo v3耗时130ms，检测率只有94.5％。
(2)提出了一种基于投票的检测框融合策略：切片图的检测结果融合到大幅面图片上时，目标预测框定位更加准确。
在检测大幅面SAR图片时，本发明采用投票的方式融合所有子图的检测结果。具体来说，将每一个检测框都视作一票，利用网络预测的IoU给每个票赋予权重，把检测同一目标的票按权重相加即可得到所有检测框投票的结果。相比于常规的NMS抑制方法，投票策略融合了所有检测框的信息，对目标的定位更加精确。
(3)提出了一种检测-分割-分类的检测策略：有效的抑制虚警目标，实现对舰船的精细定位。
为了解决单个检测网络虚警率偏高、定位精度较为粗糙的问题，该发明提出了检测-分割-分类的串行处理方法。先用改进的EfficientDet检测网络进行初步的检测，检测出的区域送入给分割网络FCN，由FCN进行精细的像素级预测，将目标与背景切割开。取分割后的目标的最小包围框送入分类网络AlexNet中，由分类网络对其是背景还是前景进行预测，从而抑制掉虚警的目标。最终，检测-分割-分类的检测策略降低了检测的虚警率，实现了更精细的定位。
实施例2
针对该发明，该节提供一个具体实施案例，从数据集的采集和制作到每一个模型的训练、测试及效果展示，如图4所示。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
(1)数据集的收集、制作。
从NASA地球观测系统数据信息系统中收集ALOS PALSAR遥感卫星于2006-2011年拍摄的SAR数据，拍摄场景选自美国、日本、中国台湾等地区的港口、近海岸附近，数据包含5600×4700、11300×9400两种尺寸。将下载的数据用NASA提供的ASF MapReady软件转换成16位深单通道JPG格式后，用4倍均值拉伸的方法将其线性拉伸0-255之间，并复制到3通道上得到最终的JPG图片。用Labelimg软件对这些大幅面图片进行标注后，通过滑窗的方式将其裁剪成1280×1280的切片图片，相邻两个切片图片有300像素宽的重叠区域。
(2)改进的EfficientDet检测网络训练。
在Pytorch上训练改进的EfficientDet检测网络，为增加训练样本的多样性，在训练过程中每幅图片采用下列数据增加和数据处理步骤：
step1：将图片数据除以255，缩放到0-1之间；
step2：以0.8的概率将图片旋转到一个随机角度；
step3：以0.8的概率对图片进行高斯平滑处理，高斯平滑系数sigma随机取0.1-0.8之间；
step4：以0.8的概率对图片进行高斯噪声处理，随机分布方差随机取0.0001-0.001之间；
step5：图片数据减均值，除以方差，进行归一化处理；
step6：以0.5的概率镜像图像数据；
step7：以0.2的概率将图片的长和宽裁剪到原始的0.7-1倍，裁剪位置随机，裁剪后的图片缩放到原始尺寸；
step8：以0.8的概率将图片的长和宽缩放到0.7-1倍，空余部分补0。
处理后的1280×1280图片在经过检测网络前向推理后得到5层大小分别为160×160、80×80、40×40、20×20、10×10的特征图，在不同层特征图的特征点上分别预设边长为26、52、104、208、416正方形预设框，每个预设框负责检测与其位置相近、尺寸相似的目标。接着采用样本选择适应训练策略，自适应的给目标待检测目标选择合适的预设框与其匹配，匹配到的预设框为正样本，其余预设框为负样本。
该网络模型的损失函数如下，由类别损失、回归损失和IoU预测损失三部分组成。类别损失采用焦点损失函数，将网络训练的注意力集中于难样本身上，降低简单样本的权重，从而更有效的实现对类别的训练。位置损失采用DIoU损失，把位置预测的4个值当做一个整体来学习，同时增加对中心点位置的约束项，加快位置的收敛速度。IoU预测损失采用常见的二值交叉熵损失，通过训练让该分支起到对IoU精确预测的作用。正、负样本均有类别损失，仅正样本有位置和IoU预测损失。
loss＝Lcls(fθ，g)+λ1Lreg(fθ，g)+λ2LIoU(fθ，g)
网络训练时，先用Adam优化算法以0.0001学习率、9batch迭代200周期，再用SGD优化算法以0.01学习率迭代100周期，得到检测模型。
(2)分割网络数据集收集、制作和训练。
将上述数据集中的目标裁剪下来，用CVAT工具标注每个像素点的类别是前景还是背景，得到分割网络训练用的数据集。在Pytorch上以SGD优化算法、1.0e-14的学习率训练VGG16-FCN分割网络，迭代100000个batch得到分割模型。在分割网络训练时，对输入图片补0使图片的长宽达到32的整数倍，每一次迭代计算8倍下采样输出的特征图的损失。
(3)分类网络数据集制作和训练。
将上述裁剪下来的目标图片全部作为正样本，再从大幅面的SAR图像上随机裁剪出不与目标有重叠的图片作为负样本，正负样本比例为1：3，负样本图片尺寸与正样本保持一致。在Pytoch框架下训练模型时，将图片缩放到227×227，用Adam优化算法以0.001学习率、256batch迭代10周期得到分类模型。
(4)对大幅面SAR图像检测。
step1：预处理测试图片。
输入尺寸为5600×4700的大幅面SAR图片，如图5所示。先用滑窗的方式将其裁剪成若干1280×1280大小的切片图，记录下每个切片在原图上的起始位置，相邻两个切片图具有300像素宽的重叠区域，保证每个目标都能完整的出现在切片图中。
step2：用改进的EfficientDet检测网络检测目标。
将1280×1280大小的切片图送入改进的EfficientDet检测网络中，得到每幅子图的检测结果。将这些检测结果按照切片在原图的位置映射回去，得到如图6所示的检测效果。这些检测结果中有冗余的检测框，也有大量被误检测成目标的检测框。
step3：利用投票策略融合冗余的检测结果。
如图7(a)所示，当目标出现在两幅切片图重叠的区域时，每个切片图都会给目标一个预测结果，导致多个检测框检测了一个目标。为去除冗余的检测框，同时充分利用冗余检测框的预测结果，采用投票的方式，让检测同一个目标的检测框以类别预测和IoU预测作为权重依据，每个检测框加权投票得到最终的检测结果，效果如图7(b)所示。投票得到的检测结果示意图如图8所示。
step4：用FCN分割网络实现对目标的精细定位。
将步骤3中得到的检测框裁剪出，送入到FCN分割网络中，得到每个像素的分类结果。取分割出的目标的最小包围框作为修正后的检测框，从而实现了对目标更精细的定位，也减少后续分类过程中背景的干扰。如图9(a)是对一个岛屿分割前后的效果图，图9(b)是对一个舰船分割前后的效果图。
step5：用AlexNet分类网络去除虚警的检测框。
将步骤4中得到的检测框对应的区域裁剪出来，送入AlexNet分类网络，由分类网络识别每个检测框是真舰船目标，还是被误检测成目标的岛屿或其他物体。最后在原图上去除分类为背景的检测框，只保留舰船目标，得到最终的检测结果，如图10所示。
本发明提出的检测网络在单张2080Ti GPU上，检测一张1280×1280大小的子图耗费71ms，同等情况下Yolo v3检测网络耗费130ms，SSD检测网络耗费284ms，Faster RCNN耗费366ms。在5600×4700的大幅面SAR图像上，改进的EfficientDet仅需花费2.1s就可以完成检测，而Faster RCNN则需要花费11.1s。
图5的测试图片中总计含有217个舰船目标。在经过改进的EfficientDet检测网络检测，并将结果映射回原图后得到图6的效果图，此时检测率达到98.6％，与之相比Yolo v3的检测率只有94.5％。继续用投票算法处理去掉11个冗余的检测结果，并通过分割和分类网路抑制虚警目标后，虽然目标的检测率下降到了95.4％，但虚警率也从26.7％先降到17.1％再降到5.9％。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于精细分割的大幅面SAR影像舰船目标检测识别方法，其特征在于，所述于精细分割的大幅面SAR影像舰船目标检测识别方法，包括：
利用滑窗策略和检测网络对大幅面SAR图像检测，得到每幅切片图的检测结果；
将所述检测结果映射回原图，经过投票策略融合后，得到检测网络初步的检测结果，所述结果包含一定的虚警目标，且目标定位不准确；
将检测结果对应的区域送入到分割网络进行分割，得到对舰船目标精细的定位结果；
将分割结果的最小外接框区域内的目标送入到分类网络中，对目标进行二分类，剔除虚警的目标，得到最终的有精细定位的检测结果；
所述基于精细分割的大幅面SAR影像舰船目标检测识别方法具体包括以下步骤：
步骤一，对大幅面的SAR原始图像进行拉伸和裁剪处理，得到若干切片图；
步骤二，利用改进的EfficientDet检测网络检测切片图，得到检测结果；
步骤三，将切片图的检测结果映射回原图，利用投票策略融合冗余的检测框，计算出新的目标位置；
步骤四，将每个目标区域送入分割网络FCN中，得到目标细腻的像素级分割结果；
步骤五，取出分割后的目标的最小包围框，并送入分类网络AlexNet中，抑制虚警的目标，得到最终的检测识别结果；
步骤二中，所述改进的EfficientDet算法结构由骨架网络MobileNet v2、3个特征融合网络BiFPN和轻量级检测头三部分组成；BiFPN采用自适应权重的特征融合方式，由网络给每一层特征图学习一个权重系数，用于区分每层特征图信息的重要程度，多个特征图在融合的时候，根据权重加权求和；在检测头回归分支中增加IoU预测分支，所述分支与位置预测共享卷积通路，用于预测检测框与目标框的IoU的值，等同于预测预测框定位的准确度。
2.如权利要求1所述的基于精细分割的大幅面SAR影像舰船目标检测识别方法，其特征在于，步骤一中，所述拉伸处理采用4倍均值拉伸方法，每幅图片的4倍均值作为最大截断值，将图片从最小值到最大截断值之间的像素线性拉伸到0-255之间；裁剪方法采用滑动框的方式，在大幅面图片上用1280×1280的滑框依次裁剪出切片图，两个相邻的切片图有300像素宽的重叠区域。
3.如权利要求1所述的基于精细分割的大幅面SAR影像舰船目标检测识别方法，其特征在于，步骤三中，所述投票策略利用网络预测的类别得分值和IoU值，给每个检测框一个权重，将用于检测同一目标的检测框结合权重加权相加，融合冗余的检测框，得到新的检测框位置。
4.如权利要求3所述的基于精细分割的大幅面SAR影像舰船目标检测识别方法，其特征在于，所述利用投票策略融合冗余的检测框，得到新的检测框位置，包括：
(1)按下列公式计算每个检测框的pi值：
Figure FDA0003703942470000021
其中，b为网络预测的检测框，bi为目标位置，σt为超参数；计算式输入为网络预测IoU的值，输出pi取值在0～1之间；
(2)将网络预测的类别得分si与pi相乘，得到每个检测框的权重wi：
wi＝pi·si；
(3)将原图上所有的检测框按wi值从大到小排序；
(4)选出wi值最高的检测框b，计算其余的框与该框的IoU；若IoU>0.3，则认为这两个检测框检测同一目标；
(5)把所有与检测框b检测同一目标的框取出，包括b；将他们左上角和右下角的点的坐标按照下列公式计算加权平均值，得到新的检测框坐标，该检测框即为投票的结果；
Figure FDA0003703942470000022
(6)去掉上述参与投票的框，跳回步骤(4)，直到所有的框都参与了投票结束；
(7)所有投票计算出的检测框即为大幅面SAR图片的检测结果。
5.如权利要求1所述的基于精细分割的大幅面SAR影像舰船目标检测识别方法，其特征在于，步骤四中，将检测网络检测的目标区域裁剪出来，并填充0直到裁剪的图片长宽达到32的整数倍；FCN分割网络采用VGG16骨架网络提取图片特征，得到16倍下采样的特征图后再经过卷积和反卷积后，最终在8倍下采样的特征图上利用一个8倍上采样卷积得到分割结果。
6.如权利要求1所述的基于精细分割的大幅面SAR影像舰船目标检测识别方法，其特征在于，步骤五中，继续将分割出的目标区域其最小包围矩形框对应于原图的数据提取出来，送入给分类网络分类，所述区域包含的背景信息极少，减小分类网络受背景的影响；AlexNet分类网络在经过特征提取后通过全连接预测两个值，一个代表舰船目标，一个代表背景；最后将分类为背景的目标从原图检测结果中去掉，分类为舰船目标的检测框用分割出的最小包围矩形框代替，得到最终的检测结果。
7.一种信息数据处理终端，其特征在于，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6任意一项所述的基于精细分割的大幅面SAR影像舰船目标检测识别方法。
8.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～6任意一项所述的基于精细分割的大幅面SAR影像舰船目标检测识别方法。
CN202011553738.2A 2020-12-24 2020-12-24 基于精细分割的大幅面sar影像舰船目标检测识别方法 Active CN113409325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011553738.2A CN113409325B (zh) 2020-12-24 2020-12-24 基于精细分割的大幅面sar影像舰船目标检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011553738.2A CN113409325B (zh) 2020-12-24 2020-12-24 基于精细分割的大幅面sar影像舰船目标检测识别方法

Publications (2)

Publication Number Publication Date
CN113409325A CN113409325A (zh) 2021-09-17
CN113409325B true CN113409325B (zh) 2022-09-23

Family

ID=77675729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011553738.2A Active CN113409325B (zh) 2020-12-24 2020-12-24 基于精细分割的大幅面sar影像舰船目标检测识别方法

Country Status (1)

Country Link
CN (1) CN113409325B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187252B (zh) * 2021-12-03 2022-09-20 推想医疗科技股份有限公司 图像处理方法及装置、调整检测框的方法及装置
CN114418962A (zh) * 2021-12-28 2022-04-29 北京理工大学 一种基于注意力增强网络的sar图像飞机检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527352A (zh) * 2017-08-09 2017-12-29 中国电子科技集团公司第五十四研究所 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
WO2020048183A1 (zh) * 2018-09-04 2020-03-12 上海海事大学 一种级联式由粗到精的卷积神经网络船舶类型识别方法
CN111046768A (zh) * 2019-12-04 2020-04-21 武汉大学 一种同时提取遥感影像道路路面和中心线的深度学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527352A (zh) * 2017-08-09 2017-12-29 中国电子科技集团公司第五十四研究所 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
WO2020048183A1 (zh) * 2018-09-04 2020-03-12 上海海事大学 一种级联式由粗到精的卷积神经网络船舶类型识别方法
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN111046768A (zh) * 2019-12-04 2020-04-21 武汉大学 一种同时提取遥感影像道路路面和中心线的深度学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Automated Monitoring in Maritime Video Surveillane System》;Mrunalini Malamati，et al;《2020 IVCNZ》;20201217;全文 *
《SAR影像船舶目标检测技术研究》;胡庆，等;《测绘科学技术学报》;20201031;第37卷(第5期);第479-487页 *

Also Published As

Publication number Publication date
CN113409325A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
TWI762860B (zh) 目標檢測及目標檢測網路的訓練方法、裝置、設備及儲存媒體
CN106384344B (zh) 一种光学遥感图像海面舰船目标检测与提取方法
CN111881918B (zh) 一种多尺度旋转船舶目标检测算法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN111091095B (zh) 一种遥感图像中船只目标的检测方法
CN113643284B (zh) 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法
CN114677554A (zh) 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法
CN113409325B (zh) 基于精细分割的大幅面sar影像舰船目标检测识别方法
CN110163207B (zh) 一种基于Mask-RCNN船舶目标定位方法及存储设备
CN111783523A (zh) 一种遥感影像旋转目标检测方法
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN110267101B (zh) 一种基于快速三维拼图的无人机航拍视频自动抽帧方法
WO2018000252A1 (zh) 高分辨遥感海洋图像的海背景建模与抑制的方法及系统
CN114119610B (zh) 基于旋转目标检测的缺陷检测方法
Zheng et al. Building recognition of UAV remote sensing images by deep learning
CN115035295A (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN114092794A (zh) 一种海冰图像分类方法、系统、介质、设备及处理终端
CN113379603B (zh) 一种基于深度学习的船舶目标检测方法
CN116452966A (zh) 一种水下图像的目标检测方法、装置、设备及存储介质
CN113610178A (zh) 一种基于视频监控图像的内河船舶目标检测方法和装置
CN110991305B (zh) 一种遥感图像下的飞机检测方法及存储介质
CN113343819B (zh) 一种高效的无人机载sar图像目标分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant