CN111126335B - 一种结合显著性和神经网络的sar船只识别方法及系统 - Google Patents

一种结合显著性和神经网络的sar船只识别方法及系统 Download PDF

Info

Publication number
CN111126335B
CN111126335B CN201911407607.0A CN201911407607A CN111126335B CN 111126335 B CN111126335 B CN 111126335B CN 201911407607 A CN201911407607 A CN 201911407607A CN 111126335 B CN111126335 B CN 111126335B
Authority
CN
China
Prior art keywords
image
sar
ship
frame
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911407607.0A
Other languages
English (en)
Other versions
CN111126335A (zh
Inventor
邓练兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN201911407607.0A priority Critical patent/CN111126335B/zh
Publication of CN111126335A publication Critical patent/CN111126335A/zh
Application granted granted Critical
Publication of CN111126335B publication Critical patent/CN111126335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种结合显著性和神经网络的SAR船只识别方法及系统，包括数据预处理，通过Lee滤波去除SAR图像的相干斑噪声，同时保持图像的边缘信息，然后对各景SAR影像裁切得到图像块；构建数据集，包括选不同场景下包含船只的SAR图像块，对船只的位置信息以矩形最小包围框进行标注，得到含有标注信息的SAR图像船只数据集；构建融合显著性感知的卷积神经网络，包括通过Darknet53网络提取特征，基于所得多尺度的特征图计算船只候选框和置信度，基于全局对比度方法得到候选框内的显著性特征图，取显著性区域的外包矩形作为检测结果；训练网络，针对待识别的SAR影像，按行预处理后得到图像块，再通过训练所得网络模型进行预测，基于预测后的图像块重新拼接SAR影像。

Description

一种结合显著性和神经网络的SAR船只识别方法及系统
技术领域
本发明属于海上船只识别处理领域，具体涉及一种结合显著性和神经网络的SAR船只识别方法及系统。
背景技术
海上船只识别对于海上交通管理、溢油污染治理、海运安全管理、海洋权益维护等方面发挥着十分重要的作用。目前被用于海上船只识别的遥感影像包括光学遥感影像、反射红外遥感影像、高光谱遥感影像、热红外遥感影像和雷达图像，与前三者遥感影像不同的是，雷达图像是发射机向目标物发射无线电波，接收机接收散射回波所形成的图像，具有全天时、全天候的特点。其中，合成孔径雷达(SAR)是最适合船只目标探测的雷达。随着中国的高分三号，日本的ALOS-2，欧洲航天局的Sentinel-1成功发射，大量的SAR图像可以被用于海上船只识别。
传统的SAR图像海上船只识别方法主要是基于恒虚警率(CFAR)方法，这些方法通过海杂波的统计分布和人工设计的特征进行船只识别。常用的CFAR方法包括基于高斯分布的双参数CFAR方法、基于韦布尔分布的CFAR方法等。该类方法的缺点是在船只停泊在靠岸的港口、船只行驶靠近岛屿等场景复杂的场景下，人工建筑有着和船只相似的后向散射机制从而产生较高的假阳性率，导致方法的鲁棒性较差。
随着卷积神经网络的发展，自然图像中广泛使用的SSD、RetinaNet等目标检测网络被迁移到SAR图像船只识别领域，取得了优异的效果。但是在实际应用过程中，基于卷积神经网络的SAR图像船只识别仍存在以下局限性：
(1)受到海波杂波、相干斑噪声的影响，部分船只受噪声影响过大不能被正确识别。
(2)SAR图像中船只存在变形和受噪声，导致识别结果的包围盒位置不准确，交并比不高。
(3)SAR图像缺失颜色等特征，导致近岸船只与陆地建筑高亮区域区分不明显，导致检测虚警率高。
(4)入射角引起的几何变形会影响SAR图像中船只的大小以及船只的多样性导致船只在SAR图像上是多尺度的。
发明内容
本发明旨在克服上述现有技术的不足，提供一种结合显著性和神经网络的SAR船只识别方法及系统。
本发明技术方案提供一种结合显著性和神经网络的SAR船只识别方法，包括以下步骤：
步骤1，数据预处理，包括通过Lee滤波方法去除SAR图像的相干斑噪声，同时保持图像的边缘信息，然后对各景SAR影像裁切得到图像块；
步骤2，构建数据集，包括根据步骤1所得预处理后数据，筛选不同场景下包含船只的SAR图像块，对船只的位置信息以矩形最小包围框进行标注，得到含有标注信息的SAR图像船只数据集；所述不同场景包括海上、靠岸和河道内；
步骤3，构建融合显著性感知的卷积神经网络，包括首先通过Darknet53网络提取特征，然后基于所得多尺度的特征图计算船只候选框和置信度，再基于全局对比度方法得到候选框内的显著性特征图，取显著性区域的外包矩形作为检测结果；
步骤4，训练网络，包括将数据集按照预设比例随机分为训练集、测试集和验证集，对网络进行训练；
步骤5，船只识别，针对待识别的SAR影像，按照步骤1进行预处理后得到图像块，再通过步骤4训练所得网络模型进行预测，基于预测后的图像块重新拼接SAR影像。
而且，步骤1中，影像裁切是以预设大小的滑动窗口，以25％的重叠度进行滑动得到图像块，以避免船只位置跨越滑动窗口边界的影响。
而且，步骤3中，通过Darknet53网络输出3个不同尺度的特征图，输出特征图的大小分别为13×13，26×26，52×52。
而且，步骤3中针对候选框并未完全包围船只目标的情况，对候选框进行相应扩大，包括保持候选框中心坐标不变，矩形框长和宽分别扩大1.2倍作为新的边界框。
而且，步骤5中，针对各图像块重新拼接的SAR影像重叠部分产生的重复预测框，采用极大值抑制算法去除多余的预测框，仅保留最佳的预测框。
本发明提供一种结合显著性和神经网络的SAR船只识别系统，包括以下模块：
数据预处理模块，用于通过Lee滤波方法去除SAR图像的相干斑噪声，同时保持图像的边缘信息，然后对各景SAR影像裁切得到图像块；
数据集生成模块，用于根据数据预处理模块所得预处理后数据，筛选不同场景下包含船只的SAR图像块，对船只的位置信息以矩形最小包围框进行标注，得到含有标注信息的SAR图像船只数据集；所述不同场景包括海上、靠岸和河道内；
神经网络生成模块，用于构建融合显著性感知的卷积神经网络，包括首先通过Darknet53网络提取特征，然后基于所得多尺度的特征图计算船只候选框和置信度，再基于全局对比度方法得到候选框内的显著性特征图，取显著性区域的外包矩形作为检测结果；
网络训练模块，用于将数据集按照预设比例随机分为训练集、测试集和验证集，对网络进行
船只识别模块，用于针对待识别的SAR影像，进行预处理后得到图像块，再通过网络训练模块训练所得网络模型进行预测，基于预测后的图像块重新拼接SAR影像。
而且，数据预处理模块中，影像裁切是以预设大小的滑动窗口，以25％的重叠度进行滑动得到图像块，以避免船只位置跨越滑动窗口边界的影响。
而且，神经网络生成模块中，通过Darknet53网络输出3个不同尺度的特征图，输出特征图的大小分别为13×13，26×26，52×52。
而且，神经网络生成模块中针对候选框并未完全包围船只目标的情况，对候选框进行相应扩大，包括保持候选框中心坐标不变，矩形框长和宽分别扩大1.2倍作为新的边界框。
而且，船只识别模块中，针对各图像块重新拼接的SAR影像重叠部分产生的重复预测框，采用极大值抑制算法去除多余的预测框，仅保留最佳的预测框。
对比现有技术，本发明技术方案具有下列优点：
(1)数据集考虑海上、靠岸、河道内等复杂性场景以提升近岸船只受陆地建筑高亮区域影响的鲁棒性。
(2)预处理阶段采用Lee滤波方法抑制SAR图像的斑点噪声，避免船只受噪声影响过大不能被正确识别。裁剪SAR图像块时以25％重叠度的滑动窗口裁剪，避免船只位置跨越滑动窗口边界时不能被正确识别或仅识别部分船体。
(3)使用Darknet53网络提取SAR图像特征，构建多尺度特征图以适应船只的类型和大小不同、SAR图像分辨率不同造成的船只在图像上的像素占比差异。
(4)显著性计算修正包围盒的位置。通过全局对比度方法进行显著性特征图，结合视觉信息修正最小包围框的位置，以精确识别船只的位置。
附图说明
图1为本发明实施例的总体流程图。
图2为本发明实施例的步骤1和步骤2中数据预处理和构建数据集的流程图。
图3为本发明实施例的步骤4中构建融合显著性感知的卷积神经网络的流程图。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。
参见图1，本发明实施例所提供一种结合显著性和神经网络的SAR船只识别方法包括以下步骤：
步骤1，数据预处理，本发明中是进行SAR图像预处理，以便构建SAR船只数据库。
本发明实施例构建的SAR船只数据库可包括高分三号、Sentinel-1等SAR图像。其包含船只的SAR图像应尽量包含海上船只、近岸船只、港口内停靠船只等多种情形并且应包含港口、建筑等复杂背景的图像。
首先，通过Lee滤波的方法去除SAR图像特有的相干斑噪声，同时良好地保持图像的边缘信息。Lee滤波是假设噪声为乘性噪声的模型，通过局部统计的方法，对滤波前像素的先验均值与方差近似用局部均值与方差进行估计。其滤波公式为：
Figure BDA0002349083780000041
其中，
Figure BDA0002349083780000042
表示的是移动窗口内滤波后图像，
Figure BDA0002349083780000043
是移动窗口内的均值，I(t)是移动窗口内的原图像，w(t)是权重函数，其计算方法为：
Figure BDA0002349083780000044
其中，
Figure BDA0002349083780000045
和
Figure BDA0002349083780000046
分别是斑块u(t)和图像I(t)的标准差系数(即标准差与均值之比)。
然后，对各景SAR影像裁切得到图像块。实施例以416×416像素大小的滑动窗口，以25％的重叠度进行滑动进行裁剪，得到图像块。本发明提出，25％的重叠度可以避免船只位置跨越滑动窗口边界的影响，保证所有船只可以完整地被识别出来。
步骤2，构建数据集，即SAR船只数据库。
根据步骤1的预处理后数据，筛选包含海上、靠岸、河道内等不同场景下包含船只的SAR图像块，对船只的位置信息以矩形最小包围框进行标注，得到含有标注信息的SAR图像船只数据集。构建的数据集应保证数据的多样性，以提高训练的神经网络模型的鲁棒性，这要求：
(1)由于船只类型的多样性、SAR图像分辨率的不同、入射角引起的几何变形会影响SAR图像中船只的大小，这导致船只在SAR图像上是多尺度的，因此数据集中应该包含不同形状和大小的船只。
(2)由于存在建筑物、岛屿或港口具有和船只相似的双重反向散射反射，为了避免建筑物、岛屿或港口的影响导致高虚惊率，应保证数据集中SAR图像中具有大量的包含上述复杂的背景的数据。
(3)如果海面是平静的，船只的散射机制是单反射，受海浪的影响，就可能存在体积散射，应保证数据集中SAR图像覆盖海面上船只在不同天气场景。
具体实施时，可以预先依据一定的专家知识标注图像块中的船只的位置信息，运行流程时输入。参见图2，对于包含船只的SAR影像，经过Lee滤波算法增强、滑动窗口裁剪、船只信息标注，所得数据集采用VOC2007的标准格式，标注文件中包括图像块名称、相对路径、图像块大小(416×416像素)、船只矩形外包框的两个角点的横纵坐标(xmin、xmax、ymin、ymax)等。
步骤3，构建融合显著性感知的卷积神经网络。包括首先通过Darknet53网络提取特征，然后基于所得多尺度的特征图计算船只候选框和置信度，再基于全局对比度算法得到候选框内的显著性特征图，取显著性区域的外包矩形作为检测结果。
参见图3，实施例中，该步骤具体实现如下：
(1)采用Darknet53主干网络提取特征，该网络的结构如下表：
Figure BDA0002349083780000051
(2)经过上Darknet53网络的5次下采样，最终网络输出了尺寸为13×13的特征图。本发明提出，为了实现多尺度的预测，将13×13特征图经过上采样和之前网络中26×26特征图进行拼接形成26×26特征图，同理26×26特征图经过上采样拼接形成52×52特征图，从而提升对像素占比较小的船只的识别精度。
(3)网络输出的3个特征图中分别通过18个大小为11的卷积核进行候选框的预测，对每一个候选框，将预测5个匹配性值(tx,ty,tw,th,to),(tx,ty)表示候选边界框的中心相对网格的偏移量，(tw,th)表示候选边界框的宽高缩放比，t0表示候选框内目标为船只的置信度。
(5)考虑到存在候选框并未完全包围船只目标的情况，本发明提出应对候选框进行相应扩大。扩大方法为保持候选框中心坐标不变，矩形框长和宽分别扩大1.2倍作为新的边界框。然后再通过全局对比度方法对扩大后的边界框内图像进行显著性计算，得到显著性特征图。全局对比度方法的思想是计算某个像素在整个图像上的全局对比度，即该像素与图像中其他所有像素在灰度空间上的距离之和作为该像素的显著值。计算候选框内各像素全局对比度，即可得到显著性特征图。
图像中某像素的显著性计算公式为：
Figure BDA0002349083780000061
其中的Ik表示图中待计算的某像素点的灰度值，图像I中其他像素的灰度值Ii的取值范围是[0，255]。
具体实施步骤如下：
①计算边界框内图像的灰度直方图，灰度范围为[0，255]，以1×256维矩阵记录。
②计算每一个灰度特征p(0～255)显著值，以1×256矩阵记录。
③为每一个像素分配显著值得到显著性特征图。
④将显著性特征图二值化，将图内分为显著区域和非显著区域。
(6)针对二值化显著性特征图的最小外包矩形框即为识别得到船只的最小包围框。
步骤4，训练网络。将数据集按照7：2：1的比例随机分为训练集、测试集、验证集，进行网络的训练。训练网络时为了得到一个高泛化能力、相对健壮的网络模型，可以对输入的SAR图像进行一系列的图像增广操作，包括随机缩放、随机翻转等。具体实施时，可以预先设置合适的批大小(batch size)、学习率(learning rate)等关键超参数。在硬件允许的情况下，一般尽量设置较大的batch-size，但是batch-size越大，模型越有可能陷入局部最优点(local minimal)或者是鞍点。学习率过大，每次迭代后网络参数修改幅度更改过大，将会导致损失函数震荡无法收敛；而学习率设置的过小，则会使模型收敛速度过慢，显著增加训练时间。
步骤5，船只识别。实施例中，该步骤具体实现如下：
首先，将待识别的SAR影像按照步骤1进行预处理，通过滑动窗口得到416×416像素大小的图像块。
然后，将每个图像块输入步骤4训练的网络模型，得到网络识别出船只的置信度和经过显著性特征图修正后的最小包围框，置信度阈值取0.6，即舍去置信度小于0.6的识别结果。
最后，将图像块拼接回原SAR影像大小，由于裁剪时按照25％重叠度裁剪，因此拼接时重叠区域存在船只重复检测的情况，应采用极大值抑制方法舍去多余识别结果，仅保留最佳识别结果。极大值抑制方法流程为：
①将所有船只识别结果的置信度排序，选中置信度最高的最小包围框。
②遍历剩余最小包围框，依次计算选中的最小包围框与之的交并比(IOU)，删除IOU大于设置阈值的最小包围框。
③按照置信度排序从高到低继续选择最小包围框，循环①②步骤，直至没有新的最小包围框被删除，停止循环。
具体实施时，以上流程可采用计算机软件技术实现自动运行流程。本发明也提供相应的一种结合显著性和神经网络的SAR船只识别系统，包括以下模块：
数据预处理模块，用于通过Lee滤波方法去除SAR图像的相干斑噪声，同时保持图像的边缘信息，然后对各景SAR影像裁切得到图像块；
数据集生成模块，用于根据数据预处理模块所得预处理后数据，筛选不同场景下包含船只的SAR图像块，对船只的位置信息以矩形最小包围框进行标注，得到含有标注信息的SAR图像船只数据集；所述不同场景包括海上、靠岸和河道内；
神经网络生成模块，用于构建融合显著性感知的卷积神经网络，包括首先通过Darknet53网络提取特征，然后基于所得多尺度的特征图计算船只候选框和置信度，再基于全局对比度方法得到候选框内的显著性特征图，取显著性区域的外包矩形作为检测结果；
网络训练模块，用于将数据集按照预设比例随机分为训练集、测试集和验证集，对网络进行
船只识别模块，用于针对待识别的SAR影像，进行预处理后得到图像块，再通过网络训练模块训练所得网络模型进行预测，基于预测后的图像块重新拼接SAR影像。
各模块实现可参见相应步骤，本发明不予赘述。
本文中所描述的具体实例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种结合显著性和神经网络的SAR船只识别方法，其特征在于，基于合成孔径雷达图像实现船只识别，包括以下步骤：
步骤1，数据预处理，包括通过Lee滤波方法去除SAR图像的相干斑噪声，同时保持图像的边缘信息，然后对各景SAR影像裁切得到图像块；所述通过Lee滤波方法去除SAR图像的相干斑噪声，实现方式未通过局部统计的方法，对滤波前像素的先验均值与方差近似用局部均值与方差进行估计；
步骤2，构建数据集，包括根据步骤1所得预处理后数据，筛选不同场景下包含船只的SAR图像块，对船只的位置信息以矩形最小包围框进行标注，得到含有标注信息的SAR图像船只数据集；所述不同场景包括海上、靠岸和河道内；
步骤3，构建融合显著性感知的卷积神经网络，包括首先通过Darknet53网络提取特征，然后基于所得多尺度的特征图计算船只候选框和置信度，再基于全局对比度方法得到候选框内的显著性特征图，取显著性区域的外包矩形作为检测结果；实现方式如下，
通过Darknet53网络输出3个不同尺度的特征图，输出特征图的大小分别为13×13，26×26，52×52；输出的3个特征图分别通过18个大小为11的卷积核进行候选框的预测，对每一个候选框，将预测5个匹配性值(tx,ty,tw,th,to),(tx,ty)表示候选边界框的中心相对网格的偏移量，(tw,th)表示候选边界框的宽高缩放比，t0表示候选框内目标为船只的置信度；
然后，基于全局对比度方法得到候选框内的显著性特征图，包括以下操作，
①计算边界框内图像的灰度直方图，灰度范围为[0，255]，以1×256维矩阵记录；
②计算每一个灰度特征显著值，以1×256矩阵记录；实现方式为，计算某个像素在整个图像上的全局对比度，即该像素与图像中其他所有像素在灰度空间上的距离之和作为该像素的显著值；
③为每一个像素分配显著值得到显著性特征图；
④将显著性特征图二值化，将图内分为显著区域和非显著区域；
步骤4，训练网络，包括将数据集按照预设比例随机分为训练集、测试集和验证集，对网络进行训练；
步骤5，船只识别，针对待识别的SAR影像，按照步骤1进行预处理后得到图像块，再通过步骤4训练所得网络模型进行预测，基于预测后的图像块重新拼接SAR影像。
2.根据权利要求1所述一种结合显著性和神经网络的SAR船只识别方法，其特征在于：步骤1中，影像裁切是以预设大小的滑动窗口，以25％的重叠度进行滑动得到图像块，以避免船只位置跨越滑动窗口边界的影响。
3.根据权利要求1所述一种结合显著性和神经网络的SAR船只识别方法，其特征在于：步骤3中针对候选框并未完全包围船只目标的情况，对候选框进行相应扩大，包括保持候选框中心坐标不变，矩形框长和宽分别扩大1.2倍作为新的边界框。
4.根据权利要求1或2或3所述一种结合显著性和神经网络的SAR船只识别方法，其特征在于：步骤5中，针对各图像块重新拼接的SAR影像重叠部分产生的重复预测框，采用极大值抑制算法去除多余的预测框，仅保留最佳的预测框。
5.一种结合显著性和神经网络的SAR船只识别系统，其特征在于，基于合成孔径雷达图像实现船只识别，包括以下模块：
数据预处理模块，用于通过Lee滤波方法去除SAR图像的相干斑噪声，同时保持图像的边缘信息，然后对各景SAR影像裁切得到图像块；所述通过Lee滤波方法去除SAR图像的相干斑噪声，实现方式未通过局部统计的方法，对滤波前像素的先验均值与方差近似用局部均值与方差进行估计；
数据集生成模块，用于根据数据预处理模块所得预处理后数据，筛选不同场景下包含船只的SAR图像块，对船只的位置信息以矩形最小包围框进行标注，得到含有标注信息的SAR图像船只数据集；所述不同场景包括海上、靠岸和河道内；
神经网络生成模块，用于构建融合显著性感知的卷积神经网络，包括首先通过Darknet53网络提取特征，然后基于所得多尺度的特征图计算船只候选框和置信度，再基于全局对比度方法得到候选框内的显著性特征图，取显著性区域的外包矩形作为检测结果；实现方式如下，
通过Darknet53网络输出3个不同尺度的特征图，输出特征图的大小分别为13×13，26×26，52×52；输出的3个特征图分别通过18个大小为11的卷积核进行候选框的预测，对每一个候选框，将预测5个匹配性值(tx,ty,tw,th,to),(tx,ty)表示候选边界框的中心相对网格的偏移量，(tw,th)表示候选边界框的宽高缩放比，t0表示候选框内目标为船只的置信度；
然后，基于全局对比度方法得到候选框内的显著性特征图，包括以下操作，
①计算边界框内图像的灰度直方图，灰度范围为[0，255]，以1×256维矩阵记录；
②计算每一个灰度特征显著值，以1×256矩阵记录；实现方式为，计算某个像素在整个图像上的全局对比度，即该像素与图像中其他所有像素在灰度空间上的距离之和作为该像素的显著值；
③为每一个像素分配显著值得到显著性特征图；
④将显著性特征图二值化，将图内分为显著区域和非显著区域；
网络训练模块，用于将数据集按照预设比例随机分为训练集、测试集和验证集，对网络进行
船只识别模块，用于针对待识别的SAR影像，进行预处理后得到图像块，再通过网络训练模块训练所得网络模型进行预测，基于预测后的图像块重新拼接SAR影像。
6.根据权利要求5所述一种结合显著性和神经网络的SAR船只识别系统，其特征在于：数据预处理模块中，影像裁切是以预设大小的滑动窗口，以25％的重叠度进行滑动得到图像块，以避免船只位置跨越滑动窗口边界的影响。
7.根据权利要求5所述一种结合显著性和神经网络的SAR船只识别系统，其特征在于：神经网络生成模块中针对候选框并未完全包围船只目标的情况，对候选框进行相应扩大，包括保持候选框中心坐标不变，矩形框长和宽分别扩大1.2倍作为新的边界框。
8.根据权利要求5或6或7所述一种结合显著性和神经网络的SAR船只识别系统，其特征在于：船只识别模块中，针对各图像块重新拼接的SAR影像重叠部分产生的重复预测框，采用极大值抑制算法去除多余的预测框，仅保留最佳的预测框。
CN201911407607.0A 2019-12-31 2019-12-31 一种结合显著性和神经网络的sar船只识别方法及系统 Active CN111126335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407607.0A CN111126335B (zh) 2019-12-31 2019-12-31 一种结合显著性和神经网络的sar船只识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407607.0A CN111126335B (zh) 2019-12-31 2019-12-31 一种结合显著性和神经网络的sar船只识别方法及系统

Publications (2)

Publication Number Publication Date
CN111126335A CN111126335A (zh) 2020-05-08
CN111126335B true CN111126335B (zh) 2021-05-04

Family

ID=70506116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407607.0A Active CN111126335B (zh) 2019-12-31 2019-12-31 一种结合显著性和神经网络的sar船只识别方法及系统

Country Status (1)

Country Link
CN (1) CN111126335B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666854B (zh) * 2020-05-29 2022-08-30 武汉大学 融合统计显著性的高分辨率sar影像车辆目标检测方法
CN111639623B (zh) * 2020-06-09 2022-04-26 中国地质大学（武汉） 结合空间距离约束的多尺度船企场景识别与提取方法
JP7486355B2 (ja) * 2020-06-18 2024-05-17 古野電気株式会社 船舶用物標検出システム、船舶用物標検出方法、信頼度推定装置、及びプログラム
CN112223288B (zh) * 2020-10-09 2021-09-14 南开大学 一种视觉融合的服务机器人控制方法
CN112651931B (zh) * 2020-12-15 2024-04-26 浙江大华技术股份有限公司 建筑物变形监测方法、装置和计算机设备
CN113030966A (zh) * 2021-02-08 2021-06-25 浙江大学 一种星载sar原始回波域中有效目标快速感知方法
CN116469014B (zh) * 2023-01-10 2024-04-30 南京航空航天大学 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424142A (zh) * 2017-03-30 2017-12-01 上海万如科技发展有限公司 一种基于图像显著性检测的焊缝识别方法
CN108256471A (zh) * 2018-01-16 2018-07-06 北方工业大学 一种基于双层分类网的高分辨率合成孔径雷达船只识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722883B (zh) * 2012-04-16 2015-06-17 上海交通大学 一种具有空间自适应性的极化sar图像分割方法
CN103902976B (zh) * 2014-03-31 2017-12-29 浙江大学 一种基于红外图像的行人检测方法
CN108734171A (zh) * 2017-04-14 2018-11-02 国家海洋环境监测中心 一种深度协同稀疏编码网络的合成孔径雷达遥感图像海洋浮筏识别方法
CN108875595A (zh) * 2018-05-29 2018-11-23 重庆大学 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN109241913B (zh) * 2018-09-10 2021-05-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109409443A (zh) * 2018-11-28 2019-03-01 北方工业大学 一种基于深度学习的多尺度可变形卷积网络目标检测方法
CN110288586A (zh) * 2019-06-28 2019-09-27 昆明能讯科技有限责任公司 一种基于可见光图像数据的多尺度输电线路缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424142A (zh) * 2017-03-30 2017-12-01 上海万如科技发展有限公司 一种基于图像显著性检测的焊缝识别方法
CN108256471A (zh) * 2018-01-16 2018-07-06 北方工业大学 一种基于双层分类网的高分辨率合成孔径雷达船只识别方法

Also Published As

Publication number Publication date
CN111126335A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111126335B (zh) 一种结合显著性和神经网络的sar船只识别方法及系统
CN110310264B (zh) 一种基于dcnn的大尺度目标检测方法、装置
CN111553859A (zh) 一种激光雷达点云反射强度补全方法及系统
CN111681197B (zh) 一种基于Siamese网络结构的遥感图像无监督变化检测方法
CN111027511B (zh) 基于感兴趣区块提取的遥感图像舰船检测方法
CN109283538A (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109427055B (zh) 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法
CN109472200B (zh) 一种智能的海面垃圾检测方法、系统和存储介质
CN112560671B (zh) 基于旋转卷积神经网络的船舶检测方法
CN106709914A (zh) 一种基于双级dem海陆库的sar图像船舶检测虚警剔除方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
WO2018000252A1 (zh) 高分辨遥感海洋图像的海背景建模与抑制的方法及系统
CN107942329A (zh) 机动平台单通道sar对海面舰船目标检测方法
CN106845347A (zh) 海上油膜识别提取方法及系统
CN111160293A (zh) 基于特征金字塔网络的小目标船只检测方法及系统
CN109829858A (zh) 一种基于局部自适应阈值的船载雷达图像溢油监测方法
KR20190055373A (ko) 기계학습 기반 위성 해무 탐지 장치 및 해무 탐지 방법
CN114764801A (zh) 基于多视觉显著特征的弱小舰船目标融合检测方法及装置
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN102750675A (zh) 一种斑点噪声污染图像的非局部均值滤波方法
CN113850783A (zh) 一种海面船舶检测方法及系统
CN113673385A (zh) 基于红外图像的海面舰船检测方法
Gao Design and implementation of marine automatic target recognition system based on visible remote sensing images
CN113554123B (zh) 一种基于声光联动的采砂船自动识别方法
CN110472472B (zh) 基于sar遥感图像的机场检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant