CN107247930A - 基于cnn和选择性注意机制的sar图像目标检测方法 - Google Patents

基于cnn和选择性注意机制的sar图像目标检测方法 Download PDF

Info

Publication number
CN107247930A
CN107247930A CN201710386941.7A CN201710386941A CN107247930A CN 107247930 A CN107247930 A CN 107247930A CN 201710386941 A CN201710386941 A CN 201710386941A CN 107247930 A CN107247930 A CN 107247930A
Authority
CN
China
Prior art keywords
target
layer
sar
pixel
sar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710386941.7A
Other languages
English (en)
Inventor
焦李成
屈嵘
汶茂宁
马文萍
杨淑媛
侯彪
刘芳
尚荣华
张向荣
张丹
唐旭
马晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710386941.7A priority Critical patent/CN107247930A/zh
Publication of CN107247930A publication Critical patent/CN107247930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CNN和选择性注意机制的SAR图像目标检测方法，获取SAR图像；扩充训练数据集；构建卷积神经网络组成的分类模型；使用扩充后的训练数据集训练分类模型；将测试图片利用图像视觉显著的简单注意模型(谱残差方法)进行显著性检测，得到显著图；对显著性特征图进行形态学处理，对处理后的特征图进行连通域标记，以每个连通域的质心为中心，提取与各个质心对应的目标候选区，将各个目标候选区在其周围若干个像素点内平移，产生多个目标候选区；本发明将卷积神经网络与选择性注意机制结合应用到SAR图像目标检测中，提高了SAR图像目标检测的检测效率和准确率，可用于目标分类与识别，主要解决现有技术检测效率慢、准确率低的问题。

Description

基于CNN和选择性注意机制的SAR图像目标检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络(ConvolutionalNeural Network)与选择性注意机制的合成孔径雷达SAR(Synthetic Aperture Rader)图像目标检测方法，并且可用于后续合成孔径雷达SAR图像的目标分类与识别。
背景技术
合成孔径雷达作为一种主动式传感器，其分辨率与观测距离无关，因此能够在保证分辨率的情况下完成远距离的观测任务，是重要的遥感手段之一。与红外及光学等被动成像设备相比，其成像过程不受光照、气候、云层等环境因素的影响，具有对地面全天候、全天时不间断观测并且采集数据的能力。目前，SAR已经成为军事侦察及地理遥感不可或缺的手段之一，其在目标探测、海域监控、渔业管理、环境监视、地形测绘、灾害评估等领域得到了一定程度的应用。
SAR图像的目标检测是SAR图像处理与解译中的重要问题。随着很多特征提取方法的出现，基于机器学习的目标检测引起了很大的关注。虽然现在已有很多的特征提取方法，但是由于SAR图像的噪声，阴影等影响图像显著性的因素存在，SAR图像的目标检测依旧是一个具有挑战的难题。近些年来，深度学习方法，比如卷积网(CNN)、深度堆栈网(DBN)、自编码(AE)在计算机视觉领域展现出了强大有效的特征表征能力。
目前在SAR图像的目标检测方面，很多方法都是像素级处理，要考虑像素的统计信息，计算量大，不适合复杂场景图。最为广泛应用的SAR目标检测算法是恒虚警率(CFAR)检测算法。CFAR算法简单、快速、实时性强。然而由于背景杂波的估计需要一定的先验知识，在先验信息不足的情况下，背景杂波不一定服从预设的分布，将造成杂波统计模型不够准确，带来了检测不准确、虚警率高的问题。同时，由于是像素级处理，在SAR图像尺寸较大时，耗时将相当长。
发明内容
本发明的目的在于针对上述问题，提出一种基于CNN(卷积神经网络)和选择性注意机制的SAR图像目标检测方法，克服了目前很多基于像素级别的SAR目标检测在复杂场景下，检测性能差，有很多虚警的问题，提高了目标检测定位的准确性。
为了实现上述目的，本发明采用的技术方案是，一种基于CNN和选择性注意机制的SAR图像目标检测方法，包括以下步骤：
1)从MSTAR数据集和SAR场景图中获取训练样本集；
2)对步骤1)中的训练样本集进行扩充，得到新训练样本集；
3)构建分类网络模型，选择一个由卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→全连接层→softmax分类器组成的卷积神经网络实现提取SAR图像特征及分类；
4)利用步骤2)得到的新训练样本集对步骤3)中构建的分类网络模型进行训练，得到训练好的模型；
5)用图像视觉显著注意模型对待检测SAR场景图进行显著性检测，得到显著特征图；
6)对步骤5)得到的显著特征图进行形态学处理后，进行连通域标记，确定每个连通域的质心为中心，提取与各个质心对应的目标候选区，将各个目标候选区在其周围若干像素点内平移，扩充每个目标候选区的待判断数量；
7)利用步骤4)中训练好的模型对步骤6)中的目标候选区进行分类，将每个目标候选区周围多个候选区域中判断为目标的检测数量与阈值对比，大于阈值，则为目标，所有目标对比完成后得到SAR场景图中的目标定位框；
8)将步骤7)中的目标定位框用非极大值抑制的方法去除多余的框，选出分类得分最大的定位框并在SAR场景图进行标记，得到测试图像的目标检测结果。
步骤1)中的训练样本集包括正样本和负样本：从MSTAR数据集中选取若干SAR图像作为训练样本集的正样本；从SAR场景图随机选取背景块作为训练样本集的负样本(比如树木，建筑，草地)。
步骤2)按如下步骤进行：
2a)取训练样本集正样本中每幅SAR图像的中间88×88的区域部分，得到对应每幅SAR图像的中间88×88的左上角坐标(x,y)，每幅SAR图像的中间区域为(x+88,y+88)；
2b)将步骤2a)中每幅SAR图像的中间区域进行上下左右五个像素单位的平移，得到新左上角坐标(x',y')，其中x'＝x±tx，y'＝y±ty，tx和ty为平移单位，进而得到每幅SAR图像的新中间区域为(x'+88,y'+88)，作为训练样本集的正样本。
步骤3)中的卷积神经网络分类模型的参数如下：
第一层为卷积-池化层，使用16个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出16个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第二层；
第二层为卷积-池化层，使用32个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出32个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第三层；
第三层为卷积-池化层，使用64个卷积核，卷积核窗口大小为4*4个像素,相邻局部接受域的中心距离为1个像素,输出64个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第四层；
第四层为卷积-池化层，使用128个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出128个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图经过Dropout处理，减少参数量，防止过拟合，再输入到第五层；
第五层为卷积层，使用2个卷积核，卷积核窗口大小为2*2个像素,相邻局部接受域的中心距离为1个像素，输出2个特征图，将特征图向量化，即转化为列向量，输入到第六层；
第六层为2个神经元的全连接层，最后连接Softmax分类器。
步骤4)的分类模型训练按如下步骤进行：MSTAR数据平移扩充后的数据集作为网络的训练正样本，从SAR场景图中选取的背景图像块(比如树木，建筑，草地)作为网络的训练负样本输入到构建的分类模型，训练数据集的正负类别作为分类模型的输出，通过求解模型输出类别与给定正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。
步骤5)的具体步骤如下：
对于给定的一幅图像(I)首先计算其二维离散傅里叶变换，将其从空间域转换到频域，对幅值取对数后得到log谱L(f)：
P(f)＝φ(F[I(x)]) <1>
L(f)＝log(|F[I(x)|]) <2>
式中：F代表二维离散傅里叶变换，φ代表其相位；由于log曲线满足局部线性条件，所以用局部平均滤波器hn(f)对其进行平滑，获得log谱的大致形状：
V(f)＝L(f)*hn(f) <3>
式中：hn(f)是一个n×n矩阵，n为正整数；
因此谱残差就是log谱与其进行均值滤波后的差，公式如下：
R(f)＝L(f)-V(f) <4>
谱残差能够描述一幅图像中的异常区域，因此乐意用来进行显著性检测；将谱残差和相位P(f)进行二维离散傅里叶逆变换：
S(x)＝|F-1[exp{R(f)+iP(f)}]|2 <5>
由此可以重构出一幅图像，用来表示原图像各像素的显著性，即为显著图；
步骤6)中确定目标候选区按照如下步骤进行：
6a)利用图像形态学处理去除大面积连通区域的方法，去除掉显著图不可能是目标的大片区域，进一步缩小代检测目标区域，得到最终的目标显著图；
6b)对上述显著图中的连通区域进行标记，确定质心位置，根据其质心位置扩充到88×88的大小区域，为了减缓场景图中漏检和误检情况的出现，在场景图的上述目标候选区周围进行上下左右若干像素点的平移，这样增多了每个目标候选区的待判断数量。
步骤7)中将目标候选区输入到分类模型中进行判断按如下步骤进行：利用训练好的模型对目标候选区进行分类，训练好的模型的输出为对目标候选区的类别判断，将每个目标候选区周围多个候选区域中判断为目标的检测数量与设定的阈值对比，若大于阈值，则为要检测的目标装甲车，若小于阈值，则为背景；所有目标对比完成后，得到SAR场景图中的目标定位框。
步骤8)的具体步骤如下：输入步骤7)中得到的定位框的坐标及分类后由Softmax得到的概率值，采用非极大值抑制方法去除多余的框，选出分类得分最大的定位框并在SAR场景图进行标记。
所述图像视觉显著注意模型为谱残差方法。
与现有技术相比，本发明至少具有以下优点：本发明由于利用CNN模型进行目标检测，克服了现在技术对切片的像素级处理，不仅适用于复杂的场景图，而且提高了检测效率；本发明在网络分类前使用选择性注意机制，选择出合理的目标候选区，避免盲目选取大量目标候选区的步骤，随后用准确率较高的二分类模型对目标候选区进行分类，不仅提高检测定位的准确性，也提高了检测效率。
进一步的，因为目前MSTAR装甲车的数据只有六百多张，对于深度学习的训练远远不够，MSTAR数据集中每幅SAR图像的装甲车大都是位于其中央位置；对训练集中正样本(即128×128装甲车SAR图像)的中间区域进行平移，这样每幅图像可以扩充很多倍，将这些平移后的训练样本图像组成扩充后的新训练正样本集，可防止网络训练时发生过拟合。
进一步的，待检测SAR场景图中除了待定位目标MSTAR装甲车，可能也会有树木，山野等的大片显著区域，本发明先撇除大片显著区域然后去找小的显著区域中的待检测目标，去除掉显著图不可能是目标的大片区域，进一步缩小代检测目标区域，得到最终的目标显著图。
进一步的，由于要检测的SAR场景图较大，除了要检测的人工目标，还有树木或建筑等，所以将整幅SAR图像分割成若干块分别由上述方法得到场景图的显著图，进一步处理得到全局二值显著图；不仅提高检测效率，也进一步接近想要的检测效果。
进一步的，本发明的步骤7)能够有效减缓了漏检和误检的问题，步骤8)采用非极大值抑制方法去除多余的框，选出分类得分最大的定位框并在SAR场景图进行标记，这样最后的目标框会尽可能得到目标在中间，不会有很大的偏移，最后得到测试图像的目标检测结果。
附图说明
图1是本发明的实现流程图；
图2(a)和图2(b)均为本发明实验中输入的检测SAR场景图；
图3(a)和图3(b)均为用本发明的检测结果图。
具体实施方式
以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：
参照图1，本发明的具体实现步骤如下：
步骤1，获取SAR图像。
(1a)从MSTAR数据集中选取一部分作为训练集的正样本；
(1b)从几幅SAR场景图随机选取背景块作为训练集的负样本(比如树木，建筑，草地等)
步骤2，扩充训练样本集。
目前MSTAR装甲车的数据只有六百多张，对于深度学习的训练远远不够。每幅SAR图像的装甲车大都是位于其中央位置，所以对训练集中正样本即这些128×128装甲车SAR图像的中间区域进行平移，这样每幅图像可以扩充很多倍，将这些平移后的训练样本图像组成扩充后的训练正样本集。
(2a)取每幅图像的中间88×88的区域部分，得到对应每一个SAR图像的中间88×88的左上角坐标(x,y)这样中间区域部分为(x+88,y+88)。
(2b)将上述的每一幅SAR图像的中间区域进行上下左右四五个像素单位的平移，得到(x',y')，其中x'＝x±tx，y'＝y±ty，tx，ty等于平移单位。这样每幅图像都能在其中间区域扩充100倍左右，这些平移后的训练样本图像组成训练正样本集。
步骤3，构建分类网络模型，选择一个由卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→全连接层→softmax分类器组成的卷积神经网络实现提取SAR图像特征及分类。
其中，第一层为卷积层，使用16个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出16个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第二层；
第二层为卷积层，使用32个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出32个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第三层；
第三层为卷积层，使用64个卷积核，卷积核窗口大小为4*4个像素,相邻局部接受域的中心距离为1个像素,输出64个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第四层；
第四层为卷积层，使用128个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出128个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图经过Dropout处理，减少参数量，防止过拟合，再输入到第五层；
第五层为卷积层，使用2个卷积核，卷积核窗口大小为2*2个像素,相邻局部接受域的中心距离为1个像素，输出2个特征图，将特征图向量化，即转化为列向量，输入到第六层；
第六层为2个神经元的全连接层，最后连接Softmax分类器。
步骤4，利用训练数据集对分类模型进行训练，得到训练好的模型。
MSTAR数据平移扩充后的数据集作为网络的训练正样本，从SAR场景图中选取的背景图像块(树木，建筑，草地)作为网络的训练负样本输入到构建的分类模型，训练数据集的正负类别作为分类模型的输出，通过求解模型输出类别与给定正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。
步骤5，用一种图像视觉显著注意模型(谱残差方法)对SAR场景图进行显著性检测，得到显著特征图。
对于给定的一幅图像(I)首先计算其二维离散傅里叶变换，将其从空间域转换到频域，对幅值取对数后得到log谱L(f)：
P(f)＝φ(F[I(x)]) <1>
L(f)＝log(|F[I(x)|]) <2>
式中：F代表二维离散傅里叶变换，φ代表其相位。由于log曲线满足局部线性条件，所以用局部平均滤波器hn(f)对其进行平滑，获得log谱的大致形状：
V(f)＝L(f)*hn(f) <3>
式中：hn(f)是一个n×n矩阵，实验中n取3。
因此谱残差就是log谱与其进行均值滤波后的差，公式如下：
R(f)＝L(f)-V(f) <4>
谱残差能够描述一幅图像中的异常区域，因此乐意用来进行显著性检测。将谱残差和相位P(f)进行二维离散傅里叶逆变换：
S(x)＝|F-1[exp{R(f)+iP(f)}]|2 <5>
由此可以重构出一幅图像，用来表示原图像各像素的显著性，即为显著图。
由于要检测的SAR场景图较大，除了要检测的人工目标，还有树木或建筑等，所以将整幅SAR图像分割成若干块分别由上述方法得到场景图的显著图，进一步处理得到全局二值显著图。不仅提高检测效率，也进一步接近想要的检测效果。
步骤6，对显著图进行形态学处理后，进行连通域标记，确定每个连通域的质心为中心，提取与各个质心对应的目标候选区，将各个目标候选区在其周围若干像素点内平移，扩充每个目标候选区的待判断数量。
(6a)场景图中除了待定位目标MSTAR装甲车，可能也会有树木，山野等的大片显著区域。根据人类视觉习惯，直观感觉就是先撇除大片显著区域然后去找小的显著区域中的待检测目标，所以利用图像形态学处理去除大面积连通区域的方法，去除掉显著图不可能是目标的大片区域，进一步缩小代检测目标区域，得到最终的目标显著图。
(6b)对上述显著图中的连通区域进行标记，确定质心位置，根据其质心位置扩充到88×88的大小区域。为了减缓场景图中漏检和误检情况的出现，在场景图的上述目标候选区周围进行上下左右若干像素点的平移，这样增多了每个目标候选区的待判断数量。
步骤7，利用训练好的模型对上述的目标候选区进行分类，训练好的分类模型的输出为对目标候选区的类别判断。将每个目标候选区周围多个候选区域中判断为目标的检测数量与设定的阈值对比，若大于阈值，则为要检测的目标装甲车，若小于阈值，则为背景。通过实验发现，这样的做法确实减缓了漏检和误检的问题。最后在原输入的场景SAR图像中标记出这些目标定位框。
步骤8，将上述目标定位框用非极大值抑制的方法去除多余的框。输入的是这些定位框的坐标及分类后由Softmax得到的概率值，非极大值抑制方法会去除多余的框，选出分类得分最大的定位框，这样最后的目标框会尽可能使得目标在中间，不会有很大的偏移，最后得到测试图像的目标检测结果。
本发明的效果可以通过以下仿真实验进一步说明：
1.仿真条件：
硬件平台为：HP Z840。
软件平台为：Torch7、MatlabR2014a。
2.仿真内容与结果：
用本发明方法在上述仿真条件下进行实验，从目标检测结果图，图3(a)和图3(b)可以看到，本发明方法的检测准确率高，在测试图片上几乎没有漏检，极少的虚警。将本发明与OS-CFAR检测方法对图2(a),图2(b)的检测结果进行对比，结果如表1所示：
表1
从表1及实验结果可见，针对实验所用的复杂场景下的SAR图像数据，本发明的检测方法相比于传统的OS-CFAR具有良好的性能。
综上，本发明引入了基于CNN和选择性注意机制的SAR目标检测方法，有效提高了检测准确率和检测效率。

Claims (10)

1.基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，包括以下步骤：
1)从MSTAR数据集和SAR场景图中获取训练样本集；
2)对步骤1)中的训练样本集进行扩充，得到新训练样本集；
3)构建分类网络模型，选择一个由卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→全连接层→softmax分类器组成的卷积神经网络实现提取SAR图像特征及分类；
4)利用步骤2)得到的新训练样本集对步骤3)中构建的分类网络模型进行训练，得到训练好的模型；
5)用图像视觉显著注意模型对待检测SAR场景图进行显著性检测，得到显著特征图；
6)对步骤5)得到的显著特征图进行形态学处理后，进行连通域标记，确定每个连通域的质心为中心，提取与各个质心对应的目标候选区，将各个目标候选区在其周围若干像素点内平移，扩充每个目标候选区的待判断数量；
7)利用步骤4)中训练好的模型对步骤6)中的目标候选区进行分类，将每个目标候选区周围多个候选区域中判断为目标的检测数量与阈值对比，大于阈值，则为目标，所有目标对比完成后得到SAR场景图中的目标定位框；
8)将步骤7)中的目标定位框用非极大值抑制的方法去除多余的框，选出分类得分最大的定位框并在SAR场景图进行标记，得到测试图像的目标检测结果。
2.根据权利要求1所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，步骤1)中的训练样本集包括正样本和负样本：从MSTAR数据集中选取若干SAR图像作为训练样本集的正样本；从SAR场景图随机选取背景块作为训练样本集的负样本。
3.根据权利要求2所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，步骤2)按如下步骤进行：
2a)取训练样本集正样本中每幅SAR图像的中间88×88的区域部分，得到对应每幅SAR图像的中间88×88的左上角坐标(x,y)，每幅SAR图像的中间区域为(x+88,y+88)；
2b)将步骤2a)中每幅SAR图像的中间区域进行上下左右五个像素单位的平移，得到新左上角坐标(x',y')，其中x'＝x±tx，y'＝y±ty，tx和ty为平移单位，进而得到每幅SAR图像的新中间区域为(x'+88,y'+88)，作为训练样本集的正样本。
4.根据权利要求3所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，步骤4)的分类模型训练按如下步骤进行：MSTAR数据平移扩充后的数据集作为网络的训练正样本，从SAR场景图中选取的背景图像块作为网络的训练负样本输入到构建的分类模型，训练数据集的正负类别作为分类模型的输出，通过求解模型输出类别与给定正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。
5.根据权利要求1所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，步骤3)中的卷积神经网络分类模型的参数如下：
第一层为卷积-池化层，使用16个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出16个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第二层；
第二层为卷积-池化层，使用32个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出32个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第三层；
第三层为卷积-池化层，使用64个卷积核，卷积核窗口大小为4*4个像素,相邻局部接受域的中心距离为1个像素,输出64个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图输入到第四层；
第四层为卷积-池化层，使用128个卷积核，卷积核窗口大小为5*5个像素,相邻局部接受域的中心距离为1个像素,输出128个特征图，每个特征图经过一个下采样进行降维，下采样的核窗口大小为2*2个像素相邻局部接受域的中心距离为2个像素,将降维后的特征图经过Dropout处理，减少参数量，防止过拟合，再输入到第五层；
第五层为卷积层，使用2个卷积核，卷积核窗口大小为2*2个像素,相邻局部接受域的中心距离为1个像素，输出2个特征图，将特征图向量化，即转化为列向量，输入到第六层；
第六层为2个神经元的全连接层，最后连接Softmax分类器。
6.根据权利要求1所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，步骤5)的具体步骤如下：
对于给定的一幅图像(I)首先计算其二维离散傅里叶变换，将其从空间域转换到频域，对幅值取对数后得到log谱L(f)：
P(f)＝φ(F[I(x)]) <1>
L(f)＝log(|F[I(x)|]) <2>
式中：F代表二维离散傅里叶变换，φ代表其相位；由于log曲线满足局部线性条件，所以用局部平均滤波器hn(f)对其进行平滑，获得log谱的大致形状：
V(f)＝L(f)*hn(f) <3>
式中：hn(f)是一个n×n矩阵，n为正整数；
因此谱残差就是log谱与其进行均值滤波后的差，公式如下：
R(f)＝L(f)-V(f) <4>
谱残差能够描述一幅图像中的异常区域，因此乐意用来进行显著性检测；将谱残差和相位P(f)进行二维离散傅里叶逆变换：
S(x)＝|F-1[exp{R(f)+iP(f)}]|2 <5>
由此可以重构出一幅图像，用来表示原图像各像素的显著性，即为显著图。
7.根据权利要求1所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，步骤6)中确定目标候选区按照如下步骤进行：
6a)利用图像形态学处理去除大面积连通区域的方法，去除掉显著图不可能是目标的大片区域，进一步缩小代检测目标区域，得到最终的目标显著图；
6b)对上述显著图中的连通区域进行标记，确定质心位置，根据其质心位置扩充到88×88的大小区域，为了减缓场景图中漏检和误检情况的出现，在场景图的上述目标候选区周围进行上下左右若干像素点的平移，这样增多了每个目标候选区的待判断数量。
8.根据权利要求1所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，步骤7)中将目标候选区输入到分类模型中进行判断按如下步骤进行：利用训练好的模型对目标候选区进行分类，训练好的模型的输出为对目标候选区的类别判断，将每个目标候选区周围多个候选区域中判断为目标的检测数量与设定的阈值对比，若大于阈值，则为要检测的目标装甲车，若小于阈值，则为背景；所有目标对比完成后，得到SAR场景图中的目标定位框。
9.根据权利要求1所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，步骤8)的具体步骤如下：输入步骤7)中得到的定位框的坐标及分类后由Softmax得到的概率值，采用非极大值抑制方法去除多余的框，选出分类得分最大的定位框并在SAR场景图进行标记。
10.根据权利要求1所述的基于CNN和选择性注意机制的SAR图像目标检测方法，其特征在于，所述图像视觉显著注意模型为谱残差方法。
CN201710386941.7A 2017-05-26 2017-05-26 基于cnn和选择性注意机制的sar图像目标检测方法 Pending CN107247930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710386941.7A CN107247930A (zh) 2017-05-26 2017-05-26 基于cnn和选择性注意机制的sar图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710386941.7A CN107247930A (zh) 2017-05-26 2017-05-26 基于cnn和选择性注意机制的sar图像目标检测方法

Publications (1)

Publication Number Publication Date
CN107247930A true CN107247930A (zh) 2017-10-13

Family

ID=60017645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710386941.7A Pending CN107247930A (zh) 2017-05-26 2017-05-26 基于cnn和选择性注意机制的sar图像目标检测方法

Country Status (1)

Country Link
CN (1) CN107247930A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895191A (zh) * 2017-10-30 2018-04-10 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN107909109A (zh) * 2017-11-17 2018-04-13 西安电子科技大学 基于显著性和多尺度深度网络模型的sar图像分类方法
CN108280460A (zh) * 2017-12-04 2018-07-13 西安电子科技大学 基于改进卷积神经网络的sar车辆目标识别方法
CN108280412A (zh) * 2018-01-12 2018-07-13 西安电子科技大学 基于变结构cnn的高分辨sar图像目标检测方法
CN108460341A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于集成深度卷积网络的光学遥感图像目标检测方法
CN108776779A (zh) * 2018-05-25 2018-11-09 西安电子科技大学 基于卷积循环网络的sar序列图像目标识别方法
CN108960190A (zh) * 2018-07-23 2018-12-07 西安电子科技大学 基于fcn图像序列模型的sar视频目标检测方法
CN108985208A (zh) * 2018-07-06 2018-12-11 北京字节跳动网络技术有限公司 生成图像检测模型的方法和装置
CN109165660A (zh) * 2018-06-20 2019-01-08 扬州大学 一种基于卷积神经网络的显著物体检测方法
CN109389585A (zh) * 2018-09-20 2019-02-26 东南大学 一种基于全卷积神经网络的脑组织提取方法
CN109409375A (zh) * 2018-10-11 2019-03-01 西安电子科技大学 一种基于轮廓结构学习模型的sar图像语义分割方法
CN109492556A (zh) * 2018-10-28 2019-03-19 北京化工大学 面向小样本残差学习的合成孔径雷达目标识别方法
CN109657716A (zh) * 2018-12-12 2019-04-19 天津卡达克数据有限公司 一种基于深度学习的车辆外观损伤识别方法
CN109934214A (zh) * 2019-02-22 2019-06-25 深兰科技（上海）有限公司 一种对象类别的训练、检测方法及装置
CN110163275A (zh) * 2019-05-16 2019-08-23 西安电子科技大学 基于深度卷积神经网络的sar图像目标分类方法
CN110276269A (zh) * 2019-05-29 2019-09-24 西安交通大学 一种基于注意力机制的遥感图像目标检测方法
WO2020093866A1 (zh) * 2018-11-05 2020-05-14 北京达佳互联信息技术有限公司 拍摄引导方法、装置及移动终端和存储介质
CN111611834A (zh) * 2019-12-23 2020-09-01 珠海大横琴科技发展有限公司 一种基于sar的船只识别方法、装置
CN111814787A (zh) * 2020-06-16 2020-10-23 东南大学 一种面向可见光图像的锁孔检测方法
CN112070151A (zh) * 2020-09-07 2020-12-11 北京环境特性研究所 一种mstar数据图像的目标分类识别方法
CN113203991A (zh) * 2021-04-29 2021-08-03 电子科技大学 一种多基sar在多干扰机环境下的抗欺骗型干扰方法
CN113240047A (zh) * 2021-06-02 2021-08-10 西安电子科技大学 基于部件解析多尺度卷积神经网络的sar目标识别方法
CN113658131A (zh) * 2021-08-16 2021-11-16 东华大学 一种基于机器视觉巡游式环锭纺断纱检测方法
CN113723182A (zh) * 2021-07-21 2021-11-30 西安电子科技大学 一种训练样本受限条件下的sar图像舰船检测方法
CN115019187A (zh) * 2022-08-09 2022-09-06 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361340A (zh) * 2014-11-04 2015-02-18 西安电子科技大学 基于显著性检测和聚类的sar图像目标快速检测方法
CN105354541A (zh) * 2015-10-23 2016-02-24 西安电子科技大学 基于视觉注意模型和恒虚警率的sar图像目标检测方法
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361340A (zh) * 2014-11-04 2015-02-18 西安电子科技大学 基于显著性检测和聚类的sar图像目标快速检测方法
CN105354541A (zh) * 2015-10-23 2016-02-24 西安电子科技大学 基于视觉注意模型和恒虚警率的sar图像目标检测方法
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨杰等: "《频目标检测和跟踪及其应用》", 31 August 2012, 上海：上海交通大学出版社 *
王思雨等: "基于卷积神经网络的高分辨率SAR图像飞机目标检测方法", 《雷达学报》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895191A (zh) * 2017-10-30 2018-04-10 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN107895191B (zh) * 2017-10-30 2022-02-22 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
US11762631B2 (en) 2017-10-30 2023-09-19 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11922132B2 (en) 2017-10-30 2024-03-05 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN107909109A (zh) * 2017-11-17 2018-04-13 西安电子科技大学 基于显著性和多尺度深度网络模型的sar图像分类方法
CN108280460A (zh) * 2017-12-04 2018-07-13 西安电子科技大学 基于改进卷积神经网络的sar车辆目标识别方法
CN108280460B (zh) * 2017-12-04 2021-07-27 西安电子科技大学 基于改进卷积神经网络的sar车辆目标识别方法
CN108280412A (zh) * 2018-01-12 2018-07-13 西安电子科技大学 基于变结构cnn的高分辨sar图像目标检测方法
CN108460341A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于集成深度卷积网络的光学遥感图像目标检测方法
CN108460341B (zh) * 2018-02-05 2020-04-07 西安电子科技大学 基于集成深度卷积网络的光学遥感图像目标检测方法
CN108776779A (zh) * 2018-05-25 2018-11-09 西安电子科技大学 基于卷积循环网络的sar序列图像目标识别方法
CN108776779B (zh) * 2018-05-25 2022-09-23 西安电子科技大学 基于卷积循环网络的sar序列图像目标识别方法
CN109165660A (zh) * 2018-06-20 2019-01-08 扬州大学 一种基于卷积神经网络的显著物体检测方法
CN109165660B (zh) * 2018-06-20 2021-11-09 扬州大学 一种基于卷积神经网络的显著物体检测方法
CN108985208A (zh) * 2018-07-06 2018-12-11 北京字节跳动网络技术有限公司 生成图像检测模型的方法和装置
CN108960190A (zh) * 2018-07-23 2018-12-07 西安电子科技大学 基于fcn图像序列模型的sar视频目标检测方法
CN108960190B (zh) * 2018-07-23 2021-11-30 西安电子科技大学 基于fcn图像序列模型的sar视频目标检测方法
US11996105B2 (en) 2018-09-13 2024-05-28 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
CN109389585A (zh) * 2018-09-20 2019-02-26 东南大学 一种基于全卷积神经网络的脑组织提取方法
CN109389585B (zh) * 2018-09-20 2021-11-02 东南大学 一种基于全卷积神经网络的脑组织提取方法
CN109409375A (zh) * 2018-10-11 2019-03-01 西安电子科技大学 一种基于轮廓结构学习模型的sar图像语义分割方法
CN109409375B (zh) * 2018-10-11 2021-12-14 西安电子科技大学 一种基于轮廓结构学习模型的sar图像语义分割方法
CN109492556A (zh) * 2018-10-28 2019-03-19 北京化工大学 面向小样本残差学习的合成孔径雷达目标识别方法
WO2020093866A1 (zh) * 2018-11-05 2020-05-14 北京达佳互联信息技术有限公司 拍摄引导方法、装置及移动终端和存储介质
CN109657716B (zh) * 2018-12-12 2020-12-29 中汽数据(天津)有限公司 一种基于深度学习的车辆外观损伤识别方法
CN109657716A (zh) * 2018-12-12 2019-04-19 天津卡达克数据有限公司 一种基于深度学习的车辆外观损伤识别方法
CN109934214A (zh) * 2019-02-22 2019-06-25 深兰科技（上海）有限公司 一种对象类别的训练、检测方法及装置
CN110163275A (zh) * 2019-05-16 2019-08-23 西安电子科技大学 基于深度卷积神经网络的sar图像目标分类方法
CN110163275B (zh) * 2019-05-16 2021-10-29 西安电子科技大学 基于深度卷积神经网络的sar图像目标分类方法
CN110276269A (zh) * 2019-05-29 2019-09-24 西安交通大学 一种基于注意力机制的遥感图像目标检测方法
CN110276269B (zh) * 2019-05-29 2021-06-29 西安交通大学 一种基于注意力机制的遥感图像目标检测方法
CN111611834A (zh) * 2019-12-23 2020-09-01 珠海大横琴科技发展有限公司 一种基于sar的船只识别方法、装置
CN111814787A (zh) * 2020-06-16 2020-10-23 东南大学 一种面向可见光图像的锁孔检测方法
CN111814787B (zh) * 2020-06-16 2024-04-12 东南大学溧阳研究院 一种面向可见光图像的锁孔检测方法
CN112070151A (zh) * 2020-09-07 2020-12-11 北京环境特性研究所 一种mstar数据图像的目标分类识别方法
CN112070151B (zh) * 2020-09-07 2023-12-29 北京环境特性研究所 一种mstar数据图像的目标分类识别方法
CN113203991A (zh) * 2021-04-29 2021-08-03 电子科技大学 一种多基sar在多干扰机环境下的抗欺骗型干扰方法
CN113240047B (zh) * 2021-06-02 2022-12-02 西安电子科技大学 基于部件解析多尺度卷积神经网络的sar目标识别方法
CN113240047A (zh) * 2021-06-02 2021-08-10 西安电子科技大学 基于部件解析多尺度卷积神经网络的sar目标识别方法
CN113723182A (zh) * 2021-07-21 2021-11-30 西安电子科技大学 一种训练样本受限条件下的sar图像舰船检测方法
CN113658131A (zh) * 2021-08-16 2021-11-16 东华大学 一种基于机器视觉巡游式环锭纺断纱检测方法
CN115019187B (zh) * 2022-08-09 2022-11-22 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质
CN115019187A (zh) * 2022-08-09 2022-09-06 中国科学院空天信息创新研究院 针对sar图像船舶目标的检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN107247930A (zh) 基于cnn和选择性注意机制的sar图像目标检测方法
Guo et al. A CenterNet++ model for ship detection in SAR images
Gao et al. STransFuse: Fusing swin transformer and convolutional neural network for remote sensing image semantic segmentation
Zhang et al. Multi-class object detection using faster R-CNN and estimation of shaking locations for automated shake-and-catch apple harvesting
Ocer et al. Tree extraction from multi-scale UAV images using Mask R-CNN with FPN
Cheng et al. FusionNet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images
CN111046880B (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
Tao et al. Smoke detection based on deep convolutional neural networks
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
CN105809198B (zh) 基于深度置信网络的sar图像目标识别方法
CN102867196B (zh) 基于Gist特征学习的复杂海面遥感影像舰船检测方法
CN107358258A (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
Pacifici et al. Automatic change detection in very high resolution images with pulse-coupled neural networks
CN107229918A (zh) 一种基于全卷积神经网络的sar图像目标检测方法
CN107563411A (zh) 基于深度学习的在线sar目标检测方法
CN107909109A (zh) 基于显著性和多尺度深度网络模型的sar图像分类方法
CN107316004A (zh) 基于深度学习的空间目标识别方法
Ren et al. Ship recognition based on Hu invariant moments and convolutional neural network for video surveillance
CN108257151A (zh) 基于显著性分析的PCANet图像变化检测方法
Tian et al. MD-YOLO: Multi-scale Dense YOLO for small target pest detection
Lin et al. Fourier dense network to conduct plant classification using UAV-based optical images
Suwais et al. A review on classification methods for plants leaves recognition
Xiong et al. Oil spills identification in SAR image based on convolutional neural network
Han et al. A robust LCSE-ResNet for marine man-made target classification based on optical remote sensing imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171013

RJ01 Rejection of invention patent application after publication