CN110097524B - 基于融合卷积神经网络的sar图像目标检测方法 - Google Patents

基于融合卷积神经网络的sar图像目标检测方法 Download PDF

Info

Publication number
CN110097524B
CN110097524B CN201910327007.7A CN201910327007A CN110097524B CN 110097524 B CN110097524 B CN 110097524B CN 201910327007 A CN201910327007 A CN 201910327007A CN 110097524 B CN110097524 B CN 110097524B
Authority
CN
China
Prior art keywords
image
neural network
convolution
target
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910327007.7A
Other languages
English (en)
Other versions
CN110097524A (zh
Inventor
李亚超
吕雅丽
全英汇
王亦倩
武春风
徐钢锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910327007.7A priority Critical patent/CN110097524B/zh
Publication of CN110097524A publication Critical patent/CN110097524A/zh
Application granted granted Critical
Publication of CN110097524B publication Critical patent/CN110097524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于融合卷积神经网络的SAR图像目标检测方法，主要解决现有技术中SAR图像中地面机动目标检测率低鲁棒性差的问题。本发明的具体步骤如下：(1)构建卷积神经网络；(2)生成训练集；(3)利用形态学操作对图像进行预处理；(4)利用分水岭算法生成电磁散射特征图；(5)训练卷积神经网络；(6)生成融合卷积神经网络；(7)训练融合卷积神经网络；(8)生成测试集；(9)对测试集进行目标检测。本发明具有提高机动目标检测率和场景适用能力，对不同方位、不同角度及在背景噪声的情况下的目标检测也有很好的鲁棒性的优点。

Description

基于融合卷积神经网络的SAR图像目标检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及雷达图像目标检测技术领域中的一种基于融合卷积神经网络CNN(Convolutional neural network)的SAR图像目标检测方法。本发明可应用于对合成孔径雷达图像不同区域中的机动目标进行快速有效检测。
背景技术
目标检测技术是计算机视觉领域的核心问题之一，SAR目标检测是以合成孔径雷达捕捉到的影像为数据源，采用图像处理技术对影像中感兴趣目标进行检测。SAR目标检测是雷达应用技术中的重要一环，可以在高科技军事对抗中，精准捕捉攻击目标，在军事领域有至关重要的意义。
电子科技大学在其申请的专利文献“一种SAR图像目标检测识别一体化方法”(专利申请号：201710461303.7，公开号：CN107341488A)中提出了一种基于卷积神经网络融合浅层特征和深层特征的SAR图像目标检测识别方法。该方法利用卷积神经网络自动发掘选择目标特征,将目标的浅层特征和深层特征融合在一起,能够同时完成SAR图像目标的检测和识别任务,实现了SAR图像目标检测识别一体化。相比其他SAR目标检测识别方法,该方法具有更高的检测识别效率和更强的适用性。但是该方法仍然存在的不足之处是：由于该方法没有充分利用SAR图像中目标特有的丰富的电磁散射信息，目标电磁散射中心特征表征着目标的部件、材质、角度、位置等信息，与杂波相比差异很大，且电磁散射信息可保证目标同一个部件像素连续性，弥补了SAR图像中属于同一目标同一部件的像素分散。因此该方法针对SAR图像中复杂目标检测准确率不高。
北京理工大学在其申请的专利文献“基于分割组合的SAR图像自适应恒虚警率目标检测方法”(专利申请号：201010292987.0，公开号：CN10197594OA)中提出了一种基于分割组合的SAR图像自适应恒虚警率目标检测方法。该方法利用参考窗策略得到用来估计背景杂波模型的参数,然后利用虚警概率以及杂波模型之间的关系得到检测器的检测阈值，将当前检测单元的像素值与检测闭值比较,判断目标是否存在。该方法虽然计算量小,操作简单，但是该方法仍然存在的不足之处是：该方法由于要对输入SAR图像建立背景杂波统计模型，此模型建立难度大且适用场景范围小，检测器的检测阈值难以自适应选择,因此该方法中建立SAR图像背景杂波统计模型需要非常强的专业背景知识与经验，而且对于多样性变化的目标并没有很好的鲁棒性。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于融合卷积神经网络的SAR图像目标检测方法。本发明与现有其他SAR图像目标检测方法相比，能够将SAR图像中目标的电磁散射特征与卷积神经网络进行融合以提高检测鲁棒性和准确率。
实现本发明目的的思路是：先构建训练集、电磁散射特征训练集和测试集，再搭建一个共16层的卷积神经网络、设置每层参数并进行预训练得到预训练网络，用训练集和电磁散射特征训练集分别对预训练网络进行训练，得到训练好的两支网络，将这两支网络进行基于深度学习的融合得到一支融合网络并重新训练得到训练好的融合网络，最后将测试集送入训练好的融合网络得到SAR图像的最终检测结果。
本发明的具体步骤包括如下：
(1)构建卷积神经网络：
(1a)搭建一个16层的卷积神经网络；
(1b)设置卷积神经网络的参数；
(2)生成训练集：
(2a)从SAR图像数据集中选取至少1000幅含有陆地上机动目标的SAR图像组成训练集；
(2b)对训练集中的每幅图像依次进行平移、翻转操作，得到扩充后的训练集；
(3)利用形态学操作对图像进行预处理：
(3a)从扩充后的训练集中选取一个未选过的图像；
(3b)用3*3大小1个像素的步长，对所选图像进行滑窗操作，得到多个3*3的像素块；
(3c)使用sobel算子，对每个3*3像素块进行滤波，得到所选图像的梯度幅值图像；
(3d)用2*2大小1个像素的步长，对所选图像进行滑窗操作，得到多个2*2的像素块；
(3e)对每个2*2像素块依次进行形态学腐蚀操作→形态学重建操作→形态学膨胀操作→形态学重建操作→最大类间方差法otsu分割操作，得到所选图像中目标的二值图像；
(3f)判断是否选完扩充后的训练集中所有图像，若是，则执行步骤(4)；否则，执行步骤(3a)；
(4)利用分水岭算法生成电磁散射特征图：
(4a)从所有的目标的二值图像中选取一个未选过的图像；
(4b)用所选图像中每个像素点与其周围的非零灰度值像素点之间的最近距离，替换该像素点的灰度值，对替换灰度值后的图像进行分水岭变换操作，得到分水岭脊线标记；
(4c)用所选二值图像，对该图像在扩充后的训练集中对应的图像以及对应的梯度幅值图像分别进行滤波，得到滤波后的目标图像及滤波后的目标梯度幅值图像；
(4d)用4*4大小1个像素的步长，对滤波后的目标图像进行滑窗操作，得到多个4*4的像素块；
(4e)对每个4*4像素块依次进行取局部极大像素值操作和去除小连通域操作，得到目标部件级的前景标记；
(4f)将目标部件级的前景标记与分水岭脊线标记，在滤波后的目标梯度幅值图像中分别标记为全局最小灰度值和全局最大灰度值，得到标记图像；
(4g)对标记图像进行分水岭变换操作，得到电磁散射特征图；
(4h)判断是否选完所有的目标的二值图像，若是，则执行步骤(4i)；否则，执行步骤(4a)；
(4i)对每幅电磁散射特征图依次进行平移、翻转操作，得到扩充后的电磁散射特征训练集；
(5)训练卷积神经网络：
(5a)从光学图像数据集中选取至少1000幅含有不同陆地上机动目标的光学图像，组成预训练数据集；
(5b)将预训练数据集输入到卷积神经网络中进行训练，得到预训练后的网络；
(5c)将训练集和电磁散射特征训练集，分别输入到预训练网络中进行训练，得到训练好的SAR图像目标检测网络和训练好的电磁散射特征检测网络；
(6)将训练好的SAR图像目标检测网络与电磁散射特征检测网络进行融合生成融合卷积神经网络：
(6a)利用融合公式，对训练好的SAR图像目标检测网络与电磁散射特征检测网络的第11卷积层分别输出的特征图对应位置元素的值，进行相加融合，得到融合后的特征图；
(6b)用融合后的特征图替换训练好的SAR目标检测网络中的第11卷积层输出的特征图，得到替换后的SAR目标检测网络；
(6c)去掉训练好的电磁散射特征检测网络第11卷积层及之后所有结构，得到待融合的电磁散射特征检测网络；
(6d)将替换后的SAR目标检测网络与待融合的电磁散射特征检测网络在第11卷积层处连接，得到融合卷积神经网络；
(7)训练融合卷积神经网络：
将训练集和电磁散射特征训练集，同时输入到融合卷积神经网络中进行训练，得到训练好的融合卷积神经网络；
(8)生成测试集：
(8a)从SAR图像数据集中选取与训练集中图像不同的至少1000幅含有陆地上机动目标的SAR图像组成测试集；
(8b)对测试集中的每幅图像依次进行平移、翻转操作，得到扩充后的测试集；
(9)对测试集进行目标检测：
将测试集输入到训练好的融合卷积神经网络中，输出测试集图像中机动目标的检测结果。
本发明与现有的技术相比具有以下优点：
第一，本发明利用了分水岭算法生成电磁散射特征图，充分利用了SAR图像中机动目标的电磁散射特征信息，能提取到SAR图像中机动目标独特的信息，而不仅仅是粗略地提取出目标的图像特征。目标电磁散射特征信息表征着目标的部件、材质、角度、位置等信息，与杂波相比差异很大，且电磁散射信息可保证目标同一个部件像素连续性，弥补了SAR图像中属于同一目标同一部件的像素分散。克服了现有技术容易将背景目标尤其是人造目标检测为机动目标的缺点，使得本发明提高了机动目标检测率和场景适用能力。
第二，本发明将训练好的SAR图像目标检测网络与电磁散射特征检测网络进行融合，生成融合卷积神经网络来对SAR图像进行目标检测，利用卷积神经网络强大的学习能力来挖掘SAR图像目标与杂波的特征表示，克服了现有技术对输入SAR图像建立背景杂波统计模型难度大、适用场景范围小、检测器的检测阈值难以自适应选择的缺点，可使卷积神经网络对SAR图像目标在不同方位、不同角度及在背景噪声的情况下也有很好的鲁棒性。
附图说明
图1是本发明的流程图；
图2是本发明融合卷积神经网络结构图；
具体实施方式
下面结合附图对本发明的作进一步详细描述。
参照图1，对本发明的具体实现步骤作进一步详细描述。
步骤1，构建卷积神经网络。
搭建一个16层的卷积神经网络结构依次为：输入层→第1卷积层→第2卷积层→第1最大池化层→第3卷积层→第4卷积层→第2最大池化层→第5卷积层→第6卷积层→第7卷积层→第3最大池化层→第8卷积层→第9卷积层→第10卷积层→第4最大池化层→第11卷积层→第12卷积层→第13卷积层→第5最大池化层→第1全连接层→第2全连接层→softmax分类器。
设置卷积神经网络的参数如下：将第1、2卷积层的卷积核大小设置为3*3*64，步长设置为1*1；将第3、4卷积层卷积核大小设置为3*3*128，步长设置为1*1；将第5、6、7卷积层卷积核大小设置为3*3*256，步长设置为1*1；将第8、9、10、11、12、13卷积层卷积核大小设置为3*3*512，步长设置为1*1；将两个全连接层的隐含节点数均设置为4096；将五个最大池化层池化窗口大小均设置为2*2。
步骤2，生成训练集。
从SAR图像数据集中选取至少1000幅含有陆地上机动目标的SAR图像组成训练集；
对训练集中的每幅图像依次进行平移、翻转操作，得到扩充后的训练集；
步骤3，利用形态学操作对图像进行预处理。
从扩充后的训练集中选取一个未选过的图像；
用3*3大小1个像素的步长，对所选图像进行滑窗操作，得到多个3*3的像素块；
使用sobel算子，对每个3*3像素块进行滤波，得到所选图像的梯度幅值图像；
用2*2大小1个像素的步长，对所选图像进行滑窗操作，得到多个2*2的像素块；
对每个2*2像素块依次进行形态学腐蚀操作→形态学重建操作→形态学膨胀操作→形态学重建操作→最大类间方差法otsu分割操作，得到所选图像中目标的二值图像；
最大类间方差法otsu的步骤如下：
第一步，由形态学重建操作后图像的灰度值，得到形态学重建操作后图像中每个灰度值的直方图，对直方图进行归一化操作，得到灰度值概率分布；
第二步，从形态学重建操作后图像中选取一个未选过的灰度值作为门限值，将形态学重建操作后图像中灰度值小于门限值的所有像素点作为背景区域，灰度值大于门限值的所有像素点作为前景区域，计算前景区域灰度值与背景区域灰度值之间的类间方差；
第三步，判断是否选完形态学重建操作后图像中所有的灰度值，若是，则执行第四步；否则，执行第二步；
第四步，取前景区域灰度值与背景区域灰度值之间的类间方差最大的门限值作为最优阈值；
第五步，将形态学重建操作后图像中灰度值小于最优阈值的所有像素点划分为非目标区域，并将每个灰度值设置为0，将灰度值大于最优阈值的所有像素点划分为目标区域，并将每个灰度值设置为1。
判断是否选完扩充后的训练集中所有图像，若是，则执行步骤(4)；否则，执行步骤(3a)；
步骤4，利用分水岭算法生成电磁散射特征图。
从所有的目标的二值图像中选取一个未选过的图像；
用所选图像中每个像素点与其周围的非零灰度值像素点之间的最近距离，替换该像素点的灰度值，对替换灰度值后的图像进行分水岭变换操作，得到分水岭脊线标记；
用所选二值图像，对该图像在扩充后的训练集中对应的图像以及对应的梯度幅值图像分别进行滤波，得到滤波后的目标图像及滤波后的目标梯度幅值图像；
用4*4大小1个像素的步长，对滤波后的目标图像进行滑窗操作，得到多个4*4的像素块；
对每个4*4像素块依次进行取局部极大像素值操作和去除小连通域操作，得到目标部件级的前景标记；
将目标部件级的前景标记与分水岭脊线标记，在滤波后的目标梯度幅值图像中分别标记为全局最小灰度值和全局最大灰度值，得到标记图像；
对标记图像进行分水岭变换操作，得到电磁散射特征图；
判断是否选完所有的目标的二值图像，若是，则执行步骤(4i)；否则，执行步骤(4a)；
对每幅电磁散射特征图依次进行平移、翻转操作，得到扩充后的电磁散射特征训练集；
步骤5，训练卷积神经网络。
从光学图像数据集中选取至少1000幅含有不同陆地上机动目标的光学图像，组成预训练数据集；
选取ImageNet数据集作为预训练数据集。
将预训练数据集输入到卷积神经网络中进行训练，得到预训练后的网络；
将训练集和电磁散射特征训练集，分别输入到预训练网络中进行训练，得到训练好的SAR图像目标检测网络和训练好的电磁散射特征检测网络；
步骤6，生成融合卷积神经网络。
利用融合公式，对训练好的SAR图像目标检测网络与电磁散射特征检测网络的第11卷积层分别输出的特征图对应位置元素的值，进行相加融合，得到融合后的特征图；
所述的融合公式如下：
yi,j,d＝xi,j,d+x’i,j,d
其中，yi,j,d表示融合后的特征图中[i,j,d]坐标位置的元素值，i表示特征图上横坐标，j表示特征图上纵坐标，d表示特征图上通道数坐标，i∈[1,W]，j∈[1,H]，d∈[1,D]，∈表示属于符号，W表示特征图的宽度，H表示特征图的高度，D表示特征图的通道总数，xi,j,d表示训练好的SAR图像目标检测网络中特征图中[i,j,d]坐标位置的元素值，x’i,j,d表示训练好的电磁散射特征检测网络中特征图中[i,j,d]坐标位置的元素值。
用融合后的特征图替换训练好的SAR目标检测网络中的第11卷积层输出的特征图，得到替换后的SAR目标检测网络；
去掉训练好的电磁散射特征检测网络第11卷积层及之后所有结构，得到待融合的电磁散射特征检测网络；
将替换后的SAR目标检测网络与待融合的电磁散射特征检测网络在第11卷积层处连接，得到融合卷积神经网络；
下面参照图2，对本步骤生成的融合卷积神经网络进行详细描述。其中，图2(a)为替换后的SAR目标检测网络结构示意图；图2(b)为待融合的电磁散射特征检测网络结构示意图；图2(c)为替换后的SAR目标检测网络中第11卷积层之后结构示意图。
图2中的224×224×3为输入图像大小；224×224×64为第1卷积层、第2卷积层输出特征图大小；112×112×128为第3卷积层、第4卷积层输出特征图大小；56×56×256为第5卷积层、第6卷积层、第7卷积层输出特征图大小；28×28×512为第8卷积层、第9卷积层、第10卷积层输出特征图大小；14×14×512为第11卷积层、第12卷积层、第13卷积层输出特征图大小；7×7×512为第5最大池化层输出特征图大小；1×1×4096为第1全连接层、第2全连接层输出大小；1×1×1000为softmax分类器输出大小。
步骤7，训练融合卷积神经网络。
将训练集和电磁散射特征训练集，同时输入到融合卷积神经网络中进行训练，得到训练好的融合卷积神经网络；
步骤8，生成测试集。
从SAR图像数据集中选取与训练集中图像不同的至少1000幅含有陆地上机动目标的SAR图像组成测试集；
对测试集中的每幅图像依次进行平移、翻转操作，得到扩充后的测试集；
步骤9，对测试集进行目标检测。
将测试集输入到训练好的融合卷积神经网络中，输出测试集图像中机动目标的检测结果。
本发明的效果可以通过以下仿真实验进一步说明。
1.仿真条件：
本发明仿真实验的硬件平台为：Intel Xeon CPU E5-2620，2.10GHz*2，内存为64G。
GPU:NVIDIA Tesla K40c
本发明仿真实验的软件平台为：matlab2015b。
2.仿真内容与结果分析：
本发明的仿真实验是分别采用本发明的方法与现有技术的传统CNN目标检测方法，对MSTAR测试集中的图像进行目标检测。
所述现有技术的传统CNN目标检测方法出自电子科技大学在其申请的专利文献“一种SAR图像目标检测识别一体化方法”(专利申请号：201710461303.7，公开号：CN107341488A)。
所述MSTAR测试集，是从美国国防高等研究计划署(DARPA)支持的MSTAR计划所公布的实测SAR地面静止目标数据中，选取的目标类型为2S1序列号为b01侧视角为30°的288幅图像、目标类型为BRDM2序列号为e71侧视角为30°的287幅图像、目标类型为T72序列号为a64侧视角30°的288幅图像及目标类型为ZSU234序列号为d08侧视角为30°的288幅图像共1151幅图像。
下面采用检测率和虚警率两个指标，分别对本发明与现有技术传统CNN目标检测方法的两种SAR图像目标检测结果进行评价，利用下式，分别计算本发明与现有技术传统CNN目标检测方法的SAR图像目标检测结果的检测率与虚警率：
检测率＝总检测正确目标数/总检测目标数
虚警率＝总检测错误目标数/总检测为目标数
表1中分别列出了本发明与现有技术传统CNN目标检测方法的目标检测准确率、虚警率指标。
表1仿真实验测试结果一览表
检测方法 传统CNN方法 本发明方法
检测率 0.9021 0.9487
虚警率 0.2003 0.1844
由表1可知，对比传统的传统CNN目标检测方法，本发明中提出的基于融合卷积神经网络的SAR图像目标检测方法对SAR图像中机动目标的检测率显著提高，虚警率降低。
综上所述，本发明通过在卷积神经网络目标检测的基础上融合了目标的电磁散射特征信息，有效的提高了SAR图像地面机动目标的检测精度。

Claims (5)

1.一种基于融合卷积神经网络的SAR图像目标检测方法，其特征在于，利用分水岭算法生成电磁散射特征图，将训练好的SAR图像目标检测网络与电磁散射特征检测网络进行融合生成融合卷积神经网络来对SAR图像进行目标检测；该方法的步骤包括如下：
(1)构建卷积神经网络：
(1a)搭建一个16层的卷积神经网络；
(1b)设置卷积神经网络的参数；
(2)生成训练集：
(2a)从SAR图像数据集中选取至少1000幅含有陆地上机动目标的SAR图像组成训练集；
(2b)对训练集中的每幅图像依次进行平移、翻转操作，得到扩充后的训练集；
(3)利用形态学操作对图像进行预处理：
(3a)从扩充后的训练集中选取一个未选过的图像；
(3b)用3*3大小1个像素的步长，对所选图像进行滑窗操作，得到多个3*3的像素块；
(3c)使用sobel算子，对每个3*3像素块进行滤波，得到所选图像的梯度幅值图像；
(3d)用2*2大小1个像素的步长，对所选图像进行滑窗操作，得到多个2*2的像素块；
(3e)对每个2*2像素块依次进行形态学腐蚀操作→形态学重建操作→形态学膨胀操作→形态学重建操作→最大类间方差法otsu分割操作，得到所选图像中目标的二值图像；
(3f)判断是否选完扩充后的训练集中所有图像，若是，则执行步骤(4)；否则，执行步骤(3a)；
(4)利用分水岭算法生成电磁散射特征图：
(4a)从所有的目标的二值图像中选取一个未选过的图像；
(4b)用所选图像中每个像素点与其周围的非零灰度值像素点之间的最近距离，替换该像素点的灰度值，对替换灰度值后的图像进行分水岭变换操作，得到分水岭脊线标记；
(4c)用所选二值图像，对该图像在扩充后的训练集中对应的图像以及对应的梯度幅值图像分别进行滤波，得到滤波后的目标图像及滤波后的目标梯度幅值图像；
(4d)用4*4大小1个像素的步长，对滤波后的目标图像进行滑窗操作，得到多个4*4的像素块；
(4e)对每个4*4像素块依次进行取局部极大像素值操作和去除小连通域操作，得到目标部件级的前景标记；
(4f)将目标部件级的前景标记与分水岭脊线标记，在滤波后的目标梯度幅值图像中分别标记为全局最小灰度值和全局最大灰度值，得到标记图像；
(4g)对标记图像进行分水岭变换操作，得到电磁散射特征图；
(4h)判断是否选完所有的目标的二值图像，若是，则执行步骤(4i)；否则，执行步骤(4a)；
(4i)对每幅电磁散射特征图依次进行平移、翻转操作，得到扩充后的电磁散射特征训练集；
(5)训练卷积神经网络：
(5a)从光学图像数据集中选取至少1000幅含有不同陆地上机动目标的光学图像，组成预训练数据集；
(5b)将预训练数据集输入到卷积神经网络中进行训练，得到预训练后的网络；
(5c)将训练集和电磁散射特征训练集，分别输入到预训练网络中进行训练，得到训练好的SAR图像目标检测网络和训练好的电磁散射特征检测网络；
(6)生成融合卷积神经网络：
(6a)利用融合公式，对训练好的SAR图像目标检测网络与电磁散射特征检测网络的第11卷积层分别输出的特征图对应位置元素的值，进行相加融合，得到融合后的特征图；
(6b)用融合后的特征图替换训练好的SAR目标检测网络中的第11卷积层输出的特征图，得到替换后的SAR目标检测网络；
(6c)去掉训练好的电磁散射特征检测网络第11卷积层及之后所有结构，得到待融合的电磁散射特征检测网络；
(6d)将替换后的SAR目标检测网络与待融合的电磁散射特征检测网络在第11卷积层处连接，得到融合卷积神经网络；
(7)训练融合卷积神经网络：
将训练集和电磁散射特征训练集，同时输入到融合卷积神经网络中进行训练，得到训练好的融合卷积神经网络；
(8)生成测试集：
(8a)从SAR图像数据集中选取与训练集中图像不同的至少1000幅含有陆地上机动目标的SAR图像组成测试集；
(8b)对测试集中的每幅图像依次进行平移、翻转操作，得到扩充后的测试集；
(9)对测试集进行目标检测：
将测试集输入到训练好的融合卷积神经网络中，输出测试集图像中机动目标的检测结果。
2.根据权利要求1所述的基于融合卷积神经网络的SAR图像目标检测方法，其特征在于，步骤(1a)中所述16层的卷积神经网络的结构依次为：输入层→第1卷积层→第2卷积层→第1最大池化层→第3卷积层→第4卷积层→第2最大池化层→第5卷积层→第6卷积层→第7卷积层→第3最大池化层→第8卷积层→第9卷积层→第10卷积层→第4最大池化层→第11卷积层→第12卷积层→第13卷积层→第5最大池化层→第1全连接层→第2全连接层→softmax分类器。
3.根据权利要求1所述的基于融合卷积神经网络的SAR图像目标检测方法，其特征在于，步骤(1b)中所述设置卷积神经网络的参数如下：将第1、2卷积层的卷积核大小设置为3*3*64，步长设置为1*1；将第3、4卷积层卷积核大小设置为3*3*128，步长设置为1*1；将第5、6、7卷积层卷积核大小设置为3*3*256，步长设置为1*1；将第8、9、10、11、12、13卷积层卷积核大小设置为3*3*512，步长设置为1*1；将两个全连接层的隐含节点数均设置为4096；将五个最大池化层池化窗口大小均设置为2*2。
4.根据权利要求1所述的基于融合卷积神经网络的SAR图像目标检测方法，其特征在于，步骤(3e)中所述最大类间方差法otsu的步骤如下：
第一步，由形态学重建操作后图像的灰度值，得到形态学重建操作后图像中每个灰度值的直方图，对直方图进行归一化操作，得到灰度值概率分布；
第二步，从形态学重建操作后图像中选取一个未选过的灰度值作为门限值，将形态学重建操作后图像中灰度值小于门限值的所有像素点作为背景区域，灰度值大于门限值的所有像素点作为前景区域，计算前景区域灰度值与背景区域灰度值之间的类间方差；
第三步，判断是否选完形态学重建操作后图像中所有的灰度值，若是，则执行第四步；否则，执行第二步；
第四步，取前景区域灰度值与背景区域灰度值之间的类间方差最大的门限值作为最优阈值；
第五步，将形态学重建操作后图像中灰度值小于最优阈值的所有像素点划分为非目标区域，并将每个灰度值设置为0，将灰度值大于最优阈值的所有像素点划分为目标区域，并将每个灰度值设置为1。
5.根据权利要求1所述的基于融合卷积神经网络的SAR图像目标检测方法，其特征在于，步骤(6a)中所述的融合公式如下：
yi,j,d＝xi,j,d+x′i,j,d
其中，yi,j,d表示融合后的特征图中[i,j,d]坐标位置的元素值，i表示特征图上横坐标，j表示特征图上纵坐标，d表示特征图上通道数坐标，i∈[1,W]，j∈[1,H]，d∈[1,D]，∈表示属于符号，W表示特征图的宽度，H表示特征图的高度，D表示特征图的通道总数，xi,j,d表示训练好的SAR图像目标检测网络中特征图中[i,j,d]坐标位置的元素值，x′i,j,d表示训练好的电磁散射特征检测网络中特征图中[i,j,d]坐标位置的元素值。
CN201910327007.7A 2019-04-22 2019-04-22 基于融合卷积神经网络的sar图像目标检测方法 Active CN110097524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910327007.7A CN110097524B (zh) 2019-04-22 2019-04-22 基于融合卷积神经网络的sar图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910327007.7A CN110097524B (zh) 2019-04-22 2019-04-22 基于融合卷积神经网络的sar图像目标检测方法

Publications (2)

Publication Number Publication Date
CN110097524A CN110097524A (zh) 2019-08-06
CN110097524B true CN110097524B (zh) 2022-12-06

Family

ID=67445530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910327007.7A Active CN110097524B (zh) 2019-04-22 2019-04-22 基于融合卷积神经网络的sar图像目标检测方法

Country Status (1)

Country Link
CN (1) CN110097524B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827332B (zh) * 2019-10-09 2022-12-13 哈尔滨工程大学 一种基于卷积神经网络的sar图像的配准方法
CN111999731B (zh) * 2020-08-26 2022-03-22 合肥工业大学 一种基于感知生成对抗网络的电磁逆散射成像方法
CN112131962B (zh) * 2020-08-28 2023-08-15 西安电子科技大学 基于电磁散射特征和深度网络特征的sar图像识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109345508A (zh) * 2018-08-31 2019-02-15 北京航空航天大学 一种基于两阶段神经网络的骨龄评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109345508A (zh) * 2018-08-31 2019-02-15 北京航空航天大学 一种基于两阶段神经网络的骨龄评价方法

Also Published As

Publication number Publication date
CN110097524A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110929560B (zh) 融合目标检测与跟踪的视频半自动目标标注方法
Haurum et al. A survey on image-based automation of CCTV and SSET sewer inspections
CN108776779B (zh) 基于卷积循环网络的sar序列图像目标识别方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN107154040B (zh) 一种隧道衬砌表面图像裂缝检测方法
Tan et al. Automatic detection of sewer defects based on improved you only look once algorithm
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
Zhang et al. RCNN-based foreign object detection for securing power transmission lines (RCNN4SPTL)
CN110097524B (zh) 基于融合卷积神经网络的sar图像目标检测方法
CN110135354B (zh) 一种基于实景三维模型的变化检测方法
CN103364410B (zh) 一种基于模板搜索的水工混凝土结构水下表面裂缝检测方法
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
Bharadwaj Sundra Murthy et al. Detection of potholes in autonomous vehicle
CN111191629A (zh) 一种基于多目标的图像能见度检测方法
CN109635789B (zh) 基于强度比和空间结构特征提取的高分辨sar图像分类方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN111582004A (zh) 一种地面图像中的目标区域分割方法及装置
CN107944354A (zh) 一种基于深度学习的车辆检测方法
CN111353371A (zh) 基于星载sar影像的海岸线提取方法
Liang et al. An extraction and classification algorithm for concrete cracks based on machine vision
CN107169412A (zh) 基于混合模型决策的遥感图像靠港船只检测方法
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN107564024B (zh) 基于单侧聚集线段的sar图像聚集区域提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant