CN110414414A - 基于多层级特征深度融合的sar图像舰船目标鉴别方法 - Google Patents

基于多层级特征深度融合的sar图像舰船目标鉴别方法 Download PDF

Info

Publication number
CN110414414A
CN110414414A CN201910674382.9A CN201910674382A CN110414414A CN 110414414 A CN110414414 A CN 110414414A CN 201910674382 A CN201910674382 A CN 201910674382A CN 110414414 A CN110414414 A CN 110414414A
Authority
CN
China
Prior art keywords
feature
layer
sar image
ship target
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910674382.9A
Other languages
English (en)
Other versions
CN110414414B (zh
Inventor
艾加秋
田瑞田
杨航
曹振翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Hefei Polytechnic University
Original Assignee
Hefei Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Polytechnic University filed Critical Hefei Polytechnic University
Priority to CN201910674382.9A priority Critical patent/CN110414414B/zh
Publication of CN110414414A publication Critical patent/CN110414414A/zh
Application granted granted Critical
Publication of CN110414414B publication Critical patent/CN110414414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于多层级特征深度融合的SAR图像舰船目标鉴别方法，包括以下步骤：（1）、采用Haar‑like特征模板对SAR图像样本进行处理并降维得到低层级Haar‑like特征；（2）、采用卷积神经网络对SAR图像样本进行处理得到高层级深度特征；（3）、利用多层级深度学习网络将低层级Haar‑like特征与高层级深度特征进行融合得到多层级特征权重系数，然后通过学习训练得到最优的SVM分类器；（4）、利用多层级特征权重系数和SVM分类器对输入的待鉴别的SAR图像样本切片进行鉴别。本发明可有效提升SAR图像舰船目标的检测性能，具有较高的工程应用价值。

Description

基于多层级特征深度融合的SAR图像舰船目标鉴别方法
技术领域
本发明涉及SAR图像目标识别技术领域，具体是一种基于多层级特征深度融合的SAR图像舰船目标鉴别方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种高分辨率的成像雷达，具有全天时和全天候观测的能力。利用SAR图像进行舰船目标鉴别与监视的研究和技术开发在海洋遥感领域得到高度重视，是现阶段SAR图像海洋应用的研究热点。
目前为止，大量的基于边缘纹理等特征提取算法被提出，并应用目标鉴别领域，包括局部二值模式编码特征(Local Binary Patterns，LBP)、方向梯度直方图特征(Histogram of Oriented Gradients，HOG)、竞争局部二值模式编码特征(CompletedLocal Binary Patterns，CLBP)、多尺度竞争局部二值模式编码特征(Multi-ScaleCompleted Local Binary Patterns，MS-CLBP)、灰度共生矩阵(Gray Level Co-occurrence Matrix，GLCM)、显著性特征(Saliency)、林肯实验室自动目标识别特征(Lincoln ATR)、以及类哈尔特征(Haar-like)等，然而这些算法多是基于图像像素之间的关系提取目标的边缘、纹理等低层特征，对于低分辨率SAR图像微小舰船目标的鉴别准确率有待提升。
相比于上述传统基于边缘纹理特征的舰船目标鉴别方法，传统深度学习网络(如CNN、Faster-CNN、VGG-Net、Res-Net等)有自动学习舰船目标高级特征的能力，目前被广泛应用到目标鉴别领域。但是传统深度学习网络在进行目标特征提取与鉴别时会导致舰船目标边缘纹理等低层特征的丢失，在低分辨率、小样本下的SAR图像舰船目标鉴别精度不高，这限制了其直接应用于SAR图像舰船鉴别中。尤其是在多目标等复杂环境下，样本及边缘特征的缺失，使得传统深度学习网络的目标鉴别率下降。
发明内容
本发明的目的是提供一种基于多层级特征深度融合的SAR图像舰船目标鉴别方法，通过将传统深度卷积神经网络(CNN)提取的高层深度特征和传统Haar-like模板提取的低层边缘纹理特征进行最优化融合，实现舰船目标的多层级特征表达，可有效提升低分辨率、小样本条件下的SAR图像舰船目标鉴别率。以解决传统鉴别算法在低分辨率、小样本条件下的鉴别率降低的问题。
为了达到上述目的，本发明所采用的技术方案为：
1、基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：采用卷积神经网络提取表征舰船目标的高层级深度特征，同时基于扩展的Haar-like特征模板提取舰船目标的边缘纹理低层级特征。构建多层级深度学习网络，利用多层级深度学习网络将提取的舰船目标高层级深度特征和Haar-like特征模板提取低层级边缘纹理特征进行最优化融合，实现SAR图像舰船目标特征的全面、有效表达。对SVM分类器进行学习训练得到最优分类器，最终对待鉴别舰船目标进行鉴别，得到最终的鉴别结果。具体包括以下步骤：
(1)、低层级边缘纹理特征提取：精细构造舰船目标-海杂波有监督SAR图像样本，采用扩展的Haar-like特征模板对有监督SAR图像样本进行特征提取，生成表征舰船目标的N维Haar-like目标边缘纹理特征，即N维低层级Haar-like特征；然后采用Adaboost分类器对提取出的N维低层级Haar-like特征进行降维，将N维低层级Haar-like特征的维数降低至m；
(2)、高层级深度特征提取：采用AlexNet架构实现的卷积神经网络，对有监督SAR图像样本进行特征提取，生成表征舰船目标的n维高层级深度特征；
(3)、舰船目标多层级特征学习与最优化融合：利用多层级深度学习网络，将步骤(1)降维后的m维低层级Haar-like特征与步骤(2)提取的n维高层级深度特征，在多层级深度学习网络中的全连接层进行最优化特征融合，得到最优化融合的目标多层级特征和多层级特征权重系数，该多层级特征权重系数下获得的舰船目标鉴别精度最高，然后通过学习训练得到最优的SVM分类器；
(4)、基于多层级特征深度融合的目标鉴别：采用步骤(3)学习训练得到的目标多层级特征和多层级特征权重系数，对输入的待鉴别的SAR图像样本切片进行多层级特征提取及最优化特征融合，然后输入到步骤(3)学习训练得到的最优的SVM分类器，得到最终的舰船目标鉴别结果。
所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：步骤(1)中，首先利用扩展的Haar-like特征模板，对有监督SAR图像样本进行特征提取，生成有效表征舰船目标边缘纹理所对应的N维低层级Haar-like特征。在Adaboost分类器中通过Adaboost训练算法设置m个弱分类器，将N维低层级Haar-like特征降维至m维，其中弱分类器gn(·)定义为：
gn(xj)＝fk＞θk (1)
公式(1)中：xj表示第j个图像的N维特征向量，xj＝[f1，f2，…，fN]，θk对应于单一特征的阈值，fk为特征向量xj中的第k个特征。
通过改变弱分类器的权重，训练出分类错误率最低的强分类器，训练过程如下：
公式(2)-(4)中：i代表第i次训练过程；L表示一共有L个样本；yj表示第j个输入图像的标签，对于舰船目标yj＝1，对于杂波目标yj＝0；gi表示i次训练中选取的分类错误率最低的弱分类器；ri表示第i次训练中的错误率；αi代表第i个弱分类器在组成强分类器中的权重；其中gn(xj)表示任意一个弱分类器，而gi(xj)表示第i次训练中分类错误率最低的弱分类器；Di(j)为第j个样本在第i次训练中的权重，初始化为：
Di(j)的更新训练通过如下公式：
训练完成后将N维特征向量[f1，f2，…，fN]，锐减到m维的特征向量[h1，h2，…，hm]，其中：
公式(7)中αi代表第i个弱分类器在组成强分类器中的权重；gi(xj)表示第i次训练中分类错误率最低的弱分类器。
最终提取得到的m维的特征向量[h1，h2，…，hm]，作为低层级Haar-like特征。
所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：步骤(2)中，基于AlexNet架构实现典型低复杂度的卷积神经网络，卷积神经网络中激活函数采用Relu函数来增强网络的表征能力，并且使用BatchNormalization操作来加速网络的训练，其中激活函数Relu函数定义为：
f(o)＝max(0，o) (8)
公式(8)中，o表示神经网络卷积层后输出。
卷积神经网络全连接层链接了卷积层经过迭代提取到的抽象特征[d1，d2，…，dn]，以此特征作为卷积神经网络提取到的高级抽象特征，最终卷积神经网络提取到的高级特征即为全连接层的特征向量[d1，d2，…，dn]。
所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：步骤(3)中多层级深度学习网络的融合及学习训练过程如下：
根据步骤(1)降维后得到的m维Haar-like特征向量[h1，h2，…，hm]以及步骤(2)得到的特征向量[d1，d2，…，dn]，将两者以权重γ进行特征融合；设定权重γ取值在0-1之间，以分类误差最低为目标，在步骤(1)构建的舰船目标-海杂波有监督SAR图像样本集上学习权重γ参数及SVM分类器，得到分类误差最低的权重γ参数最优化取值，并最终生成多层级最优化融合特征向量
所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：步骤(4)中，通过步骤(1)至步骤(3)对待鉴别的SAR图像样本进行多层级特征提取及最优化融合，得到有效表征待鉴别SAR图像的多层级最优化融合特征向量将多层级最优化融合特征向量输入到训练好的SVM分类器，实现待鉴别SAR图像的目标分类，得到最终的舰船目标鉴别结果。
所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：SVM分类器以径向基函数核RBF作为核函数，其中径向基函数核RBF定义为：
K(u，v)＝exp(-λ||u-v||2)，λ＞0， (9)。
公式(9)中的u，v表示待映射的特征向量。
与现有技术相比，本发明优点为：
1、本发明采用扩展Haar-like特征模板对舰船目标进行多尺度旋转不变性边缘纹理特征提取，有效SAR图像表征舰船目标的局部边缘纹理特征；采用深度卷积神经网络提取出表征舰船目标的全局深度抽象特征，且该特征也具有多尺度旋转不变特性。
2、本发明设计了一种多层级深度学习网络系统，实现了舰船目标局部边缘纹理等低层特征和全局深度抽象特征的最优化融合，实现了SAR图像舰船目标多尺度、旋转不变性特征的全面特征表达。所融合的多层级特征提升了SAR图像舰船目标表达的有效性及完备性，可有效提升SAR图像舰船目标的检测性能。
3、本发明中的特征提取与目标鉴别求解过程简单高效，具有较高的工程应用价值。
附图说明
图1是本发明提出的一种基于多层级特征深度融合的SAR图像舰船鉴别方法框图。
图2是卫星获取的SAR图像，其中：
图2(a)是高分三号卫星获取的长江流域入海口测试星载SAR图像。图2(b)是高分三号卫星获取的上海港测试星载SAR图像。图2(c)是高分三号卫星获取的东海海域测试星载SAR图像。
图3为采用不同多特征融合权重系数γ下的舰船目标鉴别精度。
图3中可以看出，当权重系数γ取为0.3时，鉴别精度最高。
图4至图6是各算法在高分三号卫星获取的各种海况下的SAR图像舰船目标鉴别结果对比图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
1、基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：采用卷积神经网络提取表征舰船目标的高层级深度特征，同时基于扩展的Haar-like特征模板提取舰船目标的边缘纹理低层级特征。构建多层级深度学习网络，利用多层级深度学习网络将提取的舰船目标高层级深度特征和Haar-like特征模板提取低层级边缘纹理特征进行最优化融合，实现SAR图像舰船目标特征的全面、有效表达。对SVM分类器进行学习训练得到最优分类器，最终对待鉴别舰船目标进行鉴别，得到最终的鉴别结果。具体包括以下步骤：
(1)、低层级边缘纹理特征提取：精细构造舰船目标-海杂波有监督SAR图像样本，采用扩展的Haar-like特征模板对有监督SAR图像样本进行特征提取，生成表征舰船目标的N维Haar-like目标边缘纹理特征，即N维低层级Haar-like特征；然后采用Adaboost分类器对提取出的N维低层级Haar-like特征进行降维，将N维低层级Haar-like特征的维数降低至m；
(2)、高层级深度特征提取：采用AlexNet架构实现的卷积神经网络，对有监督SAR图像样本进行特征提取，生成表征舰船目标的n维高层级深度特征；
(3)、舰船目标多层级特征学习与最优化融合：利用多层级深度学习网络，将步骤(1)降维后的m维低层级Haar-like特征与步骤(2)提取的n维高层级深度特征，在多层级深度学习网络中的全连接层进行最优化特征融合，得到最优化融合的目标多层级特征和多层级特征权重系数，该多层级特征权重系数下获得的舰船目标鉴别精度最高，然后通过学习训练得到最优的SVM分类器；
(4)、基于多层级特征深度融合的目标鉴别：采用步骤(3)学习训练得到的目标多层级特征和多层级特征权重系数，对输入的待鉴别的SAR图像样本切片进行多层级特征提取及最优化特征融合，然后输入到步骤(3)学习训练得到的最优的SVM分类器，得到最终的舰船目标鉴别结果。
本发明步骤(1)中，首先利用扩展的Haar-like特征模板，对有监督SAR图像样本进行特征提取，生成有效表征舰船目标边缘纹理所对应的N维低层级Haar-like特征。在Adaboost分类器中通过Adaboost训练算法设置m个弱分类器，将N维低层级Haar-like特征降维至m维，其中弱分类器gn(·)定义为：
gn(xj)＝fk＞θk (1)
公式(1)中：xj表示第j个图像的N维特征向量，xj＝[f1，f2，…，fN]，θk对应于单一特征的阈值，fk为特征向量xj中的第k个特征。
通过改变弱分类器的权重，训练出分类错误率最低的强分类器，训练过程如下：
公式(2)-(4)中：i代表第i次训练过程；L表示一共有L个样本；yj表示第j个输入图像的标签，对于舰船目标yj＝1，对于杂波目标yj＝0；gi表示i次训练中选取的分类错误率最低的弱分类器；ri表示第i次训练中的错误率；αi代表第i个弱分类器在组成强分类器中的权重；其中gn(xj)表示任意一个弱分类器，而gi(xj)表示第i次训练中分类错误率最低的弱分类器；Di(j)为第j个样本在第i次训练中的权重，初始化为：
Di(j)的更新训练通过如下公式：
训练完成后将N维特征向量[f1，f2，…，fN]，锐减到m维的特征向量[h1，h2，…，hm]，其中：
公式(7)中αi代表第i个弱分类器在组成强分类器中的权重；gi(xj)表示第i次训练中分类错误率最低的弱分类器。
最终提取得到的m维的特征向量[h1，h2，…，hm]，作为低层级Haar-like特征。
本发明步骤(2)中，基于AlexNet架构实现典型低复杂度的卷积神经网络，卷积神经网络中激活函数采用Relu函数来增强网络的表征能力，并且使用BatchNormalization操作来加速网络的训练，其中激活函数Relu函数定义为：
f(o)＝max(0，o) (8)
公式(8)中，o表示神经网络卷积层后输出。
卷积神经网络全连接层链接了卷积层经过迭代提取到的抽象特征[d1，d2，…，dn]，以此特征作为卷积神经网络提取到的高级抽象特征，最终卷积神经网络提取到的高级特征即为全连接层的特征向量[d1，d2，…，dn]。
本发明步骤(3)中多层级深度学习网络的融合及学习训练过程如下：
根据步骤(1)降维后得到的m维Haar-like特征向量[h1，h2，…，hm]以及步骤(2)得到的特征向量[d1，d2，…，dn]，将两者以权重γ进行特征融合；设定权重γ取值在0-1之间，以分类误差最低为目标，在步骤(1)构建的舰船目标-海杂波有监督SAR图像样本集上学习权重γ参数及SVM分类器，得到分类误差最低的权重γ参数最优化取值，并最终生成多层级最优化融合特征向量
本发明步骤(4)中，通过步骤(1)至步骤(3)对待鉴别的SAR图像样本进行多层级特征提取及最优化融合，得到有效表征待鉴别SAR图像的多层级最优化融合特征向量将多层级最优化融合特征向量输入到训练好的SVM分类器，实现待鉴别SAR图像的目标分类，得到最终的舰船目标鉴别结果。SVM分类器以径向基函数核RBF作为核函数，其中径向基函数核RBF定义为：
K(u，v)＝exp(-λ||u-v||2)，λ＞0， (9)。
公式(9)中的u，v表示待映射的特征向量。
以下通过截取不同海况下高分三号卫星获得的低分辨率SAR图像中的复杂海杂波场景区域进行实验比度：
1.实验设置：
如图2所示，图2(a)为高分三号卫星于2017年10月对长江流域入海口成像的SAR图像，图2(b)为高分三号卫星于2017年2月对上海港口成像的SAR图像，图2(c)为高分三号卫星于2018年7月对东海海域成像的SAR图像。图2(a)至图2(c)中白色方框区域标注的为本发明的目标鉴别实验区域，该测试区域舰船目标分布密集，且存在着方位模糊及高海况下的强杂波干扰，此外还存在着防波堤等干扰，舰船目标鉴别难度大。其中前2幅图像为平稳海况下的SAR图像，其中方位模糊及防波堤干扰影响较大。最后一幅图像为复杂海况下的SAR图像，海杂波干扰严重。选取白色方框标注区域进行实验。实验中选取了基于显著性特征，LBP特征，CLBP特征，HoG特征，林肯实验室的ATR算法，Haar-like特征，传统CNN，VGG-Net，Res-Net的舰船目标鉴别算法与本发明提出的基于多层级特征深度融合的SAR图像舰船鉴别算法进行了目标鉴别性能对比，其中各算法的实验参数设置如下：
(1)为了评估本发明所提出的算法极大的提高了识别精度，本发明使用了有限的训练数据集。对于各识别算法，选择1000个样本(500个舰船目标样本和500个杂波样本)进行训练。
(2)对于基于显著性特征的舰船目标鉴别算法，将中心比例设置为C＝2，将环绕比例设置为S＝4、5、6。
(3)对于基于CLBP特征的舰船目标鉴别算法，将参数邻域数和半径设置为10和6。
(4)对于基于Haar-like特征的舰船目标鉴别算法，使用扩展的Haar-like特征模板进行边缘纹理特征提取。
(5)对于传统CNN的舰船目标鉴别算法，参数学习率设为0.1，迭代次数设为20。
(6)于VGG-Net和Res-Net目标识别算法，将训练样本批次大小设置为10，迭代次数设置为20。
(7)为了验证多层级特征融合过程中融合权重系数对舰船目标鉴别精度的影响，采用基于相同权重系数的多层级特征融合方法与本发明提出的基于多层级特征深度融合的舰船目标鉴别方法进行性能比较。
(8)对于本文所提出舰船目标鉴别算法，为了获得最佳的鉴别精度，将AlexNet的学习率设置为0.1，多层级特征最优化融合权重系数设置为0.3(如图3所示)。
结果分析：
所有算法的舰船目标鉴别结果如图4至图6所示。对图4(a)至图6(a)中的SAR图像采用各算法进行舰船鉴别所对应的性能参数(正确鉴别目标数、虚警数、漏检目标数及品质因子)分别如表1至表3所示。图4-图6中，(a)为待鉴别的原始图像，(b)基于显著性特征的鉴别结果,(c)林肯实验室的自动目标识别(ATR)算法的鉴别结果(d)基于LBP特征的鉴别结果,(e)基于CLBP特征的鉴别结果，(f)基于HoG特征的鉴别结果,(g)基于Haar-like特征的鉴别结果,(h)传统CNN的鉴别结果,(i)VGG-Net的鉴别结果，(j)Res-Net的鉴别结果,(k)基于相同权重系数的多层级特征融合舰船目标鉴别算法，(l)本发明提出的基于多层级特征深度融合舰船目标鉴别算法。图4至图6中标记的白色方框为正确鉴别到的舰船目标，标记的黑色方框为漏检的舰船目标，标记的白色圆圈为虚警。
可以从表1、表2、表3和图4、图5、图6可以看出：
1)如图4至图6的(b)-(g)所示，传统的基于边缘纹理等特征的舰船目标鉴别器，如显著性特征、LBP特征、CLBP特征、HoG特征、林肯实验室的ATR、Haar-like特征等，提取了边缘、形状、纹理、显著性、对比度等低层次特征，但这些特征容易受到斑点噪声以及复杂海况下海杂波的影响，特征鲁棒性较差，对于低分辨率微小舰船目标会发生漏检。此外，由于方位模糊和防波堤等强散射物体的干扰，它们会被错误地判为舰船目标。这是因为边缘、纹理、形状和显著性等低级特征仅代表船舶目标的局部信息，而忽略了全局信息。方位模糊及防波堤等也包含与舰船目标类似的边缘纹理特征，因此鉴别结果中出现了大量的虚警。
2)如图4至图6(h)-(j)所示，CNN、VGG-Net、Res-Net等深度学习方法可以捕捉到舰船目标的全局深度特征，忽略了边缘纹理等局部特征，但它们对目标鉴别至关重要。因此，忽略边缘纹理特征的深度学习方法会产生舰船目标漏检。此外，鉴别结果中存在着大量由于方位模糊等引起的虚警。
3)对于所提出的基于多层级特征融合的方法，将传统边缘纹理低层级特征和高层级深度特征进行融合，实现了舰船目标全局与局部特征的全面特征表征。但是，是低层级边缘纹理特征还是高层级深度特征对于舰船目标鉴别的作用大？本发明通过将相同权重系数的多层级特征融合方法进行舰船目标鉴别试验，如图4(k)至图6(k)所示，基于相同权重系数的多层级特征融合方法发现漏检了许多舰船目标，与其他目标鉴别器相比，其鉴别性能没有太大改善。
4)本发明提出的方法利用一种多层级特征最优化的融合方案。如图3所示，当特征融合权重系数设为0.3时，多层级特征融合最优，舰船目标鉴别精度最佳。如图4(l)至图6(l)所示，本发明提出的舰船目标鉴别方法可获得最高的鉴别率和最低的虚警率，鉴别品质因子最高。
表1本方法与其他鉴别方法对图4(a)的鉴别性能对比
表2本方法与其他鉴别方法对图5(a)的鉴别性能对比
表3本方法与其他鉴别方法对图6(a)的鉴别性能对比
为了评估本发明提出鉴别算法的工程应用价值，本发明还比较了本发明提出的舰船目标鉴别方法和其他鉴别方法的计算效率。本发明以图4(a)作为实例，我统计了各目标鉴别算法对图4(a)进行目标鉴别时的训练和鉴别时间，具体时间对比如表4所示。
在特征训练方面，传统基于显著性特征、LBP特征、CLBP特征、HoG特征和林肯实验室的ATR时间花费都很短，这是由于它们提取的特征维数很低，SVM分类器的训练速度很快。传统CNN、VGG-Net和Res-Net等深度学习方法要通过卷积和池化操作自动学习舰船目标的高层级深度特征，该过程需要相对长一点的时间。基于Haar-like特征的舰船目标鉴别方法和本发明提出的鉴别方法，相比于其他鉴别方法，训练时间最长。这是由于它们均采用Haar-like模板提取的特征向量维数高达510112，采用Adaboost进行特征降维的时间很长，其花费的训练时间长达3小时。但是，该训练只需执行一次，保存训练的参数，以便进行后续舰船目标鉴别。
在目标鉴别实际测试方面，基于LBP特征、CLBP特征、显著性特征的鉴别方法，林肯实验室的ATR和传统的CNN等鉴别方法需要很短的测试时间，这是由于它们提取的特征向量维数很小，通过SVM分类所需的时间很短。VGG-Net和Res-Net是通过python源代码实现的，由于Python代码需要调用GPU流进程，所以其分类时间比CNN略长。本发明提出的鉴别方法所提取的特征维数略大于其他鉴别器，鉴别测试时间略长与其他方法。然而，本发明提出的鉴别方法具有较高的计算效率和工程实用价值。
表4本方法与其他鉴别方法对图4(a)进行训练与鉴别的时间对比
此外还采用了鉴别准确率(DA)、虚警率(FAR)、马修相关系数(MCC)和召回率(RECALL)等客观评价指标对舰船鉴别性能进行验证。用于本次测试的样本集包括5000个舰船目标样本和8000个杂波样本，在每次迭代中，从总的舰船目标样本和训练杂波样本中随机抽取1000个样本(500个舰船目标样本和500个杂波样本)用于学习训练，剩余的舰船目标和杂波样本用于测试。记录每次迭代的DA、FAR、MCC和RECALL的值，并通过100次迭代获得的平均值如表5所示。
表5本方法与其他鉴别方法的性能参数对比
从表5可以看出，基于显著性特征、LBP特征、HoG特征的鉴别方法和林肯实验室的ATR方法检测性能不佳，获得的DA、MCC、RECALL值较低，FAR值较高。基于CLBP特征和Haar-like特征的鉴别方法提取了舰船目标的多尺度、旋转不变心边缘纹理特征，与前述方法相比鉴别性能有所提升，它们获得了更高的DA、MCC值、RECALL值和更低的FAR值。CNN、VGG-Net、Res-Net等深度学习方法捕获了舰船目标的高层级深度特征，与基于低层级边缘纹理特征的鉴别方法相比，它们获得了更高的DA、MCC值、RECALL值和较低的FAR值。然而，由于它们忽略了局部边缘纹理信息，因此其性能比本文提出的鉴别方法差。基于相同权重系数的多层级特征融合方法相比于上述方法，具有更好的鉴别性能。但与本发明提出的基于多层级特征最优特征融合鉴别方法相比，检测性能要差。本发明提出的鉴别方法实现了多层级特征的最优化融合，提升了舰船目标表征的完整性，最佳的鉴别性能，它获得了最高的DA(97.26％)、MCC(94.53％)、RECALL(97.39)和2.30％的最低FAR值。
本发明所述的实例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (6)

1.基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：采用卷积神经网络提取表征舰船目标的高层级深度特征，同时基于扩展的Haar-like特征模板提取舰船目标的边缘纹理低层级特征。构建多层级深度学习网络，利用多层级深度学习网络将提取的舰船目标高层级深度特征和Haar-like特征模板提取低层级边缘纹理特征进行最优化融合，实现SAR图像舰船目标特征的全面、有效表达。对SVM分类器进行学习训练得到最优分类器，最终对待鉴别舰船目标进行鉴别，得到最终的鉴别结果。具体包括以下步骤：
(1)、低层级边缘纹理特征提取：精细构造舰船目标-海杂波有监督SAR图像样本，采用扩展的Haar-like特征模板对有监督SAR图像样本进行特征提取，生成表征舰船目标的N维Haar-like目标边缘纹理特征，即N维低层级Haar-like特征；然后采用Adaboost分类器对提取出的N维低层级Haar-like特征进行降维，将N维低层级Haar-like特征的维数降低至m；
(2)、高层级深度特征提取：采用AlexNet架构实现的卷积神经网络，对有监督SAR图像样本进行特征提取，生成表征舰船目标的n维高层级深度特征；
(3)、舰船目标多层级特征学习与最优化融合：利用多层级深度学习网络，将步骤(1)降维后的m维低层级Haar-like特征与步骤(2)提取的n维高层级深度特征，在多层级深度学习网络中的全连接层进行最优化特征融合，得到最优化融合的目标多层级特征和多层级特征权重系数，该多层级特征权重系数下获得的舰船目标鉴别精度最高，然后通过学习训练得到最优的SVM分类器；
(4)、基于多层级特征深度融合的目标鉴别：采用步骤(3)学习训练得到的目标多层级特征和多层级特征权重系数，对输入的待鉴别的SAR图像样本切片进行多层级特征提取及最优化特征融合，然后输入到步骤(3)学习训练得到的最优的SVM分类器，得到最终的舰船目标鉴别结果。
2.根据权利要求1所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：步骤(1)中，首先利用扩展的Haar-like特征模板，对有监督SAR图像样本进行特征提取，生成有效表征舰船目标边缘纹理所对应的N维低层级Haar-like特征。在Adaboost分类器中通过Adaboost训练算法设置m个弱分类器，将N维低层级Haar-like特征降维至m维，其中弱分类器gn(·)定义为：
gn(xj)＝fk＞θk (1)
公式(1)中：xj表示第j个图像的N维特征向量，xj＝[f1，f2，…，fN]，θk对应于单一特征的阈值，fk为特征向量xj中的第k个特征。
通过改变弱分类器的权重，训练出分类错误率最低的强分类器，训练过程如下：
公式(2)-(4)中：i代表第i次训练过程；L表示一共有L个样本；yj表示第j个输入图像的标签，对于舰船目标yj＝1，对于杂波目标yj＝0；gi表示i次训练中选取的分类错误率最低的弱分类器；ri表示第i次训练中的错误率；αi代表第i个弱分类器在组成强分类器中的权重；其中gn(xj)表示任意一个弱分类器，而gi(xj)表示第i次训练中分类错误率最低的弱分类器；Di(j)为第j个样本在第i次训练中的权重，初始化为：
Di(j)的更新训练通过如下公式：
训练完成后将N维特征向量[f1，f2，…，fN]，锐减到m维的特征向量[h1，h2，…，hm]，其中：
公式(7)中αi代表第i个弱分类器在组成强分类器中的权重；gi(xj)表示第i次训练中分类错误率最低的弱分类器。
最终提取得到的m维的特征向量[h1，h2，…，hm]，作为低层级Haar-like特征。
3.根据权利要求1所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：步骤(2)中，基于AlexNet架构实现典型低复杂度的卷积神经网络，卷积神经网络中激活函数采用Relu函数来增强网络的表征能力，并且使用Batch Normalization操作来加速网络的训练，其中激活函数Relu函数定义为：
f(o)＝max(0,o) (8)
公式(8)中，o表示神经网络卷积层后输出。
卷积神经网络全连接层链接了卷积层经过迭代提取到的抽象特征[d1，d2，…，dn]，以此特征作为卷积神经网络提取到的高级抽象特征，最终卷积神经网络提取到的高级特征即为全连接层的特征向量[d1，d2，…，dn]。
4.根据权利要求1所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：步骤(3)中多层级深度学习网络的融合及学习训练过程如下：
根据步骤(1)降维后得到的m维Haar-like特征向量[h1，h2，…，hm]以及步骤(2)得到的特征向量[d1，d2，…，dn]，将两者以权重γ进行特征融合；设定权重γ取值在0-1之间，以分类误差最低为目标，在步骤(1)构建的舰船目标-海杂波有监督SAR图像样本集上学习权重γ参数及SVM分类器，得到分类误差最低的权重γ参数最优化取值，并最终生成多层级最优化融合特征向量
5.根据权利要求1所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：步骤(4)中，通过步骤(1)至步骤(3)对待鉴别的SAR图像样本进行多层级特征提取及最优化融合，得到有效表征待鉴别SAR图像的多层级最优化融合特征向量将多层级最优化融合特征向量输入到训练好的SVM分类器，实现待鉴别SAR图像的目标分类，得到最终的舰船目标鉴别结果。
6.根据权利要求1所述的基于多层级特征深度融合的SAR图像舰船目标鉴别方法，其特征在于：SVM分类器以径向基函数核RBF作为核函数，其中径向基函数核RBF定义为：
K(u,v)＝exp(-λ‖u-v‖2),λ>0, (9)。
公式(9)中的u，v表示待映射的特征向量。
CN201910674382.9A 2019-07-25 2019-07-25 基于多层级特征深度融合的sar图像舰船目标鉴别方法 Active CN110414414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910674382.9A CN110414414B (zh) 2019-07-25 2019-07-25 基于多层级特征深度融合的sar图像舰船目标鉴别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910674382.9A CN110414414B (zh) 2019-07-25 2019-07-25 基于多层级特征深度融合的sar图像舰船目标鉴别方法

Publications (2)

Publication Number Publication Date
CN110414414A true CN110414414A (zh) 2019-11-05
CN110414414B CN110414414B (zh) 2022-02-18

Family

ID=68363058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910674382.9A Active CN110414414B (zh) 2019-07-25 2019-07-25 基于多层级特征深度融合的sar图像舰船目标鉴别方法

Country Status (1)

Country Link
CN (1) CN110414414B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969171A (zh) * 2019-12-12 2020-04-07 河北科技大学 基于改进卷积神经网络的图像分类模型、方法及应用
CN111191510A (zh) * 2019-11-29 2020-05-22 杭州电子科技大学 基于关系网络的复杂场景下遥感图像小样本目标识别方法
CN111191723A (zh) * 2019-12-30 2020-05-22 创新奇智(北京)科技有限公司 基于级联分类器的少样本商品分类系统及分类方法
CN111563414A (zh) * 2020-04-08 2020-08-21 西北工业大学 一种基于非局部特征增强的sar图像舰船目标检测方法
CN111639513A (zh) * 2019-12-10 2020-09-08 珠海大横琴科技发展有限公司 一种船只遮挡识别方法、装置及电子设备
CN112782666A (zh) * 2021-03-22 2021-05-11 哈尔滨工程大学 一种航海雷达目标快速检测方法
CN112800980A (zh) * 2021-02-01 2021-05-14 南京航空航天大学 一种基于多层次特征的sar目标识别方法
CN113011332A (zh) * 2021-03-19 2021-06-22 中国科学技术大学 基于多区域注意力机制的人脸伪造检测方法
CN113030966A (zh) * 2021-02-08 2021-06-25 浙江大学 一种星载sar原始回波域中有效目标快速感知方法
CN113111975A (zh) * 2021-05-12 2021-07-13 合肥工业大学 基于多核尺度卷积神经网络的sar图像目标分类方法
CN113344045A (zh) * 2021-05-21 2021-09-03 电子科技大学 一种结合hog特征提高sar船只分类精度的方法
CN113505837A (zh) * 2021-07-14 2021-10-15 同济大学 一种基于Faster-RCNN的测量标志自动提取方法
CN113627356A (zh) * 2021-08-13 2021-11-09 上海无线电设备研究所 一种海面舰船智能识别方法
CN113723182A (zh) * 2021-07-21 2021-11-30 西安电子科技大学 一种训练样本受限条件下的sar图像舰船检测方法
CN114007050A (zh) * 2021-10-14 2022-02-01 桂林电子科技大学 一种基于北斗通信的目标识别图像传输方法
CN114078204A (zh) * 2020-08-20 2022-02-22 深圳绿米联创科技有限公司 目标检测方法、装置、电子设备及存储介质
CN114494829A (zh) * 2022-01-16 2022-05-13 西安电子科技大学 一种sar图像多尺度舰船目标检测方法
CN115272685A (zh) * 2022-06-21 2022-11-01 北京科技大学 一种小样本sar舰船目标识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714556A (zh) * 2014-01-06 2014-04-09 中国科学院自动化研究所 一种基于金字塔表观模型的运动目标跟踪方法
CN107506699A (zh) * 2017-08-02 2017-12-22 合肥工业大学 一种基于纹理特征和dbn的sar图像分类方法
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
WO2019040213A1 (en) * 2017-08-22 2019-02-28 Northrop Grumman Systems Corporation ADAPTIVE REAL TIME DETECTION AND EXAMINATION NETWORK (ARDEN)
CN109902690A (zh) * 2017-12-07 2019-06-18 镇江长圣信息技术咨询服务有限公司 图像识别技术

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714556A (zh) * 2014-01-06 2014-04-09 中国科学院自动化研究所 一种基于金字塔表观模型的运动目标跟踪方法
CN107506699A (zh) * 2017-08-02 2017-12-22 合肥工业大学 一种基于纹理特征和dbn的sar图像分类方法
WO2019040213A1 (en) * 2017-08-22 2019-02-28 Northrop Grumman Systems Corporation ADAPTIVE REAL TIME DETECTION AND EXAMINATION NETWORK (ARDEN)
CN109902690A (zh) * 2017-12-07 2019-06-18 镇江长圣信息技术咨询服务有限公司 图像识别技术
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAO J.等: "A Densely Connected End-to-End Neural Network for Multiscale and Multiscene SAR Ship Detection", 《IEEE ACCESS》 *
XIAOTING Y.等: "An effective false-alarm removal method based on OC-SVM for SAR ship detection", 《IET INTERNATIONAL RADAR CONFERENCE 2015》 *
李健伟 等: "基于卷积神经网络的SAR图像舰船目标检测", 《系统工程与电子技术》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191510B (zh) * 2019-11-29 2022-12-09 杭州电子科技大学 基于关系网络的复杂场景下遥感图像小样本目标识别方法
CN111191510A (zh) * 2019-11-29 2020-05-22 杭州电子科技大学 基于关系网络的复杂场景下遥感图像小样本目标识别方法
CN111639513A (zh) * 2019-12-10 2020-09-08 珠海大横琴科技发展有限公司 一种船只遮挡识别方法、装置及电子设备
CN110969171A (zh) * 2019-12-12 2020-04-07 河北科技大学 基于改进卷积神经网络的图像分类模型、方法及应用
CN111191723A (zh) * 2019-12-30 2020-05-22 创新奇智(北京)科技有限公司 基于级联分类器的少样本商品分类系统及分类方法
CN111563414A (zh) * 2020-04-08 2020-08-21 西北工业大学 一种基于非局部特征增强的sar图像舰船目标检测方法
CN111563414B (zh) * 2020-04-08 2022-03-01 西北工业大学 一种基于非局部特征增强的sar图像舰船目标检测方法
CN114078204A (zh) * 2020-08-20 2022-02-22 深圳绿米联创科技有限公司 目标检测方法、装置、电子设备及存储介质
CN112800980A (zh) * 2021-02-01 2021-05-14 南京航空航天大学 一种基于多层次特征的sar目标识别方法
CN112800980B (zh) * 2021-02-01 2021-12-07 南京航空航天大学 一种基于多层次特征的sar目标识别方法
CN113030966A (zh) * 2021-02-08 2021-06-25 浙江大学 一种星载sar原始回波域中有效目标快速感知方法
CN113011332A (zh) * 2021-03-19 2021-06-22 中国科学技术大学 基于多区域注意力机制的人脸伪造检测方法
CN112782666A (zh) * 2021-03-22 2021-05-11 哈尔滨工程大学 一种航海雷达目标快速检测方法
CN113111975A (zh) * 2021-05-12 2021-07-13 合肥工业大学 基于多核尺度卷积神经网络的sar图像目标分类方法
CN113344045B (zh) * 2021-05-21 2022-03-15 电子科技大学 一种结合hog特征提高sar船只分类精度的方法
CN113344045A (zh) * 2021-05-21 2021-09-03 电子科技大学 一种结合hog特征提高sar船只分类精度的方法
CN113505837A (zh) * 2021-07-14 2021-10-15 同济大学 一种基于Faster-RCNN的测量标志自动提取方法
CN113723182A (zh) * 2021-07-21 2021-11-30 西安电子科技大学 一种训练样本受限条件下的sar图像舰船检测方法
CN113627356A (zh) * 2021-08-13 2021-11-09 上海无线电设备研究所 一种海面舰船智能识别方法
CN113627356B (zh) * 2021-08-13 2024-02-23 上海无线电设备研究所 一种海面舰船智能识别方法
CN114007050A (zh) * 2021-10-14 2022-02-01 桂林电子科技大学 一种基于北斗通信的目标识别图像传输方法
CN114494829A (zh) * 2022-01-16 2022-05-13 西安电子科技大学 一种sar图像多尺度舰船目标检测方法
CN115272685A (zh) * 2022-06-21 2022-11-01 北京科技大学 一种小样本sar舰船目标识别方法及装置
CN115272685B (zh) * 2022-06-21 2023-06-06 北京科技大学 一种小样本sar舰船目标识别方法及装置

Also Published As

Publication number Publication date
CN110414414B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110414414A (zh) 基于多层级特征深度融合的sar图像舰船目标鉴别方法
CN109740460B (zh) 基于深度残差密集网络的光学遥感图像舰船检测方法
Tang et al. Automatic plankton image recognition
WO2017148265A1 (zh) 一种单词的分割方法和装置
CN110598693A (zh) 一种基于Faster-RCNN的船牌识别方法
CN109117802A (zh) 面向大场景高分遥感影像的舰船检测方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
Sun et al. Adaptive saliency biased loss for object detection in aerial images
Zhou et al. PVT-SAR: An arbitrarily oriented SAR ship detector with pyramid vision transformer
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN105335760A (zh) 一种图像数字字符识别方法
CN116596875A (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
Chen et al. Contour refinement and EG-GHT-based inshore ship detection in optical remote sensing image
Chen et al. Shape similarity intersection-over-union loss hybrid model for detection of synthetic aperture radar small ship objects in complex scenes
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
Feng et al. Rapid ship detection method on movable platform based on discriminative multi-size gradient features and multi-branch support vector machine
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN114882204A (zh) 船名自动识别方法
CN114565798A (zh) 基于铁谱图像分析的动力装置磨损故障诊断方法及系统
CN114529906A (zh) 基于字符识别的输电设备数字仪表异常检测方法及系统
Xu et al. A system to localize and recognize texts in Oriented ID card images
Li et al. An improved PCB defect detector based on feature pyramid networks
Huang et al. A deep learning approach to detecting ships from high-resolution aerial remote sensing images
CN117994573A (zh) 一种基于超像素和可形变卷积的红外弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant