CN111126361B - 基于半监督学习和特征约束的sar目标鉴别方法 - Google Patents
基于半监督学习和特征约束的sar目标鉴别方法 Download PDFInfo
- Publication number
- CN111126361B CN111126361B CN202010143832.4A CN202010143832A CN111126361B CN 111126361 B CN111126361 B CN 111126361B CN 202010143832 A CN202010143832 A CN 202010143832A CN 111126361 B CN111126361 B CN 111126361B
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- loss
- output
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于半监督学习和特征约束的SAR目标鉴别方法,主要解决现有有标签训练SAR数据不充分导致过拟合和鉴别性能差的问题。其方案是:1)获取给定的有标签训练数据集、无标签训练数据集和测试样本集,对其进行预处理,得到新的训练集和新的测试集;2)构建基于特征约束的半监督SAR目标鉴别网络Ψ:3)将新的训练集输入到构建好的SAR目标鉴别网络Ψ中进行训练,得到训练好的网络Ψ′;4)将新的测试集输入到训练好的SAR目标鉴别网络Ψ′中,得到最终的目标鉴别结果。本发明利用半监督学习和特征约束,一定程度上减轻了有标签数据不充分导致的过拟合问题,增强了网络学习的特征的鉴别性,提升了网络SAR目标鉴别的性能。
Description
技术领域
本发明属于雷达目标识别技术领域,主要涉及SAR图像目标鉴别方法,可用于对车辆目标识别与分类提供重要信息。
背景技术
合成孔径雷达SAR利用微波遥感技术,具有全天时、全天候的工作能力,并具有高分辨率、多频段、视角可变和穿透力强的特点。随着SAR技术的不断发展,成像分辨率不断提高,SAR图像的自动目标识别ATR受到越来越广泛的关注。SAR图像自动目标识别ATR系统一般包括目标检测、目标鉴别和目标识别三个阶段。目标鉴别用于去除目标检测阶段得到的候选目标中的杂波虚警,在SAR图像自动目标识别ATR中具有重要的研究意义。由于SAR图像成像严重受到相干斑噪声的影响,且SAR图像通常是复杂的场景,包含了大量的不同类型的杂波,因此,在SAR目标鉴别阶段,有效特征的设计和提取都是至关重要的。在过去几十年,大量传统特征提取方法被提出,这些方法强烈依赖于人工设计特征的鉴别性能,且特征的设计需要许多先验知识和经验。另外,当SAR图像场景变得相对复杂时,这些人工设计特征性能降低、泛化能力差。
近年来,卷积神经网络CNN在模式识别和计算机视觉领域已经成为研究热点,其避免了特征提取器设计的复杂性。目前,卷积神经网络已成功应用于SAR目标识别任务中,如:
一是用CNN与支持向量机SVM结合的方法,如文献“S.Wagner,‘Combination ofconvolutional feature extraction and support vector machines for radar ATR’,in Proc.17th Int.Conf.Inf.Fusion(FUSION),Jul.2014,pp.1–6”提出了卷积神经网络和支持向量机的组合,用于地面目标的自动识别;其利用CNN网络作为特征提取器,而在决策阶段使用SVM分类器。
二是利用特征融合的方法提升CNN鉴别网络的鉴别性能,如申请公布号为CN106874889A,名称为“基于卷积神经网络的多特征融合SAR目标鉴别方法”的专利申请,公开了一种基于CNN的SAR图像目标鉴别方法,该方法通过同时利用幅度图像和梯度幅度图像,对网络进行训练和测试,在复杂的场景下取得了更加优越的性能。
上述两种方法都是基于CNN的有监督网络进行SAR目标鉴别或识别,但由于CNN具有大量的参数,需要充足的有标签数据去训练,而有标签的SAR数据获取是非常困难的;为了解决训练数据不充分的问题,一个常用的策略就是数据增强,如文献“J.Ding,B.Chen,H.Liu,and M.Huang,‘Convolutional neural network with data augmentation forSAR target recognition’,IEEE Geosci.Remote Sens.Lett.,vol.13,no.3,pp.364–368,Mar.2016.”,其通过对数据进行增强操作后再进行SAR目标识别任务,其在一定程度上缓解了SAR目标识别过程中有标签训练数据不足导致的过拟合问题;另外一个方法就是首先使用大量可得的数据预训练CNN网络,然后使用特定任务的带标签数据去微调该网络,如文献“Z.Huang,Z.Pan,and B.Lei,‘Transfer learning with deep convolutional neuralnetwork for SAR target classification with limited labeled data’,RemoteSens.,vol.9,no.9,p.907,2017.”,其首先使用大量未标记的SAR场景图像来训练CNN网络,然后使用有限的带标签任务类数据对CNN网络进行微调。
然而,现有的SAR目标鉴别与识别方法并没有很好的解决有标签训练数据不充分的问题,并且在一般情况下,训练数据和测试数据的分布是存在一定差异,这也使得网络的鉴别性能受到限制。
发明内容
本发明的目的在于针对现有SAR目标鉴别方法的不足,提出一种基于半监督学习和特征约束的SAR目标鉴别方法,以减轻有标签SAR数据不充分导致过拟合的问题,提高训练数据与测试数据的分布一致性,增强学习的特征的鉴别性,提升了目标鉴别的性能。
本发明的技术方案是:首先获取一定数量的有标签训练样本、无标签训练样本和待鉴别的测试样本并对其进行Lee滤波预处理,然后一同将预处理后的有标签训练数据、无标签训练数据及测试数据输入到SAR目标鉴别网络框架中进行训练,得到训练好的SAR目标鉴别模型;在测试阶段,将测试数据输入到训练好的网络框架中得到最终的目标鉴别结果。
其实现步骤包括如下:
(1)构建新的训练集Φ′:
对训练集Φ中的每个有标签训练样本M和每个无标签的训练样本N进行Lee滤波处理,得到滤波后的有标签训练图像M′和无标签训练图像N′;
对测试集T中的每个测试样本Q进行Lee滤波得到滤波后新的测试图像Q′;
将新的测试图像Q′与滤波后的有标签训练图像M′和无标签训练图像N′一起构成新的训练集Φ′;
2)构建基于特征约束的半监督SAR目标鉴别网络Ψ:
该网络包括分类网络Net-S和重构网络Net-U两个部分:
2a)构建重构网络Net-U部分:
重构网络依次包括三层卷积层和三层反卷积层,即第一层卷积层L1、第二层卷积层L2、第三层卷积层L3、第四层反卷积层L4、第五层反卷积层L5、第六层反卷积层L6,并在每个卷积层后面使用ReLU函数作为激活函数;
2b)构建具有特征约束的分类网络Net-S部分:
分类网络依次包含三层卷积层、一层最大池化层、一层卷积层、一层全连接层和一层softmax分类器层,并且分类网络的前三层卷积层与重构网络的前三层卷积层是共享的,即第一卷积层L1、第二层是卷积层L2、第三层卷积层L3、第四层最大池化层C4、第五层卷积层C5、第六层全连接层C6、第七层softmax分类器C7,且在每个卷积层和全连接层后面使用ReLU函数作为激活函数;
2c)基于KL散度对分类网络Net-S增加特征约束:
(3)构建SAR目标鉴别网络Ψ的损失函数Lossall:
3a)设重构网络Net-U的重构损失为LossU,并利用无标签训练图像N′训练该重构网络,使得重构网络的损失函数LossU最小化;
3b)设分类网络Net-S的分类损失为LossS,并使用有标签训练图像M′训练该分类网络,使得分类网络的分类损失LossS最小化;
3c)在最小化重构网络Net-U的重构损失LossU和分类网络Net-S的分类损失LossS的同时,最小化分类网络Net-S的特征约束项LossKL,得到SAR目标鉴别网络Ψ的损失函数为Lossall=LossU+LossS+LossKL;
(4)将新的训练集Φ′输入到构建好的SAR目标鉴别网络Ψ中进行训练,得到训练好的网络架构Ψ′;
(5)将新的测试图像集Q′输入到训练好的SAR目标鉴别网络Ψ′中,得到最终的目标鉴别结果。
本发明与现有技术相比,具有以下优点:
1.本发明构建了一种由重构网络和分类网络两部分组成的SAR目标鉴别网络,通过使用无标签数据集和有标签数据集训练SAR目标鉴别网络,使鉴别网络提取了更具鉴别力的特征,减轻了有标签数据不充分引起的过拟合问题,并提升了有监督分类网络的有效性。
2.本发明提出通过添加特征约束项来得到新的目标函数,使鉴别网络从有标签训练数据和测试数据学习到的特征分布更加接近,提升了网络的SAR目标鉴别性能。
3.本发明提出通过结合分类损失、重构损失和特征约束项,构成多任务目标函数,使得提出的SAR目标鉴别方法具有更好的泛化能力,并提升了SAR目标鉴别网络的鉴别性能。
附图说明
图1是本发明的实现流程图;
图2是本发明中的SAR目标鉴别网络架构图;
图3是本发明仿真实验所用的miniSAR数据图像;
图4是本发明仿真实验所用的miniSAR数据图像所对应的真实人工标记图。
具体实施方式
下面结合附图对本发明的实施方案和效果进行详细说明:
参照图1,本发明的实现步骤如下:
步骤1,获取新的训练集Φ′。
1a)给定训练集Φ,并对其每个有标签训练样本M和无标签训练样本N进行Lee滤波处理,得到滤波后的有标签训练图像M′和无标签训练图像N′;
1b)给定测试集T,并对其中每个测试样本Q进行Lee滤波,得到滤波后新的测试图像集Q′;
1c)用滤波后的有标签训练图像M′、无标签训练图像N′和新的测试图像Q′构成新的训练集:Φ′=M′+N′+Q′。
步骤2,构建基于半监督学习和特征约束的SAR目标鉴别网络Ψ。
参照图2,SAR目标鉴别网络包括分类网络Net-S和重构网络Net-U两个部分,其构建步骤如下:
2a)构建重构网络Net-U部分:
重构网络Net-U包括三层卷积层和三层反卷积层,即第一层卷积层L1、第二层卷积层L2、第三层卷积层L3、第四层反卷积层L4、第五层反卷积层L5、第六层反卷积层L6,并且在每个卷积层的后面连接一个ReLU作为激活函数;该重构网络各层的参数设置及关系如下:
式中表示第一层卷积层L1的第j个特征图,X0表示输入样本,表示第一层卷积层L1的第j个特征图的卷积核,表示第一层卷积层L1的第j个特征图的偏置,*表示卷积操作,f(·)表示激活函数,f(x)=max(0,x);j表示第j个特征图,该层输出作为第二层卷积层L2的输入。
式中表示第二层卷积层L2的第k个特征图,表示连接第一层卷积层L1的第j个特征图与第二层卷积层L2的第k个特征图的卷积核,表示第二层卷积层L2的第k个特征图的偏置,*表示卷积操作,f(·)表示激活函数,f(x)=max(0,x);k表示第k个特征图,该层输出作为第三层卷积层L3的输入。
式中表示第三层卷积层L3的第l个特征图,表示连接第二层卷积层L2的第k个特征图与第三层卷积层L3的第l个特征图的卷积核,表示第三层卷积层L3的第l个特征图的偏置,*表示卷积操作,f(·)表示激活函数,f(x)=max(0,x);l表示第l个特征图,该层输出作为第四层卷积层L4的输入。
式中表示第四层反卷积层L4的第p个特征图,表示连接第三层卷积层L3的第l个特征图与第四层反卷积层L4的第p个特征图的卷积核,表示第四层反卷积层L4的第p个特征图的偏置,·表示反卷积操作,f(·)表示激活函数,f(x)=max(0,x);p表示第p个特征图,该层输出作为第五层反卷积层L5的输入。
式中表示第五层反卷积层L5的第q个特征图,表示连接第四层反卷积层L4的第p个特征图与第五层反卷积层L5的第q个特征图的卷积核,表示第五层反卷积层L5的第q个特征图的偏置,f(·)表示激活函数,f(x)=max(0,x);q表示第q个特征图,该层输出作为第六层卷积层L6的输入。
式中XL6表示第六层反卷积层L6的重构图像,表示第五层反卷积层L5的第q个特征图,表示连接第五层反卷积层L5的第q个特征图与第六层反卷积层L6的重构图像的卷积核,表示第L6层的重构图像的偏置,f(·)表示激活函数,f(x)=max(0,x)。
2b)构建具有特征约束的分类网络Net-S部分:
分类网络Net-S依次包含三层卷积层、一层最大池化层、一层卷积层、一层全连接层和一层softmax分类器层,并且分类网络的前三层卷积层与重构网络的前三层卷积层是共享的,即第一卷积层L1、第二层卷积层L2、第三层卷积层L3、第四层最大池化层C4、第五层卷积层C5、第六层全连接层C6、第七层softmax分类器C7,且在每个卷积层和全连接层后面使用ReLU函数作为激活函数;该分类网络Net-S各层的参数设置及关系如下:
式中表示第五层卷积层C5的第k个特征图,表示连接第四层最大池化层C4的第l个特征图与第五层卷积层C5的第k个特征图的卷积核,表示第五层卷积层C5的第k个特征图的偏置,*表示卷积操作,f(·)表示激活函数,f(x)=max(0,x);k表示第k个特征图,该层输出作为第六层全连接层C6的输入。
第六层全连接层C6,其设有1000个神经元,用于将第五层卷积层C5输出的特征图分别拉成列向量进行串联拼接得到n维列向量然后对n维列向量与该全连接层的权值矩阵和偏置进行非线性变换,输出一个1000维列向量:
式中表示第六层全连接层C6的第j个神经元,j=1,...,1000,表示由第五层卷积层C5的第r个神经元与第六层全连接层C6的第j个神经元相连接的权值,表示第六层的第j个神经元的偏置,×表示相乘,f(·)表示激活函数,f(x)=max(0,x);该层输出作为第七层softmax分类器层C7的输入。
第七层softmax分类器层C7,其有2个神经元,用于将第六层全连接层C6输出的1000维列向量与该全连接层的权值矩阵和偏置进行非线性变换得到一个2维特征向量,并将其转化为输入样本为目标和杂波的概率,输出鉴别结果。
2c)基于KL散度对分类网络Net-S增加特征约束LossKL:
式中为有标签训练图像M′,为新的测试图像Q′;为分类网络Net-S输入图像时,分类网络第六层全连接层C6的第j个神经元的输出;为分类网络Net-S输入图像时,分类网络第六层全连接层C6的第j个神经元的输出;m表示有标签训练图像M′的个数,g表示新的测试图像Q′的个数;分别表示有标签训练图像集M′和测试图像集Q′输入分类网络Net-S时,第六层全连接层的第j个隐藏单元的平均激活度,j=1,...,1000。
计算分类网络Net-S基于KL散度的损失函数LossKL:
步骤3,构建SAR目标鉴别网络Ψ的损失函数Lossall:
3a)定义重构网络Net-U的重构损失函数LossU:
式中,θc表示重构网络Net-U和分类网络Net-S共享网络部分参数,即卷积层L1、卷积层L2、卷积层L3的共享参数,θu表示重构网络Net-U所独有的网络参数;是无标签训练图像N′,是当重构网络Net-U输入图像时,重构网络的第六层反卷积层L6所对应的输出XL6,n是输入的无标签训练图像N′的个数。
3b)定义分类网络Net-S的分类损失函数LossS:
式中表示有标签训练图像M′,其中是有标签训练图像M′的第i个图像,为对应的真实标签;m是有标签训练图像M′的个数,K是SAR目标鉴别网络最终输出的类别数,1{·}是指示函数,是有标签输入图像属于第k个类别的概率。
3c)在最小化重构网络Net-U的重构损失LossU和分类网络Net-S的分类损失LossS的同时,最小化分类网络Net-S的特征约束项LossKL,得到SAR目标鉴别网络Ψ的损失函数为Lossall:
式中θc表示重构网络Net-U和分类网络Net-S共享网络部分,即卷积层L1、卷积层L2、卷积层L3的共享参数,θu和θs分别表示重构网络Net-U和分类网络Net-S所独有的网络参数;表示有标签训练图像M′,其中是有标签训练图像M′的第i个图像,为对应的真实类别标签;m是有标签训练图像M′的个数,K是SAR目标鉴别网络最终输出的类别数,1{·}是指示函数;表示无标签训练数据图像N′,是当重构网络Net-U输入图像时,重构网络的第六层反卷积层L6的重构图像XL6,n是输入的无标签训练图像N′的个数;为分类网络Net-S的特征约束项LossKL。
步骤4,将新的训练集Φ′输入到构建好的SAR目标鉴别网络Ψ中进行训练:
4a)按批次将新的训练集Φ′输入到SAR目标鉴别网络Ψ中;
4b)采用反向传播算法和随机梯度下降法来优化SAR目标鉴别网络Ψ的损失函数Lossall,使损失函数Lossall最小化,得到训练好的网络架构Ψ′。
步骤5,将新的测试集Q′输入到训练好的SAR目标鉴别网络Ψ′中,得到分类网络Net-S部分中的第七层softmax分类器层C7的输出结果,作为最终的目标鉴别结果。
本发明的效果可通过以下实验数据进一步说明:
1.实验条件
本实验所用的图像均来自于美国Sandia实验室公开的miniSAR数据集,这些数据下载自Sandia实验室的网站,实验所用的4幅图像示例如图3所示,图像分辨率均为0.1m×0.1m。其中,图3(b)所示的图像Image2的大小为2510×3274,图3(a)、图3(c)和图3(d)所示图像Image1、Image3和Image4的大小均为2510×1638。图3所示的四幅原始miniSAR图像所对应的真实人工标记图像如图4所示,其中红色、蓝色和绿色部分分别表示地面车辆目标区域、自然杂波区域和人造杂波区域。实验中,选择其中一幅图像作为测试图像,另外3幅图像作为训练图像。对于每幅测试图像,提取的测试目标切片及杂波切片数如表1所示;有标签的训练目标图像及训练杂波图像是从剩余3幅miniSAR图像中,根据其真实人工标记图像从目标和杂波区域裁剪得到的;而无标签的切片数据从四幅图像中随机采样获取的,并且本发明实验所用的无标签训练数据集对于每个测试图像都是相同的;所有切片图像大小为90×90。对于每一幅测试图像,有标签训练数据切片图像约为10000张,无标签的训练数据切片图像大约为80000张。
表1测试目标及杂波样本数
测试图像 | 目标切片数 | 杂波切片数 |
Image1 | 159 | 627 |
Image2 | 140 | 599 |
Image3 | 115 | 305 |
Image4 | 79 | 510 |
2.实验内容与结果
实验一:验证本发明提出的利用重构网络Net-U的半监督学习策略和基于KL散度特征约束策略的有效性
1.1)构建仅由分类网络Net-S组成,目标函数不包含特征约束项LossKL的SAR目标鉴别网络,记为N-S,该网络仅利用有标签数据集训练;构建仅由重构网络Net-U和分类网络Net-S组成,目标函数不包含分类网络Net-S特征约束项LossKL的SAR目标鉴别网络,记为N-S-U;由本发明提出方法构建的网络记为Net-proposed;
1.2)分别从图3中的四幅图像中获取测试样本集和无标签训练样本集;
1.3)从测试图像所对应的剩余三幅图像中获取初始的有标签训练样本集;
1.4)将相应的训练样本依次输入到SAR目标鉴别网络N-S、N-S-U和Net-proposed进行训练,分别得到训练好的网络模型;
1.5)对于图3的每幅测试图像,依次将测试样本输入到训练好的SAR目标鉴别网络模型中测试,得到检测率pd、虚警率pf和平均鉴别准确率pc,结果如表2;
表2不同鉴别网络的SAR目标鉴别结果(%)
由表2的结果可以看出,当缺少无标签数据协助训练和缺少分类网络的特征约束时,N-S网络在所有测试图像上有着最低的鉴别准确率pc;与N-S网络相比,N-S-U网络的分类准确率在四幅测试图像上有所提升,这证实了利用无标签数据集的半监督学习策略能够减少网络过拟合,并提升了整个SAR目标鉴别网络的鉴别性能。另外,相对于网络N-S-U,增加了特征约束项的Net-proposed网络具有更好的鉴别性能,证实了基于KL散度的特征约束有助于网络学习更具有鉴别力的特征。
实验二:验证当有标签训练数据有限时,提出方法的有效性
2.1)分别从图3中的四幅图像中获取测试样本集和无标签训练样本集;
2.1)从测试图像所对应的剩余三幅图像中获取初始的有标签训练样本集,以相同的间隔从初始的有标签训练数据集上采样,并将其作为一个新的有标签训练数据集;
2.3)将新的有标签训练图像集的数量分别设置为初始有标签数据图像集数量的50%、25%、12.5%;
2.4)将不同百分比的有标签训练数据集和无标签训练样本集依次输入到SAR目标鉴别网络N-S、N-S-U和Net-proposed进行训练,分别得到训练好的网络模型;
2.5)依次将四幅测试图像的测试样本输入到训练好的SAR目标鉴别网络模型中测试,并得到检测率pd、虚警率pf和平均鉴别准确率pc,结果如表3;
表3具有不同数量有标签训练数据的不同SAR目标鉴别网络的鉴别结果(%)
表3的结果验证了不同数量的有标签训练数据集对三种网络鉴别性能的影响,从实验结果可以看出,与网络N-S和N-S-U相比,本发明提出的方法所构建的鉴别网络Net-proposed在具有相同数量的有标签训练样本集时,在四幅测试图像上均获得了更好的鉴别结果;本实验验证了本发明提出的基于KL散度特征约束和半监督学习策略,在一定程度上减轻了有标签训练数据有限导致的过拟合问题,并且提出的方法也使得SAR目标鉴别网络的鉴别性能也有所提升。
实验三:本发明与现有方法的对比实验
3.1)申请公布号为CN 106874889A,名称为“基于卷积神经网络的多特征融合SAR目标鉴别方法”的专利申请,公开了一种基于CNN的SAR图像目标鉴别方法,其鉴别性能优于传统方法,本实验根据其专利申请构建SAR目标鉴别网络,记为Mul-CNN;
3.2)文献“S.Chen,H.Wang,F.Xu,and Y.-Q.Jin,‘Target classification usingthe deep convolutional networks for SAR images’,IEEE Trans.Geosci.RemoteSens.,vol.54,no.8,pp.4806–4817,Aug.2016”提出了一种新的全卷积神经网络,其是SAR目标分类任务中的代表性方法,本实验根据该方法构建的SAR目标鉴别网络与作者设计结构相同,仅将最后一层的输出数从10改为2,网络输入的图像大小从90*90转换为88*88,记该鉴别网络为A-CNN;
3.3)文献“T.Salimans,I.Goodfellow,W.Zaremba,and V.Cheung,“ImprovedTechniques for training GANs,”in Proc.Adv.Neural Inf.Process.Syst.(NIPS),2016”提出了一种生成对抗网络,其为解决有限训练数据问题提供了新思路,本实验根据其方法构建SAR目标鉴别网络,记为SSGAN;
3.4)由本发明提出方法构建的网络记为Net-proposed;
3.5)分别从图3中的四幅图像中获取测试样本集和无标签训练样本集;
3.6)从测试图像所对应的剩余三幅图像中获取初始的有标签训练样本集;
3.7)将相应的训练样本依次输入到SAR目标鉴别网络Mul-CNN、A-CNN、SSGAN和Net-proposed进行训练,分别得到训练好的网络模型;
3.8)对于图3的每幅测试图像,依次将测试样本输入到训练好的SAR目标鉴别网络模型中测试,得到检测率pd、虚警率pf和平均鉴别准确率pc,结果如表4;
表4不同SAR目标鉴别方法的鉴别结果(%)
由表4可以看出,本发明所提出的方法在四幅测试图像上均优于其他三种方法;与本发明的方法相比,SSGAN提出方法中的半监督学习策略对于解决本实验数据中有限标记训练数据集的问题不够有效。
从上述三个实验结果可以看出,相对于现有的SAR目标鉴别方法,本发明提出的方法在解决有限有标签数据的问题上,取得了更好的性能,并提升了SAR目标鉴别网络的鉴别性能。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利求保护范围之内。
Claims (6)
1.一种基于半监督学习和特征约束的SAR目标鉴别方法,其特征在于,包括如下:
(1)构建新的训练集Φ′:
对训练集Φ中的每个有标签训练样本M和每个无标签的训练样本N进行Lee滤波处理,得到滤波后的有标签训练图像M′和无标签训练图像N′;
对测试集T中的每个测试样本Q进行Lee滤波得到滤波后新的测试图像Q′;
将新的测试图像Q′与滤波后的有标签训练图像M′和无标签训练图像N′一起构成新的训练集Φ′;
2)构建基于特征约束的半监督SAR目标鉴别网络Ψ:
该网络包括分类网络Net-S和重构网络Net-U两个部分:
2a)构建重构网络Net-U部分:
重构网络依次包括三层卷积层和三层反卷积层,即第一层卷积层L1、第二层卷积层L2、第三层卷积层L3、第四层反卷积层L4、第五层反卷积层L5、第六层反卷积层L6,并在每个卷积层后面使用ReLU函数作为激活函数;
2b)构建具有特征约束的分类网络Net-S部分:
分类网络依次包含三层卷积层、一层最大池化层、一层卷积层、一层全连接层和一层softmax分类器层,并且分类网络的前三层卷积层与重构网络的前三层卷积层是共享的,即第一卷积层L1、第二层卷积层L2、第三层卷积层L3、第四层最大池化层C4、第五层卷积层C5、第六层全连接层C6、第七层softmax分类器C7,且在每个卷积层和全连接层后面使用ReLU函数作为激活函数;
2c)基于KL散度对分类网络Net-S增加特征约束:
为使有标签数据集和测试数据集分布接近,对分类网络Net-S的第六层全连接层C6的每一个神经元的平均激活度施加特征约束项LossKL,j表示全连接层C6的第j个神经元;其中分类网络Net-S的特征约束项LossKL设置如下:
式中为有标签训练图像M′,为新的测试图像Q′;为分类网络Net-S输入图像时,分类网络第六层全连接层C6的第j个神经元的输出;为分类网络Net-S输入图像时,分类网络第六层全连接层C6的第j个神经元的输出;m表示有标签训练图像M′的个数,g表示新的测试图像Q′的个数;分别表示有标签训练图像集M′和测试图像集Q′输入分类网络Net-S时,第六层全连接层的第j个隐藏单元的平均激活度,j=1,...,1000;
2c2)根据2c1)的结果计算分类网络Net-S的特征约束项LossKL:
(3)构建SAR目标鉴别网络Ψ的损失函数Lossall:
3a)设重构网络Net-U的重构损失为LossU,并利用无标签训练图像N′训练该重构网络,使得重构网络的损失函数LossU最小化;
3b)设分类网络Net-S的分类损失为LossS,并使用有标签训练图像M′训练该分类网络,使得分类网络的分类损失LossS最小化;
3c)在最小化重构网络Net-U的重构损失LossU和分类网络Net-S的分类损失LossS的同时,最小化分类网络Net-S的特征约束项LossKL,得到SAR目标鉴别网络Ψ的损失函数为Lossall=LossU+LossS+LossKL;
(4)将新的训练集Φ′输入到构建好的SAR目标鉴别网络Ψ中进行训练,得到训练好的网络架构Ψ′;
(5)将新的测试图像集Q′输入到训练好的SAR目标鉴别网络Ψ′中,得到最终的目标鉴别结果。
2.根据权利要求1所述的方法,其中步骤2a)中重构网络Net-U的各层参数设置如下:
第二层卷积层L2,其卷积核K2的窗口大小为3×3,滑动步长S2为2,用于对第一层卷积层L1输出的64个特征图进行卷积,输出64个特征图k表示第k个特征图,k=1,...,64,该层输出作为第三层卷积层L3的输入;
第四层反卷积层L4,其卷积核K4的窗口大小为3×3,滑动步长S4为2,用于对第三层卷积层L3输出的128个特征图进行反卷积,输出64个特征图p表示第p个特征图,p=1,...,64,该层输出作为第五层反 卷积层L5的输入;
第五层反卷积层L5,其卷积核K5的窗口大小为3×3,滑动步长S5为2,用于对第四层反卷积层L4输出的64个特征图进行反卷积,输出64个特征图q表示第q个特征图,q=1,...,64,该层输出作为第六层反 卷积层L6的输入;
3.根据权利要求1所述的方法,其中步骤2b)中分类网络Net-S的各层参数设置如下:
分类网络Net-S的前三层卷积层与重构网络Net-U的前三层卷积层是共享的,即第一层卷积层L1、第二层卷积层L2、第三层卷积层L3;第四层最大池化层C4,其池化窗口P大小为2×2,滑动步长S4为2,用于对第三层卷积层L3输出的128个特征图进行最大池化的操作,输出128个池化后的特征图l表示第l个特征图,该层输出作为第五层卷积层的输入;
第五层卷积层C5,其卷积核K5的窗口大小为3×3,滑动步长S5为2,用于对第四层最大池化层C4输出的128个特征图进行卷积,输出256个特征图k表示第k个特征图,该层输出作为第六层全连接层C6的输入;
第六层全连接层C6,其有1000个神经元,用于将第五层卷积层C5输出的特征图分别拉成列向量进行串联拼接得到n维列向量Z,n维列向量Z与该全连接层的权值矩阵和偏置进行非线性变换,输出一个1000维列向量该层输出作为第七层softmax分类器层C7的输入;
6.根据权利要求1所述的方法,其中步骤(4)将新的训练集Φ′输入到构建好的SAR目标鉴别网络Ψ中进行训练,其实现如下;
4a)按批次将新的训练集Φ′输入到SAR目标鉴别网络Ψ中;
4b)采用反向传播算法和随机梯度下降法来优化SAR目标鉴别网络Ψ的损失函数Lossall,使损失函数Lossall最小化,得到训练好的网络架构Ψ′。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911133316 | 2019-11-19 | ||
CN2019111333167 | 2019-11-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111126361A CN111126361A (zh) | 2020-05-08 |
CN111126361B true CN111126361B (zh) | 2022-04-19 |
Family
ID=70493560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010143832.4A Active CN111126361B (zh) | 2019-11-19 | 2020-03-04 | 基于半监督学习和特征约束的sar目标鉴别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126361B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950198B (zh) * | 2020-08-10 | 2024-02-02 | 北京环境特性研究所 | 一种基于神经网络的地杂波仿真方法 |
CN112115916B (zh) * | 2020-09-29 | 2023-05-02 | 西安电子科技大学 | 域适应Faster R-CNN半监督SAR检测方法 |
CN112686305A (zh) * | 2020-12-29 | 2021-04-20 | 深圳龙岗智能视听研究院 | 一种自监督学习辅助下的半监督学习方法及系统 |
CN114372941B (zh) * | 2021-12-16 | 2024-04-26 | 佳源科技股份有限公司 | 一种低光照图像增强方法、装置、设备及介质 |
CN114331821B (zh) * | 2021-12-29 | 2023-09-22 | 中国人民解放军火箭军工程大学 | 一种图像转换方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6671391B1 (en) * | 2000-05-26 | 2003-12-30 | Microsoft Corp. | Pose-adaptive face detection system and process |
CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
CN105389821A (zh) * | 2015-11-20 | 2016-03-09 | 重庆邮电大学 | 一种基于云模型和图割相结合的医学图像分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160055292A1 (en) * | 2014-08-21 | 2016-02-25 | Georgia Tech Research Corporation | Methods for quantitative analysis of cell spatial trajectories |
US20160259887A1 (en) * | 2015-03-03 | 2016-09-08 | Nec Laboratories America, Inc. | Knowledge Based Factorized High Order Sparse Learning Models |
-
2020
- 2020-03-04 CN CN202010143832.4A patent/CN111126361B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6671391B1 (en) * | 2000-05-26 | 2003-12-30 | Microsoft Corp. | Pose-adaptive face detection system and process |
CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
CN105389821A (zh) * | 2015-11-20 | 2016-03-09 | 重庆邮电大学 | 一种基于云模型和图割相结合的医学图像分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111126361A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126361B (zh) | 基于半监督学习和特征约束的sar目标鉴别方法 | |
Albattah et al. | A novel deep learning method for detection and classification of plant diseases | |
Li et al. | Hyperspectral image reconstruction by deep convolutional neural network for classification | |
CN109685115B (zh) | 一种双线性特征融合的细粒度概念模型及学习方法 | |
CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
CN109002755B (zh) | 基于人脸图像的年龄估计模型构建方法及估计方法 | |
Zhao et al. | SEV‐Net: Residual network embedded with attention mechanism for plant disease severity detection | |
CN111160273A (zh) | 一种高光谱图像空谱联合分类方法及装置 | |
CN106709528A (zh) | 基于多目标函数深度学习的车辆重识别方法及装置 | |
CN112529005B (zh) | 基于语义特征一致性监督金字塔网络的目标检测方法 | |
CN111783841A (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
Pushpa et al. | Plant disease detection and classification using deep learning model | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN104573699A (zh) | 基于中等场强磁共振解剖成像的实蝇识别方法 | |
CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
Gautam et al. | ESDNN: A novel ensembled stack deep neural network for mango leaf disease classification and detection | |
CN112052758A (zh) | 基于注意力机制和循环神经网络的高光谱图像分类方法 | |
Shah et al. | A cascaded design of best features selection for fruit diseases recognition | |
CN115273072A (zh) | 基于改进Yolov5s模型的苹果叶片病害检测方法 | |
Kaur et al. | Performance analysis of segmentation models to detect leaf diseases in tomato plant | |
Dalal et al. | Compression and reinforce variation with convolutional neural networks for hyperspectral image classification | |
Thapa et al. | Deep learning for breast cancer classification: Enhanced tangent function | |
CN117036904A (zh) | 注意力引导的半监督玉米高光谱图像数据扩充方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |