CN114997238A - 一种基于分布矫正的sar目标识别方法及装置 - Google Patents
一种基于分布矫正的sar目标识别方法及装置 Download PDFInfo
- Publication number
- CN114997238A CN114997238A CN202210729188.8A CN202210729188A CN114997238A CN 114997238 A CN114997238 A CN 114997238A CN 202210729188 A CN202210729188 A CN 202210729188A CN 114997238 A CN114997238 A CN 114997238A
- Authority
- CN
- China
- Prior art keywords
- feature
- sample
- network
- target
- sar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分布矫正的SAR目标识别方法及装置,获取方位角不完备的SAR图像训练样本集;对于方位角不完备的SAR图像训练样本集中的每个训练样本,采用特征输出模块提取训练样本的融合特征,并将融合特征作为分类器的输入;其中,特征输出模块包括编码器网络、语义变换网络和生成对抗网络;对特征输出模块和分类器进行交替优化,得到优化后的分类器;基于优化后的分类器对SAR目标图像进行目标识别;本发明通过对已有数据的与方位角相关特征进行平滑变化,丰富分类器的训练样本数据集,并通过该训练样本集提升分类器的分类精度。
Description
技术领域
本发明属于合成孔径雷达目标识别技术领域,尤其涉及一种基于分布矫正的 SAR目标识别方法及装置。
背景技术
合成孔径雷达(SAR)自动目标识别(ATR)方法,在军事侦察、监控领域有着重要的意义。由于SAR独特的成像机制,对方位角非常敏感,其不同方位角下的目标图像呈现的信息量存在较大差异(一般仅在5度范围内目标特性保持稳定)。
因此,现有的目标识别方法都是假设可获取到比较完备的方位角(0-360°) 观测下的SAR目标样本这一基本条件。但是,在实际探测环境中很难收集到完备的方位角下的SAR目标样本,即称此种情况下的训练样本的分布是存在分布偏移的,那么,直接在具有分布偏移的目标样本基础上构建的目标识别模型(即分类器)是存在极大的偏差的,会导致目标识别精度大大地降低,这极大的影响了目标识别方法在实际场景中的应用。
发明内容
本发明的目的是提供一种基于分布矫正的SAR目标识别方法及装置,通过对已有数据的与方位角相关特征进行平滑变化,丰富分类器的训练样本数据集,并通过该训练样本集提升分类器的分类精度。
本发明采用以下技术方案:一种基于分布矫正的SAR目标识别方法,包括以下步骤:
获取方位角不完备的SAR图像训练样本集;
对于方位角不完备的SAR图像训练样本集中的每个训练样本,采用特征输出模块提取训练样本的融合特征,并将融合特征作为分类器的输入;其中,特征输出模块包括编码器网络、语义变换网络和生成对抗网络;
对特征输出模块和分类器进行交替优化,得到优化后的分类器;
基于优化后的分类器对SAR目标图像进行目标识别。
进一步地,编码器网络包括编码器和解码器,编码器用于从训练样本中提取第一特征和第二特征,解码器用于将第一特征和第二特征进行融合,并重构输出与训练样本对应的第一重构样本;
编码器由依次连接的四层第一卷积层和三层线性结构层构成;
解码器由依次连接的三层反卷积层构成。
进一步地,语义变换网络用于将离散的第二特征进行平滑处理,得到第三特征,再将第三特征和第一特征进行融合,得到融合特征;
语义变换网络由依次连接的四层第二卷积层构成。
进一步地,生成对抗网络包含生成器和判别器;
生成器用于获取融合特征,并根据融合特征生成第二重构样本;
生成器由依次连接的三层反卷积层构成;
判别器用于获取第一重构样本和第二重构样本并辨别;
判别器由依次连接的五层第三卷积层和两层最大池化层构成。
进一步地,编码器网络的损失函数由方位角回归估计损失Lθ、交叉熵损失函数Lc、正交正则损失函数Lorth和均值差异损失函数构成Lr,且有:
Lθ=Ex,θ[(cosθ-coszθ)2+(sinθ-sinzθ)2∣x],
Lc=Ex,y[-y*logP(zc∣x)],
Lorth=Ex,y[||zc⊙zθ||1],
Lr=Ex,y[||x-D([zc,zθ])||2],
其中,Ex,θ表示方位角为θ的训练样本x的期望,zθ为第二特征,x为训练样本,Ex,y表示训练样本x的标签为y的期望,y为训练样本的标签,zc为第一特征, P(zc∣x)表示从训练样本x得到zc的条件概率,D([zc,zθ])为第一重构样本。
进一步地,语义变换网络和生成对抗网络的损失函数由判别器损失函数LDis和生成器损失函数LG构成,且有:
Ls=Lncc(G(zc+αw)-D([zc,zθ])),
其中,z为融合特征,α为尺度因子,Ez,α表示尺度因子为α融合特征为z的期望,G(zc+αw)为第二重构样本,Dis(G(zc+αw))]为判别器对第二重构样本的计算结果,Dis(D([zc,zθ]))为判别器对第一重构样本的计算结果,x′v(a,b)表示用网格方阵a×b对x′v进行遍历时对应窗口的像素值,x′v=D([zc,zθ]),表示第一重构样本的像素值平均值,x″v(a,b)表示用网格方阵a×b对x″v进行遍历时对应窗口的像素值,表示第二重构样本的像素值平均值。
进一步地,交替优化时的损失函数为:
其中,L2为分类器的损失函数,L1为生成对抗网络的损失函数,CL(zc+αw,y) 表示融合特征对应的标签和训练样本的真实标签之间的交叉熵损失函数。
本发明的另一种技术方案:一种基于分布矫正的SAR目标识别装置,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的一种基于连续学习的遥感图像场景分类方法。
本发明的有益效果是:本发明通过提取SAR图像训练样本融合特征,在根据融合特征来训练分类器,同时将分类器和特征输出模块进行联合交替优化,可以用分类器来引导特征输出模块的解集,可以得到更准、方位角更完备的融合特征,训练出准确度更高的分类器,以提升SAR图像的目标识别精度。
附图说明
图1为本发明实施例一种基于分布矫正的SAR目标识别方法的流程示意图;
图2为本发明实施例中完备方位角目标样本和不完备方位角目标样本的对比示意图;
图3为本发明实施例中语义变换网络的效果图;
图4为本发明实施例中分布矫正前后的训练样本集示意图;
图5为本发明验证实施例中目标样本的方位角分布图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
由于难以得到目标样本完备方位角信息的SAR图像,所以,需要挖掘收集到的不完备(不连续)方位角观测下的目标样本(SAR图像)中包含的有用信息,以此来矫正训练样本的分布偏移,得到完备方位角下目标样本的分布状态,从而基于矫正后目标样本的分布状态构建目标识别模型是一个亟需解决的难题。
针对这个问题,目前主要有三种方法来解决,即数据生成、迁移学习和多视角联合学习。数据生成是一个最直接的方法来解决方位角不完备目标样本的问题,即第一阶段利用图像生成模型来生成“假”数据来填补有偏分布的补集,从而从图像样本层面上保证了样本集的完备性。其次,第二阶段在填补后的样本集上构建目标识别模型。直观理解,该方法从数据层面缓解了不完备观测的有偏分布,从而有助于减轻目标识别模型产生偏差。
数据生成类方法比较直接,但是,构建生成模型的代价较高,计算量大,且由于SAR图像的特殊性与复杂性,生成图像的质量不能有效保证,即不能保证其有效填补了已有不完备数据的补集。从而,第二阶段构建的目标识别模型的有偏性还是不能完全消除,提高目标识别模型的性能不能得到有效保证。
迁移学习也被用来解决该问题,通过将其他领域的“知识”迁移到该建模过程中加以利用。具体有利用任务相似性以及数据相关性将在光学图像或者模拟图像上训练的模型的参数来当作该问题上模型的初始化参数,来加速了模型的收敛过程,一定程度上可以缓解在分布偏移时目标识别模型产生较大的偏差。
迁移学习方法将其他领域(光学图像、模拟数据)的丰富“知识”迁移到该问题中来,但是,其他领域数据(与SAR目标图像数据缺少关联)训练的网络提取的特征具有领域独特性,因而该迁移过程不能保证对目标识别性能的提升有帮助,甚至有可能产生相反的“负”效应。其次,结合SAR图像的复杂性,基于其他领域知识的参数迁移方法使得SAR目标识别过程变得含糊不清(不可解释,难以理解)。
多视角联合学习也被用于解决该分布偏移问题,主要思想是将多个视角的数据同时输入网络,充分利用多个方位角的样本的互补信息和内在关联来进行表示学习和构建目标识别模型。多视角联合学习方法使用方位角观测间隔均匀时获取到的目标图像为训练样本,该场景设置为实验室环境比较理想,且在方位角观测间隔不均匀,且间隔大于45度时该方法性能下降明显,因此其应用范围有限。
综上可知,数据生成类方法建模代价高、计算量大,生成图像的质量不能保证,并最终导致其对改善目标识别性能的效果有限。迁移学习类方法利用其他数据领域的“知识”来加速现有模型的收敛性,但是“负”迁移导致的负面效应仍然存在,且迁移的有用“知识”的领域独特性导致现有目标识别模型的识别过程变得不可理解。多视角联合学习将方位角间隔均匀的多个方位角下的目标样本输入网络得到联合表示特征,其设定方位角间隔一般不超过45度且分布均匀导致其应用范围受到限制。
针对实际侦察、探测场景中不完备方位角观测的样本下的目标识别问题,由于SAR成像机制的特殊性,其不同方位角下的目标图像呈现的信息存在较大差异(一般仅在5度范围内目标特性保持稳定)。因此,方位角观测不完备的目标样本存在分布偏移,基于此由偏分布直接构建的目标识别模型会产生很大的偏差,这给目标识别带来很大的困难。
关于完备方位角观测的目标样本,如图2所示,图2a为完备方位角观测下的目标样本,即0~360度均匀采集目标样本的SAR图像;图2b为不完备方位角观测下的目标样本,各个方位角观测间隔较大且不均匀。
本发明公开了一种基于分布矫正的SAR目标识别方法,如图1所示,包括以下步骤:获取方位角不完备的SAR图像训练样本集;对于方位角不完备的SAR 图像训练样本集中的每个训练样本,采用特征输出模块提取训练样本的融合特征,并将融合特征作为分类器的输入;其中,特征输出模块包括编码器网络、语义变换网络和生成对抗网络;对特征输出模块和分类器进行交替优化,得到优化后的分类器;基于优化后的分类器对SAR目标图像进行目标识别。
本发明通过提取SAR图像训练样本融合特征,在根据融合特征来训练分类器,同时将分类器和特征输出模块进行联合交替优化,可以用分类器来引导特征输出模块的解集,可以得到更准、方位角更完备的融合特征,训练出准确度更高的分类器,以提升SAR图像的目标识别精度。
如图1所示,编码器网络包括编码器和解码器,编码器用于从训练样本中提取第一特征和第二特征,解码器用于将第一特征和第二特征进行融合,并重构输出与训练样本对应的第一重构样本;编码器由依次连接的四层第一卷积层(进行两次下采样且不改变特征图大小)和三层线性结构层(用于分类任务和回归任务) 构成,激活函数采用LeakyRelu(alpha=0.2);解码器由依次连接的三层反卷积层 (其大小为输入SAR图像的大小)构成。
该编码器网络的主要作用是从输入SAR图像中将影响导致分布偏移的与方位角信息有关的特征zθ分离出来。具体的,输入一张SAR图像xv,送入编码器E,输出为与目标类别有关的特征(即第一特征)及与方位角信息有关的特征(即第二特征),分别为zc和zθ。然后,将两个拼接联合特征[zc,zθ]送入解码器D重构原始目标图像,输出为xv′(即第一重构图像)。
该编码器网络主要得到两个信息分离后的特征zc和zθ,通过一个类别估计任务(交叉熵损失函数)和一个方位角信息估计任务(方位角回归估计损失)来分别实现。为了保证信息分离后的特征仍可重构会回该目标表,利用重构任务 (MSE,均值差异损失)来约束实现该目的,即一共三个目标函数约束来实现该模块的整体功能,为了进一步保证两个分支输出特征的私有独立性/去相关(促使其互不包含),特别添加正交正则惩罚损失。
更为具体的,编码器网络的损失函数由方位角回归估计损失Lθ、交叉熵损失函数Lc、正交正则损失函数Lorth和均值差异损失函数构成Lr,且有:
Lθ=Ex,θ[(cosθ-coszθ)2+(sinθ-sinzθ)2∣x],
Lc=Ex,y[-y*logP(zc∣x)],
Lorth=Ex,y[||zc⊙zθ||1],
Lr=Ex,y[||x-D([zc,zθ])||2],
其中,Ex,θ表示方位角为θ的训练样本x的期望,zθ为第二特征,x为训练样本,Ex,y表示训练样本x的标签为y的期望,y为训练样本的标签,zc为第一特征, P(zc∣x)表示从训练样本x得到zc的条件概率,D([zc,zθ])为第一重构样本。
在一个实施例中,如图1所示,语义变换网络用于将离散的第二特征进行平滑处理,得到第三特征,再将第三特征和第一特征进行融合,得到融合特征;语义变换网络由依次连接的四层第二卷积层构成(不改变特征图大小),激活函数采用LeakyRelu(alpha=0.2)。本网络的重点是将离散的、与方位角信息有关的特征变得连续,从而联合与类别有关的特征,即为矫正后的特征空间(即融合特征)。
由于现有的目标样本是不完备的方位角观测情况下采集的,因此,上一个网络中的与方位角信息有关的特征zθ存在较大的离散性(方位角缺失导致的不连续),表现为数值非常不连续,这是导致分布偏移的重要影响因素。
在该流程中,将上一个网络得到的与方位角信息有关的特征zθ输入语义变换网络T,输出为w,此处语义变换网络的功能是将之前离散性较强的zθ变得平滑/ 连续。之后再将上一个网络得到的与类别有关的特征zc和变的连续的与方位角有关的特征联合起来得到z′=zc+α·w,即为分布矫正后的特征空间(即融合特征),再将z′输入生成器G重构回图像空间,此处为矫正后的图像空间的样本,相比原始的输入SAR图像空间应该具有更多不同方位角的更具多样性的样本,记为xv″。
该网络的思想是利用深度特征线性子空间的性质,通过一个自监督生成任务约束其搜索出一条与方位角信息有关的特征的平滑变化方向,最后结合与类别有关的特征遍历该平滑变化方向,得到分布矫正后的特征空间。自监督生成任务具体为一个对抗生成任务,将与方位角信息有关的特征zθ作为语义变换网络T的输入得到平滑变化的方向w,生成器G接受z′=zc+α·w(矫正后的特征空间,遍历w 并联合与目标类别有关的特征)作为输入并生成xv″,要求其生成xv″=G(zc+αw)与最初的SAR目标图像xv同类别但方位角信息更全面的目标图像,其中结合SAR 目标图像的性质,采用归一化互相关NCC来评价和约束xv′和xv″之间的关系。
更为具体的,该语义变换网络实现的功能如图3所示,其使不完备观测样本的特征空间得到了填充。实线箭头为将原有的训练样本映射到特征空间,虚线箭头为遍历得到的平滑方向后联合与目标类别有关的特征,即为扩充生成的更具多样性的特征,从图中可以直观的看到,扩充后的特种空间得到了有效的填补。
在该实施例中,生成对抗网络包含生成器和判别器;生成器用于获取融合特征,并根据融合特征生成第二重构样本;生成器由依次连接的三层反卷积层构成,与解码器的结构相同;判别器用于获取第一重构样本和第二重构样本并辨别;判别器由依次连接的五层第三卷积层和两层最大池化层(将特征图变小)构成,激活函数采用relu。
具体的,语义变换网络和生成对抗网络的损失函数由判别器损失函数LDis和生成器损失函数LG构成,且有:
Ls=Lncc(G(zc+αw)-D([zc,zθ])),
其中,z为融合特征,α为尺度因子,以控制搜索遍历的幅度,Ez,α表示尺度因子为α融合特征为z的期望,G(zc+αw)为第二重构样本,Dis(G(zc+αw))]为判别器对第二重构样本的计算结果,Dis(D([zc,zθ]))为判别器对第一重构样本的计算结果,x′v(a,b)表示用网格方阵a×b对x′v进行遍历时对应窗口的像素值,x′v=D([zc,zθ]),表示第一重构样本的像素值平均值,x″v(a,b)表示用网格方阵a×b对x″v进行遍历时对应窗口的像素值,表示第二重构样本的像素值平均值。
另外,由上可知,经过在特征空间的设计,由于方位角有关的信息的不连续性导致的分布偏移已经得到了矫正,因此,接下来是基于矫正后的分布构建目标识别模型。此处,将前两个网络统称为表示学习的过程,而目标识别模型是基于良好的表示学习。经过对表示学习和目标识别任务关系分析,两个任务之间的学习过程应该是可以互相帮助的,良好的表示学习有助于目标识别的性能提升,而目标识别任务可以引导表示学习过程避免陷入更复杂的解空间。基于以上分析,本实施例设计了交替优化方法,来进行两部分的联合学习。
具体过程:将前一个网络输出的z′=zc+α·w,送入分类器R输出为类别预测。优化过程中,目标识别分类器的优化和前边整个表示学习过程(前两个网络)为间隔交替优化,以达到两个任务互相学习最后都到达最优的结果,优化收敛条件可以根据实际需要设计最大迭代次数或阈值。
上一个网络虽然在功能设计上具有生成更完备方位角的图像域的数据,但是不采用在图像层面构建目标识别模型,而将分布矫正后的特征空间z′=zc+α·w与后端的目标识别模型相连接,有两点原因:首先,生成高质量的可用于构建目标识别模型的图像域数据对网络的精准性要求比较高,解空间比较复杂导致其需要耗费的代价比较大;其次,高质量的合成样本的获得并不直接导致目标识别性能的提高,若一味追求合成样本的质量可能导致结果与提高目标识别性能的目的相左。
经过分析,语义变换网络的分布矫正过程与构建目标识别模型的表示学习任务间可以通过任务反馈式的信息流动促进彼此更好的优化学习。一方面,分布矫正后的特征空间与识别任务直接相连,有利于模型端到端优化,有益于正确的决策边界的形成。另一方面,通过判别式目标识别任务的引导缩小了方位角语义变换网络的解空间,避免其陷入更复杂繁琐但不必要的解集。
因此,交替优化时的损失函数(将两部分目标函数合并)为:
其中,L2为分类器的损失函数,L1为生成对抗网络的损失函数,CL(zc+αw,y) 表示融合特征对应的标签和训练样本的真实标签之间的交叉熵损失函数。
在一个实施例中,目标识别模型的网络为三层线性层,激活函数为relu。采用两阶段的交替优化来训练整个模型的参数,在第一阶段中,模型主要通过语义变换网络来将不完备的方位角下目标样本的有偏分布矫正,在第二阶段,基于矫正后的分布构建目标识别模型,从而使得模型面对实际探测场景中的任意方位角有更强的目标识别性能。
具体的,经过分布矫正的训练样本集与未经过分布矫正的训练样本集相比较,如图4所示,图4a为分布矫正前直接构建目标识别模型得到的有偏的决策边界估计,图4b为分布矫正后,基于矫正后的分布构建的目标识别模型得到的正确的决策边界。图4b中小的空心圆和空心三角为扩充得到的特征,可以看到生成的扩充特征有效的填充了的原有特征空间的补集,从而将决策边界拉回到正确的边界上,有效的解决了不完备方位角观测的目标识别问题。
另外,为了验证法实施例方法的有效性,还进行了如下验证实施例。
SAR目标图像取自美国国防高等研究计划署(DARPA)公开的SAR目标识别数据集MSTAR,DARPA通过高分辨率的聚束式合成孔径雷达采集多种苏联目标军事车辆的SAR图像,并进行了SAR实测地面目标试验,包括目标遮挡、伪装、配置变化等扩展性条件,形成了较为系统、全面的实测数据库。如图5所示,为该验证实施例中目标样本的方位角分布图,方位角分布不连续且有较大间隔。
在两个实验场景下对所本发明方法进行了验证,场景一为10类目标,场景二为3类目标(比场景一的场景更复杂,存在更多干扰因素),场景一验证方法的有效性,场景二验证其鲁棒性,实验数据如下表1和表2所示。
表1 10类SAR目标数据
表2 3类SAR目标数据
Target | 2S1 | BRDM2 | ZSU234 |
训练(17°) | 299 | 298 | 299 |
测试(30°) | 288 | 287 | 288 |
测试(45°) | 303 | 303 | 303 |
如下标3为验证本发明的两个主要创新点,语义变换网络与联合表示学习模块。为了验证其有效性,采用两个对比消融实验在10类目标上进行了验证,“Without_STN”为去掉语义增广模块,网络主要为特征分离后再将其拼接联合识别;“Multi-task-learning”为不采用联合学习的交替学习方法,直接将多个目标函数一起优化,可以看出本发明所提方法VSTNet的优越性能。
表3 消融实验的实验结果
如下表4,为本发明所提方法与现有的相关的目标识别算法在10类目标数据上进行了对比,经典的目标识别算法包括K近邻算法(KNN)、稀疏表示方法 (SRC);基于迁移学习的方法包括:VGG16和ResNet50;基于深度学习的目标识别算法:DACNN和Aconvnet;多视角联合表示学习算法有:3VDCNN,可以看出所提方法VSTNet的确有效的提高了目标识别的准确率。
表4 与不同框架的目标识别算法对比的实验结果
如下表5,将所提方法VSTNet在3类目标数据上进行了对比,由于该3类目标数据的采集环境更加复杂,因此存在更大程度的干扰,从结果分析,所提方法具有更好的鲁棒性,较好的改善了目标识别的性能。
表5
Aconvnet | VGG16 | 3VDCNN | VSTNet | |
30° | 82.50±1.24 | 85.05±2.34 | 81.07±1.52 | 88.64±0.43 |
45° | 64.51±3.00 | 55.20±7.96 | 65.96±2.61 | 69.56±0.36 |
综上所述,本发明的核心点包含三个模块:特征解缠/特征分离模块(即编码器网络);方位角语义增广模块(即语义变换网络);表示与识别联合学习模块;其中,第一个模块是关键步骤,主要的创新点是方位角语义增广模块,和表示与识别联合表示学习模块。通过第一个模块后分离出导致产生分布偏移的因素,即目标方位角信息有关的特征。其次,设计一个自监督任务,搜索出该分支特征的平滑变化方向,通过遍历该平滑变化方向,促使目标方位角信息有关的特征呈现连续型变化,填补了其不完备方位角样本缺失的部分。最后,将其与第一个分支得到的目标类别有关的特征进行联合即为分布矫正后的特征。基于分布矫正后的特征构建目标识别模型可以避免其产生较大的偏差。又因为分布矫正过程与目标识别任务是存在互相依存关系,所以设计了联合表示学习模块,来更好的实现目标识别。
特征分离模块;将SAR图像输入该网络首先提取特征,然后将该混合特征分别输入两个分支得到两部分特征,分别为与目标类别有关的特征以及与目标方位角信息有关的特征。而约束两个分支的任务为类别估计任务(交叉熵损失函数) 以及目标方位角信息估计任务(方位角信息回归)。由于可获取的方位角的SAR 目标图像是有限的,存在不连续以及大间隔的情况,因此,目标方位角信息估计分支得到的信息是不完备的,这导致在该有偏分布上构建的目标识别模型是有很大偏差。
方位角语义增广模块;将第一阶段得到的两个分支的特征当作该模块网络的输入,由于与目标方位角信息有关的特征分支存在信息离散,结合深度特征线性子空间的特点,我们通过设计自监督生成任务,从而搜索出一条目标方位角信息连续变化的方向,通过在其上遍历,可得到连续变化的方位角信息特征。因而再联合与目标类别有关的特征,即得到了将有偏分布矫正后的分布。
表示与识别联合学习模块;实现分布矫正的过程和目标识别任务直观上感觉是两个分开的一前一后的步骤,但其实,两部分是存在互相帮助学习从而更好的完成各自的任务,因此必须采用交替联合学习的过程。该交替学习过程有两个优点:首先,利用分布矫正后的特征直接构建目标识别模型,实现了模型端到端的优化,可以获得更好的目标分类的决策边界。其次,通过判别式目标识别任务的引导缩小了方位角语义增广模块的解空间,避免其陷入更复杂但不必要的解集。
综上,本发明通过特征解缠分离出导致分布偏移的重要因素,即目标方位角信息有关的特征。针对该关键因素,设计网络搜索出其平滑变化的方向,再通过遍历该方向将其转化为连续变化的目标方位角信息有关的特征,再联合分离出的与目标类别有关的特征,即为分布矫正后的特征。基于分布矫正后的特征,通过联合学习方式得到的目标识别模型,可以有效的缓解在不完备方位角观测情况下导致的分布偏移问题,提高了目标识别的性能。
本发明提出基于分布矫正的、视角语义变换模型的SAR目标识别方法,将 SAR图像当作输入,利用特征解缠模块将混合特征分离为两个分支:与目标类别有关的特征及与目标方位角信息有关的特征。由于是方位角不完备时产生的SAR 目标图像样本,因此与方位角信息有关的特征存在较大的离散性(缺失导致的不连续性)。视角语义增广模块通过设计自监督生成任务,目的是搜索出与方位角信息有关的特征的平滑变化方向,从而通过遍历,得到连续变化的与方位角信息有关的特征。将其与类别有关的特征联合即为分布矫正后的特征。通过将前边的模块和后端的目标识别模块进行联合交替学习,从而使两个任务互相促进互相学习,实现最优的表示与目标识别。
本发明还公开了一种基于分布矫正的SAR目标识别装置,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的一种基于连续学习的遥感图像场景分类方法。
上述的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解,该装置可以包括更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器在一些实施例中可以是所述装置的内部存储单元,例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备,例如所述装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字 (Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置的具体内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。本领域普通技术人员可以意识到,结合本发明中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
Claims (8)
1.一种基于分布矫正的SAR目标识别方法,其特征在于,包括以下步骤:
获取方位角不完备的SAR图像训练样本集;
对于所述方位角不完备的SAR图像训练样本集中的每个训练样本,采用特征输出模块提取所述训练样本的融合特征,并将所述融合特征作为分类器的输入;其中,所述特征输出模块包括编码器网络、语义变换网络和生成对抗网络;
对所述特征输出模块和分类器进行交替优化,得到优化后的分类器;
基于优化后的分类器对SAR目标图像进行目标识别。
2.如权利要求1所述的一种基于分布矫正的SAR目标识别方法,其特征在于,所述编码器网络包括编码器和解码器,所述编码器用于从所述训练样本中提取第一特征和第二特征,所述解码器用于将所述第一特征和第二特征进行融合,并重构输出与所述训练样本对应的第一重构样本;
所述编码器由依次连接的四层第一卷积层和三层线性结构层构成;
所述解码器由依次连接的三层反卷积层构成。
3.如权利要求2所述的一种基于分布矫正的SAR目标识别方法,其特征在于,所述语义变换网络用于将离散的第二特征进行平滑处理,得到第三特征,再将所述第三特征和第一特征进行融合,得到所述融合特征;
所述语义变换网络由依次连接的四层第二卷积层构成。
4.如权利要求3所述的一种基于分布矫正的SAR目标识别方法,其特征在于,所述生成对抗网络包含生成器和判别器;
所述生成器用于获取所述融合特征,并根据所述融合特征生成第二重构样本;
所述生成器由依次连接的三层反卷积层构成;
所述判别器用于获取所述第一重构样本和所述第二重构样本并辨别;
所述判别器由依次连接的五层第三卷积层和两层最大池化层构成。
5.如权利要求2所述的一种基于分布矫正的SAR目标识别方法,其特征在于,所述编码器网络的损失函数由方位角回归估计损失Lθ、交叉熵损失函数Lc、正交正则损失函数Lorth和均值差异损失函数构成Lr,且有:
Lθ=Ex,θ[(cosθ-coszθ)2+(sinθ-sinzθ)2∣x],
Lc=Ex,y[-y*logP(zc∣x)],
Lorth=Ex,y[||zc⊙zθ||1],
Lr=Ex,y[||x-D([zc,zθ])||2],
其中,Ex,θ表示方位角为θ的训练样本x的期望,zθ为第二特征,x为训练样本,Ex,y表示训练样本x的标签为y的期望,y为训练样本的标签,zc为第一特征,P(zc∣x)表示从训练样本x得到zc的条件概率,D([zc,zθ])为所述第一重构样本。
6.如权利要求3或4或5所述的一种基于分布矫正的SAR目标识别方法,其特征在于,所述语义变换网络和生成对抗网络的损失函数由判别器损失函数LDis和生成器损失函数LG构成,且有:
Ls=Lncc(G(zc+αw)-D([zc,zθ])),
8.一种基于分布矫正的SAR目标识别装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的一种基于连续学习的遥感图像场景分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210729188.8A CN114997238B (zh) | 2022-06-24 | 2022-06-24 | 一种基于分布矫正的sar目标识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210729188.8A CN114997238B (zh) | 2022-06-24 | 2022-06-24 | 一种基于分布矫正的sar目标识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114997238A true CN114997238A (zh) | 2022-09-02 |
CN114997238B CN114997238B (zh) | 2023-04-07 |
Family
ID=83036922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210729188.8A Active CN114997238B (zh) | 2022-06-24 | 2022-06-24 | 一种基于分布矫正的sar目标识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114997238B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118429780A (zh) * | 2024-07-02 | 2024-08-02 | 深圳市华方信息产业有限公司 | 基于深度学习的图像处理方法、装置、计算机设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516525A (zh) * | 2019-07-01 | 2019-11-29 | 杭州电子科技大学 | 基于gan和svm的sar图像目标识别方法 |
CN112070151A (zh) * | 2020-09-07 | 2020-12-11 | 北京环境特性研究所 | 一种mstar数据图像的目标分类识别方法 |
US20210003697A1 (en) * | 2019-07-02 | 2021-01-07 | Wuyi University | Method and apparatus for end-to-end sar image recognition, and storage medium |
CN112415514A (zh) * | 2020-11-16 | 2021-02-26 | 北京环境特性研究所 | 一种目标sar图像生成方法及装置 |
CN113111909A (zh) * | 2021-03-04 | 2021-07-13 | 西北工业大学 | 一种面向训练目标视角不完备的sar目标识别的自学习方法 |
CN113111706A (zh) * | 2021-03-04 | 2021-07-13 | 西北工业大学 | 一种面向方位角连续缺失的sar目标特征解缠与识别方法 |
US20210215818A1 (en) * | 2020-01-14 | 2021-07-15 | Raytheon Company | Generative adversarial network-based target identification |
CN113298007A (zh) * | 2021-06-04 | 2021-08-24 | 西北工业大学 | 一种小样本sar图像目标识别方法 |
CN114549365A (zh) * | 2022-03-03 | 2022-05-27 | 重庆邮电大学 | 一种用于目标检测的无人机载高保真sar图像重建方法 |
-
2022
- 2022-06-24 CN CN202210729188.8A patent/CN114997238B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516525A (zh) * | 2019-07-01 | 2019-11-29 | 杭州电子科技大学 | 基于gan和svm的sar图像目标识别方法 |
US20210003697A1 (en) * | 2019-07-02 | 2021-01-07 | Wuyi University | Method and apparatus for end-to-end sar image recognition, and storage medium |
US20210215818A1 (en) * | 2020-01-14 | 2021-07-15 | Raytheon Company | Generative adversarial network-based target identification |
CN112070151A (zh) * | 2020-09-07 | 2020-12-11 | 北京环境特性研究所 | 一种mstar数据图像的目标分类识别方法 |
CN112415514A (zh) * | 2020-11-16 | 2021-02-26 | 北京环境特性研究所 | 一种目标sar图像生成方法及装置 |
CN113111909A (zh) * | 2021-03-04 | 2021-07-13 | 西北工业大学 | 一种面向训练目标视角不完备的sar目标识别的自学习方法 |
CN113111706A (zh) * | 2021-03-04 | 2021-07-13 | 西北工业大学 | 一种面向方位角连续缺失的sar目标特征解缠与识别方法 |
CN113298007A (zh) * | 2021-06-04 | 2021-08-24 | 西北工业大学 | 一种小样本sar图像目标识别方法 |
CN114549365A (zh) * | 2022-03-03 | 2022-05-27 | 重庆邮电大学 | 一种用于目标检测的无人机载高保真sar图像重建方法 |
Non-Patent Citations (4)
Title |
---|
HAOHAO REN等: "Extended convolutional capsule network with application on SAR automatic target recognition", 《SIGNAL PROCESSING》 * |
SHAOYAN DU等: "Physical-Related Feature Extraction From Simulated SAR Image Based on the Adversarial Encoding Network for Data Augmentation", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
徐英等: "基于DRGAN和支持向量机的合成孔径雷达图像目标识别", 《光学精密工程》 * |
贺丰收等: "卷积神经网络在雷达自动目标识别中的研究进展", 《电子与信息学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118429780A (zh) * | 2024-07-02 | 2024-08-02 | 深圳市华方信息产业有限公司 | 基于深度学习的图像处理方法、装置、计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114997238B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Deep hough transform for semantic line detection | |
Wang et al. | Multimodal token fusion for vision transformers | |
Chen et al. | The projected power method: An efficient algorithm for joint alignment from pairwise differences | |
US11481585B2 (en) | Segmentation of data | |
Yang et al. | Diffusion model as representation learner | |
CN110211046B (zh) | 一种基于生成对抗网络的遥感图像融合方法、系统和终端 | |
Cummins et al. | Fab-map: Appearance-based place recognition and mapping using a learned visual vocabulary model | |
Tian et al. | Cross-time and orientation-invariant overhead image geolocalization using deep local features | |
Bazin et al. | Globally optimal inlier set maximization with unknown rotation and focal length | |
Tomită et al. | Convsequential-slam: A sequence-based, training-less visual place recognition technique for changing environments | |
Probst et al. | Unsupervised learning of consensus maximization for 3D vision problems | |
CN114997238B (zh) | 一种基于分布矫正的sar目标识别方法及装置 | |
Yang et al. | Multivariate regression on the grassmannian for predicting novel domains | |
CN112529068A (zh) | 一种多视图图像分类方法、系统、计算机设备和存储介质 | |
CN113111706B (zh) | 一种面向方位角连续缺失的sar目标特征解缠与识别方法 | |
Ni et al. | Edge guidance network for semantic segmentation of high resolution remote sensing images | |
Tian et al. | Variational distillation for multi-view learning | |
Li et al. | HybridPoint: Point Cloud Registration Based on Hybrid Point Sampling and Matching | |
CN112966670A (zh) | 人脸识别方法、电子设备及存储介质 | |
Liu et al. | Depth awakens: A depth-perceptual attention fusion network for RGB-D camouflaged object detection | |
CN114998630B (zh) | 一种从粗到精的地对空图像配准方法 | |
CN116229406A (zh) | 车道线检测方法、系统、电子设备及存储介质 | |
Wu et al. | Learning age semantic factor to enhance group-based representations for cross-age face recognition | |
Huang et al. | ImGeo-VoteNet: image and geometry co-supported VoteNet for RGB-D object detection | |
Michelini et al. | Efficient wide baseline structure from motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |