CN114898159B - 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法 - Google Patents

基于解耦表征生成对抗网络的sar图像可解释性特征提取方法 Download PDF

Info

Publication number
CN114898159B
CN114898159B CN202210616508.9A CN202210616508A CN114898159B CN 114898159 B CN114898159 B CN 114898159B CN 202210616508 A CN202210616508 A CN 202210616508A CN 114898159 B CN114898159 B CN 114898159B
Authority
CN
China
Prior art keywords
scattering
feature
decoupling
component
characterization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210616508.9A
Other languages
English (en)
Other versions
CN114898159A (zh
Inventor
耿杰
张宇航
蒋雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210616508.9A priority Critical patent/CN114898159B/zh
Publication of CN114898159A publication Critical patent/CN114898159A/zh
Application granted granted Critical
Publication of CN114898159B publication Critical patent/CN114898159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于解耦表征生成对抗网络的SAR图像可解释性特征提取方法，包括以下步骤：步骤一、初始化解耦表征生成对抗网络的模型与参数；步骤二、构建极化SAR数据集，随机划分为训练集和测试集；步骤三、训练解耦表征生成对抗网络的散射特征生成器，从极化相干矩阵解耦出多维可解释性的散射分量特征；步骤四、训练解耦表征生成对抗网络的散射特征鉴别器；步骤五、利用测试集对训练好的解耦表征生成对抗网络进行测试，获得测试集SAR图像的反映目标极化散射特性的可解释性深度特征。本发明能够根据散射分量标签信息从SAR极化相关矩阵中提取出反映目标极化散射特性的可解释性深度特征，实现目标的解耦表征，提升深度网络模型特征提取的可解释性。

Description

基于解耦表征生成对抗网络的SAR图像可解释性特征提取 方法
技术领域
本发明属于SAR图像处理技术领域，具体涉及一种基于解耦表征生成对抗网络的SAR图像可解释性特征提取方法。
背景技术
作为雷达信号智能处理领域最常见的步骤之一，雷达信号特征提取目的是获得反映目标结构、质地等属性的特征。近年来，随着以深度学习为主的人工智能技术迅速发展，深度神经网络已经被广泛应用于雷达信号智能处理，特别是SAR雷达数据处理中。考虑到深度网络具有从大量数据中抽象高层语义特征的能力，典型的深度网络模型均被用于SAR图像处理，包括卷积神经网络、堆叠自动编码器和深度置信网络。深度学习优于其他传统方法的主要原因是其学习到了更好的数据表示。深度学习可以把特征和模型参数结合起来学习，而解耦表征学习要求更高，解耦表征希望学习到数据中各方面的可解释属性，最后部分属性用于特定任务。解耦表征目前已应用在人脸识别、迁移学习、图像合成等方面。
大部分前沿的解耦表征学习方法都建立在生成模型和自动编码机上。自动编码机包括编码器和解码器两部分。前者可以把数据映射到低维空间，得到该数据对应的编码，而解码器可以把该编码重新映射到数据空间。变分自动编码机是典型的自动编码机，例如深度卷积逆向图形网络(DC-IGN)利用了变分自动编码机作为基本结构，通过控制一个生成因子(例如目标的旋转角度、光照角度)，依靠其在样本中的改变来让模型学习这个因子，其通过最大化数据对数似然的证据下界以使得模型拟合数据。生成对抗模型是一类重要的生成模型的学习方法。其主要思想是通过训练一个判别器以指导生成器进行学习。例如InfoGAN是基于生成模型来直接学习属性值的表示则完成了解耦表征。值得注意的是，目前解耦表征学习模型的训练比较依靠数据集生成因子的显著性，如CUB数据集每种鸟类的图像数量大，类别之间特征变化显著易提取生成因子。目前解耦表征学习在SAR图像处理领域成果尚少。
针对典型深度学习网络提取的SAR图像特征不具有解释性，导致在实际雷达信息应用中利用深度网络模型存在潜在威胁。目前针对SAR图像可解释性特征的提取，并没有有效方法，因此亟需一种雷达信息处理的可解释深度学习模型与方法，提取目标的本征属性，提高雷达信息处理模型的可解释性。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于解耦表征生成对抗网络的SAR图像可解释性特征提取方法，其结构简单、设计合理。与常见的VGG，Resnet特征提取网络不同，该解耦网络采用深度方向上和空间上可分离的卷积，避免了特征提取过程中空间和通道的耦合，这样更利于提取解耦特征；该散射特征生成网络框架为“编码-解码”的结构，将散射分量标签信息输入解码器的隐藏层特征，通过该约束信息来控制生成因子(散射分量类别)。对解耦网络不断进行对抗训练之后，依靠样本中散射分量特征的改变来让模型学习生成因子。该模型用不同的散射分量标签来代表不同的散射特征类别，从而指导解耦网络生成不同种类的散射分量特征。若将不同散射分量标签对应的解耦特征进行组合，就可以得到SAR图像的多维可解释性深度特征，可以反映目标的极化散射特性。
为解决上述技术问题，本发明采用的技术方案是：基于解耦表征生成对抗网络的SAR图像可解释性特征提取方法，其特征在于：包括以下步骤：
步骤一、初始化解耦表征生成对抗网络的模型与参数；
步骤二、构建极化SAR数据集，随机划分为训练集和测试集；
步骤201、将极化SAR原始数据转化为极化相干矩阵T3，利用Pauli极化分解模型提取极化SAR的散射分量特征Fi，i＝1,2,…,k；
步骤202、生成各个极化SAR散射分量特征的分量标签yi；
步骤203、将极化SAR的极化相干矩阵、散射分量特征、分量标签构成的数据集随机划分为训练集和测试集；
步骤三、训练解耦表征生成对抗网络的散射特征生成器，从极化相干矩阵解耦出多维可解释性的散射分量特征；
步骤301、将训练集的极化相干矩阵T3输入到散射特征生成器G的深度可分离编码层Genc，深度可分离编码层先做逐点卷积映射通道相关性，再做深度卷积映射空间相关性，获得解耦编码特征Genc(T3)，避免空间维和通道维特征的耦合；
步骤303、将解耦编码特征Genc(T3)、散射分量标签yi、随机高斯噪声z输入到散射特征生成器的深度可分离解码层Gdec，利用散射分量标签信息作为约束，得到生成的特征
步骤304、将生成的散射分量特征输入到散射特征鉴别器D，鉴别器D的输出为k+2维的预测概率{p1,p2,...,pk+1,pk+2}，其中前k维表示散射分量的分类预测概率，最后2维表示真伪预测概率；
步骤305、计算散射特征生成器的总损失函数用于更新生成器的参数，总损失函数的计算公式定义如下:
其中，第一项LG表示对抗损失，用于约束散射特征生成器拟合出高质量的解耦特征，第二项LC表示散射分量分类预测的损失，用于增强生成的解耦特征与散射分量类别的相关程度，第三项LF表示特征一致性损失，用于减小生成的解耦特征与真实散射特征之间的差异；公式中Dcls表示散射特征鉴别器前k维的分类预测输出{p1,p2,...,pk}，Dr表示散射特征鉴别器最后2维的真伪预测输出{pk+1,pk+2}，x表示输入散射特征生成器G的极化相干矩阵T3，y表示散射分量特征对应的分量标签，z代表随机高斯噪声，W表示散射分量特征F的宽度，H表示散射分量特征F的高度，(j,k)表示散射分量特征的像素点位置，Fj,k表示在像素点位置(j,k)的特征值；
步骤四、训练解耦表征生成对抗网络的散射特征鉴别器；
步骤401、将真实散射分量特征Fi输入到散射特征鉴别器D，鉴别器D的输出为k+2维的预测概率{p1,p2,...,pk+1,pk+2}，其中前k维表示散射分量的分类预测概率，最后2维表示真伪预测概率；
步骤402、计算散射特征鉴别器的总损失函数用于更新鉴别器的参数，总损失函数的计算公式定义如下:
其中，L′D表示对抗损失，用于增强散射特征鉴别器的区分生成特征真伪的能力，L′C表示散射分量分类预测的损失，用于增强真实散射分量特征与散射分量类别的相关程度；公式中Dcls表示散射特征鉴别器前k维的分类预测输出{p1,p2,...,pk}，Dr表示散射特征鉴别器最后2维的真伪预测输出{pk+1,pk+2}，x表示输入散射特征生成器G的极化相干矩阵T3，y表示散射分量特征对应的分量标签，F代表散射分量特征,z代表随机高斯噪声；
步骤五、利用测试集对训练好的解耦表征生成对抗网络进行测试，获得测试集SAR图像的反映目标极化散射特性的可解释性深度特征；
步骤501、按照步骤三、步骤四进行迭代训练，完成训练后保存解耦表征生成对抗网络的参数；
步骤502、从测试集SAR图像中选取极化相干矩阵T3，将极化相干矩阵T3、散射分量标签yi、随机高斯噪声z输入到散射特征生成器，获得散射分量标签yi对应的解耦特征反映了相应的目标极化散射特性；
步骤503、将不同散射分量标签yi对应的解耦特征进行组合，从而得到测试集SAR图像的多维可解释性深度特征，可以反映目标的极化散射特性。
本发明与现有技术相比具有以下优点：
1、本发明的结构简单、设计合理，实现及使用操作方便。
2、本发明能够根据散射分量标签信息从SAR极化相关矩阵中提取出反映目标极化散射特性的可解释性深度特征，实现目标的解耦表征，提升深度网络模型特征提取的可解释性。
综上所述，本发明结构简单、设计合理，只需给解耦网络输入散射分量类别标签就可以从极化相关矩阵中提取到对应的散射分量特征，可操作性强。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图。
图2为本发明的生成器结构示意图。
图3为本发明的鉴别器结构示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
如图1所示，本发明的基于解耦表征生成对抗网络的SAR图像可解释性特征提取方法，包括以下步骤：
步骤一、初始化解耦表征生成对抗网络的模型与参数；
具体实施时，需要设置深度学习Adam优化器的学习率与衰减速率，设置模型的最大训练迭代轮次、散射特征生成器与散射特征鉴别器训练的迭代间隔；需要说明的是，所述散射特征生成器用于提取解耦特征，散射特征鉴别器用于散射分量特征分类与真伪判别。
步骤二、构建极化SAR数据集，随机划分为训练集和测试集；
步骤201、将极化SAR原始数据转化为极化相干矩阵T3，利用Paul i极化分解模型提取极化SAR的散射分量特征Fi，i＝1,2,…,k；
步骤202、生成各个极化SAR散射分量特征的分量标签yi；
步骤203、将极化SAR的极化相干矩阵、散射分量特征、分量标签构成的数据集随机划分为训练集和测试集；
步骤三、训练解耦表征生成对抗网络的散射特征生成器，从极化相干矩阵解耦出多维可解释性的散射分量特征；
步骤301、将训练集的极化相干矩阵T3输入到散射特征生成器G的深度可分离编码层Genc，深度可分离编码层先做逐点卷积映射通道相关性，再做深度卷积映射空间相关性，获得解耦编码特征Genc(T3)，避免空间维和通道维特征的耦合；
步骤303、将解耦编码特征Genc(T3)、散射分量标签yi、随机高斯噪声z输入到散射特征生成器的深度可分离解码层Gdec，利用散射分量标签信息作为约束，得到生成的特征
需要说明的是，基于解耦表征生成对抗网络的散射特征生成器G框架如图2所示。步骤302、步骤303中所述的散射特征生成器G的网络结构依次为：输入层→DSC→下采样层→残差DSC→下采样层→残差DSC→全连接层→DSC→上采样层→残差DSC→上采样层→DSC→Sigmoid层。其中输入层到全连接层之前为散射特征编码网络Genc，全连接层到Sigmoid层为散射特征解码网络Gdec，DSC表示深度方向上和空间上可分离的卷积层。
具体实施时，散射特征生成器G的输入为(9，128，128)的极化相关矩阵T3，经过三次DSC和两次下采样操作后得到维度为(192，32，32)的解耦编码特征，再将解耦编码特征、维度为(k,32,32)的散射分量标签以及维度为(30,32,32)的随机高斯噪声在通道方向上拼接后输入全连接层得到维度为(192，32，32)的张量，之后经过三次DSC、两次上采样、Sigmoid激活函数后得到维度为(1，128，128)的散射分量特征。
步骤304、将生成的散射分量特征输入到散射特征鉴别器D，鉴别器D的输出为k+2维的预测概率{p1,p2,...,pk+1,pk+2}，其中前k维表示散射分量的分类预测概率，最后2维表示真伪预测概率；
步骤305、计算散射特征生成器的总损失函数用于更新生成器的参数，总损失函数的计算公式定义如下:
需要说明的是，第一项LG表示对抗损失，用于约束散射特征生成器拟合出高质量的解耦特征，第二项LC表示散射分量分类预测的损失，用于增强生成的解耦特征与散射分量类别的相关程度，第三项LF表示特征一致性损失，用于减小生成的解耦特征与真实散射特征之间的差异；公式中Dcls表示散射特征鉴别器前k维的分类预测输出{p1,p2,...,pk}，Dr表示散射特征鉴别器最后2维的真伪预测输出{pk+1,pk+2}，x表示输入散射特征生成器G的极化相干矩阵T3，y表示散射分量特征对应的分量标签，z代表随机高斯噪声，W表示散射分量特征F的宽度，H表示散射分量特征F的高度，(j,k)表示散射分量特征的像素点位置，Fj,k表示在像素点位置(j,k)的特征值；
步骤四、训练解耦表征生成对抗网络的散射特征鉴别器；
步骤401、将真实散射分量特征Fi输入到散射特征鉴别器D，鉴别器D的输出为k+2维的预测概率{p1,p2,...,pk+1,pk+2}，其中前k维表示散射分量的分类预测概率，最后2维表示真伪预测概率。
需要说明的是，基于解耦表征生成对抗网络的散射特征鉴别器D框架如图3所示，该网络结构依次为：全连接层→DSC→下采样层→残差DSC→下采样层→残差DSC→池化层→softmax分类器。
具体实施时，散射特征鉴别器D的输入为(1，128，128)的合成散射分量特征或真实散射分量特征，经过全连接层、三次DSC、两次下采样、池化层后得到维度为(192，1)的张量，再将其输入到分类器Dr和分类器Dcls，Dr输出为散射分量特征的类别预测概率，Dcls输出为散射分量特征的真伪预测概率。
步骤402、计算散射特征鉴别器的总损失函数用于更新鉴别器的参数，总损失函数的计算公式定义如下:
需要说明的是，L′D表示对抗损失，用于增强散射特征鉴别器的区分生成特征真伪的能力，L′C表示散射分量分类预测的损失，用于增强真实散射分量特征与散射分量类别的相关程度；公式中Dcls表示散射特征鉴别器前k维的分类预测输出{p1,p2,...,pk}，Dr表示散射特征鉴别器最后2维的真伪预测输出{pk+1,pk+2}，x表示输入散射特征生成器G的极化相干矩阵T3，y表示散射分量特征对应的分量标签，F代表散射分量特征,z代表随机高斯噪声；
步骤五、利用测试集对训练好的解耦表征生成对抗网络进行测试，获得测试集SAR图像的反映目标极化散射特性的可解释性深度特征；
步骤501、按照步骤三、步骤四进行迭代训练，完成训练后保存解耦表征生成对抗网络的参数；
步骤502、从测试集SAR图像中选取极化相干矩阵T3，将极化相干矩阵T3、散射分量标签yi、随机高斯噪声z输入到散射特征生成器，获得散射分量标签yi对应的解耦特征反映了相应的目标极化散射特性；
步骤503、将不同散射分量标签yi对应的解耦特征进行组合，从而得到测试集SAR图像的多维可解释性深度特征，可以反映目标的极化散射特性。
以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (1)

1.基于解耦表征生成对抗网络的SAR图像可解释性特征提取方法，其特征在于：包括以下步骤：
步骤一、初始化解耦表征生成对抗网络的模型与参数；
步骤二、构建极化SAR数据集，随机划分为训练集和测试集；
步骤201、将极化SAR原始数据转化为极化相干矩阵T3，利用Pauli极化分解模型提取极化SAR的散射分量特征Fi，i＝1,2,…,k；
步骤202、生成各个极化SAR散射分量特征的分量标签yi；
步骤203、将极化SAR的极化相干矩阵、散射分量特征、分量标签构成的数据集随机划分为训练集和测试集；
步骤三、训练解耦表征生成对抗网络的散射特征生成器，从极化相干矩阵解耦出多维可解释性的散射分量特征；
步骤301、将训练集的极化相干矩阵T3输入到散射特征生成器G的深度可分离编码层Genc，深度可分离编码层先做逐点卷积映射通道相关性，再做深度卷积映射空间相关性，获得解耦编码特征Genc(T3)，避免空间维和通道维特征的耦合；
步骤303、将解耦编码特征Genc(T3)、散射分量标签yi、随机高斯噪声z输入到散射特征生成器的深度可分离解码层Gdec，利用散射分量标签信息作为约束，得到生成的特征
步骤304、将生成的散射分量特征输入到散射特征鉴别器D，鉴别器D的输出为k+2维的预测概率{p1,p2,...,pk+1,pk+2}，其中前k维表示散射分量的分类预测概率，最后2维表示真伪预测概率；
步骤305、计算散射特征生成器的总损失函数用于更新生成器的参数，总损失函数的计算公式定义如下:
其中，第一项LG表示对抗损失，用于约束散射特征生成器拟合出高质量的解耦特征，第二项LC表示散射分量分类预测的损失，用于增强生成的解耦特征与散射分量类别的相关程度，第三项LF表示特征一致性损失，用于减小生成的解耦特征与真实散射特征之间的差异；公式中Dcls表示散射特征鉴别器前k维的分类预测输出{p1,p2,...,pk}，Dr表示散射特征鉴别器最后2维的真伪预测输出{pk+1,pk+2}，x表示输入散射特征生成器G的极化相干矩阵T3，y表示散射分量特征对应的分量标签，z代表随机高斯噪声，W表示散射分量特征F的宽度，H表示散射分量特征F的高度，(j,k)表示散射分量特征的像素点位置，Fj,k表示在像素点位置(j,k)的特征值；
步骤四、训练解耦表征生成对抗网络的散射特征鉴别器；
步骤401、将真实散射分量特征Fi输入到散射特征鉴别器D，鉴别器D的输出为k+2维的预测概率{p1,p2,...,pk+1,pk+2}，其中前k维表示散射分量的分类预测概率，最后2维表示真伪预测概率；
步骤402、计算散射特征鉴别器的总损失函数用于更新鉴别器的参数，总损失函数的计算公式定义如下:
其中，L′D表示对抗损失，用于增强散射特征鉴别器的区分生成特征真伪的能力，L′C表示散射分量分类预测的损失，用于增强真实散射分量特征与散射分量类别的相关程度；公式中Dcls表示散射特征鉴别器前k维的分类预测输出{p1,p2,...,pk}，Dr表示散射特征鉴别器最后2维的真伪预测输出{pk+1,pk+2}，x表示输入散射特征生成器G的极化相干矩阵T3，y表示散射分量特征对应的分量标签，F代表散射分量特征,z代表随机高斯噪声；
步骤五、利用测试集对训练好的解耦表征生成对抗网络进行测试，获得测试集SAR图像的反映目标极化散射特性的可解释性深度特征；
步骤501、按照步骤三、步骤四进行迭代训练，完成训练后保存解耦表征生成对抗网络的参数；
步骤502、从测试集SAR图像中选取极化相干矩阵T3，将极化相干矩阵T3、散射分量标签yi、随机高斯噪声z输入到散射特征生成器，获得散射分量标签yi对应的解耦特征反映了相应的目标极化散射特性；
步骤503、将不同散射分量标签yi对应的解耦特征进行组合，从而得到测试集SAR图像的多维可解释性深度特征，可以反映目标的极化散射特性。
CN202210616508.9A 2022-06-01 2022-06-01 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法 Active CN114898159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210616508.9A CN114898159B (zh) 2022-06-01 2022-06-01 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210616508.9A CN114898159B (zh) 2022-06-01 2022-06-01 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法

Publications (2)

Publication Number Publication Date
CN114898159A CN114898159A (zh) 2022-08-12
CN114898159B true CN114898159B (zh) 2024-03-08

Family

ID=82726687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210616508.9A Active CN114898159B (zh) 2022-06-01 2022-06-01 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法

Country Status (1)

Country Link
CN (1) CN114898159B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222752B (zh) * 2022-09-19 2023-01-24 之江实验室 基于特征解耦的病理图像特征提取器训练方法及装置
CN117036753A (zh) * 2023-07-18 2023-11-10 北京观微科技有限公司 一种基于模板匹配和InfoGAN的SAR图像扩容方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110096994A (zh) * 2019-04-28 2019-08-06 西安电子科技大学 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
CN112232395A (zh) * 2020-10-08 2021-01-15 西北工业大学 一种基于联合训练生成对抗网络的半监督图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019210270A1 (de) * 2019-05-23 2020-11-26 Robert Bosch Gmbh Verfahren zum Trainieren eines Generative Adversarial Networks (GAN), Generative Adversarial Network, Computerprogramm, maschinenlesbares Speichermedium und Vorrichtung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110096994A (zh) * 2019-04-28 2019-08-06 西安电子科技大学 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
CN112232395A (zh) * 2020-10-08 2021-01-15 西北工业大学 一种基于联合训练生成对抗网络的半监督图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于ICNN和IGAN的SAR目标识别方法;仓明杰;喻玲娟;谢晓春;;雷达科学与技术;20200615(第03期);全文 *
基于谱归一化生成对抗网络的目标SAR图像仿真方法;孙智博;徐向辉;;计算机与现代化;20200815(第08期);全文 *

Also Published As

Publication number Publication date
CN114898159A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN114898159B (zh) 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法
Tang et al. Compressed-domain ship detection on spaceborne optical image using deep neural network and extreme learning machine
CN109919204B (zh) 一种面向噪声图像的深度学习聚类方法
CN1828630A (zh) 基于流形学习的人脸姿势识别方法
CN111695456A (zh) 一种基于主动判别性跨域对齐的低分辨人脸识别方法
Feng et al. Bag of visual words model with deep spatial features for geographical scene classification
CN110543872A (zh) 一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法
CN115427970A (zh) 使用自举潜在表示的自监督表示学习
CN116129174A (zh) 基于特征细化自监督学习的广义零样本图像分类方法
CN114022726A (zh) 一种基于胶囊网络的人员车辆监控方法及系统
CN115222998A (zh) 一种图像分类方法
Lin et al. A deep clustering algorithm based on gaussian mixture model
CN115147601A (zh) 基于自注意力全局特征增强的城市街道点云语义分割方法
CN113449784B (zh) 基于先验属性图谱的图像多分类方法、装置、设备及介质
CN114723764A (zh) 一种点云物体的参数化边缘曲线提取方法
CN117011701A (zh) 一种层次化特征自主学习的遥感图像特征提取方法
Tan et al. 3D detection transformer: Set prediction of objects using point clouds
Wei et al. FRGAN: a blind face restoration with generative adversarial networks
Saxena et al. An Optimized Technique for Image Classification Using Deep Learning
CN108052981B (zh) 基于非下采样Contourlet变换和卷积神经网络的图像分类方法
Özkan et al. Generative Networks and Royalty-Free Products
CN112926619B (zh) 一种高精度水下激光目标识别系统
CN116758617B (zh) 一种低光照度场景下的校园学生签到方法和校园签到系统
Saaim et al. Generative Models for Data Synthesis
Mahler et al. On-Manifold Projected Gradient Descent

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant