CN113762203A - 基于仿真数据的跨域自适应sar图像分类方法、装置及设备 - Google Patents

基于仿真数据的跨域自适应sar图像分类方法、装置及设备 Download PDF

Info

Publication number
CN113762203A
CN113762203A CN202111092881.0A CN202111092881A CN113762203A CN 113762203 A CN113762203 A CN 113762203A CN 202111092881 A CN202111092881 A CN 202111092881A CN 113762203 A CN113762203 A CN 113762203A
Authority
CN
China
Prior art keywords
sar
target
image data
domain image
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111092881.0A
Other languages
English (en)
Other versions
CN113762203B (zh
Inventor
赵凌君
何奇山
张思乾
冷祥光
唐涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111092881.0A priority Critical patent/CN113762203B/zh
Publication of CN113762203A publication Critical patent/CN113762203A/zh
Application granted granted Critical
Publication of CN113762203B publication Critical patent/CN113762203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请涉及一种基于仿真数据的跨域自适应SAR图像分类方法、装置及设备。通过将SAR成像条件引入模型的训练过程中，并根据成像条件分别利用源域仿真图像和目标域仿真图像计算两个域之间的域混淆度量并以此对模型进行训练以减小源域和目标域之间的域差异，同时，还采用源域实测图像对模型进行训练使得模型具备分类识别的功能，最终训练得到的目标分类模型能够较好的对与源域成像条件不同的目标域SAR图像中的目标进行识别，且对其进行分类时具有较高的准确度。

Description

基于仿真数据的跨域自适应SAR图像分类方法、装置及设备
技术领域
本申请涉及SAR图像分类技术领域，特别是涉及一种基于仿真数据的跨域 自适应SAR图像分类方法、装置及设备。
背景技术
SAR(Synthetic Aperture Radar)，即合成孔径雷达，是一种主动式的对地观 测系统，可安装在飞机、卫星、宇宙飞船等飞行平台上，全天时、全天候对地 实施观测、并具有一定的地表穿透能力。因此，SAR系统在灾害监测、环境监 测、海洋监测、资源勘查、农作物估产、测绘和军事等方面的应用上具有独特 的优势，可发挥其他遥感手段难以发挥的作用。
而SAR图像成像时对成像条件非常敏感。然而，SAR图像自动目标识别中 采用的深度学习模型大多是基于处理光学图像分类任务的增强网络结构，这显 然是不合理的，因为有时候训练模型的数据与进行测试模型数据之间存在着巨 大的差别，也就是说，进行训练时采用的图像数据其成像条件与测试时图像数 据的成像条件是不相同的，这样会导致模型在进行实际运用时并不能很好的识 别图像中的目标。
发明内容
基于此，有必要针对上述技术问题，提供一种能够将SAR图像成像条件引 入模型训练过程的基于仿真数据的跨域自适应SAR图像分类方法、装置及设备。
一种基于仿真数据的跨域自适应SAR图像分类方法，所述方法包括：
获取源域图像成像条件以及目标域图像成像条件；
根据所述源域图像成像条件相应获取实测SAR源域图像数据，并根据所述 源域图像成像条件仿真得到仿真SAR源域图像数据，根据所述目标域图像成像 条件仿真得到仿真SAR目标域图像数据；
将所述实测SAR源域图像数据、仿真SAR源域图像数据以及仿真SAR目 标域图像数据输入目标分类模型对其进行迭代训练得到训练后的目标分类模型； 在训练的过程中，利用所述实测SAR源域图像数据进行监督分类训练，利用所 述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配训练；
获取目标域的实测SAR图像，将所述实测SAR图像输入已训练的目标分类 模型对所述实测SAR图像中的目标类别进行分类。
在其中一实施例中，所述实测SAR源域图像数据、仿真SAR源域图像数据 以及仿真SAR目标域图像数据均为同一种目标，但类别不同的图像数据。
在其中一实施例中，根据SAR图像其中一个成像条件确定所述源域图像成 像条件以及目标域图像成像条件。
在其中一实施例中，根据SAR图像成像时俯仰角度这一成像条件，确定所 述源域图像成像条件以第一俯仰角度进行成像，所述目标域图像成像条件为以 第二俯仰角度进行成像，且所述第一俯仰角度与第二俯仰角度不相等。
在其中一实施例中，所述目标分类模型为包括依次连接的4个卷积层以及2 个全连接层的卷积神经网络，其中2个所述全连接层依次分为第一全连接层以 及第二全连接层。
在其中一实施例中，在利用所述实测SAR源域图像数据进行监督分类训练 时：
根据所述第二全连接层对所述实测SAR源域图像数据提取的特征计算交叉 熵损失函数，并根据该函数对目标分类模型的参数进行调整。
在其中一实施例中，在利用所述仿真SAR源域图像数据以及仿真SAR目标 域图像数据进行无监督域适配训练时：
所述第一全连接层中嵌入有一个再生核希尔伯特空间，并根据所述第一全 连接层对所述仿真SAR源域图像数据以及仿真SAR目标域图像数据分别提取的 特征向量集合计算多核最大均值误差损失函数以得到所述仿真SAR源域图像数 据以及仿真SAR目标域图像数据两者之间的域差异，并根据该函数对目标分类 模型的参数进行调整。
本申请还提供了一种基于仿真数据的跨域自适应SAR图像分类装置，所述 装置包括：
成像条件获取模块，用于获取源域图像成像条件以及目标域图像成像条件；
SAR图像数据得到模块，用于根据所述源域图像成像条件相应获取实测 SAR源域图像数据，并根据所述源域图像成像条件仿真得到仿真SAR源域图像 数据，根据所述目标域图像成像条件仿真得到仿真SAR目标域图像数据；
目标分类模型训练模块，用于将所述实测SAR源域图像数据、仿真SAR 源域图像数据以及仿真SAR目标域图像数据输入目标分类模型对其进行迭代训 练得到训练后的目标分类模型；在训练的过程中，利用所述实测SAR源域图像 数据进行监督分类训练，利用所述仿真SAR源域图像数据以及仿真SAR目标域 图像数据进行无监督域适配训练；
SAR图像目标分类模块，用于获取目标域的实测SAR图像，将所述实测 SAR图像输入已训练的目标分类模型，以对所述实测SAR图像中的目标类别进 行分类。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序， 所述处理器执行所述计算机程序时实现以下步骤：
获取源域图像成像条件以及目标域图像成像条件；
根据所述源域图像成像条件相应获取实测SAR源域图像数据，并根据所述 源域图像成像条件仿真得到仿真SAR源域图像数据，根据所述目标域图像成像 条件仿真得到仿真SAR目标域图像数据；
将所述实测SAR源域图像数据、仿真SAR源域图像数据以及仿真SAR目 标域图像数据输入目标分类模型对其进行迭代训练得到训练后的目标分类模型； 在训练的过程中，利用所述实测SAR源域图像数据进行监督分类训练，利用所 述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配训练；
获取目标域的实测SAR图像，将所述实测SAR图像输入已训练的目标分类 模型对所述实测SAR图像中的目标类别进行分类。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处 理器执行时实现以下步骤：
获取源域图像成像条件以及目标域图像成像条件；
根据所述源域图像成像条件相应获取实测SAR源域图像数据，并根据所述 源域图像成像条件仿真得到仿真SAR源域图像数据，根据所述目标域图像成像 条件仿真得到仿真SAR目标域图像数据；
将所述实测SAR源域图像数据、仿真SAR源域图像数据以及仿真SAR目 标域图像数据输入目标分类模型对其进行迭代训练得到训练后的目标分类模型； 在训练的过程中，利用所述实测SAR源域图像数据进行监督分类训练，利用所 述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配训练；
获取目标域的实测SAR图像，将所述实测SAR图像输入已训练的目标分类 模型对所述实测SAR图像中的目标类别进行分类。
上述基于仿真数据的跨域自适应SAR图像分类方法、装置及设备，通过将 SAR成像条件引入模型的训练过程中，并根据成像条件分别利用源域仿真图像 和目标域仿真图像计算两个域之间的域混淆度量并以此作为损失函数对模型进 行训练以减小源域和目标域之间的域差异，同时，还采用源域实测图像对模型 进行训练使得模型具备分类识别的功能，最终训练得到的目标分类模型能够较 好的对与源域成像条件不同的目标域SAR图像中的目标进行识别，且对其进行 分类时具有较高的准确度。
附图说明
图1为一个实施例中基于仿真数据的跨域自适应SAR图像分类方法的流程 示意图；
图2为一个实施例中目标分类模型的结构示意图像；
图3为一个实施例中相同俯仰角度下实测图像和仿真图像示意图；
图4为一个实施例中有偏数据集以及无偏数据集的示意图；
图5为一个实施例中比较Baseline和TDDA方法之间根据实测数据和仿真 数据计算的MK-MMD示意图；
图6为一个实施例中不同方法对测试数据的交叉熵损失函数随训练轮数的 变化曲线示意图；
图7为一个实施例中提取特征的可视化示意图；
图8为一个实施例中基于仿真数据的跨域自适应SAR图像分类装置的结构 框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，并不用于限定本申请。
如图1所示，提供了一种基于仿真数据的跨域自适应SAR图像分类方法， 具体包括以下步骤：
步骤S100，获取源域图像成像条件以及目标域图像成像条件；
步骤S110，根据所述源域图像成像条件相应获取实测SAR源域图像数据， 并根据所述源域图像成像条件仿真得到仿真SAR源域图像数据，根据所目标域 图像成像条件仿真得到仿真SAR目标域图像数据；
步骤S120，将所述实测SAR源域图像数据、仿真SAR源域图像数据以及 仿真SAR目标域图像数据输入目标分类模型对其进行迭代训练得到训练后的目 标分类模型；
在训练的过程中，利用所述实测SAR源域图像数据进行监督分类训练，利 用所述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配 训练；
步骤S130，获取目标域的实测SAR图像，将实测SAR图像输入已训练的 目标分类模型对实测SAR图像中的目标类别进行分类。
由于SAR图像成像时对成像条件尤其敏感，也就是说不同的成像条件将会 影响图像中目标特征的分布，所以在对深度学习模型进行训练时，也就是深度 学习模型对图像中特征进行学习时，其采用的训练图像数据和测试图像数据均 受不同的成像条件影响，导致利用训练图像数据训练的深度学习模型在对测试 图像进行分类识别时，并不能很好的识别出图像中的目标。基于此本申请一种 基于任务驱动域自适应的方法构建了一种用于合成自动目标识别(SAR-ATR) 领域的目标分类模型。
在步骤S100中，将获取源域图像成像条件以及目标域图像成像条件，并在 步骤S110中，将根据这两个不同的成像条件相应生成的仿真SAR图像以及实 测SAR图像，这样在步骤S120中，将生成的SAR图像对目标分类模型进行训 练，以此在训练过程中引入SAR图像的成像条件，并且该目标分类模型是基于 使用模型数据的无监督域自适应的任务驱动域自适应方法提出的框架。在进行 训练时，还采用根据两个域不同成像条件仿真得到的仿真SAR图像进行多核最 大均值误差(MK-MMD)来缩小源域和目标域之间的差异。使得最后训练得到 的目标分类模型具有跨域识别的能力，以提高目标识别、分类的精准度。
在本实施例中，步骤S100中的源域图像成像条件以及目标域图像成像条件 均是根据SAR图像其中一个成像条件进行确定的。影响SAR图像成像条件有多 个包括：俯仰角度、波段、极化模式等。
在其中一实施例中，根据SAR图像成像时俯仰角度这一成像条件，确定源 域图像成像条件以第一俯仰角度进行成像，目标域图像成像条件为以第二俯仰 角度进行成像，且第一俯仰角度与第二俯仰角度不相等。例如，源域图像成像 条件为以17°的俯仰角度进行成像，而目标域图像成像条件为以30°的俯仰角 度进行成像。当然，在别的实施例中，可以以不同的波段作为两域的成像条件， 或以不同极化模式作为两域的成像条件。
在步骤S110中，实测SAR源域图像数据、仿真SAR源域图像数据以及仿 真SAR目标域图像数据均为同一种目标，但类别不同的图像数据。例如，该训 练的目标分类模型是用于对车辆进行识别分别的，则各SAR图像数据中的目标 均为车辆，但是各图像数据中的车辆可为不同的类型，或型号。这取决于该目 标分类模型的实际应用环境，可根据应用环境灵活的对目标分类模型的训练图 像进行调整，其中目标也可为船只等。
具体的，源域图像成像条件可为已有的实测SAR图像数据集中的成像条件， 例如现有的实测SAR图像数据是以俯仰角度为17°得到的，再以俯仰角度为 17°这一成像条件仿真生成仿真SAR图像。而目标域图像生成条件的具体取决 于实际需求进行分类的SAR图像的成像条件，例如，在目标分类图像训练好之 后，需要对在俯仰角度为30°成像条件生成的SAR图像进行目标分类，则将目 标域生成条件确定为以俯仰角度30°成像。
在本实施例中，采用计算机仿真技术微波工作室软件进行SAR图像仿真， 基于设定了雷达入射带宽、俯仰角和方位角参数的圆周合成孔径雷达的工作模 式来仿真。
在其中一实施例中，图像仿真过程如下：
首先，远场雷达回波是SAR入射到一组散射点的后向散射信号，通过将雷 达波从传感器位置透射到散射点来指定每个散射点的可见性。具体的，通过将 入射波频谱与散射体反射率估计值、线性相位时移以及双向传播相位相乘得到 模拟的后向散射信号。再将模拟噪声加入基于模拟SAR系统参数的每一个样本。 最后，通过快速傅里叶变化对距离向和方位向进行聚焦，在根据后向投影算法 得到时域图像数据也就是仿真图像。
如图3所示，展示了在不同俯仰角度下实测图像和仿真图像，处于上排的 为实测图像，而处于下排的为仿真得到的仿真图像，其中图(a)和(d)是成 像条件俯仰角度为17°下得到的图像，图(b)和(e)是成像条件俯仰角度为 30°下得到的图像，图(c)和(f)是成像条件俯仰角度为45°下得到的图像.
具体的，图3(a)-(c)显示了T-72坦克在17°俯仰角、30°俯仰角和45° 俯仰角下的三个实测SAR图像，图3(d)-(f)显示了使用SAR仿真工具基于 三维CAD坦克模型和目标域的相应成像条件生成的三个仿真SAR图像。结果 表明，在实测SAR图像和仿真SAR图像中，不同成像条件下的图像差异保持一 致。
在步骤S120中，在利用将实测SAR源域图像数据、仿真SAR源域图像数 据以及仿真SAR目标域图像数据对目标分类模型进行训练时，从图2中可以看 出，在对目标分类模型进行训练时，实则同时进行了两种训练，一种是利用实 测SAR源域图像数据进行的监督目标分类训练，另外一种是利用仿真SAR源域 图像数据以及仿真SAR目标域图像数据进行的无监督域适配训练，图3中为了 可视化，展现出两个一样的网络结构，且两者间用参数共享连接。
在本申请中，通过利用实测SAR源域图像数据的输入使得目标分类模型具 有分类识别功能，利用仿真SAR源域图像数据以及仿真SAR目标域图像数据输 入使得目标分类模型能够缩小两个域之间的距离，即具备对不同成像条件的鲁 棒性，这三者的迭代输入使得目标分类模型最终具备跨域识别能力。
在本实施例中，用于进行分类识别的实测SAR源域图像数据是带有标签类 别的，用来监督训练目标识别模型，使得目标分类模型输出每个训练样本的预 测类别和概率。
不同的SAR成像条件下的域不匹配问题，可以简化为数据集的偏差。在对 目标分类模型进行训练时，由于分类器在源域中学习到的决策面不一定能够很 好的适用到目标域中，如图4所示，研究表明，来自卷积网络更深层次的特征 更倾向于特定的学习任务。因此为了解决SAR-ATR中的特征漂移问题，在本实 施例中，引入MK-MMD来学习深度可转移特征。在图4中，图左表示有偏差 数据集，图右表示无偏差数据集，而采用领域自适应有效地消除了域的差异， 提高了分类器的可迁移性。
假设源数据{x}和目标数据的{y}分布为p和q，而最大均值差异是一种基 于核的域分布距离统计度量，可以定义为：
Figure BDA0003268007000000081
在公式(1)中，f(·)在公式中是再生核希尔伯特核空间(reproducing kernelHilbert space，RKHS)中单位球的一个元素，同时，标记up＝Ep[f(x)]，这样 就可以将MMD平方写成分布p和q映射到RKHS上的均值距离：
Figure BDA0003268007000000091
再根据公式(2)，采用核技巧也就是
Figure BDA0003268007000000092
其中k表示半正 定核函数，而MMD的经验估计可以通过以下公式得到：
Figure BDA0003268007000000093
而核函数k定义为U个高斯基组合的凸函数，其关系式如下：
Figure BDA0003268007000000094
在公式(4)中，对系数施加约束是为了保证得到的多核函数是特有的。在 本实施例中，采用MMD的无偏估计可以用线性复杂度进行计算，两域之间的 最大均值差异还可以表示成：
Figure BDA0003268007000000095
其中，zi＝(x2i-1,x2i,y2i-1,y2i) (1)
Figure BDA0003268007000000096
在本实施例中，目标分类模型为包括依次连接的4个卷积层以及2个全连 接层的卷积神经网络，其中2个所述全连接层依次分为第一全连接层以及第二 全连接层。其具体网络结构如下表所示：
表1：目标分类模型网络结构
Layer Type Output Size Kernel Size Activation
Input 128×128×1 - -
Convolutional 124×124×16 5×5 ReLU
MaxPooling 62×62×16 2×2 -
Convolutional 58×58×32 5×5 ReLU
MaxPooling 29×29×32 2×2 -
Convolutional 25×25×64 5×5 ReLU
MaxPooling 12×12×664 2×2 -
Convolutional 8×8×128 5×5 ReLU
MaxPooling 4×4×128 2×2 -
Full Connection 256 2048×256 ReLu
Full Connection num_class 256×num_class -
具体的，在利用实测SAR源域图像数据监督分类训练时：根据第二全连接 层(也就是最后一层全连接)对实测SAR源域图像数据提取的特征计算交叉熵 损失函数，并根据该函数对目标分类模型的参数进行调整。
具体的，在利用仿真SAR源域图像数据以及仿真SAR目标域图像数据进行 无监督域适配训练时：第一全连接层中嵌入有一个再生核希尔伯特空间，并根 据第一全连接层对仿真SAR源域图像数据以及仿真SAR目标域图像数据提取的 特征向量集合计算多核最大均值误差损失函数以得到仿真SAR源域图像数据以 及仿真SAR目标域图像数据两者之间的域差异，并根据该函数对目标分类模型 的参数进行调整。
进一步的，在进行训练时，将带有标记的实测SAR源域图像数据{(xs,ys)}， 以及两个模拟得到的未标记的仿真SAR源域图像数据{ms}以及仿真SAR目标域 图像数据{mt}输入目标分类模型进行训练，对目标分类模型的参数采用随机梯 度下降的方式进行迭代更新：
Figure BDA0003268007000000101
Figure BDA0003268007000000102
在公式(8)和(9)中，
Figure BDA0003268007000000111
和
Figure BDA0003268007000000112
分别表示第二全连接层和第一全连 接层特征映射函数，Lcls和LMK-MMD分别表示交叉熵损失函数和多核最大均值误 差损失函数，E表示求均值(期望)。
接下来，为了评估上述基于仿真数据的跨域自适应SAR图像分类方法的性 能，还在MSTAR数据集上进行实验，该数据集包含有上千张具有X波段和HH 极化成像且分辨率为0.3m的地面目标图像。
1、实验数据的准备
为了考察上述方法的跨域适用性，该实验在MSTAR的扩张实验条件下进 行。其中训练用的图像为在俯仰角度在17°条件下成像的图像，而测试用的图 像为俯仰角度在30°条件下成像图像(此实验记为EOC-30)，然后在训练测试 数据之间的俯仰角度变化更大的情况对上述方法进行评估。
在实验中，训练数据集保持不变，而测试数据集为45°俯仰角度下成像的 图像，数据集的详细信息见下表：
表2：四种类型的MSTAR数据集
Class 2S1 BRDM-2 T-72 ZSU-234
Serial No. b01 E-71 A64 d08
Number(17°) 299 298 299 299
Number(30°) 288 287 288 288
Number(45°) 303 303 303 303
而仿真数据涵盖了360°方位角成像的仿真图像，并使用了两种类型的 CAD模型(坦克和公共汽车)，每种类型公有216张仿真图像，在三个俯仰角度 (17°、30°、45°)下，以5°方位角物体旋转的间隔拍摄。
所有实验都是在Pytorch 1.7.0框架上实现的，该框架具有NVIDIA 2080 GPU 和32GB内存。MSTAR数据集和仿真数据集中的每个样本被裁剪为128×128 像素的大小，且并没有对SAR图像应用数据扩增和预处理算法
2.关于EOC-30实验的结果和分析
EOC-30是四个目标分类的数据集.虽然源域和目标域之间的俯仰角存在明 显差异，但大多数DL(深度学习)方法都能获得良好的性能。结果见表3。使 用四种方法与本申请中的方法进行比较。其中A-convnet网络和M-Net网络是专 门为SAR-ATR设计的，它们在标准操作条件(SOC)下都可以达到99％以上的 精度。Resnet-18网络是一个广泛用于光学图像分类任务的通用网络。此外，还 给出了我们的网络只经过交叉熵损失训练的结果，用baseline表示。从表3可以 看出，本申请提出的方法(也就是图中的TDDA，task-drivendomain adaptation) 在EOC-30实验装置下优于其他网络。
表3：EOC-30在不同方法中的识别性能
Figure BDA0003268007000000121
从表3中，可以认为基于一下两个原因，本申请中提供方法优于其他方法， 第一，SAR图像的特征与成像条件高度相关，例如俯仰角度，与DL模型的质 量相比，源域训练数据和目标测试数据之间的俯仰角差异较大会降低性能。第 二，通过使用模拟数据进行任务驱动的域自适应，网络可以学习跨域特征，这 有助于提高性能。
此外，还在训练好的基线和TDDA模型上计算了域损失。图5比较了两种 方法在源域和目标域之间从仿真和实测数据提取的特征上的MK-MMD距离。 可以看出，通过使用仿真数据对网络进行优化，可以有效地缩短源域和目标域 实测数据之间的域距离。
3、关于EOC-45实验的结果和分析
为了进一步探索本申请中方法在较大俯仰角差异下的可转移性，在EOC-45 条件下进行了实验，其结果见表4：
表4：EOC-45在不同方法中的识别性能
2S1 BRDM-2 T-72 ZSU-234 Total
TDDA 79.86 85.15 44.55 75.91 71.36
baseline 93.73 82.84 16.50 11.89 51.24
A-convnet 94.06 80.86 0.00 26.07 50.25
Resnet-18 80.53 95.38 0.00 47.52 55.86
就像本文之前所提到的，SAR图像对俯仰角度敏感，也就是SAR图像成像 条件的敏感，从表4可以清楚地发现与EOC-30相比，在EOC-45实验中，所有 方法的总体测试精度大幅下降。特别是，T-72网络的精度由于俯仰角的大幅度 变化而降低至0％。然而，本申请中的TDDA方法在精度和处理俯仰角变化方面 仍然优于其他算法。
为了进一步了解大俯仰角差异的不利影响，图6显示了不同网络与不同时 期测试数据的交叉熵损失评估。从图6中可以发现其他方法的损失曲线在训练 期间保持上升趋势。这一现象表明，训练数据和测试数据之间的巨大俯仰角差 异导致了分类网络的严重过拟合。而本申请提出的方法的损失曲线在开始的时 候上升，然后在后期的训练阶段下降到一个平台。初始阶段上升的原因是在不 使用TDDA的情况下预热网络，以便在前9轮训练中获得初始分类能力。然后， 在训练过程中加入TDDA后，成功地抑制了过拟合。
在EOC-45实验中，测试集中的样本总数为909。为了直观地理解本申请中 方法的跨域转移性，将从TDDA中提取的每个样本的特征向量进行可视化。使 用t-SNE将每个特征向量的维数从256降到2，可以在二维图中可视化，如图7 所示。
从图7中，可以很好的看到源域和目标域的特征都根据类别进行了可分性 较强的聚类，这证实了卷积层强大的特征提取能力。图7中包括有四幅图像， 各幅图像中可以看到不同类别数据的特征分布，图7(a)为通过baseline提取 训练数据的特征，图7(b)为通过baseline提取测试数据的特征，图7(c)为 通过TDDA提取训练数据的特征，图7(d)为TDDA提取测试数据的特征。
然而，较大的域距离大大降低了仅使用源域训练数据进行训练的分类器的 鲁棒性。特别是，与训练数据相比，测试数据的T_72和ZSU_234点被聚集到 不匹配的位置，因此在baseline方法中，它们的准确度仅为16.50％和11.89％。 相比之下，TDDA拉长了整个目标特征分布的形状，以使其适应源特征分布。 这表明从TDDA中提取的特征更为合理。它们都证明了模拟数据的域自适应确 实有助于减少由不同成像条件引起的实测SAR数据集的域差异。
通过上述是实验可以很好的证明本申请提供的SAR图像目标识别框架可以 缓解由于成像条件差异引起的可迁移性下降。并且，基于这个框架，设计的一 种基于仿真技术和域混淆度量的任务驱动域自动适应(TDDA)的深度学习模型 方法在扩展操作条件下的基准MSTAR数据集上的实验结果表明了TDDA的有 效性。作为示例，在本文中将车辆作为目标，并且将俯仰角度作为成像条件主 要变化因素进行实验，但通过仿真将成像条件引入到DL中以缓解跨域问题的这 一思想可以应用于处理其他SAR目标和成像条件。
上述基于仿真数据的跨域自适应SAR图像分类方法中，通过将SAR成像条 件引入模型的训练过程中，并根据成像条件分别利用源域仿真图像和目标域仿 真图像计算两个域之间的域混淆度量并以此对模型进行训练以减小源域和目标 域之间的域差异，同时，还采用源域实测图像对模型进行训练使得模型具备分 类识别的功能，最终训练得到的目标分类模型能够较好的对与源域成像条件不 同的目标域SAR图像中的目标进行识别，且对其进行分类时具有较高的准确度。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示， 但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的 说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执 行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些 子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行， 这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或 者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种基于仿真数据的跨域自适应SAR 图像分类装置，包括：成像条件获取模块200、SAR图像数据得到模块210、目 标分类模型训练模块220和SAR图像目标分类模块230，其中：
成像条件获取模块200，用于获取源域图像成像条件以及目标域图像成像条 件；
SAR图像数据得到模块210，用于根据所述源域图像成像条件相应获取实 测SAR源域图像数据，并根据所述源域图像成像条件仿真得到仿真SAR源域图 像数据，根据所述目标域图像成像条件仿真得到仿真SAR目标域图像数据；
目标分类模型训练模块220，用于将所述实测SAR源域图像数据、仿真SAR 源域图像数据以及仿真SAR目标域图像数据输入目标分类模型对其进行迭代训 练得到训练后的目标分类模型；在训练的过程中，利用所述实测SAR源域图像 数据进行监督分类训练，利用所述仿真SAR源域图像数据以及仿真SAR目标域 图像数据进行无监督域适配训练；
SAR图像目标分类模块230，用于获取目标域的实测SAR图像，将所述实 测SAR图像输入已训练的目标分类模型，以对所述实测SAR图像中的目标类别 进行分类。
关于基于仿真数据的跨域自适应SAR图像分类装置的具体限定可以参见上 文中对于基于仿真数据的跨域自适应SAR图像分类方法的限定，在此不再赘述。 上述基于仿真数据的跨域自适应SAR图像分类装置中的各个模块可全部或部分 通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计 算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中， 以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其 内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、 存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提 供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。 该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存 储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口 用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一 种基于仿真数据的跨域自适应SAR图像分类方法。该计算机设备的显示屏可以 是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上 覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还 可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关 的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定， 具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件， 或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器 中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取源域图像成像条件以及目标域图像成像条件；
根据所述源域图像成像条件相应获取实测SAR源域图像数据，并根据所述 源域图像成像条件仿真得到仿真SAR源域图像数据，根据所述目标域图像成像 条件仿真得到仿真SAR目标域图像数据；
将所述实测SAR源域图像数据、仿真SAR源域图像数据以及仿真SAR目 标域图像数据输入目标分类模型对其进行迭代训练得到训练后的目标分类模型； 在训练的过程中，利用所述实测SAR源域图像数据进行监督分类训练，利用所 述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配训练；
获取目标域的实测SAR图像，将所述实测SAR图像输入已训练的目标分类 模型对所述实测SAR图像中的目标类别进行分类。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程 序，计算机程序被处理器执行时实现以下步骤：
获取源域图像成像条件以及目标域图像成像条件；
根据所述源域图像成像条件相应获取实测SAR源域图像数据，并根据所述 源域图像成像条件仿真得到仿真SAR源域图像数据，根据所述目标域图像成像 条件仿真得到仿真SAR目标域图像数据；
将所述实测SAR源域图像数据、仿真SAR源域图像数据以及仿真SAR目 标域图像数据输入目标分类模型对其进行迭代训练得到训练后的目标分类模型； 在训练的过程中，利用所述实测SAR源域图像数据进行监督分类训练，利用所 述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配训练；
获取目标域的实测SAR图像，将所述实测SAR图像输入已训练的目标分类 模型对所述实测SAR图像中的目标类别进行分类。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、 存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。 非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可 包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限， RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器 总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述 实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特 征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改 进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权 利要求为准。

Claims (9)

1.基于仿真数据的跨域自适应SAR图像分类方法，其特征在于，包括：
获取源域图像成像条件以及目标域图像成像条件；
根据所述源域图像成像条件相应获取实测SAR源域图像数据，并根据所述源域图像成像条件仿真得到仿真SAR源域图像数据，根据所述目标域图像成像条件仿真得到仿真SAR目标域图像数据；
将所述实测SAR源域图像数据、仿真SAR源域图像数据以及仿真SAR目标域图像数据输入目标分类模型对其进行迭代训练得到训练后的目标分类模型；在训练的过程中，利用所述实测SAR源域图像数据进行监督分类训练，利用所述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配训练；
获取目标域的实测SAR图像，将所述实测SAR图像输入已训练的目标分类模型对所述实测SAR图像中的目标类别进行分类。
2.根据权利要求1所述的跨域自适应SAR图像分类方法，其特征在于，所述实测SAR源域图像数据、仿真SAR源域图像数据以及仿真SAR目标域图像数据均为同一种目标，但类别不同的图像数据。
3.根据权利要求1所述的跨域自适应SAR图像分类方法，其特征在于，根据SAR图像其中一个成像条件确定所述源域图像成像条件以及目标域图像成像条件。
4.根据权利要求3所述的跨域自适应SAR图像分类方法，其特征在于，根据SAR图像成像时俯仰角度这一成像条件，确定所述源域图像成像条件以第一俯仰角度进行成像，所述目标域图像成像条件为以第二俯仰角度进行成像，且所述第一俯仰角度与第二俯仰角度不相等。
5.根据权利要求1所述的跨域自适应SAR图像分类方法，其特征在于，所述目标分类模型为包括依次连接的4个卷积层以及2个全连接层的卷积神经网络，其中2个所述全连接层依次分为第一全连接层以及第二全连接层。
6.根据权利要求5所述的跨域自适应SAR图像分类方法，其特征在于，在利用所述实测SAR源域图像数据进行监督分类训练时：
根据所述第二全连接层对所述实测SAR源域图像数据提取的特征计算交叉熵损失函数，并根据该函数对目标分类模型的参数进行调整。
7.根据权利要求5所述的跨域自适应SAR图像分类方法，其特征在于，在利用所述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配训练时：
所述第一全连接层中嵌入有一个再生核希尔伯特空间，并根据所述第一全连接层对所述仿真SAR源域图像数据以及仿真SAR目标域图像数据分别提取的特征向量集合计算多核最大均值误差损失函数以得到所述仿真SAR源域图像数据以及仿真SAR目标域图像数据两者之间的域差异，并根据该函数对目标分类模型的参数进行调整。
8.一种基于仿真数据的跨域自适应SAR图像分类装置，其特征在于，所述装置包括：
成像条件获取模块，用于获取源域图像成像条件以及目标域图像成像条件；
SAR图像数据得到模块，根据所述源域图像成像条件相应获取实测SAR源域图像数据，并根据所述源域图像成像条件仿真得到仿真SAR源域图像数据，根据所述目标域图像成像条件仿真得到仿真SAR目标域图像数据；
目标分类模型训练模块，用于将所述实测SAR源域图像数据、仿真SAR源域图像数据以及仿真SAR目标域图像数据输入目标分类模型对其进行迭代训练得到训练后的目标分类模型；在训练的过程中，利用所述实测SAR源域图像数据进行监督分类训练，利用所述仿真SAR源域图像数据以及仿真SAR目标域图像数据进行无监督域适配训练；
SAR图像目标分类模块，用于获取目标域的实测SAR图像，将所述实测SAR图像输入已训练的目标分类模型，以对所述实测SAR图像中的目标类别进行分类。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
CN202111092881.0A 2021-09-17 2021-09-17 基于仿真数据的跨域自适应sar图像分类方法、装置及设备 Active CN113762203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111092881.0A CN113762203B (zh) 2021-09-17 2021-09-17 基于仿真数据的跨域自适应sar图像分类方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111092881.0A CN113762203B (zh) 2021-09-17 2021-09-17 基于仿真数据的跨域自适应sar图像分类方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113762203A true CN113762203A (zh) 2021-12-07
CN113762203B CN113762203B (zh) 2023-05-12

Family

ID=78796280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111092881.0A Active CN113762203B (zh) 2021-09-17 2021-09-17 基于仿真数据的跨域自适应sar图像分类方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113762203B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337266A1 (en) * 2016-05-19 2017-11-23 Conduent Business Services, Llc Method and system for data processing for text classification of a target domain
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN112395987A (zh) * 2020-11-18 2021-02-23 西安电子科技大学 基于无监督域适应cnn的sar图像目标检测方法
CN113298189A (zh) * 2021-06-30 2021-08-24 广东工业大学 一种基于无监督域自适应的跨域图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337266A1 (en) * 2016-05-19 2017-11-23 Conduent Business Services, Llc Method and system for data processing for text classification of a target domain
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN112395987A (zh) * 2020-11-18 2021-02-23 西安电子科技大学 基于无监督域适应cnn的sar图像目标检测方法
CN113298189A (zh) * 2021-06-30 2021-08-24 广东工业大学 一种基于无监督域自适应的跨域图像分类方法

Also Published As

Publication number Publication date
CN113762203B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Pei et al. SAR automatic target recognition based on multiview deep learning framework
Mukherjee et al. An unsupervised generative neural approach for InSAR phase filtering and coherence estimation
CN115859805A (zh) 基于混合加点准则的自适应序贯试验设计方法和装置
Costante et al. Towards monocular digital elevation model (DEM) estimation by convolutional neural networks-Application on synthetic aperture radar images
Long et al. Object detection research of SAR image using improved faster region-based convolutional neural network
CN116822214A (zh) 一种基于异方差高斯过程回归的多可信度数据融合方法
Zhang et al. Identification of concrete surface damage based on probabilistic deep learning of images
Ji et al. Robust direction‐of‐arrival estimation approach using beamspace‐based deep neural networks with array imperfections and element failure
Badran et al. Wind ambiguity removal by the use of neural network techniques
Bahri et al. Time series forecasting using smoothing ensemble empirical mode decomposition and machine learning techniques
Xu et al. Modeling EM problem with deep neural networks
CN113420593A (zh) 基于混合推理网络的小样本sar自动目标识别方法
Li et al. Nonlinear von Mises–Fisher filtering based on isotropic deterministic sampling
CN113762203B (zh) 基于仿真数据的跨域自适应sar图像分类方法、装置及设备
CN111681266A (zh) 船舶跟踪方法、系统、设备及存储介质
CN116258960A (zh) 基于结构化电磁散射特征的sar目标识别方法及装置
CN116030300A (zh) 一种用于零样本sar目标识别的渐进式域自适应识别方法
CN112883898A (zh) 一种基于sar影像的地物分类方法及装置
Krylov et al. Dictionary-based probability density function estimation for high-resolution SAR data
CN113158806A (zh) 一种基于OTD_Loglogistic的SAR数据海洋目标检测方法
CN108830290B (zh) 基于稀疏表示和高斯分布的sar图像分类方法
CN113450308B (zh) 一种雷达降雨检测方法、装置、计算机设备和存储介质
Aremu et al. Machine learning-based embedding for discontinuous time series machine data
CN117911769A (zh) 基于深度学习的极化sar图像分类方法、装置及设备
Di Lascio et al. Change detection from high-resolution airborne laser scans using penalized composite likelihood screening

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant