CN117409326B - 基于自适应加权损失和对抗干扰器的遥感异常检测方法 - Google Patents

基于自适应加权损失和对抗干扰器的遥感异常检测方法 Download PDF

Info

Publication number
CN117409326B
CN117409326B CN202311703448.5A CN202311703448A CN117409326B CN 117409326 B CN117409326 B CN 117409326B CN 202311703448 A CN202311703448 A CN 202311703448A CN 117409326 B CN117409326 B CN 117409326B
Authority
CN
China
Prior art keywords
map
image
reconstruction
training
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311703448.5A
Other languages
English (en)
Other versions
CN117409326A (zh
Inventor
刘玉峰
孙启玉
孙平
杨公平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Fengshi Information Technology Co ltd
Original Assignee
Shandong Fengshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Fengshi Information Technology Co ltd filed Critical Shandong Fengshi Information Technology Co ltd
Priority to CN202311703448.5A priority Critical patent/CN117409326B/zh
Publication of CN117409326A publication Critical patent/CN117409326A/zh
Application granted granted Critical
Publication of CN117409326B publication Critical patent/CN117409326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于自适应加权损失和对抗干扰器的遥感异常检测方法，属于图像处理和遥感异常检测技术领域。将高光谱图像输入自动编码器重建获得背景重建图像，由高光谱图像和背景重建图像计算重建误差图，利用重建误差图分别生成用于计算自适应加权损失函数的权重图和用于对抗性干扰鉴别器的二值化人工伪标签，通过在自编码器中引入自适应加权损失训练和对抗性干扰鉴别器对抗训练，有效地促进了背景区域的重建，并同时抑制了异常区域的准确重建，采用“迭代对抗”的方式，以进一步实现目标。本发明整个网络以端到端的方式进行训练，从而实现高度准确的遥感异常检测。

Description

基于自适应加权损失和对抗干扰器的遥感异常检测方法
技术领域
本发明涉及一种基于自适应加权损失和对抗干扰器的遥感异常检测方法，采用自适应加权损失函数和对抗性干扰鉴别器，以在遥感图像中抑制异常区域的重建、促进背景区域的重建，从而实现高效的遥感异常检测算法，属于图像处理和遥感异常检测技术领域。
背景技术
高光谱遥感异常检测是高光谱信息处理领域中备受关注的重要研究方向之一。该任务旨在检测观测结果中存在明显差异的光谱特征，这些观测结果通常被视为异常，与其周围的背景光谱特征不同。由于在高光谱异常检测中通常缺乏关于异常的先验知识，因此背景的准确估计成为实现有效异常检测的关键步骤。
近年来，自动编码器（AE）已广泛应用于高光谱异常检测领域。自动编码器具有能够学习高光谱数据的分层、抽象和高级表示的能力。它的工作原理是重建输入的高光谱图像的背景区域，而异常区域通常难以进行准确重建。由于异常相对较小，仅以低概率出现在图像中，因此在重建过程中通常表现为较大的重建误差。这导致具有大重建误差的区域很可能包含潜在的异常像素，而具有较小重建误差的区域则更可能代表背景像素。尽管如此，但在实际中异常像素仍然具有一定的概率被准确重建。因此，高光谱异常检测的主要挑战在于如何在训练过程中维护背景特征，同时抑制异常区域的重建。只有通过实现这一目标，我们才能将重建误差直接用于准确的异常检测，为该领域的研究和应用提供更强大的工具。
发明内容
本发明的目的是为了克服基于自动编码器的遥感异常检测方法中，异常区域仍然可能以一定概率被准确重建的问题，而提供了一种基于自适应加权损失和对抗干扰器的遥感异常检测方法。
本发明采取的技术方案为：
基于自适应加权损失和对抗干扰器的遥感异常检测方法，包括步骤如下：
S1.将获得的高光谱图像划分训练集和测试集；
S2.训练阶段，将高光谱图像输入自动编码器重建获得背景重建图像，由高光谱图像和背景重建图像计算重建误差图，利用重建误差图分别生成用于计算自适应加权损失函数的权重图和用于对抗性干扰鉴别器的二值化人工伪标签；
S3.利用权重图计算自适应加权损失函数Lrec，先用初始化的权重计算损失函数迭代训练自动编码器使其具有基本的重建正常区域的能力，再设置对抗性干扰鉴别器对自动编码器进行对抗训练，对抗训练包括优化自动编码器的训练和优化对抗性干扰鉴别器参数的训练；
利用异常预测图与人工伪标签的差异计算对抗训练中两部分优化训练的损失LAE和LD，利用总损失同时更新自动编码器和对抗性干扰鉴别器：
L总=Lrec+LAE+LD；
S4.测试阶段，将高光谱图像输入训练好的自动编码器获得背景重建图像，由高光谱图像和背景重建图像计算重建误差图，使用重建误差来获得最终的异常检测结果。
上述方法中，步骤S2中所述的自动编码器它由一系列卷积块组成，每个卷积块均由卷积层、批归一化和ReLu激活函数组成。由高光谱图像X和背景重建图像得到的重建误差图/>，重建误差图E被定义为：
，
，
其中，表示输入高光谱图像X的像素向量，/>表示背景重建图像的像素向量，ei,j表示每个像素位置的重建误差，E表示通过集合所有像素位置的重建误差来获得的重建误差图。
利用重建误差图E分别生成用于自适应加权损失函数的权重图和用于对抗性干扰鉴别器的人工伪标签/>，权重图W被定义如下：
，
，
其中，max(E)表示重建误差图E中的最大值，ei,j表示重建误差图中每个像素位置的重建误差，w i,j表示权重图中每个像素位置的权重，W表示通过集合所有像素位置的权重来获得的权重图，下标中H和W分表代表的高光谱图像的高度、宽度。
而用于对抗性干扰鉴别器的二值化人工伪标签被定义如下：
，
，
其中，T表示由重建误差图E的统计信息计算的阈值，μ和σ分别表示重建误差图E所有像素误差的平均值和标准差，表示每个像素位置的伪标签，人工伪标签可以理解为将重建误差图E中大于阈值T的误差值二值化为1，小于等于阈值T的误差值二值化为0，最终得到一张黑白的二值图像。
步骤S3中，自适应加权损失函数的计算公式如下：
，
其中，是输入高光谱图像(i,j)位置处的像素向量，/>是背景重建图像(i,j)位置处的像素向量，w i,j是权重图(i,j)位置处的权重，H、W和C分别表示高光谱图像的高度、宽度和通道数。
步骤S3中对抗性干扰鉴别器使用编码器-解码器架构，例如：U-Net，需要保证网络的维度正确。优化自动编码器的训练步骤为：先将高光谱图像X和背景重建图像在通道维度进行拼接以获得拼接图像，将对抗性干扰鉴别器的参数冻结，然后将拼接图像输入其中，以产生异常预测图像，使用二分类交叉熵（BCE）损失来最小化异常预测图/>和人工伪标签/>之间的差异，损失函数描述为：
，
其中，H和W分别是异常预测图的高度和宽度，pi,j是异常预测图中(i,j)位置处的像素的预测概率，yi,j是人工伪标签中(i,j)位置处的标签。
优化对抗性干扰鉴别器参数的训练步骤为：将被冻结的对抗性干扰鉴别器的参数解除冻结，然后将拼接图像Xcat的梯度截断以防止梯度对自动编码器造成影响，接着将其输入到对抗性干扰鉴别器中，以产生异常预测图像，将对抗性干扰鉴别器的人工伪标签GTD设置为值全为0且大小和GTAE相同的遮罩图，使用二分类交叉熵（BCE）损失来最小化异常预测图和人工伪标签/>之间的差异，损失函数描述为：
，
其中，H和W分别是异常预测图的高度和宽度，pi,j是异常预测图中(i,j)位置处的像素的预测概率，yi,j是人工伪标签中(i,j)位置处的标签。
在前100次迭代中并不执行对抗训练，因此前100次迭代只用自适应加权重建损失来更新自动编码器， 而在100次迭代之后，人工伪标签与权重图W一样每100次迭代更新一次，且用这个总损失同时更新自动编码器和对抗性干扰鉴别器。对抗学习只在训练阶段使用，不参与测试阶段的推理。
本发明的另一目的是提供一种基于自适应加权损失和对抗干扰器的遥感异常检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法。
一种存储介质，其为计算机可读存储介质，所述的计算机可读存储介质上存储有计算机程序用于实现如上所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法中的步骤。
本发明的有益效果是：
本发明克服了基于自动编码器的遥感异常检测方法中异常区域仍然可能以一定概率被准确重建的问题。所提出的自适应加权损失有效地抑制了异常区域的准确重建，扩大了异常区域的重建误差。此外，引入了对抗性干扰鉴别器，采用“迭代对抗”的方式，以进一步实现上述目标。所提出的算法框架是对抗学习在遥感异常检测领域中的首次尝试。整个网络能够以端到端的方式进行训练，进而实现高度准确的遥感异常检测。
附图说明
图1是本发明方法的网络模型结构示意图；
图2是本发明方法训练阶段的流程图；
图3是本发明方法测试阶段的流程图。
具体实施方式
下面结合具体实施例进一步说明本发明。
实施例1 基于自适应加权损失和对抗干扰器的遥感异常检测方法，包括步骤如下：
S1.将获得的高光谱图像划分训练集和测试集；
S2.训练阶段，将高光谱图像输入自动编码器重建获得背景重建图像，由高光谱图像和背景重建图像计算重建误差图，利用重建误差图分别生成用于计算自适应加权损失函数的权重图和用于对抗性干扰鉴别器的二值化人工伪标签：
利用自动编码器对输入的高光谱图像进行重建（H、W和C分别表示高光谱图像的高度、宽度和通道数，/>表示高光谱图像的形状为H×W×C），以产生相应的背景重建图像/>。其中自动编码器的结构如图1中所示，它由一系列卷积块组成（每个卷积块均由卷积层、批归一化和ReLu激活函数组成），具体地，给定一张高光谱图像。首先由一个初始卷积块对高光谱图像/>进行处理，以将其编码为典型特征/>，接着再堆叠5个相同的卷积块对编码后的特征f 1进行处理以获得特征/>，最后由一个最终卷积块对f 2进行解码，以获得背景重建图像。
基于上述架构的自动编码器在重建背景区域方面表现出色，但在重建异常区域方面较为困难。这是因为在图像中，背景通常占据主要部分，因此网络更加倾向于强化背景区域的重建，而异常区域相对较小且出现的概率很低，因此，自动编码器相对于异常区域而言更容易重建背景部分。此外，随着感受野的扩大，异常特征在特征图中逐渐减弱，进一步促进了背景区域的良好重建，同时抑制了对异常区域的重建。然而，随着训练的深入，网络会在更高程度上拟合数据，因此异常在训练期间仍然有概率被重建出来。为了进一步抑制异常重建，设计了一种自适应加权损失函数和一个对抗性干扰鉴别器，用于在网络训练过程中进一步抑制潜在异常像素的重建。
首先计算由高光谱图像X和背景重建图像得到的重建误差图/>，重建误差图E被定义为：
，
，
其中，表示输入高光谱图像X的像素向量，/>表示背景重建图像的像素向量，ei,j表示每个像素位置的重建误差，E表示通过集合所有像素位置的重建误差来获得的重建误差图（每个位置都能计算一个ei,j，然后一共有H*W个位置，所以集合中一共是有H*W个误差元素）。值得注意的是，/>表示L2误差（ei,j公式的意思其实就是每个位置的L2误差），对此举例说明：假设a为 [1，2，3]，b为 [3，3，3]，则对应的L2误差表示为(3-1) 2+(3-2)2+(3-3)2。
之后，我们利用重建误差图E分别生成用于自适应加权损失函数的权重图和用于对抗性干扰鉴别器的人工伪标签/>，权重图W被定义如下：
，
，
其中，max(E)表示重建误差图E中的最大值，ei,j表示重建误差图中每个像素位置 的重建误差，w i,j表示权重图中每个像素位置的权重，W表示通过集合所有像素位置的权重 来获得的权重图，下标中H和W分表代表的高光谱图像的高度、宽度。（每个位置都能计算一 个w i,j，然后一共有HW个位置，所以集合中一共是有HW个权重元素）。
而用于对抗性干扰鉴别器的二值化人工伪标签被定义如下：
，
，
其中，T表示由重建误差图E的统计信息计算的阈值，μ和σ分别表示重建误差图E所有像素误差的平均值和标准差，示每个像素位置的伪标签。人工伪标签可以理解为将重建误差图E中大于阈值T的误差值二值化为1，小于等于阈值T的误差值二值化为0，最终得到一张黑白的二值图像。
S3.利用权重图计算自适应加权损失函数Lrec，先用初始化的权重计算损失函数Lrec迭代训练自动编码器使其具有基本的重建正常区域的能力，再设置对抗性干扰鉴别器对自动编码器进行对抗训练，对抗训练包括优化自动编码器的训练和优化对抗性干扰鉴别器参数的训练（如图2）；利用异常预测图与人工伪标签的差异计算对抗训练中两部分优化训练的损失LAE和LD，利用总损失同时更新自动编码器和对抗性干扰鉴别器：
前面获得了用于自适应加权损失函数的权重图，基于权重图W，可以使用以下公式计算所提出的自适应加权损失：
，
其中，是输入高光谱图像(i,j)位置处的像素向量，/>是背景重建图像(i,j)位置处的像素向量，w i,j是权重图(i,j)位置处的权重。
值得注意的是，为了赋予自动编码器基本的重建正常区域的能力，在前100次迭代中，权重图W的元素都被初始化为1，即在前100次迭代中，并不涉及权重图元素的更新，所使用的权重图中所有元素都为1即，而在100次迭代之后，权重图W则每100次迭代更新一次（无论是100次迭代以前，还是100次迭代以后，使用的损失都是Lrec）。权重图W减少了异常像素对重建损失的贡献。这样，随着训练过程的进行，异常就避免了被网络重建。
除了上述自适应加权损失函数之外，还设计了一个对抗性干扰鉴别器D，用于在网络训练过程中与自动编码器进行迭代对抗。这有助于推动自动编码器更进一步地抑制潜在异常像素的重建。
在之前的步骤中，我们获得了高光谱图像X和对应的背景重建图像。在进行对抗训练之前，先将高光谱图像X和背景重建图像/>在通道维度进行拼接以获得拼接图像。之后，网络的训练被划分为两个步骤，分别优化自动编码器和优化对抗性干扰鉴别器参数。
优化自动编码器，首先，将对抗性干扰鉴别器D的参数冻结，然后将拼接图像Xcat输入其中，以产生异常预测图像。对于对抗性干扰鉴别器的架构使用编码器-解码器架构，理论上可以使用任何分割网络的架构（例如：U-Net），只需要保证网络的维度正确即可。由于/>的通道数为2C，所以需要将U-Net第一个卷积核的输入通道数改为2C，例如：卷积 (2C-64, 3×3, 步长 1)。由于输入到对抗干扰鉴别器的是输入图像和重建图像的拼接图像/>，所以对抗干扰鉴别器的核心目的是将具有不同重建外观的区域识别为异常，通俗点说就是正常区域重建的好，那输入图像和重建图像在该区域就几乎一模一样，那就不会把它识别为异常，而异常区域重建的不好，那输入图像和重建图像在该区域差别很大，那就将这些区域识别为异常。而在此基础之上又迭代循环地使对抗性干扰鉴别器和自动编码器形成了一种对抗机制，在这种机制中，二者彼此会由于对抗而变得越来越强。具体表现为自动编码器会努力扩大异常区域的重建误差以迫使对抗性干扰鉴别器将其识别出来。而对抗性干扰鉴别器则努力提升自己对重建误差的容忍度，提高根据重建误差来识别异常的检测下限。最终，所获得的自动编码器能够极大地扩大异常区域的重建误差，即极大地抑制潜在异常像素的重建。
然后使用二分类交叉熵（BCE）损失来最小化异常预测图和人工伪标签/>之间的差异，BCE损失函数描述为：
，
其中，H和W分别是异常预测图的高度和宽度，pi,j是异常预测图中(i,j)位置处的像素的预测概率，yi,j是人工伪标签中(i,j)位置处的标签。
优化对抗性干扰鉴别器参数，首先将在上一步中被冻结的对抗性干扰鉴别器D的参数解除冻结，然后将拼接图像Xcat的梯度截断（可以通过Pytorch框架中的detach ( )方法实现）以防止梯度对自动编码器造成影响，接着将其输入到对抗性干扰鉴别器D中，以产生异常预测图像。为了达成对抗的目的，对抗性干扰鉴别器D的人工伪标签被设置为值全为0且大小和GTAE相同的遮罩图（可以通过Pytorch框架中的zeros_like ( )方法实现）。GTAE包含白色的异常区域，它的作用是要让自动编码器产生的拼接图输入到对抗干扰鉴别器后产生和GTAE一样的预测输出，即能够识别出异常区域，用于训练自动编码器让其扩大重建误差，以迫使对抗干扰鉴别器识别出来异常区域；而GTD是全黑的，不包含任何白色的异常区域，它的作用是让自动编码器产生的拼接图输入到对抗干扰鉴别器后产生和GTD一样的预测输出，即全黑的预测输出，用于训练对抗干扰鉴别器以提高对重建误差的容忍度。
然后，同样使用二分类交叉熵（BCE）损失来最小化异常预测图和人工伪标签/>之间的差异，BCE损失函数描述为：
，
其中，H和W分别是异常预测图的高度和宽度，pi,j是异常预测图中(i,j)位置处的像素的预测概率，yi,j是人工伪标签中(i,j)位置处的标签。
值得注意的是，在前100次迭代中并不执行所述的对抗训练，因此只使用自适应加权重建损失来更新自动编码器，而在前100次迭代之后，人工伪标签与权重图W一样每100次迭代更新一次。100次迭代以后则将所有损失结合在一起作为总损失，并通过总损失来同时更新自动编码器和对抗性干扰鉴别器：同时，对抗学习只在训练阶段使用，不参与测试阶段的推理。
对抗训练中，自动编码器努力扩大异常区域的重建误差以迫使对抗性干扰鉴别器将其识别出来。而对抗性干扰鉴别器则努力提升自己以无视这种重建误差。最终，所获得的自动编码器能够极大地抑制潜在异常像素的重建。
S4.测试阶段，将高光谱图像输入训练好的自动编码器获得背景重建图像，由高光谱图像和背景重建图像计算重建误差图，使用重建误差来获得最终的异常检测结果：
迭代训练过程完成后，获得了一个训练好的自动编码器，用表示。重建的背景图像/>可以通过如下公式获得：
，
其中，表示测试高光谱图像。因此，可以使用重建误差来获得最终的异常检测结果，公式定义如下：
，
，
其中，是测试高光谱图像(i,j)位置处的像素向量，/>是背景重建图像(i,j)位置处的像素向量，di,j表示每个像素位置的重建误差，D表示通过集合所有像素位置的重建误差来获得的重建误差图，H和W分别表示测试高光谱图像的高度和宽度。
实施例2：本实施例提供实现基于自适应加权损失和对抗干扰器的遥感异常检测方法的硬件系统。
基于自适应加权损失和对抗干扰器的遥感异常检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上实施例1所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法。
一种存储介质，其为计算机可读存储介质，所述的计算机可读存储介质上存储有计算机程序用于实现如上实施例1所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法中的步骤。
以上所述仅为本发明的典型实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于自适应加权损失和对抗干扰器的遥感异常检测方法，其特征是，包括步骤如下：
S1.将获得的高光谱图像划分训练集和测试集；
S2.训练阶段，将高光谱图像输入自动编码器重建获得背景重建图像，由高光谱图像和背景重建图像计算重建误差图，利用重建误差图分别生成用于计算自适应加权损失函数的权重图和用于对抗性干扰鉴别器的二值化人工伪标签；
由高光谱图像X和背景重建图像得到的重建误差图/>，重建误差图E被定义为：
，
，
其中，表示输入高光谱图像X的像素向量，/>表示背景重建图像/>的像素向量，ei,j表示每个像素位置的重建误差，E表示通过集合所有像素位置的重建误差来获得的重建误差图，H、W和C分别表示高光谱图像的高度、宽度和通道数；
利用重建误差图生成用于自适应加权损失函数的权重图，权重图W被定义如下：
，
，
其中，max(E)表示重建误差图E中的最大值，ei,j表示重建误差图中每个像素位置的重建误差，w i,j表示权重图中每个像素位置的权重，W表示通过集合所有像素位置的权重来获得的权重图，下标中H和W分表代表的高光谱图像的高度、宽度；
用于对抗性干扰鉴别器的二值化人工伪标签被定义如下：
，
，
其中，T表示由重建误差图E的统计信息计算的阈值，μ和σ分别表示重建误差图E所有像素误差的平均值和标准差，表示每个像素位置的伪标签，人工伪标签为将重建误差图E中大于阈值T的误差值二值化为1，小于等于阈值T的误差值二值化为0，最终得到一张黑白的二值图像；
S3.利用权重图计算自适应加权损失函数Lrec，先用初始化的权重计算损失函数迭代训练自动编码器使其具有基本的重建正常区域的能力，再设置对抗性干扰鉴别器对自动编码器进行对抗训练，对抗训练包括优化自动编码器的训练和优化对抗性干扰鉴别器参数的训练；
利用异常预测图与人工伪标签的差异计算对抗训练中两部分优化训练的损失LAE和LD，利用总损失同时更新自动编码器和对抗性干扰鉴别器：
L总=Lrec+LAE+LD；
S4.测试阶段，将高光谱图像输入训练好的自动编码器获得背景重建图像，由高光谱图像和背景重建图像计算重建误差图，使用重建误差来获得最终的异常检测结果。
2.根据权利要求1所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法，其特征是，步骤S3中，自适应加权损失函数的计算公式如下：
，
其中，是输入高光谱图像(i,j)位置处的像素向量，/>是背景重建图像(i,j)位置处的像素向量，w i,j是权重图(i,j)位置处的权重，H、W和C分别表示高光谱图像的高度、宽度和通道数。
3.根据权利要求1所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法，其特征是，步骤S3中，优化自动编码器的训练步骤为：先将高光谱图像X和背景重建图像在通道维度进行拼接以获得拼接图像，将对抗性干扰鉴别器的参数冻结，然后将拼接图像输入其中，以产生异常预测图像，使用二分类交叉熵损失来最小化异常预测图/>和人工伪标签/>之间的差异，损失函数描述为：
，
其中，H和W分别是异常预测图的高度和宽度，pi,j是异常预测图中(i,j)位置处的像素的预测概率，yi,j是人工伪标签中(i,j)位置处的标签。
4.根据权利要求1所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法，其特征是，对抗性干扰鉴别器使用编码器-解码器架构，优化对抗性干扰鉴别器参数的训练步骤为：将被冻结的对抗性干扰鉴别器的参数解除冻结，然后将拼接图像的梯度截断以防止梯度对自动编码器造成影响，接着将其输入到对抗性干扰鉴别器中，以产生异常预测图像，将对抗性干扰鉴别器的人工伪标签GTD设置为值全为0且大小和GTAE相同的遮罩图，使用二分类交叉熵损失来最小化异常预测图和人工伪标签/>之间的差异，损失函数描述为：
，
其中，H和W分别是异常预测图的高度和宽度，pi,j是异常预测图中(i,j)位置处的像素的预测概率，yi,j是人工伪标签中(i,j)位置处的标签。
5. 根据权利要求1所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法，其特征是，在前100次迭代中并不执行对抗训练，因此前100次迭代只用自适应加权重建损失来更新自动编码器， 而在100次迭代之后，人工伪标签与权重图每100次迭代更新一次，且用这个总损失同时更新自动编码器和对抗性干扰鉴别器。
6.基于自适应加权损失和对抗干扰器的遥感异常检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-5任一项所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法。
7.一种存储介质，其为计算机可读存储介质，其特征是，所述的计算机可读存储介质上存储有计算机程序用于实现如权利要求1-5任一项所述的基于自适应加权损失和对抗干扰器的遥感异常检测方法中的步骤。
CN202311703448.5A 2023-12-13 2023-12-13 基于自适应加权损失和对抗干扰器的遥感异常检测方法 Active CN117409326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311703448.5A CN117409326B (zh) 2023-12-13 2023-12-13 基于自适应加权损失和对抗干扰器的遥感异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311703448.5A CN117409326B (zh) 2023-12-13 2023-12-13 基于自适应加权损失和对抗干扰器的遥感异常检测方法

Publications (2)

Publication Number Publication Date
CN117409326A CN117409326A (zh) 2024-01-16
CN117409326B true CN117409326B (zh) 2024-04-19

Family

ID=89500205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311703448.5A Active CN117409326B (zh) 2023-12-13 2023-12-13 基于自适应加权损失和对抗干扰器的遥感异常检测方法

Country Status (1)

Country Link
CN (1) CN117409326B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944896A (zh) * 2016-10-13 2018-04-20 北京京东尚科信息技术有限公司 确定商品关联程度的方法以及装置
EP3477553A1 (en) * 2017-10-27 2019-05-01 Robert Bosch GmbH Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder
CN111598805A (zh) * 2020-05-13 2020-08-28 华中科技大学 一种基于vae-gan的对抗样本防御方法及系统
CN112598636A (zh) * 2020-12-18 2021-04-02 武汉大学 一种基于全卷积自编码器的高光谱影像异常探测方法
CN114004817A (zh) * 2021-11-03 2022-02-01 深圳大学 一种分割网络半监督训练方法、系统、设备及存储介质
CN114332578A (zh) * 2021-09-15 2022-04-12 广州腾讯科技有限公司 图像异常检测模型训练方法、图像异常检测方法和装置
CN116309508A (zh) * 2023-03-30 2023-06-23 东南大学 一种基于图像增广和图像重构的异常检测方法
CN116645369A (zh) * 2023-07-27 2023-08-25 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法
CN116861964A (zh) * 2023-06-27 2023-10-10 南京财经大学 一种基于双判别器生成式对抗网络的异常数据检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944896A (zh) * 2016-10-13 2018-04-20 北京京东尚科信息技术有限公司 确定商品关联程度的方法以及装置
EP3477553A1 (en) * 2017-10-27 2019-05-01 Robert Bosch GmbH Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder
CN111598805A (zh) * 2020-05-13 2020-08-28 华中科技大学 一种基于vae-gan的对抗样本防御方法及系统
CN112598636A (zh) * 2020-12-18 2021-04-02 武汉大学 一种基于全卷积自编码器的高光谱影像异常探测方法
CN114332578A (zh) * 2021-09-15 2022-04-12 广州腾讯科技有限公司 图像异常检测模型训练方法、图像异常检测方法和装置
CN114004817A (zh) * 2021-11-03 2022-02-01 深圳大学 一种分割网络半监督训练方法、系统、设备及存储介质
CN116309508A (zh) * 2023-03-30 2023-06-23 东南大学 一种基于图像增广和图像重构的异常检测方法
CN116861964A (zh) * 2023-06-27 2023-10-10 南京财经大学 一种基于双判别器生成式对抗网络的异常数据检测方法
CN116645369A (zh) * 2023-07-27 2023-08-25 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Novel Cross-Resolution Feature-Level Fusion for Joint Classification of Multispectral and Panchromatic Remote Sensing Images;Sicong Liu；Hui Zhao；Qian Du；Lorenzo Bruzzone;IEEE Transactions on Geoscience and Remote Sensing;20221231;第60卷;第1-14页 *
基于半监督生成式对抗网络的异常行为检测;朱松豪;赵云斌;南京邮电大学学报(自然科学版);20201231(第04期);第54-60页 *
采用背景抑制和自适应阈值分割的高光谱异常目标检测;赵春晖;王佳;王玉磊;哈尔滨工程大学学报;20161231(第02期);第138-143页 *

Also Published As

Publication number Publication date
CN117409326A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
US11048980B2 (en) Optimizing supervised generative adversarial networks via latent space regularizations
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
CN112801881B (zh) 一种高分辨率高光谱计算成像方法、系统及介质
CN110969105B (zh) 一种人体姿态估计方法
CN104657951A (zh) 图像乘性噪声移除方法
CN110830043B (zh) 一种基于混合加权全变分和非局部低秩的图像压缩感知重构方法
CN117409326B (zh) 基于自适应加权损失和对抗干扰器的遥感异常检测方法
Shiba et al. Convolution filter embedded quantum gate autoencoder
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
CN116977694A (zh) 一种基于不变特征提取的高光谱对抗样本防御方法
CN116597136A (zh) 一种半监督遥感图像语义分割方法与系统
CN116543259A (zh) 一种深度分类网络噪声标签建模与纠正方法、系统及存储介质
US20100027909A1 (en) Convex optimization approach to image deblocking
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法
CN114842242A (zh) 一种基于生成模型的鲁棒对抗样本生成方法
Zhao et al. Single image super-resolution reconstruction using multiple dictionaries and improved iterative back-projection
CN103514589A (zh) 图像恢复中的滤波方法
Xiong et al. Tanner graph based image interpolation
Luo et al. Content-adaptive Adversarial Embedding for Image Steganography Using Deep Reinforcement Learning
CN105631862A (zh) 一种基于邻域特征和灰度信息的背景建模方法
CN117058493B (zh) 一种图像识别的安全防御方法、装置和计算机设备
Zhang et al. A New operator extracting image patch based on EPLL
CN116091367B (zh) 光学遥感图像盲去模糊方法、装置、设备和介质
Su et al. Particle Swarm Optimization for Gray-Scale Image Noise Cancellation
CN114781499B (zh) 一种构建基于ViT模型的密集预测任务适配器的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant