CN114118308B - 基于约束能量最小化变分自编码的高光谱目标检测方法 - Google Patents

基于约束能量最小化变分自编码的高光谱目标检测方法 Download PDF

Info

Publication number
CN114118308B
CN114118308B CN202210091082.XA CN202210091082A CN114118308B CN 114118308 B CN114118308 B CN 114118308B CN 202210091082 A CN202210091082 A CN 202210091082A CN 114118308 B CN114118308 B CN 114118308B
Authority
CN
China
Prior art keywords
background
detection
reconstructed
variational self
energy minimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210091082.XA
Other languages
English (en)
Other versions
CN114118308A (zh
Inventor
吴泽彬
周琨
徐洋
韦志辉
魏洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210091082.XA priority Critical patent/CN114118308B/zh
Publication of CN114118308A publication Critical patent/CN114118308A/zh
Application granted granted Critical
Publication of CN114118308B publication Critical patent/CN114118308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于约束能量最小化变分自编码的高光谱目标检测方法，包括以下步骤：利用约束能量最小化算法粗检测得到用于网络训练的背景样本；将背景样本输入到变分自编码器网络中进行训练，在变分自编码网络中引入能量最小化约束，从而在训练过程中，抑制疑似目标像元的影响，更好地重构出背景；用原始图像与重构背景作差得到残差，再使用约束能量最小化对残差进行检测得到检测图，其中自相关矩阵由重构的背景成分计算得到，对检测图使用非线性函数抑制背景像素保持目标像素不变，最后根据检测图得到最终的结果。本发明提出将约束能量最小化的自相关矩阵使用重构背景计算，消除了目标对自相关矩阵计算的影响，提高了目标检测精度。

Description

基于约束能量最小化变分自编码的高光谱目标检测方法
技术领域
本发明涉及高光谱图像处理技术领域，特别是涉及一种基于约束能量最小化变分自编码的高光谱目标检测方法。
背景技术
目标检测是高光谱领域的一个重要研究方向，高光谱目标检测可以近似看成二元分类的问题，像素根据其光谱特征可以分为背景或者目标，在民用和军用领域有着广泛的应用。高光谱图像数据“图谱合一”,具有丰富的光谱维信息，但是也面临一些挑战：1）光谱准确，同物异谱，受周围环境的影响；2）光谱冗余，光谱维数可达几十到数百，波段间的相关性高；3）训练样本少，训练样本数量远远不能满足大量特征的学习。
传统高光谱目标检测的方法主要是利用目标与背景之间光谱差异来检测目标，但是这些传统的方法也遇到了很多的挑战，例如在约束能量最小化中用图像的所有像素估计背景，而忽略了目标像素的影响。
近年来，深度学习迅速发展起来，它可以通过提取多层的表示来对复杂的数据集进行建模，但前提是，需要充足的训练样本，在高光谱数据集中，目标样本所占比例非常小，大部分还是由背景样本组成，所以如何充分利用背景样本训练网络成为重要问题。
发明内容
本发明的目的在于提供一种基于约束能量最小化变分自编码的高光谱目标检测方法，在背景重构过程中，在变分自编码网络中引入能量最小化约束，抑制疑似目标对背景重构的影响，重构出更真实的背景，并且充分利用重构的背景成分，在使用约束能量最小化检测时，其中自相关矩阵由重构背景计算得到，消除了可疑目标信号能量对背景的自相关矩阵的影响，使检测结果更加准确。
实现本发明目的的技术方案为：一种基于约束能量最小化变分自编码的高光谱目标检测方法，包括：
步骤S1，利用约束能量最小化算法粗检测得到用于网络训练的背景样本；
步骤S2，将背景样本输入到变分自编码器网络中进行训练，在变分自编码网络中引入能量最小化约束，从而在训练过程中，对变分自编码输出进行约束，抑制疑似目标像元的影响；
步骤S3，用原始图像与步骤S2得到的重构背景作差得到残差，再使用约束能量最小化对残差进行检测得到检测图，其中自相关矩阵由重构的背景成分计算得到，对检测图使用非线性函数抑制背景像素保持目标像素不变，最后根据检测图得到最终的结果。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于约束能量最小化变分自编码的高光谱目标检测方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于约束能量最小化变分自编码的高光谱目标检测方法。
本发明充分利用了高光谱背景样本来训练网络，抑制疑似目标像素的影响，生成重构背景，与原始图像作差得到残差，再通过约束能量最小化获得检测图，计算每个像素的权重，加权得到最终的检测结果，适用于高光谱目标检测场景，并具有以下优点：
（1）在背景重构过程中，在变分自编码网络中引入能量最小化约束，消除疑似目标像素对背景重构的影响；
（2）得到残差结果进行约束能量最小化时，使用重构背景计算自相关矩阵，克服了目标像素所占比例较大时效果不好的问题。
附图说明
图1为本发明的基于约束能量最小化变分自编码的高光谱目标检测方法流程图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作近一步详细的描述，但本发明的实施方式不限于此。
如图1所示，一种基于约束能量最小化变分自编码的高光谱目标检测方法，包括：
步骤S1，利用约束能量最小化算法粗检测得到用于网络训练的背景样本，具体如下：
步骤s1.1.对高光谱数据进行预处理，使用约束能量最小化对数据进行粗检测，它是通过设计一个有限脉冲响应线性滤波器 w，满足目标信号d对滤波器的响应为常数的条件下，使背景样本通过滤波器的平局输出能量最小：
Figure 483856DEST_PATH_IMAGE001
则对于输入向量x，CEM滤波器输出响应为：
Figure 980696DEST_PATH_IMAGE002
步骤s1.2.对CEM输出响应设置一个阈值，大于等于阈值认为是目标样本，小于阈值认为是背景样本，将背景样本提取出来，并将75%的背景样本设置为训练集，其余为验证集。
Figure 631120DEST_PATH_IMAGE003
其中
Figure 240700DEST_PATH_IMAGE004
为粗检验结果，
Figure 609364DEST_PATH_IMAGE005
为对应像素点坐标。根据粗检验得到的空间坐标知道对应的像素点，根据像素点坐标在原图像中找到对应背景样本光谱。
步骤S2，将背景样本输入到变分自编码器网络中进行训练，在变分自编码网络中引入能量最小化约束，从而在训练过程中，对变分自编码输出进行约束，抑制疑似目标像元的影响，更好地重构出背景，具体如下：
步骤s2.1.在变分自编码器网络进行背景重构训练时，首先需要一个最小化输入背景
Figure 909895DEST_PATH_IMAGE006
与输出重构背景
Figure 929673DEST_PATH_IMAGE007
的重构误差，保证背景尽可能的重构
Figure 759089DEST_PATH_IMAGE008
其次，相比于自编码器，变分自编码假设先验服从正态分布，解码器从这些正态分布中采样，生成隐向量，但是在采样的过程中无法为随机采样进行反向传播，因此用到“重参数化”技巧，即隐向量Z先从标准正态分布中采样
Figure 615049DEST_PATH_IMAGE009
，然后对其进行下列变换
Figure 453692DEST_PATH_IMAGE010
因此还需要对编码器的输出均值
Figure 563862DEST_PATH_IMAGE011
和方差
Figure 829758DEST_PATH_IMAGE012
加以约束，这里使用KL散度
Figure 907435DEST_PATH_IMAGE013
步骤s2.2.在数据预处理粗检测过程中，不可能保证训练的样本是纯净的背景样本，所以在网络中增加了一个新的损失函数cem_loss，用来消除疑似目标样本对背景重构的影响，具体计算公式为：
Figure 549769DEST_PATH_IMAGE014
其中，d代表已知的目标光谱，R是自相关矩阵，
Figure 278560DEST_PATH_IMAGE015
为重构背景；
即对重构计算通过滤波器输出响应，对变分自编码输出进行约束，如果大于某个阈值则认定可能重构出来的是目标而不是背景，小于某个阈值则认为重构出来的是背景，然后对损失函数不断进行优化，使重构出来背景越来越好，目标对背景的影响越来越小。
在计算损失函数的时候，对自相关矩阵R的计算做了改变，即加了正则化参数
Figure 715357DEST_PATH_IMAGE016
Figure 280331DEST_PATH_IMAGE017
相当于在目标函数中添加了L2范数惩罚
Figure 460777DEST_PATH_IMAGE018
，即“Tikhonov正则化”，确保R可逆以及数据的稳定性。
网络中整个损失函数由三部分组成，共同来优化模型：
Figure 560187DEST_PATH_IMAGE019
即网络中总的损失函数计算公式为：
Figure 167886DEST_PATH_IMAGE021
其中，
Figure 220155DEST_PATH_IMAGE022
为输入的背景，
Figure 938713DEST_PATH_IMAGE023
和
Figure 642095DEST_PATH_IMAGE024
是正态分布中的均值和方差，
Figure 420695DEST_PATH_IMAGE025
是超参数，是隐向量的维度；
步骤S3，用原始图像与步骤S2所得到的重构背景作差得到残差，再使用约束能量最小化对残差进行检测得到检测图，其中自相关矩阵由重构的背景计算得到，对检测图使用非线性函数抑制背景像素保持目标像素不变，最后根据检测图得到最终的结果；具体包括如下：
步骤s3.1.通过变分自编码器重构的背景为
Figure 960261DEST_PATH_IMAGE026
：
Figure 482509DEST_PATH_IMAGE027
将原始图像与重构背景作差得到一个3D残差块，对残差进行约束能量最小化检测得到检测图，在计算自相关矩阵
Figure 541863DEST_PATH_IMAGE028
时，不使用残差进行计算，而使用重构背景计算得到，避免疑似目标参与计算，导致目标信号的能量受到一定程度的抑制，解决了CEM对大目标检测效果不好的问题，背景自相关矩阵计算如下；
Figure 694627DEST_PATH_IMAGE029
则计算的检测图公式为：
Figure 455910DEST_PATH_IMAGE030
其中，d代表已知的目标光谱，
Figure 31116DEST_PATH_IMAGE031
是背景自相关矩阵，
Figure 194245DEST_PATH_IMAGE032
是3D残差，N是高光谱图像的像元个数。
步骤s3.2.对检测图中的每个像素设置一个权重，具体做法是对粗检测结果进行非线性拉伸，
Figure 111385DEST_PATH_IMAGE033
是粗检测结果，计算公式：
Figure 625543DEST_PATH_IMAGE034
得到对应检测图上的权重后，然后每个像素加权后得到最终的检测结果：
Figure 489594DEST_PATH_IMAGE035
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种基于约束能量最小化变分自编码的高光谱目标检测方法，其特征在于，包括：
步骤S1，利用约束能量最小化算法粗检测得到用于网络训练的背景样本；具体如下：
步骤s1.1，对高光谱数据进行预处理，使用约束能量最小化对数据进行粗检测，通过设计一个有限脉冲响应线性滤波器 w，满足目标信号d对滤波器的响应为常数的条件下，使背景样本通过滤波器的平局输出能量最小：
Figure 385002DEST_PATH_IMAGE001
R为自相关矩阵；
则对于输入向量x，CEM滤波器输出响应为：
Figure 368001DEST_PATH_IMAGE002
步骤s1.2，对CEM输出响应设置一个阈值，大于等于阈值认为是目标样本，小于阈值认为是背景样本，将背景样本提取出来，并将75%的背景样本设置为训练集，其余为验证集；
Figure 28790DEST_PATH_IMAGE003
其中
Figure 295692DEST_PATH_IMAGE004
为粗检验结果，
Figure 383734DEST_PATH_IMAGE005
为对应像素点坐标；
根据粗检验得到的空间坐标知道对应的像素点，根据像素点坐标在原图像中找到对应背景样本光谱；
步骤S2，将背景样本输入到变分自编码器网络中进行训练，在变分自编码网络中引入能量最小化约束，从而在训练过程中，对变分自编码输出进行约束，抑制疑似目标像元的影响；
在网络中增加一个新的损失函数cem_loss，在训练过程中对待重构背景进行约束，抑制疑似目标像元的影响，重构出背景；在计算损失函数的时候，在自相关矩阵R的计算中加了正则化参数
Figure 854029DEST_PATH_IMAGE006
，确保R可逆以及数据的稳定性；
步骤S2具体如下：
步骤s2.1，在变分自编码器网络进行背景重构训练时，首先需要一个最小化输入背景
Figure 318509DEST_PATH_IMAGE007
与输出重构背景
Figure 190650DEST_PATH_IMAGE008
的重构误差，保证背景尽可能的重构
Figure 449593DEST_PATH_IMAGE009
其次，相比于自编码器，变分自编码假设先验服从正态分布，解码器从这些正态分布中采样，生成隐向量，隐向量
Figure 407184DEST_PATH_IMAGE010
先从标准正态分布中采样
Figure 409775DEST_PATH_IMAGE011
，然后对其进行下列变换
Figure 933161DEST_PATH_IMAGE012
对编码器的输出均值
Figure 317000DEST_PATH_IMAGE013
和方差
Figure 824205DEST_PATH_IMAGE014
加以约束，使用KL散度
Figure 302590DEST_PATH_IMAGE015
步骤s2.2，在数据预处理粗检测过程中，在网络中增加了一个新的损失函数cem_loss，用来消除疑似目标样本对背景重构的影响，具体计算公式为：
Figure 211641DEST_PATH_IMAGE016
即对重构计算通过滤波器输出响应，对变分自编码输出进行约束，如果大于等于某个阈值则认定可能重构出来的是目标而不是背景，小于某个阈值则认为重构出来的是背景，然后对损失函数不断进行优化；
在计算损失函数的时候，对自相关矩阵R的计算做了改变，即加了正则化参数
Figure 750069DEST_PATH_IMAGE006
：
Figure 744570DEST_PATH_IMAGE017
相当于在目标函数中添加了L2范数惩罚
Figure 26647DEST_PATH_IMAGE018
；
网络中整个损失函数由三部分组成，共同来优化模型：
Figure 524624DEST_PATH_IMAGE019
其中，
Figure 561850DEST_PATH_IMAGE020
是超参数；
步骤S3，用原始图像与步骤S2得到的重构背景作差得到残差，再使用约束能量最小化对残差进行检测得到检测图，其中自相关矩阵由重构的背景成分计算得到，对检测图使用非线性函数抑制背景像素保持目标像素不变，最后根据检测图得到最终的结果；
作差得到的3D残差块用约束能量最小化检测时，自相关矩阵R不使用残差进行计算，而使用重构的背景成分计算得到；
对得到的检测图进行加权，即对粗检测结果进行非线性拉伸，得到对应的权重，每个像素加权得到最终的结果；
步骤S3具体包括如下步骤：
步骤s3.1，通过变分自编码器重构的背景为
Figure 965019DEST_PATH_IMAGE021
：
Figure 113103DEST_PATH_IMAGE022
将原始图像与重构背景作差得到一个3D残差块，对残差进行约束能量最小化检测得到检测图，在计算自相关矩阵R时，不使用残差进行计算，而使用重构背景计算得到；背景自相关矩阵计算如下；
Figure 668850DEST_PATH_IMAGE023
经过约束能量最小化计算出检测图的具体公式为：
Figure 876977DEST_PATH_IMAGE024
其中，
Figure 518174DEST_PATH_IMAGE025
是背景自相关矩阵，
Figure 204370DEST_PATH_IMAGE026
是3D残差；
步骤s3.2，对检测图中的每个像素设置一个权重，具体是对粗检测结果x进行非线性拉伸，计算公式：
Figure 676940DEST_PATH_IMAGE027
得到对应检测图上的权重后，然后每个像素加权后得到最终的检测结果：
Figure 993652DEST_PATH_IMAGE028
。
2.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述的基于约束能量最小化变分自编码的高光谱目标检测方法。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1所述的基于约束能量最小化变分自编码的高光谱目标检测方法。
CN202210091082.XA 2022-01-26 2022-01-26 基于约束能量最小化变分自编码的高光谱目标检测方法 Active CN114118308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210091082.XA CN114118308B (zh) 2022-01-26 2022-01-26 基于约束能量最小化变分自编码的高光谱目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210091082.XA CN114118308B (zh) 2022-01-26 2022-01-26 基于约束能量最小化变分自编码的高光谱目标检测方法

Publications (2)

Publication Number Publication Date
CN114118308A CN114118308A (zh) 2022-03-01
CN114118308B true CN114118308B (zh) 2022-05-20

Family

ID=80361991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210091082.XA Active CN114118308B (zh) 2022-01-26 2022-01-26 基于约束能量最小化变分自编码的高光谱目标检测方法

Country Status (1)

Country Link
CN (1) CN114118308B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008948B (zh) * 2019-04-15 2021-06-01 西安电子科技大学 基于变分自编码网络的高光谱图像目标检测方法
CN112766223B (zh) * 2021-01-29 2023-01-06 西安电子科技大学 基于样本挖掘与背景重构的高光谱图像目标检测方法

Also Published As

Publication number Publication date
CN114118308A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN113554089B (zh) 一种图像分类对抗样本防御方法、系统及数据处理终端
CN110361778B (zh) 一种基于生成对抗网络的地震数据重建方法
CN109902018B (zh) 一种智能驾驶系统测试案例的获取方法
CN111160229B (zh) 基于ssd网络的视频目标检测方法及装置
Li et al. Few-Shot Learning with Generative Adversarial Networks Based on WOA13 Data.
CN116402825B (zh) 轴承故障红外诊断方法、系统、电子设备及存储介质
CN110633711A (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
CN111222583B (zh) 一种基于对抗训练与关键路径提取的图像隐写分析方法
Zhang et al. Exposing unseen GAN-generated image using unsupervised domain adaptation
Abas et al. Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms
CN115439708A (zh) 一种图像数据处理方法和装置
CN116823664B (zh) 一种遥感图像云去除方法及系统
CN114118308B (zh) 基于约束能量最小化变分自编码的高光谱目标检测方法
Krishnan et al. A novel underwater image enhancement technique using ResNet
Xiao et al. Image reconstruction based on fused features and perceptual loss encoder-decoder residual network for space optical remote sensing images compressive sensing
Kaur et al. Performance Evaluation of various thresholding methods using canny edge detector
Yang et al. Underwater image restoration for seafloor targets with hybrid attention mechanisms and conditional generative adversarial network
Ekmekci et al. Quantifying Generative Model Uncertainty in Posterior Sampling Methods for Computational Imaging
Wang et al. Image denoising using an improved generative adversarial network with Wasserstein distance
CN111681156A (zh) 一种应用于无线传感器网络的深度压缩感知图像重构方法
AKINTOYE et al. COMPOSITE MEDIAN WIENER FILTER BASED TECHNIQUE FOR IMAGE ENHANCEMENT.
CN114549912B (zh) 引力波侯选体筛选方法、装置及存储介质
CN113221858B (zh) 人脸识别对抗攻击的防御方法及系统
CN116879192B (zh) 基于卫星遥感数据的水华预测方法、装置、设备及介质
Abdalmajeed et al. Using the natural scenes’ edges for assessing image quality blindly and efficiently

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant