CN112949422A - 一种基于自监督光谱匹配框架的高光谱目标检测方法 - Google Patents
一种基于自监督光谱匹配框架的高光谱目标检测方法 Download PDFInfo
- Publication number
- CN112949422A CN112949422A CN202110167973.4A CN202110167973A CN112949422A CN 112949422 A CN112949422 A CN 112949422A CN 202110167973 A CN202110167973 A CN 202110167973A CN 112949422 A CN112949422 A CN 112949422A
- Authority
- CN
- China
- Prior art keywords
- target
- hyperspectral image
- spectrum
- sample
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自监督光谱匹配框架的高光谱目标检测方法,首先,通过预检测器对目标和背景进行粗糙分类;根据预检测器的检测结果得分,进一步对目标和背景数据进行聚类,将整个数据分为不同的子类别,降低目标和背景的类内差异;其次,选取聚类中心作为类别代表性样本,并通过不同的权重线性组合生成大量的训练数据,采用训练数据通过有监督方式对光谱匹配网络进行训练;最后,通过基于样本对的损训练光谱匹配网络,使目标像素之间的距离最小,使目标与背景之间的距离最大化,完成目标检测。本发明通过由粗到细的检测方式,实现对复杂背景像素进行建模,可以提升特征的鉴别能力,提高检测精度。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种高光谱目标检测方法。
背景技术
高光谱目标检测是一个像素级的目标识别问题,给予少量的先验目标像素,它旨在识别整个图像中所有目标像素。不同于普通的RGB图像,高光谱图像同时包含了空间以及成百上千个波段的光谱信息。由于丰富的光谱信息,高光谱图像直接可以通过光谱差异检测地面中像素较少的目标,但这仍然是一个相当具有挑战性的任务。因为目标通常很小,背景占据了大部分图像,目标数据在图像中往往占据很少比例,这导致了目标和背景样本的极度不均衡。同时背景数据复杂而多样,存在一些与目标像素非常相似的背景。更糟糕的是,该任务为弱标注任务,只给出了少量的目标像素。目前,高光谱目标检测方法主要包括信号处理、稀疏表示和深度学习三类:
首先是信号处理算法。它是一种在特定情况下简单有效的方法,但是无法处理复杂场景。如Farrand等人在文献“W.H.Farrand and J.C.Harsanyi,Mapping thedistribution of mine tailings in the Coeur d’Alene River Valley,Idaho,throughthe use of a constrained energy minimization technique.Remote Sensing ofEnvironment,vol.59,no.1,pp.64–76,1997”中提出通过脉冲响应滤波抑制背景像素的响应值,并优化整体能量最小化,从而将目标样本与背景分离。如果背景很复杂,图像中包含与目标非常相似的光谱,这种方法往往不能较好的分离目标和背景像素。此外,类内样本差异过大也可能导致方法不可靠。
其次是稀疏表示方法。高光谱像素可以稀疏地表示为过完备光谱字典里几个元素的线性组合,其中光谱字典一些是目标光谱,另一些属于背景光谱。稀疏约束优化问题通过正交匹配追踪算法来解决。如Chen等人在文献“Y.Chen,N.M.Nasrabadi,and T.D.Tran,Sparse representation for target detection in hyperspectral imagery.IEEEJournal of Selected Topics in Signal Processing,vol.5,no.3,pp.629–640,2011.”中采用了双窗口的方式,能够有效利用局部空间信息。最终待测样本可由周围环境共同代表背景像素和给定的目标像素作为字典,同时分别计算目标和背景光谱的重建误差,最后通过比较目标和背景重建差异判断像素类别。然而,基于稀疏的方法直接采用像素的原始光谱作为稀疏字典,原始像素包含冗余信息,会导致特征区分性不够。
最后一种是深度学习方法。深度学习在许多高光谱和遥感任务中取得了巨大成功。受益于大量的训练数据和强大的特征提取能力,深层网络可以学习到更好的特征表示。然而在高光谱目标检测任务中,训练数据和标注很少。因此,直接采用常用的深度学习模式训练容易发生过拟合问题。为了解决这个问题,数据扩充和设计良好的模型是必要的。如Du等人在文献“W.Xie,J.Yang,J.Lei,Q.Du,and Y.Li,SRUN:spectral regularizedunsupervised networks for hyperspectral target detection.IEEE Transactions onGeoscience and Remote Sensing,vol.58,no.2,pp.1463-1474.”提出了一种基于谱正则的变分自编码机(VAE)框架。该方法通过编码解码网络结构以及重构损失进行训练,能够从大量无标注数据中学习到有效信息,获取良好的光谱特征表示。
发明内容
为了克服现有技术的不足,本发明提供了一种基于自监督光谱匹配框架的高光谱目标检测方法,首先,通过预检测器对目标和背景进行粗糙分类;根据预检测器的检测结果得分,进一步对目标和背景数据进行聚类,将整个数据分为不同的子类别,降低目标和背景的类内差异;其次,选取聚类中心作为类别代表性样本,并通过不同的权重线性组合生成大量的训练数据,采用训练数据通过有监督方式对光谱匹配网络进行训练;最后,通过基于样本对的损训练光谱匹配网络,使目标像素之间的距离最小,使目标与背景之间的距离最大化,完成目标检测。本发明通过由粗到细的检测方式,实现对复杂背景像素进行建模,可以提升特征的鉴别能力,提高检测精度。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1:高光谱图像数据预处理;
采用最大最小归一化法对高光谱图像进行归一化处理:
计算高光谱图像的像素最大值M1和最小值M2,对高光谱图像中的每个像素x,按照式(1)进行归一化,归一化的结果为x′:
x′=(x-M2)/(M1-M2) (1)
步骤2:构造CEM检测器;
采用CEM算法,通过脉冲响应滤波使高光谱图像总体能量最小化,通过最小化目标函数式(2)得到CEM检测器;
其中w为脉冲响应滤波,R为协方差矩阵,d为先验目标光谱;
其中,h为待测高光谱图像样本;
步骤3:聚类与代表性样本选取;
将高光谱图像输入CEM检测器,高光谱图像的像素被分为背景集Hb和目标集Ht;通过k-means聚类方法分别对背景集Hb和目标集Ht进行聚类,背景集Hb被聚类为N1个类别,目标集Ht被聚类为N2个类别,令N=N1+N2;选取N个类别的聚类中心作为类别代表性样本,记为C=[c1,c2,c3,…,cN];
步骤4:仿真训练样本生成;
根据光谱混合特性,对于N个类别代表性样本C=[c1,c2,c3,…,cN],通过生成权重对样本进行线性组合产生样本;线性组合的权重计算公式为:
其中T为温度参数,控制生成权重的分布,zi和zj为从0到1之间采样的随机数;
生成的新样本数据集为H′=α·C,α=[α1,α2,α3,…,αN];每个新样本数据对应的类别标签为计算该新样本数据时最大权重对应的类别代表性样本;
步骤5:构造和训练光谱匹配网络;
构造光谱匹配网络,网络结构如下:
特征嵌入网络结构为一个三层的网络,包括一个卷积核为1*3的1D卷积层和2个全连接层;
训练光谱匹配网络所需要最小化的损失函数为:
训练完成后将原始数据输入网络中,通过网络进行标签分配,生成伪标签,进一步迭代训练;
通过新样本数据集对光谱匹配网络进行自监督的预训练,获取一个能够提取光谱特征的网络模型;接着将高光谱图像数据再次作为网络输入,并根据步骤3的聚类结果作为样本的类别标记,训练之后获取最终的光谱匹配网络;
步骤6:光谱相似度目标检测;
将待测高光谱图像和先验目标光谱输入步骤5训练完成的最终的光谱匹配网络,计算待测高光谱图像和先验目标光谱的相似度,如果相似度大于等于相似度阈值,判定高光谱图像与先验目标光谱一致。
本发明的有益效果如下:
1、本发明通过由粗到细的检测方式,实现对复杂背景像素进行建模,可以提升特征的鉴别能力,提高检测精度。
2、相比于传统的深度网络需要大量标注数据进行训练,本发明能够在没有标注的情况下,通过设计的代理任务,从未标记样本中学习有效的光谱特征表示。
3、每个特征提取子网络能够将高维光谱数据映射到低维特征空间中,减少频谱数据中的冗余信息,降低存储空间需求和计算量。
4、所提出的网络结构能够直接对光谱数据进行相似度度量,提供了良好的可扩展性。
附图说明
图1为本发明方法的流程图。
图2为本发明实施例的检测结果图,其中(a)为数据集伪彩色图像,(b)为真实标签,(c)到(e)为对比方法的检测结果,(f)为本发明所提出方法的检测结果。
图3为本发明方法与对比方法的ROC曲线图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示,一种基于自监督光谱匹配框架的高光谱目标检测方法,包括以下步骤:
步骤1:高光谱图像数据预处理;
采用最大最小归一化法对高光谱图像进行归一化处理:
计算高光谱图像的像素最大值M1和最小值M2,对高光谱图像中的每个像素x,按照式(1)进行归一化,归一化的结果为x′:
x′=(x-M2)/(M1-M2) (1)
步骤2:构造CEM检测器;
采用CEM算法,通过脉冲响应滤波使高光谱图像总体能量最小化,抑制背景样本,通过最小化目标函数式(2)得到CEM检测器;
其中w为脉冲响应滤波,R为协方差矩阵,d为先验目标光谱;
其中,h为待测高光谱图像样本;
步骤3:聚类与代表性样本选取;
将高光谱图像输入CEM检测器,高光谱图像的像素被粗分为背景集Hb和目标集Ht;但是由于背景样本数量过多,样本极度不平衡。另外,由于光谱的多样性和复杂性,在背景及目标中也存在类内差异。为了减小类内差异,对粗分类别进行进一步建模,通过k-means聚类方法分别对背景集Hb和目标集Ht进行聚类,背景集Hb被聚类为N1个类别,目标集Ht被聚类为N2个类别,令N=N1+N2;选取N个类别的聚类中心作为类别代表性样本,记为C=[c1,c2,c3,…,cN];
步骤4:仿真训练样本生成;
根据光谱混合特性,对于N个类别代表性样本C=[c1,c2,c3,…,cN],通过生成权重对样本进行线性组合产生样本;线性组合的权重计算公式为:
其中T为温度参数,控制生成权重的分布,zi和zj为从0到1之间采样的随机数;
生成的新样本数据集为H′=α·C,α=[α1,α2,α3,…,αN];每个新样本数据对应的类别标签为计算该新样本数据时最大权重对应的类别代表性样本;
步骤5:构造和训练光谱匹配网络;
构造光谱匹配网络,网络结构如下:
特征嵌入网络结构为一个三层的网络,包括一个卷积核为1*3的1D卷积层和2个全连接层;
获取生成样本数据集后,先对光谱匹配网络进行预训练,因为生成样本具有对应标签并且数据量充足,可以通过这一代理任务,对网络进行监督学习;
训练光谱匹配网络所需要最小化的损失函数为:
训练完成后将原始数据输入网络中,通过网络进行标签分配,生成伪标签,进一步迭代训练;
通过新样本数据集对光谱匹配网络进行自监督的预训练,获取一个能够提取光谱特征的网络模型;接着将高光谱图像数据再次作为网络输入,并根据步骤3的聚类结果作为样本的类别标记,训练之后获取最终的光谱匹配网络;
步骤6:光谱相似度目标检测;
将待测高光谱图像和先验目标光谱输入步骤5训练完成的最终的光谱匹配网络,计算待测高光谱图像和先验目标光谱的相似度,如果相似度大于等于相似度阈值,判定高光谱图像与先验目标光谱一致。
具体实施例:
1.实施例条件
本实施例是在Ubuntu18.04操作系统中运行。通过一张1080Ti,使用Pytorch深度学习框架进行仿真实验。
2.实施例内容
实施例中使用了四个真实高光谱数据集进行实验,分别为HYDICE,AVIRIS,AVIRIS2,Cuprite,其中目标包含飞机、汽车等。
附图2是检测结果示意图,本发明所使用的数据集相对较为复杂,待检测目标占整个图像比例非常小,并且包含了大量复杂的背景。从图中可以看出本发明方法的检测结果相较其他方法具有较好的响应。
图3分别展示了本发明提出的方法在四个数据集上与其他方法的ROC曲线对比,其中,所采用的对比方法有ACE(自适应相干估计器)、CEM(约束能量最小化)、E-CEM(集成约束能量最小化)以及CSCR(稀疏协同表示)。ROC曲线与坐标轴所围成面积越大,曲线越靠近左上角,代表方法性能越好。从图中可以看出本发明的方法在大部分数据集中都比其他方法精度高。表明本方法具有较好的检测性能。
Claims (1)
1.一种基于自监督光谱匹配框架的高光谱目标检测方法,其特征在于,包括以下步骤:
步骤1:高光谱图像数据预处理;
采用最大最小归一化法对高光谱图像进行归一化处理:
计算高光谱图像的像素最大值M1和最小值M2,对高光谱图像中的每个像素x,按照式(1)进行归一化,归一化的结果为x′:
x′=(x-M2)/(M1-M2) (1)
步骤2:构造CEM检测器;
采用CEM算法,通过脉冲响应滤波使高光谱图像总体能量最小化,通过最小化目标函数式(2)得到CEM检测器;
s.t.wTd=1 (2)
其中w为脉冲响应滤波,R为协方差矩阵,d为先验目标光谱;
其中,h为待测高光谱图像样本;
步骤3:聚类与代表性样本选取;
将高光谱图像输入CEM检测器,高光谱图像的像素被分为背景集Hb和目标集Ht;通过k-means聚类方法分别对背景集Hb和目标集Ht进行聚类,背景集Hb被聚类为N1个类别,目标集Ht被聚类为N2个类别,令N=N1+N2;选取N个类别的聚类中心作为类别代表性样本,记为C=[c1,c2,c3,…,cN];
步骤4:仿真训练样本生成;
根据光谱混合特性,对于N个类别代表性样本C=[c1,c2,c3,…,cN],通过生成权重对样本进行线性组合产生样本;线性组合的权重计算公式为:
其中T为温度参数,控制生成权重的分布,zi和zj为从0到1之间采样的随机数;
生成的新样本数据集为H′=α·C,α=[α1,α2,α3,…,αN];每个新样本数据对应的类别标签为计算该新样本数据时最大权重对应的类别代表性样本;
步骤5:构造和训练光谱匹配网络;
构造光谱匹配网络,网络结构如下:
特征嵌入网络结构为一个三层的网络,包括一个卷积核为1*3的1D卷积层和2个全连接层;
训练光谱匹配网络所需要最小化的损失函数为:
训练完成后将原始数据输入网络中,通过网络进行标签分配,生成伪标签,进一步迭代训练;
通过新样本数据集对光谱匹配网络进行自监督的预训练,获取一个能够提取光谱特征的网络模型;接着将高光谱图像数据再次作为网络输入,并根据步骤3的聚类结果作为样本的类别标记,训练之后获取最终的光谱匹配网络;
步骤6:光谱相似度目标检测;
将待测高光谱图像和先验目标光谱输入步骤5训练完成的最终的光谱匹配网络,计算待测高光谱图像和先验目标光谱的相似度,如果相似度大于等于相似度阈值,判定高光谱图像与先验目标光谱一致。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110167973.4A CN112949422A (zh) | 2021-04-30 | 2021-04-30 | 一种基于自监督光谱匹配框架的高光谱目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110167973.4A CN112949422A (zh) | 2021-04-30 | 2021-04-30 | 一种基于自监督光谱匹配框架的高光谱目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112949422A true CN112949422A (zh) | 2021-06-11 |
Family
ID=76243136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110167973.4A Pending CN112949422A (zh) | 2021-04-30 | 2021-04-30 | 一种基于自监督光谱匹配框架的高光谱目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949422A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114118308A (zh) * | 2022-01-26 | 2022-03-01 | 南京理工大学 | 基于约束能量最小化变分自编码的高光谱目标检测方法 |
-
2021
- 2021-04-30 CN CN202110167973.4A patent/CN112949422A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114118308A (zh) * | 2022-01-26 | 2022-03-01 | 南京理工大学 | 基于约束能量最小化变分自编码的高光谱目标检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108009559B (zh) | 一种基于空谱联合信息的高光谱数据分类方法 | |
CN111860612B (zh) | 无监督高光谱图像隐低秩投影学习特征提取方法 | |
CN108830296B (zh) | 一种改进的基于深度学习的高分遥感影像分类方法 | |
CN108122008B (zh) | 基于稀疏表示和多特征决策级融合的sar图像识别方法 | |
CN107368807B (zh) | 一种基于视觉词袋模型的监控视频车型分类方法 | |
CN109784392B (zh) | 一种基于综合置信的高光谱图像半监督分类方法 | |
Zhao et al. | Band-subset-based clustering and fusion for hyperspectral imagery classification | |
CN109671070B (zh) | 一种基于特征加权和特征相关性融合的目标检测方法 | |
He et al. | A dual global–local attention network for hyperspectral band selection | |
CN112200121B (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
CN111753828A (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
CN113139512B (zh) | 基于残差和注意力的深度网络高光谱影像分类方法 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
Duarte-Carvajalino et al. | Multiscale representation and segmentation of hyperspectral imagery using geometric partial differential equations and algebraic multigrid methods | |
US20150356350A1 (en) | unsupervised non-parametric multi-component image segmentation method | |
CN109034213B (zh) | 基于相关熵原则的高光谱图像分类方法和系统 | |
CN111680579B (zh) | 一种自适应权重多视角度量学习的遥感图像分类方法 | |
CN112733736A (zh) | 基于增强过采样的类别不平衡高光谱图像分类方法 | |
CN109145950B (zh) | 一种基于图信号采样的高光谱图像主动学习方法 | |
Zhong et al. | An iterative training sample updating approach for domain adaptation in hyperspectral image classification | |
Nie et al. | Hyperspectral image classification based on multiscale spectral–spatial deformable network | |
CN111914922B (zh) | 一种基于局部卷积和空洞卷积的高光谱图像分类方法 | |
CN108960005B (zh) | 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统 | |
CN112949422A (zh) | 一种基于自监督光谱匹配框架的高光谱目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |