CN112766223B - 基于样本挖掘与背景重构的高光谱图像目标检测方法 - Google Patents
基于样本挖掘与背景重构的高光谱图像目标检测方法 Download PDFInfo
- Publication number
- CN112766223B CN112766223B CN202110134786.6A CN202110134786A CN112766223B CN 112766223 B CN112766223 B CN 112766223B CN 202110134786 A CN202110134786 A CN 202110134786A CN 112766223 B CN112766223 B CN 112766223B
- Authority
- CN
- China
- Prior art keywords
- network
- training
- image
- hyperspectral image
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明公开了一种基于样本挖掘和背景重构的高光谱图像目标检测方法,主要解决现有技术目标检测精度低的问题。其方案是:对输入高光谱图像进行粗检测,并基于粗检测结果获得训练样本;分别构建生成式对抗网络、逆向自编码器网络和自编码器网络,并用训练样本对其分别进行训练;计算自编码器网络重构输入高光谱图像的重构误差和初步检测结果;根据初步检测结果得到优化后的高光谱图像和特征图,进而实现第二阶段样本挖掘、网络训练和目标检测,得到第二阶段检测结果;融合初步检测结果和第二阶段检测结果,得到最终检测结果。本发明能充分利用背景光谱信息,有效抑制背景干扰,提升了目标检测精度,可用于环境保护、矿物勘测、作物估产和防灾救灾。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种高光谱图像目标检测方法,可用于环境保护、矿物勘测、作物估产、防灾救灾和城市建设。
背景技术
遥感技术最早产生于20世纪60年代,随后成为一门新兴的交叉科学技术,得到了迅猛发展。遥感图像中的光谱信息往往在很大程度上表征了地物的本征特性,所以光谱分辨率的提高有助于对地物的精确识别和分类。20世纪80年代开始,在多光谱遥感技术的基础上,进一步增强其光谱分辨率,高光谱遥感技术应运而生,其光谱范围覆盖了从可见光到近红外乃至长波红外。
利用高光谱图像中的光谱信息可以有效的区分场景中的不同物质,在目标检测领域具有独特的优势。高光谱图像目标检测是高光谱遥感技术研究中的一个重要领域,主要是依据感兴趣目标的反射光谱与其他地物的差异,抑制背景的同时突显目标分量,使得两者具有明显的可分性。当目标的光谱特征已知时,检测方法需要将待探测的遥感图像中目标地物与其他地物进行区分,判断目标在各个像素内的存在性。近年来,高光谱图像目标检测技术已经在很多领域中得到成功应用,如环境保护、矿物勘测、作物估产、防灾救灾、城市建设等,具有广阔的应用前景。
传统的高光谱图像目标检测方法侧重于对光谱特征进行目标检测,已经形成了确定性算法和统计学算法两大类。确定性算法主要是通过计算目标光谱与待检测光谱之间的距离来查找目标,物理含义明显,计算简单。但是,在真实高光谱影像中,由于目标受到噪声、光照、地形阴影等因素的影响,同一目标在不同空间位置存在“同物异谱”的现象,此时将无法检测出目标,并且不能进行亚像素目标的探测。光谱角匹配SAM算法及其衍生算法是确定性算法的典型应用之一。基于统计学的算法则假设高光谱数据符合一定的统计分布,目标为不符合该统计分布的目标点,通过检测目标点来查找目标。约束能量最小化CEM算法是应用最广泛的统计目标提取算法之一。该两类方法虽然取得了不错的检测效果,但是它们主要关注于有限先验信息的使用,没有充分挖掘并利用高光谱图像背景中包含的光谱信息。
2015年,Li W在Elsevier Science Inc中发表的名称为“Combined sparse andcollaborative representation for hyperspectral target detection”的论文,公开了一种基于结合稀疏和协同表示CSCR的高光谱目标检测方法,该方法首先通过目标原子稀疏表示测试样本;然后利用背景原子协同表示测试样本;最后通过计算两个表示误差之间的差异来实现决策,得到检测结果。虽然该方法利用稀疏和协同表示的差异可以提高目标检测的效果,但由于其缺少对于高光谱图像中的背景干扰信息的抑制,在其应用于背景复杂和具有频带干扰的图像时容易产生漏检和误检,导致目标检测的精度低且虚警率高。
近年来,机器学习被引入高光谱目标检测领域。但由于基于机器学习的目标检测方法属于“数据驱动型”方法,需要大量的有标注训练数据作为先验信息。而具有准确标注的高光谱图像训练样本在实际中很难获取。同时,由于高光谱图像的高维特性,导致模型提取的特征维数的增加,进而导致用于机器学习参数训练的所需样本数也急剧增加,如果训练样本数过少或训练样本标注不准确,就会导致模型参数精度无法保证,难以支撑实际应用。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于样本挖掘与背景重构的高光谱图像目标检测方法,以解决现有技术对于高光谱图像背景信息利用不充分、背景干扰抑制不充分以及有效训练样本不充足所导致的检测精度较低的问题。
实现本发明目的的思路是,利用传统算法从高光谱图像中提取待训练样本,利用生成式对抗网络、逆向自编码器网络和自编码器网络实现对于高光谱图像中真实背景像元的重构,利用自编码器网络实现对于输入高光谱图像的像元级重构,并基于重构前后误差得到初始目标检测结果,利用数据优化和迭代检测方法抑制背景干扰,降低初始目标检测结果的误检率,得到高光谱图像的最终目标检测结果。
根据上述思路,本发明的具体实现步骤包括如下:
(1)从高光谱图像库中选取大小为M×N×L的待检测高光谱图像X,以及与该待检测高光谱图像X包含的待检测目标光谱曲线相似的真实光谱向量d,其中,M、N、L分别为待检测高光谱图像X的宽、高、波段数,M>0,N>0,L≥100;
(2)对高光谱图像X进行目标检测,得到大小为M×N的检测粗结果图像C,并将该粗检测结果图像C中每个元素的值归一化至[0,1]内;
(3)将高光谱图像X中的全部像元按照粗检测结果图像C中的元素值从低到高进行排序,取排序在前的30%像元组成“伪背景”样本集XB,其包含B=M×N×30%个样本,取排序在后的0.1%像元组成“伪目标”样本集XT,其包含T=M×N×0.1%个样本;
(4)构建一个由生成器网络G和判别器网络D级联组成的生成式对抗网络A,并迭代训练生成器网络G和判别器网络D,得到第一阶段训练好的G和D;
(5)构建一个编码器网络E,将E连接至(4)中训练后的生成器网络G之后,组成逆向自编码器网络L,保持G参数固定不变,初次迭代训练编码器网络E,得到第一阶段初次训练好的编码器网络E;
(6)将(4)中训练后的生成器网络G连接至(5)中训练后的编码器网络E之后,组成一个自编码器网络S,其损失函数由最小均方误差函数、判别器误差函数和目标与背景距离函数组成,保持G参数固定不变,再次迭代训练编码器网络E,得到第一阶段训练好的编码器网络E和自编码器网络S;
(7)将高光谱图像X作为训练好的自编码器网络S的输入,输出重构后的高光谱图像X′,结合(4)中训练后的判别器网络D,直接采用(6)训练过程中使用的损失函数计算重构误差图像Rec(X),并计算初始检测结果图像R(X):
R(X)=(1-e-α·Rec(X))⊙C,
式中,Rec(x)是Rec(X)中的元素,xBi和x′Bi分别为X和X′中的像元矢量,t′为“伪目标”样本集XT的平均样本矢量;⊙表示Hadamard乘积运算,C为(2)中得到的归一化后的粗检测结果图像,α为非线性变换函数中的可调节参数;
(8)按照下式优化原始高光谱图像X中的每一波段的图像xk,得到优化后高光谱图像XR中的每一波段的图像xRk和XR对应的特征图F(X):
xRk=ωk·R(X)⊙xk,
其中,⊙表示Hadamard乘积运算,ωk为X中第k个波段的图像对应的权重系数,1≤k≤L;
(9)将优化后图像XR中的全部像元按照特征图F(X)中的元素值从低到高进行排序,取排序在前30%的像元组成第二阶段“伪背景”样本集X′B,其包含B=M×N×30%个样本,取排序在后0.1%的像元组成第二阶段“伪目标”样本集X′T,其包含T=M×N×0.1%个样本;
(10)将X′B和X′T这两个样本集分别输入到(4)-(6)中第一阶段训练好的生成式对抗网络A、逆向自编码器网络L和自编码器网络S中,再次训练其中的生成器网络G、判决器网络D和编码器网络E,得到第二阶段训练好的自编码器网络S′,并将(9)中优化后图像XR输入到网络S′得到输出的重构后图像X′R,采用(6)中损失函数公式计算XR与X′R之间的重构误差图像Rec(XR),再通过非线性变换函数,计算得到第二阶段检测结果R′(X);
(11)根据初始检测结果R(X)和第二阶段检测结果R′(X),得到高光谱图像X的最终检测结果Detc(X):
Detc(X)=(1-e-β·R′(X))⊙R(X),
其中,β是非线性变换函数中的可调节参数。
本发明与现有的技术相比具有以下优点:
第一,本发明采用传统高光谱目标检测算法对输入的高光谱图像进行检测,并基于检测结果进行样本挖掘,构建“伪背景”和“伪目标”样本集,克服了现有技术中有标签训练样本不足的问题,使得本发明在高光谱目标检测模型的训练过程中具备较为充足的训练样本,提升了模型的训练效果和检测精度。
第二,本发明采用生成式对抗网络,从输入的高光谱图像中提取背景信息特征并估计其分布,进而实现对于背景像元的精确重构,并利用输入图像各像元和其重构版本之间的误差检测高光谱图像中的目标,克服了现有技术对于背景信息利用不充分以及检测精度低的问题,使得本发明能够充分利用高光谱图像的背景信息,进一步提高了高光谱目标的检测精度。
第三,本发明采用了两阶段策略,基于第一阶段检测结果优化原始输入图像,以去除噪声干扰,克服冗余信息并提取空间特征信息,进而实现第二阶段的样本挖掘、训练和检测,并采用非线性融合方式将两阶段的检测结果进行决策级融合,以获得最终检测结果,克服了现有技术容易将背景误检为目标导致虚警率高的问题,有效抑制了背景干扰,可以更好地区分高光谱图像中的目标和复杂背景,降低了高光谱图像目标的虚警率。
仿真结果表明,本发明能有效抑制背景中的干扰,具有较高的高光谱图像目标检测精度。
附图说明
图1是本发明的实现流程图;
图2是采用现有基于结合稀疏和协同表示CSCR的高光谱目标检测方法对于一张真实高光谱图像的目标检测仿真图;
图3是采用本发明方法对于同一张真实高光谱图像的目标检测仿真图。
具体实施方式
下面结合附图对本发明的实施例和效果做进一步的详细描述。
参照图1,对本实例的实现步骤如下。
步骤1.获取待检测高光谱图像X及待检测目标的真实光谱向量d。
从高光谱图像库中选取大小为M×N×L的待检测高光谱图像X,以及与该待检测高光谱图像X包含的待检测目标光谱曲线相似的真实光谱向量d,其中,M、N、L分别为待检测高光谱图像X的宽、高、光谱波段数,M>0,N>0,L≥100;本实例中待检测高光谱图像X是由反射光学系统成像光谱仪ROSIS传感器采集的真实高光谱图像,其具有102个光谱波段,尺寸为150×150,共有68个目标像素待检测。
步骤2.使用传统高光谱图像目标检测算法对高光谱图像X进行检测,得到粗检测结果C。
传统高光谱图像目标检测算法包括光谱角匹配SAM算法、约束能量最小化CEM算法、正交子空间投影OSP算法,本实例使用但不限于用约束能量最小化CEM算法对高光谱图像X进行粗检测,具体实现如下:
(2.1)输入高光谱图像X和光谱向量d,计算系数向量w:
其中,R表示高光谱图像X的自相关矩阵,大小为L×L,计算方式如下:
式中,xi表示高光谱图像X中的第i个像元矢量,大小为L×1,1≤i≤M×N;
(2.2)基于系数向量w和像元矢量xi,计算高光谱图像X中第i个像元的目标置信度ci:
ci=(w)Txi,
其中,ci元素值越大,则第i个像元是目标的可能性越高,1≤i≤M×N;
(2.3)依次对M×N个元素ci进行归一化,得到归一化后的元素ci′:
(2.4)将所有ci′元素排列成大小为M×N的矩阵,完成对于高光谱图像目标X的检测,得到粗检测结果C。
步骤3.进行第一阶段样本挖掘,得到“伪背景”样本集XB和“伪目标”样本集XT。
(3.1)将高光谱图像X中的全部像元按照粗结果图像C中的元素值从低到高进行排序,将每个像元作为一个大小为1×L的待选训练样本;
步骤4.构建并初次训练生成式对抗网络A。
(4.1)构建一个由生成器网络G和判别器网络D级联的生成式对抗网络A,其中:
所述生成器网络G由依次连接的输入层、第一隐藏层、第二隐藏层和输出层组成,且各隐藏层的节点总数相等,均为N∈[32,256],输入层的节点总数为m,2≤m≤L,输出层与的节点数为待检测高光谱图像X的波段数L,本实例中,N=128,m=3,L=102;
所述判别器网络D,其与生成器网络G的结构和隐藏层节点数量相同,输入层的节点总数为待检测高光谱图像X的波段数L,输出层的节点总数为1,本实例中,L=102;
(4.2)迭代训练生成式对抗网络A,得到训练好的生成器网络G和判别器网络D:
(4.2a)设置当前训练迭代次数为T1=1,训练总迭代次数为Y1=10000,学习率为LR1=0.00005;
(4.2c)将“伪背景”样本集XB中的光谱向量xBi和光谱向量G(zi)分别输入到判别器网络D的输入层,经过该网络中的第一隐藏层和第二隐藏层后,通过输出层输出对于输入向量是否为真实背景光谱的两个判决概率D(xBi)和D(G(zi));
其中,LossG是生成器网络G的损失函数值,LossD是判别器网络D的损失函数值;
(4.2e)利用RMSProp均方根反向传播算法,更新生成器网络G和判别器网络D的神经元节点,使网络G的损失函数值LossG和网络D的损失函数值LossD均不断降低并接近于0;
(4.2f)判断当前训练迭代次数T1是否等于训练总迭代次数Y1:
若是,则停止训练,得到第一阶段训练好的生成器网络G和判别器网络D,并保存;
否则,令T1=T1+1,返回(4.2b)。
步骤5.构建并初次训练逆向自编码器网络L。
(5.1)构建一个编码器网络E,由由依次连接的输入层、第1隐藏层、第2隐藏层和输出层组成,输入层的节点总数与待检测高光谱图像X的波段数L相等,各隐藏层节点总数均为N∈[32,256],输出层的节点总数与(4)中生成器网络G的输入层节点数m相同,本实例中N=128,m=3,L=102;
(5.2)将编码器网络E级联至(4)中第一阶段训练好的生成器网络G之后,组成一个逆向自编码器网络L;
(5.3)迭代训练逆向自编码器网络L,得到初次训练好的编码器网络E:
(5.3a)设置当前训练迭代次数为T2=1,训练总迭代次数为Y2=10000,学习率为LR2=0.00005;
其中,⊙表示Hadamard乘积运算;
(5.3e)按照如下损失函数公式计算编码器网络E在本次迭代中的训练损失值:
(5.3f)利用RMSProp均方根反向传播算法,更新编码器网络E的神经元节点,使LossL不断降低并接近于0;
(5.3g)判断当前训练迭代次数T2是否等于训练总迭代次数Y2:
若是,则停止训练,得到第一阶段初次训练好的编码器网络E,并保存;
否则,令T2=T2+1,返回(5.3b)。
步骤6.构建并初次训练自编码器网络S。
(6.1)将步骤(4)中训练好的生成器网络G级联至(5)中第一阶段初次训练好的编码器网络E后,组成一个自编码器网络S;
(6.2)迭代训练自编码器网络S,得到第一阶段训练好的编码器网络E和自编码器网络S:
(6.2a)设置当前训练迭代次数为T3=1,训练总迭代次数为Y3=10000,学习率为LR3=0.00005;
(6.2d)将样本xBi和重构背景向量x′Bi分别输入到训练好的判别器网络D的输入层,经过该网络的第一隐藏层和第二隐藏层后,通过输出层分别输出判决概率值D(xBi)和D(x′Bi);
(6.2e)按照如下损失函数公式计算编码器网络E在本次迭代中的训练损失:
其中,t′为平均目标向量,计算公式如下:
其中,tj是“伪目标”样本集XT中的样本矢量,1≤j≤T,T是“伪目标”样本集中的样本总数;
(6.2f)利用RMSProp均方根反向传播算法,更新编码器网络E的神经元节点,使LossS不断降低并接近于0;
(6.2g)判断当前训练迭代次数T3是否等于训练总迭代次数Y3:
若是,则停止训练,得到第一阶段训练好的编码器网络E和自编码器网络S,并保存;
否则,令T3=T3+1,返回(6.2b)。
步骤7.基于第一阶段训练好的自编码器网络S实现图像重构,求得重构误差Rec(X)和初始检测结果R(X)。
(7.1)将待检测高光谱图像X输入到(6)中第一阶段训练好的编码器网络E中,得到编码器网络E输出的具有高斯分布的中间矢量集合Z;再将中间矢量集合Z输入到第一阶段训练好的生成器网络G中,得到生成器网络G输出的重构后的高光谱图像X′;
(7.2)求得重构误差和初始检测结果;
(7.2a)将高光谱图像X和重构后的高光谱图像X′分别输入到步骤(4)第一阶段训练好的判别器网络D中,分别得到输出的判决概率矩阵D(X)和重构判决概率矩阵D(X′);
(7.2b)直接采用(6)中损失函数计算高光谱图像X各像元的重构误差矩阵Rec(X),其中每个元素值Rec(xi)得计算方式如下:
(7.2c)基于(2)中粗检测结果图像C和重构误差Rec(X),计算大小为M×N的初始检测结果R(X):
R(X)=(1-e-α·Rec(X))⊙C,
其中,⊙表示Hadamard乘积运算,R(X)中每个元素表示原始高光谱图像X中对应位置处的像元是目标的可能性,α是非线性变换函数中的可调节参数,其取值是根据工程经验在[1,1000]内选取的数,本实例中α=1000;
步骤8.基于初始检测结果R(X),计算优化后的原始图像XR及对应的特征图F(X)。
(8.1)为原始图像X的第k个波段分配权重系数ωk,其计算方式如下:
(8.2)按照下式优化原始高光谱图像X中的每一波段的图像xk,得到优化后高光谱图像XR中的每一波段的图像xRk:
xRk=ωk·R(X)⊙xk,
其中,⊙表示Hadamard乘积运算,1≤k≤L;
(8.3)计算优化后的高光谱图像XR对应的特征图F(X),大小为M×N:
步骤9.基于优化后的高光谱图像XR和特征图F(X),实现第二阶段样本挖掘。
(9.1)将优化后的高光谱图像XR中的全部像元,按照特征图F(X)中的元素值,从低到高进行排序,每个像元可以作为一个大小为1×L的待选训练样本;
步骤10.进行第二阶段网络训练和背景重构,并获取待检第二阶段检测结果R′(X)。
(10.1)再次迭代训练生成式对抗网络A,得到第二阶段训练好的生成器网络G和判别器网络D:
(10.1a)设置当前训练迭代次数为T1′=1,训练总迭代次数为Y1′=10000,学习率为LR1′=0.00005;
(10.1c)将第二阶段“伪背景”样本集X′B中的光谱向量xBRi和光谱向量G(zi)分别输入到第一阶段训练好的判别器网络D的输入层,经过该网络中的第一隐藏层和第二隐藏层后,通过输出层输出对于xBRi是否为真实背景光谱的判决概率D(xBRi)和对于G(zi)是否为真实背景光谱的判决概率D(G(zi));
(10.1d)按照如下损失函数公式分别计算生成器网络G和判别器网络D在本次迭代中的训练损失值:
其中,Loss′G是生成器网络G的损失函数值,Loss′D是判别器网络D的损失函数值;
(10.1e)利用RMSProp均方根反向传播算法,更新生成器网络G和判别器网络D的神经元节点,使网络G的损失函数值Loss′G和网络D的损失函数值Loss′D均不断降低并接近于0;
(10.1f)判断当前训练迭代次数T1′是否等于训练总迭代次数Y1′:
若是,则停止训练,得到第二阶段训练好的生成器网络G′和判别器网络D′,并保存;
否则,令T1′=T1′+1,返回(10.1.b)。
(10.2)再次迭代训练逆向自编码器网络L,得到第二阶段初次训练好的编码器网络E:
(10.2a)设置当前训练迭代次数为T2′=1,训练总迭代次数为Y2′=10000,学习率为LR2′=0.00005;
其中,⊙表示Hadamard乘积运算;
(10.2e)按照如下损失函数公式计算编码器网络E在本次迭代中的训练损失值:
(10.2f)利用RMSProp均方根反向传播算法,更新编码器网络E的神经元节点,使Loss′L不断降低并接近于0;
(10.2g)判断当前训练迭代次数T2′是否等于训练总迭代次数Y2′
若是,则停止训练,得到第二阶段初次训练好的编码器网络E,并保存;
否则,令T2′=T2′+1,返回(10.2.b)。
(10.3)再次迭代训练自编码器网络S,得到第二阶段训练好的编码器网络E和自编码器网络S′:
(10.3a)设置当前训练迭代次数为T3′=1,训练总迭代次数为Y3′=10000,学习率为LR3′=0.00005;
(10.3d)将第二阶段“伪背景”样本集X′B中的光谱向量xBRi和重构背景向量x′BRi分别输入到第二阶段训练好的判别器网络D′的输入层,经过该网络的第一隐藏层和第二隐藏层后,通过输出层分别输出判决概率值D′(xBRi)和D′(x′BRi);
(10.3e)按照如下损失函数公式计算编码器网络E在本次迭代中的训练损失:
其中,t′j是第二阶段“伪目标”样本集X′T中的样本矢量,1≤j≤T;
(10.3f)利用RMSProp均方根反向传播算法,更新编码器网络E的神经元节点,使Loss′S不断降低并接近于0;
(10.3g)判断当前训练迭代次数T3′是否等于训练总迭代次数Y3′:
若是,则停止训练,得到第二阶段训练好的编码器网络E′和自编码器网络S′,并保存;
否则,令T3′=T3′+1,返回(10.3.b)。
(10.4)采用第二阶段训练好的网络S′重构图像XR,并计算重构误差和第二阶段检测结果R′(X);
(10.4a)将待检测高光谱图像XR输入到第二阶段训练好的编码器网络E′中,得到编码器网络E′输出的具有高斯分布的中间矢量集合ZR;将中间矢量集合ZR输入到第二阶段训练好的生成器网络G′中,得到生成器网络G′输出的重构后的高光谱图像X′R;
(10.4b)将高光谱图像XR和重构后的高光谱图像X′R分别输入到(10.1)中第二阶段训练好的判别器网络D′中,分别得到输出的判决概率矩阵D′(XR)和重构判决概率矩阵D′(X′R);
(10.4c)直接采用(10.3)中损失函数计算高光谱图像XR各像元的重构误差矩阵Rec(XR),其中每个元素值Rec(xRi)得计算方式如下:
(10.4d)基于重构误差Rec(XR)和步骤9中特征图F(X),计算大小为M×N的第二阶段检测结果R′(X):
其中,R′(X)中每个元素表示图像XR中对应位置处的像元是目标的可能性,α′是非线性变换函数中的可调节参数,其取值是根据工程经验在[1,1000]内选取的数,本实例中α′=1。
步骤11.获取待检测高光谱图像X的最终检测结果Detc(X)。
根据初始检测结果R(X)和第二阶段检测结果R′(X),得到高光谱图像X的最终检测结果Detc(X)。
Detc(X)=(1-e-β·R′(X))⊙R(X),
其中,⊙表示Hadamard乘积运算,β是非线性变换函数中的可调节参数,其取值是根据工程经验在[1,1000]内选取的数,本实例中β=1.5。
下面结合仿真实验对本发明的效果做进一步的说明。
1.仿真条件:
本发明的仿真实验是在主频3.60GHz的Intel(R)Core(TM)i7-7700 CPU、内存为16GB的硬件环境和包含MATLAB、Spyder的软件环境下进行的;
本发明的仿真实验采用一张由反射光学系统成像光谱仪ROSIS传感器采集的真实高光谱图像作为目标检测的对象,此图像具有102个光谱波段,尺寸为150像素×150像素,共有68个目标像素待检测,该真实高光谱图像的伪彩色图像如图2(a)和图3(a)所示,该真实高光谱图像附带的标签图像如图2(b)和图3(b)所示,图2(b)和图3(b)中白色亮点为待检测的真实目标像元;
本发明的仿真实验采取目标检测结果图的AUC值作为高光谱图像目标检测算法检测精度的评价指标,AUC值为检测结果图的接收器操作特性曲线ROC的曲线下面积,ROC曲线根据检测结果图的检测率Pd和虚警率Pf绘制,具体计算方式如下:
首先,计算检测结果图的检测率Pd和虚警率Pf:其中,N1表示在给定的置信度阈值下检测出来的真实目标像元,N2表示图像中的真实目标像元,N3表示检测结果中被误分为目标的背景像元,N4表示图像中的所有像元;
然后,将不同置信度阈值下的检测率Pd作为纵坐标,将与检测率Pd对应的虚警率Pf作为横坐标,绘制得到检测结果图的ROC曲线,通过积分得到ROC曲线下面积,即得到检测结果图的AUC值。
2.仿真内容与结果分析:
仿真1,在上述仿真条件下,采用现有基于结合稀疏和协同表示CSCR的高光谱目标检测方法对仿真实验采用的真实高光谱图像进行检测,得到的检测结果图及对应的ROC曲线分别为图2(c)和图2(d),其中,图2(c)中的白色亮点表示检测到的目标像元,图2(d)的曲线下面积为检测结果的AUC值。
仿真2,在上述仿真条件下,采用本发明方法对仿真实验采用的真实高光谱图像进行检测,得到检测结果图及对应的ROC曲线分别为图3(c)和图3(d),其中,图3(c)中的白色亮点表示本发明方法检测到的目标像元,图3(d)的曲线下面积即检测结果的AUC值。
由图2(c)和图3(c)对比观察检测结果可以发现,本发明方法在对真实高光谱图像的背景抑制上比现有技术方法效果好,这是由于本发明在第二阶段进行了样本挖掘、网络训练与目标检测,因而有效抑制了背景干扰信息,增大了目标背景分离度,提升了目标检测精度。
分别计算图2(d)和图3(d)曲线下方的面积,得到仿真1中现有技术方法的目标检测精度AUC1和仿真2中本发明方法的目标检测精度AUC2,如表1所示。
表1本发明方法和现有技术方法对真实高光谱图像的目标检测精度对比表
方法类型 | 目标检测精度 |
现有方法 | AUC<sub>1</sub>=0.82184 |
本发明方法 | AUC<sub>2</sub>=0.95313 |
从表1可见,本发明方法的AUC值与现有方法相比有明显提高,表明本发明方法具有更强的目标检测能力,可以达到更高的目标检测精度。
综上,本发明方法通过样本挖掘,为网络训练提供了充足的训练样本,解决了高光谱图像训练样本不足的问题;本发明提出的背景重构框架能够实现对于高光谱背景像元的精准重构,可以基于输入图像的重构误差得到目标检测结果,提升了目标检测精度。
Claims (8)
1.一种基于样本挖掘与背景重构的高光谱图像目标检测方法,其特征在于,包括如下:
(1)从高光谱图像库中选取大小为M×N×L的待检测高光谱图像X,以及与该待检测高光谱图像X包含的待检测目标光谱曲线相似的真实光谱向量d,其中,M、N、L分别为待检测高光谱图像X的宽、高、波段数,M>0,N>0,L≥100;
(2)对高光谱图像X进行目标检测,得到大小为M×N的粗检测结果图像C,并将该粗检测结果图像C中每个元素的值归一化至[0,1]内;
(3)将高光谱图像X中的全部像元按照结果粗检测图像C中的元素值从低到高进行排序,取排序在前的30%像元组成“伪背景”样本集XB,其包含B=M×N×30%个样本,取排序在后的0.1%像元组成“伪目标”样本集XT,其包含T=M×N×0.1%个样本;
(4)构建一个由生成器网络G和判别器网络D级联组成的生成式对抗网络A,并迭代训练生成器网络G和判别器网络D,得到第一阶段训练好的G和D;
(5)构建一个编码器网络E,将E连接至(4)中训练后的生成器网络G之后,组成逆向自编码器网络L,保持G参数固定不变,初次迭代训练编码器网络E,得到第一阶段初次训练好的编码器网络E;
(6)将(4)中训练后的生成器网络G连接至(5)中训练后的编码器网络E之后,组成一个自编码器网络S,其损失函数由最小均方误差函数、判别器误差函数和目标与背景距离函数组成,保持G参数固定不变,再次迭代训练编码器网络E,得到第一阶段训练好的编码器网络E和自编码器网络S;
(7)将高光谱图像X作为训练好的自编码器网络S的输入,输出重构后的高光谱图像X′,结合(4)中训练后的判别器网络D,直接采用(6)训练过程中使用的损失函数计算重构误差图像Rec(X),并计算初始检测结果图像R(X):
R(X)=(1-e-α·Rec(X))⊙C,
式中,Rec(x)是Rec(X)中的元素,xi和x′i分别为X和X′中的像元矢量,t′为“伪目标”样本集XT的平均样本矢量,⊙表示Hadamard乘积运算,C为(2)中得到的归一化后的粗检测结果图像,α为非线性变换函数中的可调节参数;
(8)按照下式优化原始高光谱图像X中的每一波段的图像xk,得到优化后高光谱图像XR中的每一波段的图像xRk和XR对应的特征图F(X):
xRk=ωk·R(X)⊙xk,
其中,⊙表示Hadamard乘积运算,ωk为X中第k个波段的图像对应的权重系数,1≤k≤L;
(9)将优化后图像XR中的全部像元按照特征图F(X)中的元素值从低到高进行排序,取排序在前30%的像元组成第二阶段“伪背景”样本集X′B,其包含B=M×N×30%个样本,取排序在后0.1%的像元组成第二阶段“伪目标”样本集X′T,其包含T=M×N×0.1%个样本;
(10)将X′B和X′T这两个样本集分别输入到(4)-(6)中第一阶段训练好的生成式对抗网络A、逆向自编码器网络L和自编码器网络S中,再次训练其中的生成器网络G、判决器网络D和编码器网络E,得到第二阶段训练好的自编码器网络S′,并将(9)中优化后图像XR输入到网络S′得到输出的重构后图像X′R,采用(6)中损失函数公式计算XR与X′R之间的重构误差图像Rec(XR),再通过非线性变换函数,计算得到第二阶段检测结果R′(X);
(11)根据初始检测结果R(X)和第二阶段检测结果R′(X),得到高光谱图像X的最终检测结果Detc(X):
Detc(X)=(1-e-β·R′(X))⊙R(X),
其中,β是非线性变换函数中的可调节参数。
2.根据权利要求1所述的方法,其中(2)中对高光谱图像X进行目标检测,使用约束能量最小化CEM检测算法进行,其实现如下:
(2a)输入高光谱图像X和光谱向量d,计算系数向量w:
其中,R表示高光谱图像X的自相关矩阵,大小为L×L,计算方式如下:
式中,xi表示高光谱图像X中的第i个像元矢量,大小为L×1,1≤i≤M×N;
(2b)基于系数向量w和像元矢量xi,计算高光谱图像X中第i个像元的目标置信度ci:
ci=(w)Txi,
其中,ci元素值越大,则第i个像元是目标的可能性越高,1≤i≤M×N;
(2c)依次对M×N个元素ci进行归一化,得到归一化后的元素c′i:
(2d)将所有c′i元素排列成大小为M×N的矩阵,完成对于高光谱图像X的目标检测。
3.根据权利要求1所述的方法,其中(4)生成式对抗网络A中的生成器网络G和判别器网络D均由依次连接的输入层、第一隐藏层、第二隐藏层和输出层组成,各隐藏层的节点总数相等,均为N∈[32,256];生成器网络G的输入层的节点总数为m,2≤m≤L,输出层与待检测高光谱图像X的波段数L相等;判别器网络D的输入层的节点总数与待检测高光谱图像X的波段数L相等,输出层的节点总数为1。
4.根据权利要求1所述的方法,其中(4)中迭代训练生成器网络G和判别器网络D,实现如下:
(4a)设置当前训练迭代次数为T1,训练总迭代次数为Y1=10000,并令T1=1;
(4c)将“伪背景”样本集XB中的光谱向量xBi和光谱向量G(zi)分别输入到判别器网络D的输入层,经过该网络中的第一隐藏层和第二隐藏层后,通过输出层输出对于输入向量是否为真实背景光谱的两个判决概率D(xBi)和D(G(zi));
其中,LossG是生成器网络G的损失函数值,LossD是判别器网络D的损失函数值;
(4e)利用RMSProp均方根反向传播算法,更新生成器网络G和判别器网络D的神经元节点,使网络G的损失函数值LossG和网络D的损失函数值LossD均不断降低并接近于0;
(4f)判断当前训练迭代次数T1是否等于训练总迭代次数Y1:
若是,则停止训练,得到训练好的生成器网络G和判别器网络D,并保存;
否则,令T1=T1+1,返回(4b)。
5.根据权利要求1所述的方法,其中(5)中的编码器网络E,由依次连接的输入层、第1隐藏层、第2隐藏层和输出层组成,输入层的节点总数与待检测高光谱图像X的波段数L相等,各隐藏层节点总数均为N∈[32,256],输出层的节点总数与(4)中生成器网络G的输入层节点数相同。
6.根据权利要求1所述的方法,其中(5)中初次迭代训练编码器网络E,其实现如下:
(5a)设置当前训练迭代次数为T2=1,训练总迭代次数为Y2=10000;
其中,⊙表示Hadamard乘积运算;
(5e)按照如下损失函数公式计算编码器网络E在本次迭代中的训练损失:
(5f)利用RMSProp均方根反向传播算法,更新编码器网络E的神经元节点,使LossL均不断降低并接近于0;
(5g)判断当前训练迭代次数T2是否等于训练总迭代次数Y2:
若是,则停止训练,得到初次训练好的编码器网络E,并保存;
否则,令T2=T2+1,返回(5b)。
7.根据权利要求1所述的方法,其中(6)中对再次迭代训练编码器网络E,其实现如下:
(6a)设置训练迭代次数为T3=1,训练总迭代次数为Y3=10000;
(6d)将样本xBi和重构背景向量x′Bi分别输入到训练好的判别器网络D的输入层,经过该网络的第一隐藏层和第二隐藏层后,通过输出层分别输出判决概率值D(xBi)和D(x′Bi);
(6e)按照如下损失函数公式计算编码器网络E在本次迭代中的训练损失:
(6f)利用RMSProp均方根反向传播算法,更新编码器网络E的神经元节点,使LossS均不断降低并接近于0;
(6g)判断当前训练迭代次数T3是否等于训练总迭代次数Y3:
若是,则停止训练,得到再次训练好的编码器网络E和自编码器网络S,并保存;
否则,令T3=T3+1,返回(6b)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110134786.6A CN112766223B (zh) | 2021-01-29 | 2021-01-29 | 基于样本挖掘与背景重构的高光谱图像目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110134786.6A CN112766223B (zh) | 2021-01-29 | 2021-01-29 | 基于样本挖掘与背景重构的高光谱图像目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112766223A CN112766223A (zh) | 2021-05-07 |
CN112766223B true CN112766223B (zh) | 2023-01-06 |
Family
ID=75704550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110134786.6A Active CN112766223B (zh) | 2021-01-29 | 2021-01-29 | 基于样本挖掘与背景重构的高光谱图像目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112766223B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114445720B (zh) * | 2021-12-06 | 2023-06-20 | 西安电子科技大学 | 基于空谱深度协同的高光谱异常检测方法 |
CN114118308B (zh) * | 2022-01-26 | 2022-05-20 | 南京理工大学 | 基于约束能量最小化变分自编码的高光谱目标检测方法 |
CN116305223B (zh) * | 2023-05-23 | 2023-08-04 | 北京茄豆网络科技有限公司 | 一种自助瓶装水标贴数据实时制作的方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011091726A1 (zh) * | 2010-01-29 | 2011-08-04 | 哈尔滨工业大学 | 基于激光成像的高分辨率海浪微尺度波探测方法 |
CN108764097A (zh) * | 2018-05-21 | 2018-11-06 | 北京理工大学 | 一种基于分段稀疏表示的高光谱遥感图像目标识别方法 |
WO2019100647A1 (zh) * | 2017-11-21 | 2019-05-31 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
CN110008948A (zh) * | 2019-04-15 | 2019-07-12 | 西安电子科技大学 | 基于变分自编码网络的高光谱图像目标检测方法 |
CN110378268A (zh) * | 2019-07-10 | 2019-10-25 | 中国科学院长春光学精密机械与物理研究所 | 高光谱快速目标检测方法及系统 |
CN111126359A (zh) * | 2019-11-15 | 2020-05-08 | 西安电子科技大学 | 基于自编码器与yolo算法的高清图像小目标检测方法 |
CN111325748A (zh) * | 2020-03-20 | 2020-06-23 | 哈尔滨工业大学 | 一种基于卷积神经网络的红外热像无损检测方法 |
CN111402237A (zh) * | 2020-03-17 | 2020-07-10 | 山东大学 | 基于时空级联自编码器的视频图像异常检测方法及系统 |
CN111723701A (zh) * | 2020-06-08 | 2020-09-29 | 西安交通大学 | 一种水中目标识别方法 |
-
2021
- 2021-01-29 CN CN202110134786.6A patent/CN112766223B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011091726A1 (zh) * | 2010-01-29 | 2011-08-04 | 哈尔滨工业大学 | 基于激光成像的高分辨率海浪微尺度波探测方法 |
WO2019100647A1 (zh) * | 2017-11-21 | 2019-05-31 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
CN108764097A (zh) * | 2018-05-21 | 2018-11-06 | 北京理工大学 | 一种基于分段稀疏表示的高光谱遥感图像目标识别方法 |
CN110008948A (zh) * | 2019-04-15 | 2019-07-12 | 西安电子科技大学 | 基于变分自编码网络的高光谱图像目标检测方法 |
CN110378268A (zh) * | 2019-07-10 | 2019-10-25 | 中国科学院长春光学精密机械与物理研究所 | 高光谱快速目标检测方法及系统 |
CN111126359A (zh) * | 2019-11-15 | 2020-05-08 | 西安电子科技大学 | 基于自编码器与yolo算法的高清图像小目标检测方法 |
CN111402237A (zh) * | 2020-03-17 | 2020-07-10 | 山东大学 | 基于时空级联自编码器的视频图像异常检测方法及系统 |
CN111325748A (zh) * | 2020-03-20 | 2020-06-23 | 哈尔滨工业大学 | 一种基于卷积神经网络的红外热像无损检测方法 |
CN111723701A (zh) * | 2020-06-08 | 2020-09-29 | 西安交通大学 | 一种水中目标识别方法 |
Non-Patent Citations (3)
Title |
---|
Hyperspectral Target Detection With RoI Feature Transformation and Multiscale Spectral Attention;Yanzi Shi et al;《IEEE Transactions on Geoscience and Remote Sensing》;20200729;5071-5084 * |
Spectral Attention-Driven Intelligent Target Signal Identification on a Wideband Spectrum;Gihan J. Mendis et al;《2019 IEEE Cognitive Communications for Aerospace Applications Workshop (CCAAW)》;20191121;1-6 * |
高光谱图像目标检测算法的实时处理系统设计;黄碧莹;《中国优秀硕士学位论文全文数据库(电子期刊)》;20200215;第2020年卷(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112766223A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112766223B (zh) | 基于样本挖掘与背景重构的高光谱图像目标检测方法 | |
CN107316013B (zh) | 基于nsct变换和dcnn的高光谱图像分类方法 | |
Liu et al. | Multiscale dense cross-attention mechanism with covariance pooling for hyperspectral image scene classification | |
CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
CN113392931B (zh) | 基于自监督学习及多任务学习的高光谱开放集分类方法 | |
CN110008948B (zh) | 基于变分自编码网络的高光谱图像目标检测方法 | |
CN112116563A (zh) | 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统 | |
CN110060273B (zh) | 基于深度神经网络的遥感影像滑坡测图方法 | |
CN108229551B (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
CN114359735A (zh) | 一种高光谱遥感影像变化检测方法 | |
CN113327231B (zh) | 一种基于空谱联合的高光谱异常目标检测方法和系统 | |
CN111783884A (zh) | 基于深度学习的无监督高光谱图像分类方法 | |
CN112784777B (zh) | 基于对抗学习的无监督高光谱图像变化检测方法 | |
Yang et al. | Cirrus detection based on tensor multi-mode expansion sum nuclear norm in infrared imagery | |
CN112818920B (zh) | 一种双时相高光谱图像空谱联合变化检测方法 | |
CN112330562B (zh) | 一种异构遥感图像变换方法及系统 | |
Farooque et al. | Swin transformer with multiscale 3D atrous convolution for hyperspectral image classification | |
Zhang et al. | Global attention network with multiscale feature fusion for infrared small target detection | |
CN113421198A (zh) | 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法 | |
CN108764097A (zh) | 一种基于分段稀疏表示的高光谱遥感图像目标识别方法 | |
Liu et al. | High-resolution remote sensing image information extraction and target recognition based on multiple information fusion | |
CN114511787A (zh) | 一种基于神经网络的遥感图像地物信息生成方法及其系统 | |
CN117115675A (zh) | 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质 | |
Bouhlel et al. | Multi-temporal SAR change detection using wavelet transforms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |