CN114332607A - 针对多帧图像光谱字典构建的增量学习方法和系统 - Google Patents

针对多帧图像光谱字典构建的增量学习方法和系统 Download PDF

Info

Publication number
CN114332607A
CN114332607A CN202111555198.6A CN202111555198A CN114332607A CN 114332607 A CN114332607 A CN 114332607A CN 202111555198 A CN202111555198 A CN 202111555198A CN 114332607 A CN114332607 A CN 114332607A
Authority
CN
China
Prior art keywords
frame
spectral
dictionary
spectral image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111555198.6A
Other languages
English (en)
Other versions
CN114332607B (zh
Inventor
韩晓琳
张欢
孙卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111555198.6A priority Critical patent/CN114332607B/zh
Publication of CN114332607A publication Critical patent/CN114332607A/zh
Application granted granted Critical
Publication of CN114332607B publication Critical patent/CN114332607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提出了一种针对多帧图像光谱字典构建的增量学习方法,涉及遥感图像处理技术领域,包括:获取多帧光谱图像;利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典;通过活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;利用第二帧光谱图像的特有信息与野点去除策略求解第二帧光谱图像的特异性光谱字典;使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典;对多帧光谱图像进行迭代处理,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。本申请在兼顾原有光谱图像字典表达性能的同时,有效提升了新增光谱图像的字典表达精度。

Description

针对多帧图像光谱字典构建的增量学习方法和系统
技术领域
本申请涉及遥感图像处理技术领域,尤其涉及一种针对多帧图像光谱字典构建的增量学习方法和系统。
背景技术
遥感图像中的高/多光谱图像可以提供丰富的光谱信息,这使得它可以通过光谱信息区分不同材质,可广泛应用于环境监测、地物分类等领域。基于字典学习的方法可以有效提取高/多光谱图像中的有效光谱信息,从而对背景进行建模,进而区分和辨识光谱目标。然而,随着光谱图像数量的不断增加,针对多帧光谱图像的字典学习具有较高复杂度,且无法充分利用已学到的字典信息进行增量处理。因此,针对不断增加的多帧光谱图像,如何利用已有光谱字典进行增量学习具有重要的现实意义。
现阶段,基于稀疏表示的光谱字典增量学习方法,一般仅针对新增光谱图像增加字典成分从而实现准确表达新增光谱图像的目的,但这一策略可能使得增量后字典不能较好的表达原有光谱图像;同时,也存在原有字典与新增字典中的相似成分去除问题,相似性度量与阈值选取也存在一定困难;此外,现有增量学习方法大多涉及的是自然图像,一般仅考虑了其稀疏特性,而未充分考虑到遥感图像本身固有的低秩特性,这使得字典学习过程不够准确,以上问题使得现有方法无法获得令人满意的字典增量学习结果与字典表达精度。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的第一个目的在于提出一种针对多帧图像光谱字典构建的增量学习方法,解决了现有方法无法获得令人满意的字典增量学习结果与字典表达精度的问题,通过将活动率比值引入增量字典学习中,将增量字典建模为普适性光谱字典与特异性光谱字典,在稀疏与低秩约束下同时挖掘多帧光谱图像的共有信息与特有信息,利用新增光谱图像的特有信息优化特异性光谱字典,同时利用多帧光谱图像的共有信息更新普适性光谱字典,实现了在兼顾原有光谱图像字典表达性能的同时,有效提升新增光谱图像的字典表达精度。并且本申请通过将野点去除引入增量学习的特异性光谱字典初始化中,提升了特异性光谱字典优化的有效性。
本申请的第二个目的在于提出一种针对多帧图像光谱字典构建的增量学习系统。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本申请第一方面实施例提出了一种针对多帧图像光谱字典构建的增量学习方法,包括:步骤S1,获取多帧光谱图像;步骤S2,在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数;步骤S3,使用表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;步骤S4,通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典;步骤S5,使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,获得由第一帧光谱图像的特异性光谱字典和第二帧光谱图像的特异性光谱字典以及更新后的普适性光谱字典构成的增量字典;步骤S6,对下一帧光谱图像进行步骤S4,对经过步骤S4处理的下一帧光谱图像和其上一帧光谱图像进行步骤S5;步骤S7,重复步骤S6,直到多帧光谱图像处理完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。
可选地,在本申请的一个实施例中,获取的多帧光谱图像具有相同的光谱分辨率,其中,第k帧光谱图像表示为:
Figure BDA0003418887110000021
其中,λX为获取的第k帧光谱图像的波段数,N(k)为获取的第k帧光谱图像的各波段中的像素数。
可选地,在本申请的一个实施例中,在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数,包括:
通过求解整体字典优化函数,获得表达第一帧光谱图像的光谱字典和稀疏系数,其中,
整体字典优化函数表示为:
Figure BDA0003418887110000022
其中,D(1)为表达第一帧光谱图像的光谱字典,A(1)为第一帧光谱图像的稀疏系数,X(1)为第一帧光谱图像,|| ||F表示F范数约束,|| ||1为1范数约束,|| ||*为核范数约束,λ为正则化参数,用于调节表示误差与1范数约束之间的平衡,η为正则化参数,用于调节表示误差与核约束之间的平衡。
可选地,在本申请的一个实施例中,使用表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典,包括:
对第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数逐行求取绝对值之和,求解第一帧光谱图像的稀疏系数的绝对值之和与第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数的绝对值之和比值的最大值位置,将表达第一帧光谱图像的光谱字典中的最大值位置对应的列划分为特异性光谱字典,将表达第一帧光谱图像的光谱字典中的其余列向量划分为普适性光谱字典,其中,
第一帧光谱图像的稀疏系数逐行求取绝对值之和表示为:
j|A(1)(i,j)|
其中,A(1)为第一帧光谱图像的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,
第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数逐行求取绝对值之和表示为:
j|A(2,1)(i,j)|
其中,A(2,1)为第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,
通过活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典表示为:
Figure BDA0003418887110000031
q←i
Figure BDA0003418887110000032
Dp=D(1)(:,≠q)
其中,A(1)为第一帧光谱图像的稀疏系数,A(2,1)为第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,q为第一帧光谱图像的稀疏系数的绝对值之和与第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数的绝对值之和比值的最大值位置,D(1)为表达第一帧光谱图像的光谱字典,
Figure BDA0003418887110000033
为第一帧光谱图像的特异性光谱字典,Dp为普适性光谱字典。
可选地,在本申请的一个实施例中,第二帧光谱图像的特有信息包括第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱,通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典,包括:
将利用野点去除策略去除野点后的第二帧光谱图像的特有信息中光谱的平均值作为特异性光谱字典的初始值,并利用第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱通过求解特异性光谱字典优化函数,获得第二帧光谱图像的特异性光谱字典,其中,
特异性光谱字典优化函数表示为:
Figure BDA0003418887110000041
s.t.E(2)=X(2)-D(1)A(2,1)
其中,E(2)为第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱,
Figure BDA0003418887110000042
为第二帧光谱图像的特异性光谱字典,
Figure BDA0003418887110000043
为第二帧光谱图像的特异性稀疏系数,λ1和η1为正则化参数,||||F为F范数约束,||||1为1范数约束,||||*为核范数约束,s.t.是subject to的缩写,表示优化函数求解时应满足的条件,X(2)为第二帧光谱图像,D(1)为表达第一帧光谱图像的光谱字典,A(2,1)为第二帧光谱图像通过D(1)表达时的稀疏系数。
可选地,在本申请的一个实施例中,使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,包括:
利用第一帧光谱图像在第一帧光谱图像的特异性光谱字典上不能表达的光谱以及第二帧光谱图像在第一帧光谱图像的特异性光谱字典上和第二帧光谱图像的特异性光谱字典上不能表达的光谱,求解普适性光谱字典优化函数,得到更新后的普适性光谱字典,
普适性光谱字典优化函数表示为:
Figure BDA0003418887110000044
其中,Dp为普适性光谱字典,
Figure BDA0003418887110000045
为第一帧光谱图像的普适性稀疏系数,
Figure BDA0003418887110000046
为第二帧光谱图像的普适性稀疏系数,||||F为F范数约束,||||1为1范数约束,|| ||*为核范数约束,
Figure BDA0003418887110000047
为第一帧光谱图像在第一帧光谱图像的特异性光谱字典上不能表达的光谱,
Figure BDA0003418887110000048
为第二帧光谱图像在第一帧光谱图像的特异性光谱字典上和第二帧光谱图像的特异性光谱字典上不能表达的光谱,λ2和η2为正则化参数。
可选地,在本申请的一个实施例中,增量表达误差包括:当前帧光谱图像在当前帧光谱图像的增量字典下的稀疏表示误差,表示为:
Figure BDA0003418887110000049
其中,X(k)为第k帧光谱图像,MSE(X(k))为第k帧光谱图像的增量表达误差,D(k)为前k帧光谱图像的增量字典,A(k)为第k帧光谱图像的稀疏系数,|| ||F为F范数约束,
从第一帧光谱图像到当前帧光谱图像的增量表达误差构成的向量表示为:
MSE(k)=[MSE(X(1))...MSE(X(k))]
其中,MSE(X(1))为第一帧光谱图像的增量表达误差,MSE(X(k))为当前帧光谱图像的增量表达误差,
动态阈值表示为:
σ=MSE(X(k-1))+αmax MSE(k-1)
其中,σ为第k帧光谱图像的动态阈值,α为加权因子,MSE(X(k-1))为第k-1帧光谱图像的增量表达误差,MSE(k-1)为第一帧光谱图像到第k-1帧光谱图像的增量表达误差构成的向量,maxMSE(k-1)表示误差向量MSE(k-1)的最大值。
为达上述目的,本申请第二方面实施例提出了一种针对多帧图像光谱字典构建的增量学习系统,包括:获取模块,用于获取多帧光谱图像;学习模块,用于在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数;划分模块,用于使用表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;优化模块,用于通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典;更新模块,用于使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,获得由第一帧光谱图像的特异性光谱字典和第二帧光谱图像的特异性光谱字典以及更新后的普适性光谱字典构成的增量字典;循环模块,用于利用求解模块和更新模块对下一帧光谱图像进行重复处理,直到多帧光谱图像处理完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。
为了实现上述目的,本申请第三方面实施例提出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理器被执行时,能够执行一种针对多帧图像光谱字典构建的增量学习方法。
本申请实施例的针对多帧图像光谱字典构建的增量学习方法、针对多帧图像光谱字典构建的增量学习系统和非临时性计算机存储介质,解决了现有方法无法获得令人满意的字典增量学习结果与字典表达精度的问题,通过将活动率比值引入增量字典学习中,将增量字典建模为普适性光谱字典与特异性光谱字典,在稀疏与低秩约束下同时挖掘多帧光谱图像的共有信息与特有信息,利用新增光谱图像的特有信息优化特异性光谱字典,同时利用多帧光谱图像的共有信息更新普适性光谱字典,实现了在兼顾原有光谱图像字典表达性能的同时,有效提升新增光谱图像的字典表达精度。并且本申请通过将野点去除引入增量学习的特异性光谱字典初始化中,提升了特异性光谱字典优化的有效性。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例一所提供的一种针对多帧图像光谱字典构建的增量学习方法的流程图;
图2为本申请实施例的针对多帧图像光谱字典构建的增量学习方法的增量后光谱字典对各帧光谱图像的表达误差的示例图;
图3为本申请实施例的针对多帧图像光谱字典构建的增量学习方法的另一个流程图;
图4为本申请实施例二所提供的一种针对多帧图像光谱字典构建的增量学习系统的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的针对多帧图像光谱字典构建的增量学习方法和系统。
图1为本申请实施例一所提供的一种针对多帧图像光谱字典构建的增量学习方法的流程图。
如图1所示,该针对多帧图像光谱字典构建的增量学习方法包括以下步骤:
步骤S1,获取多帧光谱图像;
步骤S2,在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数;
步骤S3,使用表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;
步骤S4,通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典;
步骤S5,使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,获得由第一帧光谱图像的特异性光谱字典和第二帧光谱图像的特异性光谱字典以及更新后的普适性光谱字典构成的增量字典;
步骤S6,对下一帧光谱图像进行步骤S4,对经过步骤S4处理的下一帧光谱图像和其上一帧光谱图像进行步骤S5;
步骤S7,重复步骤S6,直到多帧光谱图像处理完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。
本申请实施例的针对多帧图像光谱字典构建的增量学习方法,通过步骤S1,获取多帧光谱图像;步骤S2,在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数;步骤S3,使用表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;步骤S4,通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典;步骤S5,使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,获得由第一帧光谱图像的特异性光谱字典和第二帧光谱图像的特异性光谱字典以及更新后的普适性光谱字典构成的增量字典;步骤S6,对下一帧光谱图像进行步骤S4,对经过步骤S4处理的下一帧光谱图像和其上一帧光谱图像进行步骤S5;步骤S7,重复步骤S6,直到多帧光谱图像处理完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。由此,能够解决现有方法无法获得令人满意的字典增量学习结果与字典表达精度的问题,通过将活动率比值引入增量字典学习中,将增量字典建模为普适性光谱字典与特异性光谱字典,在稀疏与低秩约束下同时挖掘多帧光谱图像的共有信息与特有信息,利用新增光谱图像的特有信息优化特异性光谱字典,同时利用多帧光谱图像的共有信息更新普适性光谱字典,实现了在兼顾原有光谱图像字典表达性能的同时,有效提升新增光谱图像的字典表达精度。并且本申请通过将野点去除引入增量学习的特异性光谱字典初始化中,提升了特异性光谱字典优化的有效性。
本申请实施例中,光谱图像采用了海洋1号C卫星的海洋水色水温扫描仪获取的多光谱图像,获得的五帧光谱图像(n=5),其尺寸皆为127×154×8,光谱覆盖范围为402-885nm,即:
Figure BDA0003418887110000071
进一步地,在本申请实施例中,获取的多帧光谱图像具有相同的光谱分辨率,其中,第k帧光谱图像表示为:
Figure BDA0003418887110000081
其中,λX为获取的第k帧光谱图像的波段数,N(k)为获取的第k帧光谱图像的各波段中的像素数。
进一步地,在本申请实施例中,在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数,包括:
通过求解整体字典优化函数,获得表达第一帧光谱图像的光谱字典和稀疏系数,其中,
整体字典优化函数表示为:
Figure BDA0003418887110000082
其中,D(1)为表达第一帧光谱图像的光谱字典,A(1)为第一帧光谱图像的稀疏系数,X(1)为第一帧光谱图像,|| ||F表示F范数约束,|| ||1为1范数约束,|| ||*为核范数约束,λ为正则化参数,用于调节表示误差与1范数约束之间的平衡,η为正则化参数,用于调节表示误差与核约束之间的平衡。
本申请实施例中,表达第一帧光谱图像的光谱字典D(1)列数可以为20,正则化参数分别可以设置为λ=10-8、η=10-5
进一步地,在本申请实施例中,使用表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典,包括:
对第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数逐行求取绝对值之和,求解第一帧光谱图像的稀疏系数的绝对值之和∑j|A(1)(i,j)|与第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数的绝对值之和∑j|A(2,1)(i,j)|比值的最大值位置q,将表达第一帧光谱图像的光谱字典中的第q列划分为特异性光谱字典,将表达第一帧光谱图像的光谱字典中的其余列向量划分为普适性光谱字典,其中,
第一帧光谱图像的稀疏系数逐行求取绝对值之和表示为:
j|A(1)(i,j)|
其中,A(1)为第一帧光谱图像的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,
第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数逐行求取绝对值之和表示为:
j|A(2,1)(i,j)|
其中,A(2,1)为第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,
通过活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典表示为:
Figure BDA0003418887110000091
q←i
Figure BDA0003418887110000092
Dp=D(1)(:,≠q)
其中,A(1)为第一帧光谱图像的稀疏系数,A(2,1)为第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,q为第一帧光谱图像的稀疏系数的绝对值之和与第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数的绝对值之和比值的最大值位置,D(1)为表达第一帧光谱图像的光谱字典,
Figure BDA0003418887110000093
为第一帧光谱图像的特异性光谱字典,Dp为普适性光谱字典。
本申请实施例中,活动率比值最大值位置经计算为q=19,即第一帧光谱图像的光谱字典D(1)的第19列为特异性光谱字典Dt (1),其余字典列为普适性光谱字典Dp
进一步地,在本申请实施例中,第二帧光谱图像的特有信息包括第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱,记为
Figure BDA0003418887110000094
通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典,包括:
利用野点去除策略初始化第二帧光谱图像X(2)的特异性光谱字典
Figure BDA0003418887110000095
即将利用野点去除策略去除野点后的第二帧光谱图像的特有信息
Figure BDA0003418887110000096
中光谱的平均值作为特异性光谱字典
Figure BDA0003418887110000097
的初始值,其中,
Figure BDA0003418887110000098
表示第二帧光谱图像X(2)在第一帧光谱图像的光谱字典D(1)上的表达误差,X(2)为第二帧光谱图像,D(1)为表达第一帧光谱图像的光谱字典,A(2,1)为第二帧光谱图像通过D(1)表达时的稀疏系数,σ表示第二帧光谱图像的动态阈值。
利用第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱通过求解特异性光谱字典优化函数,获得第二帧光谱图像的特异性光谱字典,其中,
特异性光谱字典优化函数表示为:
Figure BDA0003418887110000099
s.t.E(2)=X(2)-D(1)A(2,1)
其中,E(2)为第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱,
Figure BDA00034188871100000910
为第二帧光谱图像的特异性光谱字典,
Figure BDA0003418887110000101
为第二帧光谱图像的特异性稀疏系数,λ1和η1为正则化参数,||||F为F范数约束,||||1为1范数约束,||||*为核范数约束,s.t.是subject to的缩写,表示优化函数求解时应满足的条件,X(2)为第二帧光谱图像,D(1)为表达第一帧光谱图像的光谱字典,A(2,1)为第二帧光谱图像通过D(1)表达时的稀疏系数。
本申请实施例中,野点去除策略采用基于角度的野点检测方法(Angle-basedoutlier detection,ABOD),第二帧光谱图像的特异性光谱字典
Figure BDA0003418887110000102
的列数为1,正则化参数分别可以设置为λ1=10-8、η1=10-5
由于第二帧光谱图像的特异性稀疏系数
Figure BDA0003418887110000103
会影响求解第二帧光谱图像的特异性光谱字典
Figure BDA0003418887110000104
的准确性,因此在求解过程中,需要利用收敛性迭代策略分别优化含有
Figure BDA0003418887110000105
Figure BDA0003418887110000106
的两个子问题,从而获得如下精确闭式解:
Figure BDA0003418887110000107
Figure BDA0003418887110000108
Figure BDA0003418887110000109
Figure BDA00034188871100001010
其中,
Figure BDA00034188871100001011
为第二帧光谱图像的特异性稀疏系数,
Figure BDA00034188871100001012
Figure BDA00034188871100001013
的转置矩阵,
Figure BDA00034188871100001014
为第二帧光谱图像的特异性光谱字典,
Figure BDA00034188871100001015
Figure BDA00034188871100001016
的转置矩阵,E(2)为第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱,μ为不定乘子,I为单位矩阵,soft为soft函数,λ1为正则化参数,η1为正则化参数,U为左奇异向量,∑为奇异值矩阵,VT为右奇异向量的转置,
Figure BDA00034188871100001017
Figure BDA00034188871100001018
表示分裂变量,V1与V2为拉格朗日乘子,其中,
Figure BDA00034188871100001019
表示对矩阵
Figure BDA00034188871100001020
进行svd分解后得到U、∑和VT三个矩阵。
进一步地,在本申请实施例中,使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,包括:
利用第一帧光谱图像在第一帧光谱图像的特异性光谱字典
Figure BDA00034188871100001021
上不能表达的光谱
Figure BDA00034188871100001022
以及第二帧光谱图像在第一帧光谱图像的特异性光谱字典
Figure BDA00034188871100001023
上和第二帧光谱图像的特异性光谱字典
Figure BDA00034188871100001024
上不能表达的光谱
Figure BDA00034188871100001025
求解普适性光谱字典优化函数,得到更新后的普适性光谱字典Dp
普适性光谱字典优化函数表示为:
Figure BDA0003418887110000111
Figure BDA0003418887110000112
Figure BDA0003418887110000113
其中,Dp为普适性光谱字典,
Figure BDA0003418887110000114
为第一帧光谱图像的普适性稀疏系数,
Figure BDA0003418887110000115
为第二帧光谱图像的普适性稀疏系数,||||F为F范数约束,||||1为1范数约束,|| ||*为核范数约束,
Figure BDA0003418887110000116
为第一帧光谱图像在第一帧光谱图像的特异性光谱字典上不能表达的光谱,
Figure BDA0003418887110000117
为第二帧光谱图像在第一帧光谱图像的特异性光谱字典上和第二帧光谱图像的特异性光谱字典上不能表达的光谱,λ2和η2为正则化参数,s.t.是subject to的缩写,表示优化函数求解时应满足的条件,X(1)为第一帧光谱图像,
Figure BDA0003418887110000118
为第一帧光谱图像的特异性光谱字典,
Figure BDA0003418887110000119
为第一帧光谱图像的特异性稀疏系数,X(2)为第二帧光谱图像,
Figure BDA00034188871100001110
为第二帧光谱图像通过第一帧光谱图像的特异性光谱字典表达时的稀疏系数,
Figure BDA00034188871100001111
为第二帧光谱图像的特异性光谱字典,
Figure BDA00034188871100001112
为第二帧光谱图像的特异性稀疏系数,
本申请实施例中,正则化参数分别可以设置为λ2=10-8、η2=10-5
普适性光谱字典优化函数可进一步表示为:
Figure BDA00034188871100001113
其中,Dp为普适性光谱字典,
Figure BDA00034188871100001114
为第一帧光谱图像的普适性稀疏系数,
Figure BDA00034188871100001115
为第二帧光谱图像的普适性稀疏系数,|| ||F为F范数约束,|| ||1为1范数约束,|| ||*为核范数约束,
Figure BDA00034188871100001116
为第一帧光谱图像在第一帧光谱图像的特异性光谱字典上不能表达的光谱,
Figure BDA00034188871100001117
为第二帧光谱图像在第一帧光谱图像的特异性光谱字典上和第二帧光谱图像的特异性光谱字典上不能表达的光谱,λ2和η2为正则化参数。
由于第一帧光谱图像的普适性稀疏系数
Figure BDA00034188871100001118
与第二帧光谱图像的普适性稀疏系数
Figure BDA00034188871100001119
会影响普适性光谱字典Dp的准确性,因此需要利用收敛性迭代策略分别优化含有Dp
Figure BDA00034188871100001120
Figure BDA00034188871100001121
的三个子问题,从而获得如下精确闭式解:
Figure BDA00034188871100001122
Figure BDA00034188871100001123
Figure BDA00034188871100001124
Figure BDA00034188871100001125
其中,Dp为普适性光谱字典,
Figure BDA00034188871100001126
为Dp的转置矩阵,μ为不定乘子,I为单位矩阵,soft为soft函数,λ2为正则化参数,U为左奇异向量,∑为奇异值矩阵,VT为右奇异向量的转置,η2为正则化参数,
Figure BDA0003418887110000121
Figure BDA0003418887110000122
Figure BDA0003418887110000123
表示分裂变量,V3与V4为拉格朗日乘子,其中,
Figure BDA0003418887110000124
为第一帧光谱图像在第一帧光谱图像的特异性光谱字典上不能表达的光谱,
Figure BDA0003418887110000125
为第二帧光谱图像在第一帧光谱图像的特异性光谱字典上和第二帧光谱图像的特异性光谱字典上不能表达的光谱,X(1)为第一帧光谱图像,
Figure BDA0003418887110000126
为第一帧光谱图像的特异性光谱字典,
Figure BDA0003418887110000127
为第一帧光谱图像的特异性稀疏系数,X(2)为第二帧光谱图像,
Figure BDA0003418887110000128
为第二帧光谱图像通过第一帧光谱图像的特异性光谱字典表达时的稀疏系数,
Figure BDA0003418887110000129
为第二帧光谱图像的特异性光谱字典,
Figure BDA00034188871100001210
为第二帧光谱图像的特异性稀疏系数,
Figure BDA00034188871100001211
表示对矩阵
Figure BDA00034188871100001212
进行svd分解后得到U、∑和VT三个矩阵。
对多帧光谱图像进行迭代处理,直到多帧光谱图像迭代完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典,其中,
通过求解特异性光谱字典优化函数得到第k帧光谱图像X(k)的特异性光谱字典
Figure BDA00034188871100001213
其中,特异性光谱字典优化函数表示为
Figure BDA00034188871100001214
s.t.E(k)=X(k)-D(k-1)A(k,k-1)
其中,
Figure BDA00034188871100001215
为第k帧光谱图像的特异性光谱字典,
Figure BDA00034188871100001216
为第k帧光谱图像的特异性稀疏系数,E(k)为第k帧光谱图像在前k-1帧光谱图像的光谱字典上不能表达的光谱,λ和η为正则化参数,|| ||F为F范数约束,|| ||1为1范数约束,|| ||*为核范数约束,s.t.是subjectto的缩写,表示优化函数求解时应满足的条件,X(k)为第k帧光谱图像,D(k-1)为表达第k-1帧光谱图像的光谱字典,A(k,k-1)为第k帧光谱图像通过D(k-1)表达时的稀疏系数。
通过求解普适性光谱字典优化函数得到由k帧光谱图像更新后的普适性光谱字典,其中,普适性光谱字典优化函数表示为:
Figure BDA0003418887110000131
Figure BDA0003418887110000132
其中,Dp表示由k帧光谱图像更新后的普适性光谱字典,
Figure BDA0003418887110000133
表示第k-1帧光谱图像的特异性稀疏系数,
Figure BDA0003418887110000134
表示第k帧光谱图像的特异性稀疏系数,
Figure BDA0003418887110000135
为第k-1帧光谱图像在前k-1帧光谱图像的特异性光谱字典上不能表达的光谱,
Figure BDA0003418887110000136
为第k帧光谱图像在前k帧光谱图像的特异性光谱字典上不能表达的光谱,|| ||F为F范数约束,|| ||1为1范数约束,|| ||*为核范数约束,s.t.是subject to的缩写,表示优化函数求解时应满足的条件,X(k)为第k帧光谱图像,
Figure BDA0003418887110000137
为第i帧光谱图像的特异性光谱字典,
Figure BDA0003418887110000138
为第k帧光谱图像通过第i帧光谱图像的特异性光谱字典表达时的稀疏系数。
进一步地,在本申请实施例中,增量表达误差包括:当前帧光谱图像在当前帧光谱图像的增量字典下的稀疏表示误差,表示为:
Figure BDA0003418887110000139
其中,X(k)为第k帧光谱图像,MSE(X(k))为第k帧光谱图像的增量表达误差,D(k)为前k帧光谱图像的增量字典,A(k)为第k帧光谱图像的稀疏系数,|| ||F为F范数约束,
从第一帧光谱图像到当前帧光谱图像的增量表达误差构成的向量表示为:
MSE(k)=[MSE(X(1))...MSE(X(k))]
其中,MSE(X(1))为第一帧光谱图像的增量表达误差,MSE(X(k))为当前帧光谱图像的增量表达误差,
动态阈值表示为:
σ=MSE(X(k-1))+αmaxMSE(k-1)
其中,σ为第k帧光谱图像的动态阈值,α为加权因子,MSE(X(k-1))为第k-1帧光谱图像的增量表达误差,MSE(k-1)为第一帧光谱图像到第k-1帧光谱图像的增量表达误差构成的向量,maxMSE(k-1)表示误差向量MSE(k-1)的最大值。
本申请实施例中,加权因子可以为σ=0.1,增量后光谱字典对各帧光谱图像的表达误差MSE如图2所示,呈下降趋势,最终稳定在较低水平,且增量后光谱字典对原有光谱图像表达依然非常准确。
图3为本申请实施例的针对多帧图像光谱字典构建的增量学习方法的另一个流程图。
如图3所示,该针对多帧图像光谱字典构建的增量学习方法,获取多帧光谱图像;在稀疏与低秩表示下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典;通过活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和特异性光谱字典;利用第二帧光谱图像的特有信息与野点去除策略求解第二帧光谱图像的特异性光谱字典;使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典;对多帧光谱图像进行迭代处理,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。
图4为本申请实施例二所提供的一种针对多帧图像光谱字典构建的增量学习系统的结构示意图。
如图4所示,该针对多帧图像光谱字典构建的增量学习系统,包括:
获取模块10,用于获取多帧光谱图像;
学习模块20,用于在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数;
划分模块30,用于使用表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;
优化模块40,用于通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典;
更新模块50,用于使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,获得由第一帧光谱图像的特异性光谱字典和第二帧光谱图像的特异性光谱字典以及更新后的普适性光谱字典构成的增量字典;
循环模块60,用于利用求解模块和更新模块对下一帧光谱图像进行重复处理,直到多帧光谱图像处理完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。
本申请实施例的针对多帧图像光谱字典构建的增量学习系统,包括:获取模块,用于获取多帧光谱图像;学习模块,用于在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数;划分模块,用于使用表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;优化模块,用于通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典;更新模块,用于使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,获得由第一帧光谱图像的特异性光谱字典和第二帧光谱图像的特异性光谱字典以及更新后的普适性光谱字典构成的增量字典;循环模块,用于利用求解模块和更新模块对下一帧光谱图像进行重复处理,直到多帧光谱图像处理完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。由此,能够解决现有方法无法获得令人满意的字典增量学习结果与字典表达精度的问题,通过将活动率比值引入增量字典学习中,将增量字典建模为普适性光谱字典与特异性光谱字典,在稀疏与低秩约束下同时挖掘多帧光谱图像的共有信息与特有信息,利用新增光谱图像的特有信息优化特异性光谱字典,同时利用多帧光谱图像的共有信息更新普适性光谱字典,实现了在兼顾原有光谱图像字典表达性能的同时,有效提升新增光谱图像的字典表达精度。并且本申请通过将野点去除引入增量学习的特异性光谱字典初始化中,提升了特异性光谱字典优化的有效性。
为了实现上述实施例,本申请还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例的针对多帧图像光谱字典构建的增量学习方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种针对多帧图像光谱字典构建的增量学习方法,其特征在于,
步骤S1,获取多帧光谱图像;
步骤S2,在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数;
步骤S3,使用所述表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和所述第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将所述表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;
步骤S4,通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典;
步骤S5,使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,获得由所述第一帧光谱图像的特异性光谱字典和所述第二帧光谱图像的特异性光谱字典以及更新后的普适性光谱字典构成的增量字典;
步骤S6,对下一帧光谱图像进行步骤S4,对经过步骤S4处理的下一帧光谱图像和其上一帧光谱图像进行步骤S5;
步骤S7,重复步骤S6,直到多帧光谱图像处理完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。
2.如权利要求1所述的方法,其特征在于,获取的多帧光谱图像具有相同的光谱分辨率,其中,第k帧光谱图像表示为:
Figure FDA0003418887100000011
其中,λX为获取的第k帧光谱图像的波段数,N(k)为获取的第k帧光谱图像的各波段中的像素数。
3.如权利要求1所述的方法,其特征在于,所述在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数,包括:
通过求解整体字典优化函数,获得表达第一帧光谱图像的光谱字典和稀疏系数,其中,
整体字典优化函数表示为:
Figure FDA0003418887100000021
其中,D(1)为表达第一帧光谱图像的光谱字典,A(1)为第一帧光谱图像的稀疏系数,X(1)为第一帧光谱图像,|| ||F表示F范数约束,|| ||1为1范数约束,|| ||*为核范数约束,λ为正则化参数,用于调节表示误差与1范数约束之间的平衡,η为正则化参数,用于调节表示误差与核约束之间的平衡。
4.如权利要求1所述的方法,其特征在于,所述使用所述表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和所述第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将所述表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典,包括:
对第一帧光谱图像的稀疏系数和第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数逐行求取绝对值之和,求解第一帧光谱图像的稀疏系数的绝对值之和与第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数的绝对值之和比值的最大值位置,将表达第一帧光谱图像的光谱字典中的最大值位置对应的列划分为特异性光谱字典,将表达第一帧光谱图像的光谱字典中的其余列向量划分为普适性光谱字典,其中,
第一帧光谱图像的稀疏系数逐行求取绝对值之和表示为:
j|A(1)(i,j)|
其中,A(1)为第一帧光谱图像的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,
第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数逐行求取绝对值之和表示为:
j|A(2,1)(i,j)|
其中,A(2,1)为第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,
通过活动率比值将所述表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典表示为:
Figure FDA0003418887100000022
Figure FDA0003418887100000023
其中,A(1)为第一帧光谱图像的稀疏系数,A(2,1)为第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,i为稀疏系数矩阵的第i行,j为稀疏系数矩阵的第j列,q为第一帧光谱图像的稀疏系数的绝对值之和与第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数的绝对值之和比值的最大值位置,D(1)为表达第一帧光谱图像的光谱字典,
Figure FDA0003418887100000036
为第一帧光谱图像的特异性光谱字典,Dp为普适性光谱字典。
5.如权利要求1所述的方法,其特征在于,所述第二帧光谱图像的特有信息包括第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱,所述通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典,包括:
将利用野点去除策略去除野点后的第二帧光谱图像的特有信息中光谱的平均值作为特异性光谱字典的初始值,并利用第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱通过求解特异性光谱字典优化函数,获得第二帧光谱图像的特异性光谱字典,其中,
特异性光谱字典优化函数表示为:
Figure FDA0003418887100000031
s.t.E(2)=X(2)-D(1)A(2,1)
其中,E(2)为第二帧光谱图像在第一帧光谱图像的光谱字典上不能表达的光谱,
Figure FDA0003418887100000037
为第二帧光谱图像的特异性光谱字典,
Figure FDA0003418887100000038
为第二帧光谱图像的特异性稀疏系数,λ1和η1为正则化参数,|| ||F为F范数约束,|| ||1为1范数约束,|| ||*为核范数约束,s.t.是subjectto的缩写,表示优化函数求解时应满足的条件,X(2)为第二帧光谱图像,D(1)为表达第一帧光谱图像的光谱字典,A(2,1)为第二帧光谱图像通过D(1)表达时的稀疏系数。
6.如权利要求1所述的方法,其特征在于,所述使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,包括:
利用第一帧光谱图像在第一帧光谱图像的特异性光谱字典上不能表达的光谱以及第二帧光谱图像在第一帧光谱图像的特异性光谱字典上和第二帧光谱图像的特异性光谱字典上不能表达的光谱,求解普适性光谱字典优化函数,得到更新后的普适性光谱字典,
普适性光谱字典优化函数表示为:
Figure FDA0003418887100000032
其中,Dp为普适性光谱字典,
Figure FDA0003418887100000033
为第一帧光谱图像的普适性稀疏系数,
Figure FDA0003418887100000034
为第二帧光谱图像的普适性稀疏系数,|| ||F为F范数约束,|| ||1为1范数约束,|| ||*为核范数约束,
Figure FDA0003418887100000039
为第一帧光谱图像在第一帧光谱图像的特异性光谱字典上不能表达的光谱,
Figure FDA0003418887100000035
为第二帧光谱图像在第一帧光谱图像的特异性光谱字典上和第二帧光谱图像的特异性光谱字典上不能表达的光谱,λ2和η2为正则化参数。
7.如权利要求1所述的方法,其特征在于,所述增量表达误差包括:当前帧光谱图像在当前帧光谱图像的增量字典下的稀疏表示误差,表示为:
Figure FDA0003418887100000041
其中,X(k)为第k帧光谱图像,MSE(X(k))为第k帧光谱图像的增量表达误差,D(k)为前k帧光谱图像的增量字典,A(k)为第k帧光谱图像的稀疏系数,|| ||F为F范数约束,
从第一帧光谱图像到当前帧光谱图像的增量表达误差构成的向量表示为:
MSE(k)=[MSE(X(1))...MSE(X(k))]
其中,MSE(X(1))为第一帧光谱图像的增量表达误差,MSE(X(k))为当前帧光谱图像的增量表达误差,
所述动态阈值表示为:
σ=MSE(X(k-1))+αmax MSE(k-1)
其中,σ为第k帧光谱图像的动态阈值,α为加权因子,MSE(X(k-1))为第k-1帧光谱图像的增量表达误差,MSE(k-1)为第一帧光谱图像到第k-1帧光谱图像的增量表达误差构成的向量,maxMSE(k-1)表示误差向量MSE(k-1)的最大值。
8.一种针对多帧图像光谱字典构建的增量学习系统,其特征在于,包括:
获取模块,用于获取多帧光谱图像;
学习模块,用于在稀疏与低秩约束下,利用第一帧光谱图像进行字典学习,获得表达第一帧光谱图像的光谱字典和稀疏系数;
划分模块,用于使用所述表达第一帧光谱图像的光谱字典对第二帧光谱图像进行稀疏表示,得到第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,利用第一帧光谱图像的稀疏系数和所述第二帧光谱图像通过第一帧光谱图像的光谱字典表达时的稀疏系数,通过引入活动率比值将所述表达第一帧光谱图像的光谱字典划分为普适性光谱字典和第一帧光谱图像的特异性光谱字典;
优化模块,用于通过引入野点去除策略,将第二帧光谱图像的特有信息作为第二帧光谱图像的特异性光谱字典的初始值,并在稀疏与低秩约束下进行优化求解,得到第二帧光谱图像的特异性光谱字典;
更新模块,用于使用第一帧光谱图像和第二帧光谱图像的共有信息更新普适性光谱字典,获得由所述第一帧光谱图像的特异性光谱字典和所述第二帧光谱图像的特异性光谱字典以及更新后的普适性光谱字典构成的增量字典;
循环模块,用于利用所述求解模块和所述更新模块对下一帧光谱图像进行重复处理,直到多帧光谱图像处理完成或者增量表达误差大于动态阈值,停止循环增量过程,获得由多帧光谱图像的特异性光谱字典和更新后的普适性光谱字典构成的增量字典。
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202111555198.6A 2021-12-17 2021-12-17 针对多帧图像光谱字典构建的增量学习方法和系统 Active CN114332607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111555198.6A CN114332607B (zh) 2021-12-17 2021-12-17 针对多帧图像光谱字典构建的增量学习方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111555198.6A CN114332607B (zh) 2021-12-17 2021-12-17 针对多帧图像光谱字典构建的增量学习方法和系统

Publications (2)

Publication Number Publication Date
CN114332607A true CN114332607A (zh) 2022-04-12
CN114332607B CN114332607B (zh) 2024-06-11

Family

ID=81052102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111555198.6A Active CN114332607B (zh) 2021-12-17 2021-12-17 针对多帧图像光谱字典构建的增量学习方法和系统

Country Status (1)

Country Link
CN (1) CN114332607B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247034A (zh) * 2013-05-08 2013-08-14 中国科学院光电研究院 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法
CN105427300A (zh) * 2015-12-21 2016-03-23 复旦大学 一种基于低秩表示和学习字典的高光谱图像异常探测算法
CN106557782A (zh) * 2016-11-22 2017-04-05 青岛理工大学 基于类字典的高光谱图像分类方法及装置
CN107274343A (zh) * 2017-06-01 2017-10-20 清华大学 一种稀疏框架下基于光谱库的多光谱遥感图像光谱超分辨率方法
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
WO2020199205A1 (zh) * 2019-04-04 2020-10-08 合刃科技(深圳)有限公司 一种混合型高光谱图像重构的方法及系统
CN112733865A (zh) * 2021-01-25 2021-04-30 清华大学 一种基于稀疏表示与固定原子迭代的光谱目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247034A (zh) * 2013-05-08 2013-08-14 中国科学院光电研究院 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法
CN105427300A (zh) * 2015-12-21 2016-03-23 复旦大学 一种基于低秩表示和学习字典的高光谱图像异常探测算法
CN106557782A (zh) * 2016-11-22 2017-04-05 青岛理工大学 基于类字典的高光谱图像分类方法及装置
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN107274343A (zh) * 2017-06-01 2017-10-20 清华大学 一种稀疏框架下基于光谱库的多光谱遥感图像光谱超分辨率方法
WO2020199205A1 (zh) * 2019-04-04 2020-10-08 合刃科技(深圳)有限公司 一种混合型高光谱图像重构的方法及系统
CN112733865A (zh) * 2021-01-25 2021-04-30 清华大学 一种基于稀疏表示与固定原子迭代的光谱目标检测方法

Also Published As

Publication number Publication date
CN114332607B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
US11403838B2 (en) Image processing method, apparatus, equipment, and storage medium to obtain target image features
WO2024027095A1 (zh) 基于双rgb图像融合的高光谱成像方法、系统及介质
CN107316309B (zh) 基于矩阵分解的高光谱图像显著性目标检测方法
CN104318243A (zh) 基于稀疏表示和空谱拉普拉斯图的高光谱数据降维方法
CN110245683B (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN109633502A (zh) 磁共振快速参数成像方法及装置
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN114743009B (zh) 一种高光谱影像波段选择方法、系统及电子设备
CN116012263A (zh) 一种图像噪声去除方法、装置、存储介质及电子设备
CN115457311A (zh) 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN108985301A (zh) 一种多特征类子字典学习的高光谱图像分类方法
CN111325134A (zh) 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
CN112949592B (zh) 高光谱图像的分类方法、装置和电子设备
Ye et al. Glow in the dark: Low-light image enhancement with external memory
CN117892059A (zh) 一种基于多模态图像融合与ResNetXt-50的电能质量扰动识别方法
CN113327205A (zh) 基于卷积神经网络的相位去噪网络及方法
CN114332607B (zh) 针对多帧图像光谱字典构建的增量学习方法和系统
CN109239006B (zh) 一种基于湿度补偿模型的物质识别方法、装置及存储介质
CN115330650A (zh) 一种基于知识图谱的多源异构遥感图像融合方法
Deng et al. A paddy field segmentation method combining attention mechanism and adaptive feature fusion
CN108460401B (zh) 基于非负特征融合的场景图像分类方法
CN110689513A (zh) 彩色图像融合方法、装置和终端设备
CN113569973B (zh) 多视图聚类方法、装置、电子设备及计算机可读存储介质
CN118155036B (zh) 基于多光谱图像融合的图像检测方法及装置、介质、设备
CN116245779B (zh) 一种图像融合方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant