CN116433534B - 一种高光谱图像修复方法、装置、存储介质及电子设备 - Google Patents
一种高光谱图像修复方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116433534B CN116433534B CN202310680945.1A CN202310680945A CN116433534B CN 116433534 B CN116433534 B CN 116433534B CN 202310680945 A CN202310680945 A CN 202310680945A CN 116433534 B CN116433534 B CN 116433534B
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral image
- sparsity
- transformation
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000009466 transformation Effects 0.000 claims abstract description 91
- 230000008439 repair process Effects 0.000 claims abstract description 65
- 230000015556 catabolic process Effects 0.000 claims abstract description 34
- 238000006731 degradation reaction Methods 0.000 claims abstract description 34
- 230000003595 spectral effect Effects 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012512 characterization method Methods 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000000701 chemical imaging Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请的实施例公开了一种高光谱图像修复方法、装置、存储介质及电子设备，涉及图像处理技术领域，包括：获取原始图像；将原始图像输入修复模型，获得目标图像；其中，修复模型基于高光谱图像的退化模型与目标正则项构建，目标正则项基于对高光谱图像的结构变换稀疏与线性变换稀疏获得。本申请的方法通过修复模型来实现对原始图像的去模糊修复，考虑空间和光谱域的分段平滑特性，将高光谱图像中固有的稀疏性变换到空间和光谱域梯度，自适应地描述结构稀疏性，并结合线性变换稀疏作为正则项约束，细化所有波段的相关性与差异性，将图像的去模糊修复转化为在正则项约束下已有的去模糊退化模型的求解问题，以提升对高光谱图像的修复质量。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种高光谱图像修复方法、装置、存储介质及电子设备。
背景技术
高光谱成像技术可以提供丰富的空间和光谱知识，已被应用于高光谱图像分类、目标检测等应用。然而，在高光谱成像系统中，物镜孔径对空间分辨率的限制以及失焦的光谱成分引起的波长畸变将导致严重的图像模糊，这无疑将严重降低后续应用的空间和光谱识别能力。因此，高光谱图像的修复，也即去模糊越来越受到研究者的关注，成为近年来的研究热点。
现有的高光谱图像去模糊方法在向量空间中对图像的先验进行建模，忽略了数据中的多维结构，不可避免地会导致有用的结构信息损失和畸变，致使高光谱图像修复的质量较差。
发明内容
本申请的主要目的在于提供一种高光谱图像修复方法、装置、存储介质及电子设备，旨在解决现有技术中针对模糊的高光谱图像的修复的质量较差的问题。
为实现上述目的，本申请的实施例采用的技术方案如下：
第一方面，本申请实施例提供一种高光谱图像修复方法，包括以下步骤：
获取原始图像；
将原始图像输入修复模型，获得目标图像；其中，修复模型基于高光谱图像的退化模型与目标正则项构建，目标正则项基于对高光谱图像的结构变换稀疏与线性变换稀疏获得，目标正则项基于变换稀疏学习方法，刻画高光谱图像的梯度矩阵的结构变换稀疏中，变换稀疏项的线性变换稀疏获得。
在第一方面的一种可能实现方式中，将原始图像输入修复模型，获得目标图像之前，高光谱图像修复方法还包括：
基于高光谱图像的退化模型与目标正则项，构建修复模型。
在第一方面的一种可能实现方式中，基于高光谱图像的退化模型与目标正则项，构建修复模型之前，高光谱图像修复方法还包括：
基于二维图像的退化模型，获得高光谱图像的退化模型。
在第一方面的一种可能实现方式中，基于高光谱图像的退化模型与目标正则项，构建修复模型之前，高光谱图像修复方法还包括：
获取高光谱图像的梯度矩阵；
基于变换稀疏学习方法，刻画梯度矩阵的结构变换稀疏；
刻画结构变换稀疏中变换稀疏项的线性变换稀疏，获得目标正则项。
在第一方面的一种可能实现方式中，刻画结构变换稀疏中变换稀疏项的线性变换稀疏，获得目标正则项，包括：
利用l 1范数刻画结构变换稀疏中变换稀疏项的线性变换稀疏，获得刻画结果；
基于l 1范数最小化调整刻画结果中每一项的权重，获得目标正则项。
在第一方面的一种可能实现方式中，基于高光谱图像的退化模型与目标正则项，构建修复模型之后，高光谱图像修复方法还包括：
基于交替方向乘子法，求解修复模型，获得目标修复模型。
在第一方面的一种可能实现方式中，基于交替方向乘子法，求解修复模型，获得目标修复模型，包括：
基于增广拉格朗日函数，变换修复模型的约束条件，获得变换函数；
基于交替方向乘子法，求解变换函数中的目标变量；
利用求解的目标变量更新拉格朗日乘子，并返回基于增广拉格朗日函数，变换修复模型的约束条件，获得变换函数的步骤，直至满足迭代终止条件，获得目标修复模型。
第二方面，本申请实施例提供一种高光谱图像修复装置，包括：
获取模块，获取模块用于获取原始图像；
修复模块，修复模块用于将原始图像输入修复模型，获得目标图像；其中，修复模型基于高光谱图像的退化模型与目标正则项构建，目标正则项基于对高光谱图像的结构变换稀疏与线性变换稀疏获得，目标正则项基于变换稀疏学习方法，刻画高光谱图像的梯度矩阵的结构变换稀疏中，变换稀疏项的线性变换稀疏获得。
第三方面，本申请实施例提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如上述第一方面中任一项提供的高光谱图像修复方法。
第四方面，本申请实施例提供一种电子设备，包括处理器及存储器，其中，
存储器用于存储计算机程序；
处理器用于加载执行计算机程序，以使电子设备执行如上述第一方面中任一项提供的高光谱图像修复方法。
与现有技术相比，本申请的有益效果是：
本申请实施例提出的一种高光谱图像修复方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入修复模型，获得目标图像；其中，修复模型基于高光谱图像的退化模型与目标正则项构建，目标正则项基于对高光谱图像的结构变换稀疏与线性变换稀疏获得。本申请的方法通过修复模型来实现对原始图像的去模糊修复，考虑空间和光谱域的分段平滑特性，将高光谱图像中固有的稀疏性变换到空间和光谱域梯度，自适应地描述结构稀疏性，并结合线性变换稀疏作为正则项约束，细化所有波段的相关性与差异性，将图像的去模糊修复转化为在正则项约束下已有的去模糊退化模型的求解问题，以提升对高光谱图像的修复质量。
附图说明
图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图；
图2为本申请实施例提供的高光谱图像修复方法的流程示意图；
图3为本申请实施例提供的高光谱图像修复方法中采用不同方法去模糊的伪彩色视觉对比图像和重构误差图像；其中，a为清晰状态下不做处理的参考图像，b为模糊图像进行伪彩色视觉对比的图像，c为采用FPD算法进行处理下的图像，d为采用SSTV算法进行处理下的图像，e为采用WLRTR算法进行处理下的图像，f为本发明提供的算法处理下的图像；
图4为本申请实施例提供的高光谱图像修复装置的模块示意图；
图中标记：101-处理器，102-通信总线，103-网络接口，104-用户接口，105-存储器。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：提出一种高光谱图像修复方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入修复模型，获得目标图像；其中，修复模型基于高光谱图像的退化模型与目标正则项构建，目标正则项基于对高光谱图像的结构变换稀疏与线性变换稀疏获得。
高光谱成像技术可以提供丰富的空间和光谱知识，已被应用于高光谱图像分类、目标检测等应用。然而，在高光谱成像系统中，物镜孔径对空间分辨率的限制以及失焦的光谱成分引起的波长畸变将导致严重的图像模糊，这无疑将严重降低后续应用的空间和光谱识别能力。因此，高光谱图像去模糊越来越受到研究者的关注，成为近年来的研究热点。
高光谱图像去模糊是一个不适定问题，直接从模糊的图像中求解潜在高质量数据会导致解的不唯一和不稳定。因此，有必要引入空间和光谱正则项来提高解的稳定性，如考虑关于数据的先验知识。例如，主成分分析（Principal Component Analysis，PCA ）具有对于噪声和信号成分分离的优势，可利用PCA来获取前k个主成分分量，其包含了高光谱图像中的大部分有用信息，其余分量可以看做是噪声成分，然后使用全变差（Total Variation，TV）正则项来联合去噪和对第k个成分信息去模糊。
全变差和稀疏正则可用来解决高光谱图像中的联合去模糊和解混问题，但模糊算子的点扩散函数假定依赖于成像系统。此外，为了保持空间边缘和光谱连续，可以在去模糊的过程中考虑光谱/空间的全变差项和非负约束。图像中的空间和光谱信息满足非负先验，也可以用来解决高光谱图像去模糊问题，且该问题可以被表述为正则化的最小二乘最小化准则，其闭式解可通过快速傅氏变换（Fast Fourier Transform，FFT）来实现。然而，这些方法在向量空间中对图像的先验进行建模，显然忽略了数据中的多维结构，不可避免地会导致有用的结构信息损失和畸变。
基于张量的方法既考虑了高光谱图像的多线性空间和光谱结构，又避免了矩阵化造成的结构损失，因此可以极大地提升高光谱图像的复原质量。全变差正则的鲁棒低秩张量分解方法可用来去除合成孔径雷达干涉测量技术中的奇异值，受此启发，联合空间非局部相似性和光谱全局相关性的低秩张量表达用于解决高光谱图像去模糊问题，同时通过在建模过程中考虑不同维度之间的相关性，提高了模型的去模糊能力和稳定性。然而，该方法直接对核张量施加了稀疏性约束，无自适应稀疏性表征能力，导致空间和光谱信息失真。
为此，本申请提供一种解决方案，通过修复模型来实现对原始图像的去模糊修复，考虑空间和光谱域的分段平滑特性，将高光谱图像中固有的稀疏性变换到空间和光谱域梯度，自适应地描述结构稀疏性，并结合线性变换稀疏作为正则项约束，细化所有波段的相关性与差异性，将图像的去模糊修复转化为在正则项约束下已有的去模糊退化模型的求解问题，以提升对高光谱图像的修复质量。
参照附图1，附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图，该电子设备可以包括：处理器101，例如中央处理器（Central Processing Unit，CPU），通信总线102、用户接口104，网络接口103，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器105可选的可以是独立于前述处理器101的存储装置，存储器105可能是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可能是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器；处理器101可以是通用处理器，包括中央处理器、网络处理器等，还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域技术人员可以理解，附图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如附图1所示，作为一种存储介质的存储器105中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在附图1所示的电子设备中，网络接口103主要用于与网络服务器进行数据通信；用户接口104主要用于与用户进行数据交互；本申请中的处理器101、存储器105可以设置在电子设备中，电子设备通过处理器101调用存储器105中存储的高光谱图像修复装置，并执行本申请实施例提供的高光谱图像修复方法。
参照附图2，基于前述实施例的硬件设备，本申请的实施例提供一种高光谱图像修复方法，包括以下步骤：
S10：获取高光谱图像的梯度矩阵。
在具体实施过程中，光谱分辨率在10-2λ数量级范围内的光谱图像称为高光谱图像。考虑到全变差正则项在刻画局部逐片平滑性方面的优势，基于各向异性的空间-光谱全变差正则已经在高光谱图像复原任务中展现出优越的性能，其定义如下：
其中，表示/>沿着第n个维度的一阶差分，即第n个维度的梯度图像。
S20：基于变换稀疏学习方法，刻画梯度矩阵的结构变换稀疏。
在具体实施过程中，假设梯度算子在各维度上是独立同分布的，这显然与实际不符合，因为高光谱图像沿着各个维度的平滑性是不同的。因此提出基于变换稀疏学习的方法刻画的结构稀疏性，如下：
其中，变换稀疏项，由于根据变换矩阵/>满足酉不变性，有/>，这表明式中提出的变换稀疏模型有助于避免变换造成的信息损失。
S30：刻画结构变换稀疏中变换稀疏项的线性变换稀疏，获得目标正则项。
在具体实施过程中，通常情况下，利用l 1范数刻画的稀疏性，并推导出如下的优化模型，
其中表示l 1范数，在前述式子中，/>可以看成是一个与梯度图像相关的变换矩阵。值得注意的是提出的第二层稀疏测度实际上是梯度矩阵/>的线性变换稀疏，可由输入数据通过变换矩阵/>自动确定。与前式中梯度域的稀疏性相比，本式中构造稀疏正则项时需考虑不同维度梯度之间的相关性先验。对于每一个/>，都存在低秩基，它虽然满足稀疏性，但可以通过系数矩阵/>刻画/>中的所有信息，因此，这些低秩基往往比梯度图像本身更稳定。
为了提高上式的灵活性和稳健性，使用重加权l 1范数最小化方案自适应地调整矩阵中每一项权重，具体的：刻画结构变换稀疏中变换稀疏项的线性变换稀疏，获得目标正则项，包括：
利用l 1范数刻画结构变换稀疏中变换稀疏项的线性变换稀疏，获得刻画结果；
基于l 1范数最小化调整刻画结果中每一项的权重，获得目标正则项。
加权形式如下：
其中，为对数和形式，ni是/>中所有元素的个数，ε是一个非常小的正数。在/>中，其权重与/>成反比，即1/(/>+ε)。s.t.为约束条件。
S40：基于高光谱图像的退化模型与目标正则项，构建修复模型。
在具体实施过程中，通过扩展二维图像的退化模型，即：基于高光谱图像的退化模型与目标正则项，构建修复模型之前，高光谱图像修复方法还包括：
基于二维图像的退化模型，获得高光谱图像的退化模型。
退化就是将一幅正常的图像给弄得不正常，从而验证后续的复原方法是否能达到预期的效果。高光谱图像的去模糊的退化模型可表示为：
其中，分别表示模糊的高光谱图像、待复原的高光谱图像和线性移位不变点扩散函数，H和W表示每一波段图像的行和列数，L表示图像的光谱波段数。*表示卷积算子。显然，去模糊可以理解为从给定的模糊数据/>和模糊核/>中估计潜在/>的线性逆问题。通过引入/>的先验约束，并结合最小二乘框架，可得到如下的表达式，
其中，为保真项，/>为基于潜在空间和光谱先验知识的正则项，/>为平衡上述两项的参数。那么，该问题转化为如何从潜在的高光谱图像中设计合适的空间和光谱正则项，例如全变差先验，光谱稀疏约束和低秩张量表达。虽然这些方法具有良好的性能，但它们忽略了在空间/光谱维的两层变换稀疏先验，从而降低了空间和光谱信息的重建精度。
通过上述的分析，得到新的基于两层变换稀疏的去模糊算法，如下：
引入辅助变量，使得/>，可以将上式等价表达为：
S50：获取原始图像。
S60：将原始图像输入修复模型，获得目标图像；其中，修复模型基于高光谱图像的退化模型与目标正则项构建，目标正则项基于对高光谱图像的结构变换稀疏与线性变换稀疏获得。
在具体实施过程中，原始图像，为模糊的、需要进行去模糊修复的图像，可通过如前述的退化模型处理正常的图像获得，或者是已有的拍摄获得的模糊图像，比如因为物镜孔径对空间分辨率的限制以及失焦的光谱成分引起的波长畸变导致的图像模糊。稀疏变换是指将原始数据从一种域转换到另一种域，使得转换后的数据中的非零元素的数量比转换前的数据少得多。稀疏变换的目的是将原始数据转换为更有效的表示形式，以减少存储空间和计算时间。
目标图像则为经修复模型修复后的图像，正则项一般用于线性的回归或分类模型，一般认为其可以减轻模型过拟合的程度，在不加正则项的情况下，模型的最优解应该在损失函数的中心点处。加了正则项后，模型的目标函数为损失项和正则项之和，可以将其看做一个约束项。
本实施例中，通过修复模型来实现对原始图像的去模糊修复，考虑空间和光谱域的分段平滑特性，将高光谱图像中固有的稀疏性变换到空间和光谱域梯度，自适应地描述结构稀疏性，并结合线性变换稀疏作为正则项约束，细化所有波段的相关性与差异性，将图像的去模糊修复转化为在正则项约束下已有的去模糊退化模型的求解问题，以提升对高光谱图像的修复质量。
在一种实施例中，基于高光谱图像的退化模型与目标正则项，构建修复模型之后，高光谱图像修复方法还包括：
基于交替方向乘子法，求解修复模型，获得目标修复模型。
在具体实施过程中，对修复模型进行求解，不断更新模型的参数最终获得最优的目标修复模型。其中，交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种求解具有可分离性的凸优化问题的计算框架, 由于其是对偶分解法和增广拉格朗日乘子法的结合，使该算法有分解性的同时保证了良好的收敛性，处理速度快。具体的：基于交替方向乘子法，求解修复模型，获得目标修复模型，包括：
基于增广拉格朗日函数，变换修复模型的约束条件，获得变换函数；
基于交替方向乘子法，求解变换函数中的目标变量；
利用求解的目标变量更新拉格朗日乘子，并返回基于增广拉格朗日函数，变换修复模型的约束条件，获得变换函数的步骤，直至满足迭代终止条件，获得目标修复模型。
在具体实施过程中，基于ADMM，将表征模型的公式中的约束问题表达为如下的增广拉格朗日函数：
其中，和/>是拉格朗日乘子，/>是惩罚项参数。在ADMM框架下，通过固定其他变量来交替求解式中每个变量。
优化：在其他变量固定不变的情况下，优化/>的目标函数为：
那么，其闭式解可用如下形式进行求解：
其中，是加权软阈值算子，且/>,/>是阈值。
优化：在其他变量固定不变的情况下，优化/>的目标函数为：
基于F范数性质，有 ，其中/>.由于变量/>没有被包括在/>和/>项中，因此上式可以等价为：
根据如下的定理1，可以得到上式的闭式解。
定理1对于任意的，如下问题：
的闭式解为，其中/>为矩阵A的SVD（奇异值分解）。然后，按照如下的方式更新/>，
优化：在其他变量固定不变的情况下，优化/>的目标函数为：
考虑到上式在时域反卷积的求解难度，转向在频域进行三维快速傅里叶变换。因此，上式的闭式解为：
其中，、/>和/>分别表示FFT、其共轭形式和逆FFT。
优化：在其他变量固定不变的情况下，优化/>的目标函数为：
该问题利用共轭梯度算法可以很容易地求解。
更新乘子和/>:
迭代执行上述步骤，以更新辅助变量，直至满足结束条件，也即迭代终止条件，根据当前的各项参数获得目标修复模型，通过该模型修复得到清晰的高光谱图像。迭代终止条件可以是达到最大的迭代次数，比如 while/>，也即当次数大于K次后停止，K可以设置为任意正整数，如50或100，或者迭代终止条件为设置相对误差小于一个提前设置的阈值。
选用公开的高光谱数据集中的数据，采用不同方法进行去模糊处理，以与本申请的方法完成效果对比。为了模拟更为真实的模糊情况，对所选择的三个数据都施加了两种不同类型的模糊核，均匀模糊核和高斯模糊核，类型1：高斯模糊核的大小为8×8，标准差为3；类型2：均匀模糊核的小为12×12。
为了对去模糊效果进行定量和定性的评价，本申请选择了快速正去卷积（FastPositive Deconvolution，FPD）、空间-光谱全变差（spectral–spatial total variation，SSTV）和加权低秩张量复原（Weighted Low-Rank Tensor Recovery，WLRTR）降噪方法作为对比方法，并使用这些对比方法将高光谱图像的去模糊结果与本申请的结果进行对比。
本申请使用了PSNR（dB）（峰值信噪比）、SSIM（结构相似性）、FSIM（特征相似性）、ERGAS（维数综合误差）和SAM指标五个质量评价指标，如下表1-1定量分析结果所示：
表1-1定量分析结果
从表中看出，在不同数据和不同的模糊情况下，本申请的方法均获得较大的PSNR、SSIM、 FSIM值和较小的ERGAS，这也证明了该方法的鲁棒性，此外本发明算法获得最小的SAM值，这表明了该方法对光谱畸变的抑制作用。
基于上述对比数据，从视觉比较结果如附图3所示，给出了去模糊的伪彩色视觉对比图像和重构误差图像，附图3中第1、3及5行分别为表1-1中的图A、图B及图C对应的原始图像，第2、4及6行分别为对第1、3及5行的图像进行去模糊修复后的图像，每个小图像右下角的方框为该图像上小方框的放大图像。
从附图3的第1、3和5行可以看到，所有的去模糊方法都可以对模糊图像进行复原，但是仔细观察发现FPD和SSTV仅仅能够复原出大尺度的纹理结构，相比较于FPD和SSTV，WLRTR可以对小尺度的细节进行重建，但是仍然存在一些模糊现象，综合对比，本申请的去模糊算法拥有最优的复原性能。此外，从附图3的第2、4和6行可以发现本申请方法的重建误差更小，更加接近参考图像图。
参照附图4，基于与前述实施例中同样的发明构思，本申请实施例还提供一种高光谱图像修复装置，该装置包括：
获取模块，获取模块用于获取原始图像；
修复模块，修复模块用于将原始图像输入修复模型，获得目标图像；其中，修复模型基于高光谱图像的退化模型与目标正则项构建，目标正则项基于对高光谱图像的结构变换稀疏与线性变换稀疏获得。
本领域技术人员应当理解，实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际应用时可以全部或部分集成到一个或多个实际载体上，且这些模块可以全部以软件通过处理单元调用的形式实现，也可以全部以硬件的形式实现，或是以软件、硬件结合的形式实现，需要说明的是，本实施例中高光谱图像修复装置中各模块是与前述实施例中的高光谱图像修复方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述高光谱图像修复方法的实施方式，这里不再赘述。
基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如本申请实施例提供的高光谱图像修复方法。
基于与前述实施例中同样的发明构思，本申请的实施例还提供一种电子设备，包括处理器及存储器，其中，
存储器用于存储计算机程序；
处理器用于加载执行计算机程序，以使电子设备执行如本申请实施例提供的高光谱图像修复方法。
此外，基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如本申请实施例提供的高光谱图像修复方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。
综上，本申请提供的一种高光谱图像修复方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入修复模型，获得目标图像；其中，修复模型基于高光谱图像的退化模型与目标正则项构建，目标正则项基于对高光谱图像的结构变换稀疏与线性变换稀疏获得。本申请的方法通过修复模型来实现对原始图像的去模糊修复，考虑空间和光谱域的分段平滑特性，将高光谱图像中固有的稀疏性变换到空间和光谱域梯度，自适应地描述结构稀疏性，并结合线性变换稀疏作为正则项约束，细化所有波段的相关性与差异性，将图像的去模糊修复转化为在正则项约束下已有的去模糊退化模型的求解问题，以提升对高光谱图像的修复质量。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种高光谱图像修复方法，其特征在于，包括以下步骤：
获取原始图像；
将所述原始图像输入修复模型，获得目标图像；其中，所述修复模型基于高光谱图像的退化模型与目标正则项构建，所述目标正则项基于对所述高光谱图像的结构变换稀疏与线性变换稀疏获得，所述将所述原始图像输入修复模型，获得目标图像之前，所述高光谱图像修复方法还包括：
获取所述高光谱图像的梯度矩阵；
基于变换稀疏学习方法，刻画所述梯度矩阵的结构变换稀疏，如下：
其中，为变换稀疏项，/>表示/>沿着第n个维度的一阶差分，即第n个维度的梯度图像；
刻画所述结构变换稀疏中变换稀疏项的线性变换稀疏，获得所述目标正则项；其中，所述刻画所述结构变换稀疏中变换稀疏项的线性变换稀疏，获得所述目标正则项，包括：
利用l 1范数刻画所述结构变换稀疏中变换稀疏项的线性变换稀疏，获得刻画结果，如下：
其中表示l 1范数，/>系数矩阵；
基于l 1范数最小化调整所述刻画结果中每一项的权重，获得所述目标正则项，加权形式如下：
其中，为对数和形式，ni是/>中所有元素的个数，ε是一个非常小的正数，在/>中，其权重与/>成反比，即1/(/>+ε)，s.t.为约束条件；
所述高光谱图像的退化模型表示如下：
其中，分别表示模糊的高光谱图像、待复原的高光谱图像和线性移位不变点扩散函数，H和W表示每一波段图像的行和列数，L表示图像的光谱波段数，*表示卷积算子；引入/>的先验约束，并结合最小二乘框架，可得到如下的表达式，
其中，为保真项，/>为基于潜在空间和光谱先验知识的正则项，/>为平衡上述两项的参数；
根据前述式子得到所述修复模型如下：
。
2.根据权利要求1所述的高光谱图像修复方法，其特征在于，所述将所述原始图像输入修复模型，获得目标图像之前，所述高光谱图像修复方法还包括：
基于二维图像的退化模型，获得所述高光谱图像的退化模型。
3.根据权利要求1所述的高光谱图像修复方法，其特征在于，构建所述修复模型之后，所述高光谱图像修复方法还包括：
基于交替方向乘子法，求解所述修复模型，获得目标修复模型。
4.根据权利要求3所述的高光谱图像修复方法，其特征在于，所述基于交替方向乘子法，求解所述修复模型，获得目标修复模型，包括：
基于增广拉格朗日函数，变换所述修复模型的约束条件，获得变换函数；
基于交替方向乘子法，求解所述变换函数中的目标变量；
利用求解的所述目标变量更新拉格朗日乘子，并返回所述基于增广拉格朗日函数，变换所述修复模型的约束条件，获得变换函数的步骤，直至满足迭代终止条件，获得目标修复模型。
5.一种高光谱图像修复装置，其特征在于，包括：
获取模块，所述获取模块用于获取原始图像；
修复模块，所述修复模块用于将所述原始图像输入修复模型，获得目标图像；其中，所述修复模型基于高光谱图像的退化模型与目标正则项构建，所述目标正则项基于对所述高光谱图像的结构变换稀疏与线性变换稀疏获得，所述将所述原始图像输入修复模型，获得目标图像之前，所述高光谱图像修复方法还包括：
获取所述高光谱图像的梯度矩阵；
基于变换稀疏学习方法，刻画所述梯度矩阵的结构变换稀疏，如下：
其中，为变换稀疏项，/>表示/>沿着第n个维度的一阶差分，即第n个维度的梯度图像；
刻画所述结构变换稀疏中变换稀疏项的线性变换稀疏，获得所述目标正则项；其中，所述刻画所述结构变换稀疏中变换稀疏项的线性变换稀疏，获得所述目标正则项，包括：
利用l 1范数刻画所述结构变换稀疏中变换稀疏项的线性变换稀疏，获得刻画结果，如下：
其中表示l 1范数，/>系数矩阵；
基于l 1范数最小化调整所述刻画结果中每一项的权重，获得所述目标正则项，加权形式如下：
其中，为对数和形式，ni是/>中所有元素的个数，ε是一个非常小的正数，在/>中，其权重与/>成反比，即1/(/>+ε)，s.t.为约束条件；
所述高光谱图像的退化模型表示如下：
其中，分别表示模糊的高光谱图像、待复原的高光谱图像和线性移位不变点扩散函数，H和W表示每一波段图像的行和列数，L表示图像的光谱波段数，*表示卷积算子；引入/>的先验约束，并结合最小二乘框架，可得到如下的表达式，
其中，为保真项，/>为基于潜在空间和光谱先验知识的正则项，/>为平衡上述两项的参数；
根据前述式子得到所述修复模型如下：
。
6.一种计算机可读存储介质，储存有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1-4中任一项所述的高光谱图像修复方法。
7.一种电子设备，其特征在于，包括处理器及存储器，其中，
所述存储器用于存储计算机程序；
所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1-4中任一项所述的高光谱图像修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310680945.1A CN116433534B (zh) | 2023-06-09 | 2023-06-09 | 一种高光谱图像修复方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310680945.1A CN116433534B (zh) | 2023-06-09 | 2023-06-09 | 一种高光谱图像修复方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116433534A CN116433534A (zh) | 2023-07-14 |
| CN116433534B true CN116433534B (zh) | 2023-08-22 |
Family
ID=87089381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310680945.1A Active CN116433534B (zh) | 2023-06-09 | 2023-06-09 | 一种高光谱图像修复方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433534B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102510438A (zh) * | 2011-11-21 | 2012-06-20 | 四川虹微技术有限公司 | 一种用于视频图像恢复增强的稀疏系数向量的获取方法 |
| CN105844591A (zh) * | 2016-01-11 | 2016-08-10 | 西安电子科技大学昆山创新研究院 | 基于隐空间样例学习的非线性压缩光谱成像方法 |
| CN106780345A (zh) * | 2017-01-18 | 2017-05-31 | 西北工业大学 | 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法 |
| CN106919952A (zh) * | 2017-02-23 | 2017-07-04 | 西北工业大学 | 基于结构稀疏表示和内部聚类滤波的高光谱异常目标检测方法 |
| CN109102477A (zh) * | 2018-08-31 | 2018-12-28 | 哈尔滨工业大学 | 一种基于非凸低秩稀疏约束的高光谱遥感图像恢复方法 |
| CN109191404A (zh) * | 2018-09-07 | 2019-01-11 | 西安交通大学 | 一种基于e-3dtv正则的高光谱图像修复方法 |
| CN111161199A (zh) * | 2019-12-13 | 2020-05-15 | 中国地质大学（武汉） | 一种空谱融合的高光谱影像混合像元低秩稀疏分解方法 |
| CN111812580A (zh) * | 2020-07-22 | 2020-10-23 | 西安电子科技大学 | 基于欠定信源克拉美罗界的运动线性稀疏阵列优化方法 |
| CN113887656A (zh) * | 2021-10-21 | 2022-01-04 | 江南大学 | 一种联合深度学习与稀疏表示的高光谱图像分类方法 |
| CN114820352A (zh) * | 2022-04-08 | 2022-07-29 | 南京邮电大学 | 一种高光谱图像去噪方法、装置及存储介质 |
| CN115272873A (zh) * | 2022-09-27 | 2022-11-01 | 山东大学 | 基于梯度域的高光谱图像非线性特征预处理系统及方法 |
| CN115496662A (zh) * | 2022-09-30 | 2022-12-20 | 中国科学院沈阳自动化研究所 | 基于光谱信息融合的高阶张量光谱图像超分辨率重建方法 |
| CN115601260A (zh) * | 2022-10-10 | 2023-01-13 | 华中科技大学（Cn） | 一种神经网络和优化模型联合驱动的高光谱图像复原方法 |
| CN116012263A (zh) * | 2023-03-27 | 2023-04-25 | 四川工程职业技术学院 | 一种图像噪声去除方法、装置、存储介质及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8760572B2 (en) * | 2009-11-19 | 2014-06-24 | Siemens Aktiengesellschaft | Method for exploiting structure in sparse domain for magnetic resonance image reconstruction |
| US10861143B2 (en) * | 2017-09-27 | 2020-12-08 | Korea Advanced Institute Of Science And Technology | Method and apparatus for reconstructing hyperspectral image using artificial intelligence |
| EP3995796A4 (en) * | 2020-09-08 | 2022-11-16 | Shenzhen Hypernano Optics Technology Co., Ltd | METHOD AND APPARATUS FOR RECOVERY AND RECONSTRUCTION OF A LIGHT SOURCE SPECTRUM FROM A HYPERSPECTRAL IMAGE |
-
2023
- 2023-06-09 CN CN202310680945.1A patent/CN116433534B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102510438A (zh) * | 2011-11-21 | 2012-06-20 | 四川虹微技术有限公司 | 一种用于视频图像恢复增强的稀疏系数向量的获取方法 |
| CN105844591A (zh) * | 2016-01-11 | 2016-08-10 | 西安电子科技大学昆山创新研究院 | 基于隐空间样例学习的非线性压缩光谱成像方法 |
| CN106780345A (zh) * | 2017-01-18 | 2017-05-31 | 西北工业大学 | 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法 |
| CN106919952A (zh) * | 2017-02-23 | 2017-07-04 | 西北工业大学 | 基于结构稀疏表示和内部聚类滤波的高光谱异常目标检测方法 |
| CN109102477A (zh) * | 2018-08-31 | 2018-12-28 | 哈尔滨工业大学 | 一种基于非凸低秩稀疏约束的高光谱遥感图像恢复方法 |
| CN109191404A (zh) * | 2018-09-07 | 2019-01-11 | 西安交通大学 | 一种基于e-3dtv正则的高光谱图像修复方法 |
| CN111161199A (zh) * | 2019-12-13 | 2020-05-15 | 中国地质大学（武汉） | 一种空谱融合的高光谱影像混合像元低秩稀疏分解方法 |
| CN111812580A (zh) * | 2020-07-22 | 2020-10-23 | 西安电子科技大学 | 基于欠定信源克拉美罗界的运动线性稀疏阵列优化方法 |
| CN113887656A (zh) * | 2021-10-21 | 2022-01-04 | 江南大学 | 一种联合深度学习与稀疏表示的高光谱图像分类方法 |
| CN114820352A (zh) * | 2022-04-08 | 2022-07-29 | 南京邮电大学 | 一种高光谱图像去噪方法、装置及存储介质 |
| CN115272873A (zh) * | 2022-09-27 | 2022-11-01 | 山东大学 | 基于梯度域的高光谱图像非线性特征预处理系统及方法 |
| CN115496662A (zh) * | 2022-09-30 | 2022-12-20 | 中国科学院沈阳自动化研究所 | 基于光谱信息融合的高阶张量光谱图像超分辨率重建方法 |
| CN115601260A (zh) * | 2022-10-10 | 2023-01-13 | 华中科技大学（Cn） | 一种神经网络和优化模型联合驱动的高光谱图像复原方法 |
| CN116012263A (zh) * | 2023-03-27 | 2023-04-25 | 四川工程职业技术学院 | 一种图像噪声去除方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于方向和结构特征的遥感图像条带噪声分离方法;孔祥阳 等;电光与控制;第27卷(第01期);6-11 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116433534A (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | A fast patch-dictionary method for whole image recovery | |
| Wohlberg et al. | An iteratively reweighted norm algorithm for minimization of total variation functionals | |
| Dahl et al. | Algorithms and software for total variation image reconstruction via first-order methods | |
| Xie et al. | Learning frequency-aware dynamic network for efficient super-resolution | |
| Liu et al. | Block matching local SVD operator based sparsity and TV regularization for image denoising | |
| Bouhamidi et al. | Conditional gradient Tikhonov method for a convex optimization problem in image restoration | |
| CN111047544B (zh) | 一种基于非线性退化模型的饱和图像去模糊方法 | |
| Yeganli et al. | Image super-resolution via sparse representation over multiple learned dictionaries based on edge sharpness | |
| Han et al. | Sparse and truncated nuclear norm based tensor completion | |
| Buccini et al. | An ℓp-ℓq minimization method with cross-validation for the restoration of impulse noise contaminated images | |
| CN108734658B (zh) | 一种高分辨率图像的重建方法及系统 | |
| Xue | Low light image enhancement based on modified Retinex optimized by fractional order gradient descent with momentum RBF neural network | |
| Rioux et al. | The maximum entropy on the mean method for image deblurring | |
| Li et al. | A novel weighted anisotropic total variational model for image applications | |
| Khmag | Digital image noise removal based on collaborative filtering approach and singular value decomposition | |
| Liu et al. | Image inpainting algorithm based on tensor decomposition and weighted nuclear norm | |
| Yu et al. | Single image blind deblurring based on salient edge-structures and elastic-net regularization | |
| Xu et al. | Affine non-local Bayesian image denoising algorithm | |
| Fermanian et al. | PnP-ReG: Learned regularizing gradient for plug-and-play gradient descent | |
| Lee et al. | Group sparse representation for restoring blurred images with Cauchy noise | |
| CN116433534B (zh) | 一种高光谱图像修复方法、装置、存储介质及电子设备 | |
| Hussein et al. | Colorization using edge-preserving smoothing filter | |
| Mandal et al. | Employing structural and statistical information to learn dictionary (s) for single image super-resolution in sparse domain | |
| Qiu | A nonparametric procedure for blind image deblurring | |
| Li et al. | Patch-based weighted scad prior for rician noise removal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |