CN116309139A - 一种适用于一对多红外多光谱图像去马赛克方法 - Google Patents

Abstract

本发明公开了一种适用于一对多红外多光谱图像去马赛克方法，首先利用马赛克图像获得伪全色图，从而获得光谱先验。并利用Pearson相关系数计算各波段图像与伪全色图的相关性，相关性强则利用伪全色图作为光谱先验。建立基于光谱先验的残差模型，对原始红外多光谱图像以及伪全色图像分别进行k波段的稀疏，对其进行差分处理，获得稀疏的残差图。渐进式去马赛克方法利用相邻像元梯度信息将其稀疏的残差图变为全分辨的残差图。通过对残差图的补偿得到基于光谱先验得到k波段全分辨立方体。

Description

一种适用于一对多红外多光谱图像去马赛克方法

技术领域

本发明属于图像技术领域，具体涉及一种图像去马赛克方法。

背景技术

红外多光谱相机为了缩小体积、降低成本，其传感器表面大多为滤光片阵列结构。这种结构的成像设备在一个像素点仅能采集到一个波段光强度信息，而其余通道都需要估计插值，这个估计插值过程称为去马赛克。去马赛克是红外多光谱相机成像的关键步骤，是成像设备评价的重要因素之一，同时也对其他计算机视觉任务产生影响。

由于红外多光谱相机的滤光片阵列多为二维光栅与超表面阵列结构，只有在无限周期内才能获取其真实的光谱特性。因此在结构设计之时，期望阵列内单个波段所覆盖的面积尽可能大，其光谱特性才会更为准确。随着单个波段覆盖面积的增大，其覆盖的像元数量也会随之增多，所以呈现出单一波段对应多个像元的情况，以此称之为“一对多”的红外多光谱图像。

“一对一”，即单一滤光片对应单一像元的多光谱图像。针对“一对一”多光谱图像，通常是利用周围像元信息来对当前缺失的像素值的像元进行估计。这种方法只是简单的利用了像素之间的空间信息进行估计恢复，不仅会损失图像的高频信息，而且会浪费光谱间的信息。由于“一对多”的图像结构特性，相同波段间像元跨度较大，传统针对“一对一”的去马赛克算法将无法使用，需结合其“一对多”特性以及光谱相关性从而执行更为有效的去马赛克算法。

综上所述，需要针对图像的“一对多”特性，利用其空间信息以及光谱相关性，提出基于“一对多”红外多光谱图像的去马赛克方法。

发明内容

为了克服现有技术的不足，本发明提供了一种适用于一对多红外多光谱图像去马赛克方法，首先利用马赛克图像获得伪全色图，从而获得光谱先验。并利用Pearson相关系数计算各波段图像与伪全色图的相关性，相关性强则利用伪全色图作为光谱先验。建立基于光谱先验的残差模型，对原始红外多光谱图像以及伪全色图像分别进行k波段的稀疏，对其进行差分处理，获得稀疏的残差图。渐进式去马赛克方法利用相邻像元梯度信息将其稀疏的残差图变为全分辨的残差图。通过对残差图的补偿得到基于光谱先验得到k波段全分辨立方体。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：利用原始红外多光谱马赛克图像获取伪全色图像，作为光谱先验；对原始红外多光谱马赛克图像以及伪全色图像分别进行K个通道的稀疏，并进行差分处理得到K个通道稀疏残差图；

步骤2：利用稀疏残差图进行基于同波段相邻像元像素值梯度引导的渐进式去马赛克，对稀疏残差图进一步补全，获得K个通道的全分辨残差图；再利用全分辨残差图与步骤1获得的伪全色图像融合，估计出K个通道的全分辨光谱立方体；

步骤3：对原始红外多光谱马赛克图像进行K个通道的稀疏，以欧式距离为判断依据，使用空洞卷积核将稀疏的k波段图恢复成全分辨图，，估计出K个通道的全分辨光谱立方体；

步骤4：融合步骤2和步骤3估计出的两组K个通道的全分辨光谱立方体，获得最终K个通道的光谱立方体。

进一步的，所述步骤1的具体方法为：利用原始红外多光谱马赛克图像获得伪全色图像，其中每个像元对应的像素值由该像元在所有通道上的均值组成；通过皮尔斯相关系数判定，伪全色图像与各波段的相关系数均值为0.9756，用伪全色图作为各波段的光谱参照图，并建立光谱先验与K个通道稀疏图像的残差模型；

伪全色图I^M定义为，伪全色图任意像元p的值

为该像元在所有波段的像元均值：

利用一个固定卷积核M估计伪全色图，采用空洞卷积的方式实现，具体实现方式由以下公式表示：

I^M＝I^MSFA*M

其中I^MSFA表示红外多光谱马赛克图像；

建立基于光谱先验的残差模型，对原始红外多光谱马赛克图像I^sparse以及伪全色图像分别进行k通道的稀疏，对其进行差分处理得到稀疏残差图

进一步地，所述渐进式去马赛克，首先对

中真值部分补全中间待求像元对应的像素值得到/>

利用真值与/>

中补全中间待求像元对应的像素值得到/>

利用/>

的值补全剩余待求像元对应的像素值得到/>

分别再利用图像的水平梯度、竖直梯度以及对角梯度作为权重引导对整个图像进行渐进式的恢复；

对于竖直梯度，具体表示如下：

δx,δy＝{±1,±2}

去马赛克后得到的

是全分辨的/>

由于回复结果中仍包含伪全色图像的信息，则需要剔除对应信息：

基于一对多空间特征的去马赛克方法，首先需要通过红外多光谱马赛克图获得稀疏的K通道光谱立方体，利用稀疏的单波段信息进行空间信息的恢复；以欧式距离为判断依据，结合一对多特性，利用空洞卷积的方式估计出K个通道的全分辨光谱立方体，具体表示如下：

I^Spa_k＝I^MSFA*H

F＝[1 0 0 2 0 0 3 0 0 2 0 0 1]

H＝F^T×F

进一步地，所述步骤4具体表示为：

将基于光谱先验的渐进式去马赛克方法得到的I^Spe_k与基于一对多空间特征的去马赛克方法得到I^Spa_k进行融合，最终得到k波段的光谱立方体I^k：

I^k＝λ₁×I^Spe_k+λ₂×I^Spa_k

其中，λ₁和λ₂分别为两个光谱立方体的融合系数；

本发明的有益效果如下：

本发明的基于光谱先验渐进式去马赛克模型，首先通过创建伪全色图像作为光谱先验，创建残差模型获得更为精准的高频图像信息，为后续单一波段细小特征的恢复奠定了良好的基础；通过分步填充同波段待求像元像素值，并利用相邻同波段像元梯度信息，解决了由于“一对多”产生的单波段信息跨度太大而无法准确预估待求像元像素值的问题。基于“一对多”空间特征的去马赛克模型，以欧式距离为判断依据，结合“一对多”特性采用空洞卷积的方式，避免伪马赛克的形成，以获得更为精准的低频图像信息。两种模型从高频以及低频层面均为去马赛克提供了有力保障。

附图说明

图1为本发明实施例红外多光谱马赛克图像。

图2为本发明红外多光谱图像去马赛总流程图。

图3为本发明伪全色图模型。

图4为本发明渐进恢复方式示意图，(a)渐进插值方式；(b)梯度引导方式；

图5为本发明“一对多”空间特征去马赛克模型示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明的目的是提供一种适用于“一对多”红外多光谱图像的去马赛克方法，将包含K个波段的信息单张马赛克图，恢复成对应K个波段的全分辨光谱图。

本发明采用以下技术方案：一种“一对多”红外多光谱图像的去马赛克方法，建立空间光谱渐进式去马赛克模型以及基于“一对多”特性的去马赛克模型。

首先利用马赛克图像获得光谱先验，基于光谱先验设计与k个稀疏通道图像的残差模型，并基于该残差模型获得的算法进行渐进式的去马赛克，以获取图像的高频信息。同时针对“一对多”特性设计基于空间信息的去马赛克模型，获取图像的低频信息。

根据空间光谱渐进式去马赛克模型与针对“一对多”特性的去马赛克模型获得两组全分辨光谱立方体，将两组光谱立方体数据进行融合，以恢复K个通道对应的全分辨光谱图像信息。

一种适用于一对多红外多光谱图像去马赛克方法，包括如下步骤：

步骤1、利用红外多光谱马赛克图像获取伪全色图像，作为光谱先验，是后续去马赛克任务的关键参照信息。对原始红外多光谱图像以及伪全色图像分别进行K个通道的稀疏，并进行差分处理得到K个通道稀疏残差图；

步骤2、利用步骤1获得的K个通道稀疏残差图进行渐进式去马赛克。通过利用相邻同波段像元梯度信息，对稀疏残差图进一步的补全，获得K个通道的全分辨残差图；再利用全分辨残差图与步骤1获得的伪全色图融合，估计出K个通道的全分辨光谱立方体；

步骤3、对原始红外多光谱图像进行K个通道的稀疏，利用基于“一对多”特性的空洞卷积核，估计出K个通道的全分辨光谱立方体；

步骤4、融合步骤2和步骤3估计出的两组K个通道的全分辨光谱立方体，获得最终K个通道的光谱立方体。

步骤1的具体方法为：利用原始红外多光谱马赛克图像获得伪全色图像，其中每个像元对应的像素值由该像元在所有通道上的均值组成。通过皮尔斯相关系数判定，全伪色图与各波段的相关系数均值为0.9756，与各波段均有较强的光谱相关性，可以用伪全色图作为各波段的光谱参照图，并建立光谱先验与K个通道稀疏图像的残差模型。

步骤2的具体方法为：由于“一对多”单波段稀疏图像，相同波段像元间隔跨度过大，以第k波段为例，渐进式去马赛克方法利用相邻同波段像元梯度信息将其稀疏的残差图变为全分辨的残差图，以获得图像高频信息。

步骤3的具体方法为：仅用第k波段图像空间信息，以欧式距离为判断依据，结合“一对多”特性，利用空洞卷积的方式将稀疏的k波段图恢复成全分辨图，以获得图像的低频信息。

具体实施例：

本发明提供了一种适用于“一对多”红外多光谱图像去马赛克方法，红外多光谱焦平面相机采集的“一对多”红外多光谱马赛克图像如图1所示，滤光片每个周期内包含9个波段，单一波段下对应3×3个像元，且9波段像元呈周期性排布。去马赛克整体流程如图2所示，首先利用马赛克图像获得光谱先验，建立光谱先验与K个通道稀疏图像的残差模型，并基于该残差模型获得的结果进行空谱联合渐进式去马赛克。去马赛克的过程中不仅用到了光谱信息，同时利用残差信息以及空间信息，以更好地获取图像的高频特征。针对“一对多”特性设计基于空间信息的去马赛克模型，获取图像的低频信息。根据上述模型得到的图像数据融合，可得到K个通道对应的全分辨光谱立方体。

方法具体按照以下步骤实施：

一、首先通过利用原始红外多光谱马赛克图像，获得对应的光谱先验图，即伪全色图像；

二、对原始红外多光谱图像以及步骤一中建立的伪全色图像分别进行K个通道的稀疏，建立残差模型，以获得图像细节特征；

三、利用步骤二获得的残差图进行基于同波段相邻像元像素值梯度引导的渐进式的去马赛克，对稀疏残差图进一步的补全，获得K个通道的全分辨残差图；

四、利用步骤三获得的全分辨残差图与步骤1获得的伪全色图融合估计出K个通道的全分辨光谱立方体；

五、对原始红外多光谱图像进行K个通道的稀疏，以欧式距离为判断依据，结合“一对多”特性，利用空洞卷积的方式将稀疏的k波段图恢复成全分辨图，估计出K个通道的全分辨光谱立方体；

六、融合步骤四和步骤五获得的两组K个通道的全分辨光谱立方体，获得最终全分辨光谱立方体。

在本发明的技术方案中，红外多光谱图像的去马赛克主要由基于空谱联合的渐进式去马赛克方法和基于“一对多”空间特征的去马赛克方法。

基于空谱联合的渐进式去马赛克方法，首先需要获得光谱先验，即获得伪全色图。伪全色图I^M的定义为，伪全色图任意像元p的值为该像元在所有波段的像元均值。

由于在红外多光谱马赛克图像上，每个像素都有单一的通道值，很难拿到任意像元p在所有波段的均值。但根据空间相关性可推断出任意像元与之相邻像元均有强相关性，因此利用一个固定卷积核来估计全伪色图。而红外多光谱马赛克图像具有“一对多”特性，因此选择采用空洞卷积的方式实现，如图3所示。

具体实现方式可以由以下公式来表示：

I^M＝I^MSFA*M

分析各单一波段k与该伪全色图的Pearson相关系数，若有强相关性则可以作为k波段的光谱先验。经过计算分析，各单一波段与该伪全色图的相关系数均在0.97以上，因此可以作为光谱先验。

建立基于光谱先验的残差模型，对原始红外多光谱图像以及伪全色图像分别进行k通道的稀疏，对其进行差分处理得到稀疏残差图

渐进式去马赛克，首先对

中真值部分补全中间待求像元对应的像素值得到/>

利用真值与/>

中补全中间待求像元对应的像素值得到/>

利用/>

的值补全剩余待求像元对应的像素值得到/>

分别再利用图像的水平梯度、竖直梯度以及对角梯度作为权重引导对整个图像进行渐进式的恢复，渐进恢复步骤如图4(a)所示，权重引导如图4(b)所示。

以竖直梯度为例，具体表示如下：

δx,δy＝{±1,±2}

去马赛克后得到的

是全分辨的/>

由于回复结果中仍包含伪全色图像的信息，则需要剔除对应信息。

基于“一对多”空间特征的去马赛克方法，首先需要通过红外多光谱马赛克图获得稀疏的K通道光谱立方体，利用稀疏的单波段信息进行空间信息的恢复。以欧式距离为判断依据，结合“一对多”特性，利用空洞卷积的方式估计出K个通道的全分辨光谱立方体如图5所示。具体表示如下：

I^Spa_k＝I^MSFA*H

F＝[1 0 0 2 0 0 3 0 0 2 0 0 1]

H＝F^T×F

将基于光谱先验的渐进式去马赛克方法得到的I^Spe_k与基于“一对多”空间特征的去马赛克方法得到I^Spa_k进行融合，最终得到k波段的光谱立方体I^k。

I^k＝λ₁×I^Spe_k+λ₂×I^Spa_k。

Claims (4)

1.一种适用于一对多红外多光谱图像去马赛克方法，其特征在于，包括以下步骤：

步骤1：利用原始红外多光谱马赛克图像获取伪全色图像，作为光谱先验；对原始红外多光谱马赛克图像以及伪全色图像分别进行K个通道的稀疏，并进行差分处理得到K个通道稀疏残差图；

步骤2：利用稀疏残差图进行基于同波段相邻像元像素值梯度引导的渐进式去马赛克，对稀疏残差图进一步补全，获得K个通道的全分辨残差图；再利用全分辨残差图与步骤1获得的伪全色图像融合，估计出K个通道的全分辨光谱立方体；

步骤3：对原始红外多光谱马赛克图像进行K个通道的稀疏，以欧式距离为判断依据，使用空洞卷积核将稀疏的k波段图恢复成全分辨图，，估计出K个通道的全分辨光谱立方体；

步骤4：融合步骤2和步骤3估计出的两组K个通道的全分辨光谱立方体，获得最终K个通道的光谱立方体。

2.根据权利要求1所述的一种适用于一对多红外多光谱图像去马赛克方法，其特征在于，所述步骤1的具体方法为：利用原始红外多光谱马赛克图像获得伪全色图像，其中每个像元对应的像素值由该像元在所有通道上的均值组成；通过皮尔斯相关系数判定，伪全色图像与各波段的相关系数均值为0.9756，用伪全色图作为各波段的光谱参照图，并建立光谱先验与K个通道稀疏图像的残差模型；

伪全色图I^M定义为，伪全色图任意像元p的值

为该像元在所有波段的像元均值：

利用一个固定卷积核M估计伪全色图，采用空洞卷积的方式实现，具体实现方式由以下公式表示：

I^M＝I^MSFA*M

其中I^MSFA表示红外多光谱马赛克图像；

建立基于光谱先验的残差模型，对原始红外多光谱马赛克图像I^sparse以及伪全色图像分别进行k通道的稀疏，对其进行差分处理得到稀疏残差图

3.根据权利要求1所述的一种适用于一对多红外多光谱图像去马赛克方法，其特征在于，所述渐进式去马赛克，首先对

中真值部分补全中间待求像元对应的像素值得到

利用真值与/>

中补全中间待求像元对应的像素值得到/>

利用/>

的值补全剩余待求像元对应的像素值得到/>

分别再利用图像的水平梯度、竖直梯度以及对角梯度作为权重引导对整个图像进行渐进式的恢复；

对于竖直梯度，具体表示如下：

δx,δy＝{±1,±2}

去马赛克后得到的

是全分辨的/>

由于回复结果中仍包含伪全色图像的信息，则需要剔除对应信息：

基于一对多空间特征的去马赛克方法，首先需要通过红外多光谱马赛克图获得稀疏的K通道光谱立方体，利用稀疏的单波段信息进行空间信息的恢复；以欧式距离为判断依据，结合一对多特性，利用空洞卷积的方式估计出K个通道的全分辨光谱立方体，具体表示如下：

I^Spa_k＝I^MSFA*H

F＝[1 0 0 2 0 0 3 0 0 2 0 0 1]

H＝F^T×F。

4.根据权利要求1所述的一种适用于一对多红外多光谱图像去马赛克方法，其特征在于，所述步骤4具体表示为：

将基于光谱先验的渐进式去马赛克方法得到的I^Spe_k与基于一对多空间特征的去马赛克方法得到I^Spa_k进行融合，最终得到k波段的光谱立方体I^k：

I^k＝λ₁×I^Spe_k+λ₂×I^Spa_k

其中，λ₁和λ₂分别为两个光谱立方体的融合系数。

Images