CN110458766A - 一种快照式高光谱图像去马赛克方法 - Google Patents

Abstract

本发明公开了一种快照式高光谱图像去马赛克方法，包括对原始马赛克图像进行光谱通道分离预处理；运用相关性加权插值算法对每个光谱通道进行独立插值，得到初始重构高光谱图像；对初始重构高光谱图像进行分块预处理；利用低秩性图像优化算法对子图像块进行降秩优化处理；将优化后的每个子图像块重构组合，得到最终去马赛克高光谱图像。本方法对图像边缘部分和微小细节的保存效果良好，是一种准确、高效的高光谱图像去马赛克技术。利用低秩性图像优化算法可以有效降低初始插值过程引入的噪声，进一步提高去马赛克后高光谱图像信噪比。该方法具有显著优势，能够获得信噪比较高的重构高光谱图像，对图像边缘部分和微小细节的保存效果良好。

Description

一种快照式高光谱图像去马赛克方法

技术领域

本发明涉及图像处理领域，尤其涉及一种快照式高光谱图像去马赛克方法。

背景技术

高光谱图像不仅能够获取场景的空间信息，同时也获取其光谱信息，具有广泛的应用价值。目前大多数高光谱成像系统采用多个独立的图像传感器分别获取不同波段的光谱通道图像，因此存在成本高、体积大、拍照时间长以及图像配准等问题。通过在高光谱成像系统CCD(Charge Coupled Device)或CMOS(Complementary Metal OxideSemiconductor)传感器表面覆盖一层光谱滤光阵列(Spectral Filter Array,SFA)一次成像即可获取高光谱图像。这种快照式高光谱成像系统获取的图像，在每个像素位置只能采集某一光谱波段信息，得到的是一维马赛克图像。为了得到完整的三维高光谱图像，需要对马赛克图像进行插值处理，恢复每个像素位置缺失的光谱信息，这一过程被称为“去马赛克”(Demosaicking)。

RGB图像去马赛克方法的研究已经比较成熟，很多基于拜尔滤光阵列的去马赛克算法被提出。对于高光谱图像去马赛克方法的研究还比较少，而且RGB图像的去马赛克方法不能直接应用于高光谱图像去马赛克。高光谱图像光谱通道数更多导致每个光谱波段严重欠采样，而且没有标准光谱滤光阵列排列模式，不同光谱滤光阵列模式也会影响图像去马赛克的实现过程。因此，高光谱图像去马赛克难度更大、复杂度更高。

Miao L.等人在“Binary Tree Based Generic Demosaicking Algorithm forMultispectral Filter Arrays”(IEEE Transactions on Image Processing.2006.15(11):3550-3558)文章中提出基于二进制树的多光谱滤光阵列(multi-spectral filterarray,MSFA)模式和和基于边缘检测的多光谱图像去马赛克算法。H.K.Aggarwal等人在“Compressive Sensing Multi-Spectral Demosaicing from Single SensorArchitecture”(Signal and Information Processing(China SIP),2014 IEEE ChinaSummit&International Conference[S.1.]:IEEE,2014:334-338)文章中提出两种模式的MSFA，并将压缩感知理论引入多光谱图像去马赛克算法研究中。Congcong Wang等人在“ALinear Interpolation Algorithm for Spectral Filter Array Demosaicking”(International Conference on Image and Signal Processing.SpringerInternational Publishing,2014.)文章中提出了一种基于残差的线性插值的算法。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

上述算法计算复杂度高，对于通道数较多的滤光阵列去马赛克图像边缘和文理部分锯齿效应较明显。

发明内容

本发明提供了一种快照式高光谱图像去马赛克方法，本发明利用低秩性优化算法对初始去马赛克图像进行降秩优化处理，得到最终去马赛克的高光谱图像，详见下文描述：

一种快照式高光谱图像去马赛克方法，所述方法包括以下步骤：

根据目标像素点与相邻像素点的欧式距离，计算相应的权值；根据相邻像素位置的权值不同，进行相关性加权插值，得到目标像素点的像素值；

将插值后的初始去马赛克高光谱图像分成若干三维图像块，搜索与待处理三维图像块相似的图像块，并组合成新的具有低秩性的立方体；

利用低秩优化对立方体进行奇异值处理，提取优化后的子图像块，将每个子图像块重构组合，得到最终去马赛克高光谱图像。

其中，所述根据目标像素点与相邻像素点的欧式距离，计算相应的权值具体为：

其中，α为调节参数，同理可计算出ω₂、ω₃和ω₄，且满足

进一步地，所述搜索与待处理三维图像块相似的图像块，并组合成新的具有低秩性的立方体与待处理三维图像块相似的图像块，并组合成新的具有低秩性的立方体具体为：

根据图像相似性，在全域范围内搜寻与待处理子像素块X最相似的n个图像块Y_i，使得Y_i与待处理图像块X的差异最小，即：

将待处理子像素块X和其n个相似图像块Y_i组成新的数据立方体B。

进一步地，所述利用低秩优化对立方体进行奇异值处理具体为：

[U,S,V]＝svd(B)

对数据立方体B进行奇异值分解，提取的奇异值S的个数与高光谱图像通道数相同S_i；即：

对S中的每一个奇异值进行优化处理得到S′，用S′替换S得到重构矩阵B′，即：

B′＝U*S′*V

得到低秩优化后的数据立方体B′，从中提取优化后的目标图像块X，将每个优化后的三维图像块重构组合，得到最终去马赛克高光谱图像。

本发明提供的技术方案的有益效果是：

1、本方法不仅可以有效提高高光谱图像去马赛克峰值信噪比(PSNR)，对图像细节和纹理保存效果良好；

2、本方法不需要考虑滤光阵列的排列模式和通道数，是一种准确、高效的高光谱图像去马赛克技术，在基于滤光阵列的快照式高光谱成像领域具有广阔的应用前景；

3、本发明的高光谱图像去马赛克技术通道数更多(以16通道和25通道为例进行验证)，无需考虑光谱滤光阵列的排列模式，在相关性加权插值估算中加入低秩性图像优化算法能够有效减小插值误差，准确估计插值结果。

附图说明

图1是本发明提供的一种快照式高光谱图像去马赛克方法的流程图；

图2是两种高光谱滤光阵列的示意图；

(a)为16通道滤光阵列，数字1-16表示16种不同波长通道，每个通道只允许该波长的光通过；(b)为16通道滤光阵列通道1平面；(c)为25通道滤光阵列，数字1-25表示25种不同波长通道。

图3是本发明所用的高光谱图像。

其中，(a)为伪彩色图像；(b)为16通道高光谱图像第16通道(650nm波段)原始图像；(c)为模拟图2(a)16通道滤光阵列对16通道高光谱图像采样得到的第16通道(650nm波段)马赛克图像；(d)为本发明提供的方法对16通道高光谱图像去马赛克得到的去马赛克图像第16通道(650nm波段)图像。

图4是本发明所用的另一高光谱图像。

其中，(a)为伪彩色图像；(b)为25通道高光谱图像第25通道(680nm波段)原始图像；(c)为模拟图2(c)25通道滤光阵列对25通道高光谱图像采样得到的第25通道(680nm波段)马赛克图像；(d)为本发明提供的方法对25通道高光谱图像去马赛克得到的去马赛克图像第25通道(680nm波段)图像。

图3和图4的高光谱图像取自CAVE高光谱图像数据库，该数据库的高光谱图像由31个波段组成，各波段图像像素大小为512piexl×512piexl，波长范围是400nm至700nm，光谱分辨率为10nm。此数据库中的高光谱图像每个波段图像单独采集，可用作对比评价的原始图像。以16通道为例，选择波长范围500nm至650nm的16个通道组成高光谱图像。25通道高光谱图像波长范围为440nm至680nm。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一种快照式高光谱图像去马赛克方法，参见图1，该方法包括以下步骤：

101：根据目标像素点与相邻像素点的欧式距离，计算相应的权值；

102：根据相邻像素位置的权值不同，进行相关性加权插值，得到目标像素点的像素值；

103：将插值后的初始去马赛克高光谱图像分成若干三维图像块，搜索与待处理三维图像块相似的图像块，并组合成新的数据立方体；

104：合成的数据立方体具有低秩性，利用低秩优化算法对其进行处理，提取出算法优化后的子图像块，将每个子图像块重构组合，得到最终去马赛克高光谱图像。

综上所述，本发明实施例通过上述步骤101-104不仅可以有效提高高光谱图像去马赛克峰值信噪比(PSNR)，对图像细节和纹理保存效果良好，满足了实际应用中的需要。

实施例2

下面结合图2和图3对本发明实施例提供的种快照式高光谱图像去马赛克方法进行进一步地介绍，详见下文描述：

基于光谱滤光阵列的快照式高光谱成像技术直接得到的是严重欠采样的马赛克图像，传感器表面覆盖的光谱滤光阵列使得每个像素位置只能采集某一波段的光谱信息，要得到完整的高光谱图像需要对马赛克图像进行去马赛克处理。本发明实施例提出的高光谱图像去马赛克技术能够高效、准确重建高光谱图像，对图像细节和纹理保存效果良好。而且不需要考虑滤光阵列的排列模式和通道数。结合附图，详细说明如下：

其中，根据欧式距离计算目标像素点相邻像素位置权值具体为：

以图2(b)为例，为重建第1通道P点光谱数据，利用其相邻的4个已知像素值(即P1、P2、P3和P4)来估算P点像素值。相邻像素点和目标像素点P的距离不同对应的权值不同，本发明实施例采用欧式距离计算权值。P1点到P点的距离D₁为：

其中，(x_P，y_P)、(x_P1，y_P1)为P点和P1点的位置坐标。根据上面的距离计算算法设计加权计算公式，P1点权值参数ω₁为：

其中，α为调节参数，同理可计算出ω₂、ω₃和ω₄，且满足

所述对马赛克图像进行加权插值具体为：

根据计算权值参数，对P点进行加权插值，即：

计算所有缺失数据，完成高光谱图像初始重建。

其中，对初始重建高光谱图像进行分块处理并提取相似块具体为：

将大小为M×N×L(L代表高光谱图像通道数)的初始重构高光谱图像分成大小为b×b×L的三维子图像块。根据图像相似性，在全域范围内搜寻与待处理子像素块X最相似的n个图像块Y_i(i＝1,2，…，n)，使得Y_i与待处理图像块X的差异最小，即：

将待处理子像素块X和其n个相似图像块Y_i组成新的数据立方体B。具体过程为：

将大小为b×b×L的待处理子像素块X展开成K×L的矩阵(K＝b×b)，其中K为待处理子像素块的像素个数，L为光谱通道数。同理将与待处理子像素块X最相似的n个图像块Y_i(i＝1,2，…，n)也展开成大小相同的矩阵，并将这些矩阵组合成新的数据立方体B。

其中，利用低秩性优化算法对构造的数据立方体进行处理具体为：

对构建的由n+1个图像块组成的矩阵B作奇异值提取(Singular ValueExtraction,记为SVE)，即对矩阵进行奇异值分解，即：

[U,S,V]＝svd(B)

对矩阵B进行奇异值分解，提取的奇异值S的个数与高光谱图像通道数相同S_i(i＝1，2，3…,L)，由于本方法所针对的高光谱图像通道数较少，所以传统方法方法对S的处理无法应用，本方法提出的S优化算法对S中的每一个值进行优化，即：

对S中的每一个奇异值进行优化处理得到S′，用S′替换S得到重构矩阵B′，即：

B′＝U*S′*V

得到低秩优化后的数据立方体B′，从中提取算法优化后的目标图像块X。将每个优化后的三维图像块重构组合，得到最终去马赛克高光谱图像。

以16通道高光谱图像为例，光谱滤光阵列模式如图2(a)所示，光谱通道1至16对应波长范围500nm至650nm，光谱分辨率为10nm。图3所示为原始图像和去马赛克前后图像，(a)为伪彩色图像。(b)为通道16(650nm波段)原始图像。(c)为模拟16通道滤光阵列采样得到通道16(650nm波段)马赛克图像。(d)为本发明提供的去马赛克技术得到的去马赛克图像通道16(650nm波段)图像，峰值信噪比(PSNR)为32.84dB。

25通道高光谱图像光谱滤光阵列模式如图2(c)所示，光谱通道1至25对应波长范围440nm至650nm，光谱分辨率为10nm。图4所示为原始图像和去马赛克前后图像，(a)为伪彩色图像。(b)为通道25(680nm波段)原始图像。(c)为模拟25通道滤光阵列采样得到的通道25(680nm波段)马赛克图像。(d)为本发明提供的去马赛克技术得到的去马赛克图像通道25(680nm波段)图像，峰值信噪比(PSNR)为31.62dB。

从结果可以看出，本方法能够较好的重建高光谱图像，对图像细节和纹理保存效果良好。从技术原理可看出，本发明提出的高光谱图像去马赛克技术适用于不同光谱通道数和不同的滤光阵列排列模式。是一种准确、高效的高光谱图像去马赛克技术。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种快照式高光谱图像去马赛克方法，其特征在于，所述方法包括以下步骤：

根据目标像素点与相邻像素点的欧式距离，计算相应的权值；根据相邻像素位置的权值不同，进行相关性加权插值，得到目标像素点的像素值；

将插值后的初始去马赛克高光谱图像分成若干三维图像块，搜索与待处理三维图像块相似的图像块，并组合成新的具有低秩性的立方体；

利用低秩优化对立方体进行奇异值处理，提取优化后的子图像块，将每个子图像块重构组合，得到最终去马赛克高光谱图像。

2.根据权利要求1所述的一种快照式高光谱图像去马赛克方法，其特征在于，所述根据目标像素点与相邻像素点的欧式距离，计算相应的权值具体为：

其中，α为调节参数，同理可计算出ω₂、ω₃和ω₄，且满足

3.根据权利要求1所述的一种快照式高光谱图像去马赛克方法，其特征在于，所述搜索与待处理三维图像块相似的图像块，并组合成新的具有低秩性的立方体与待处理三维图像块相似的图像块，并组合成新的具有低秩性的立方体具体为：

根据图像相似性，在全域范围内搜寻与待处理子像素块X最相似的n个图像块Y_i，使得Y_i与待处理图像块X的差异最小，即：

将待处理子像素块X和其n个相似图像块Y_i组成新的数据立方体B。

4.根据权利要求3所述的一种快照式高光谱图像去马赛克方法，其特征在于，所述利用低秩优化对立方体进行奇异值处理具体为：

[U,S,V]＝svd(B)

对数据立方体B进行奇异值分解，提取的奇异值S的个数与高光谱图像通道数相同S_i；

即：

对S中的每一个奇异值进行优化处理得到S′，用S′替换S得到重构矩阵B′，即：

B′＝U*S′*V

得到低秩优化后的数据立方体B′，从中提取优化后的目标图像块X，将每个优化后的三维图像块重构组合，得到最终去马赛克高光谱图像。