CN116188305B - 基于加权引导滤波的多光谱图像重建方法 - Google Patents

Abstract

基于加权引导滤波的多光谱图像重建方法，涉及多光谱图像处理技术领域，解决现有技术存在使用固定惩罚因子的引导滤波进行图像重建时，重建图像边缘附近存在大量伪影和噪声的问题，本发明通过设计五波段快照式多光谱成像系统；获取B波段原始图像、C波段原始图像、G波段原始图像、Y波段原始图像及R波段原始图像；基于自适应高斯上采样法重建G波段原始图像；利用加窗固有变分系数构建边缘感知权重；利用边缘感知权重构建加权引导滤波；以及使用加权引导滤波重建B、C、Y、R四个波段原始图像等几个步骤实现。本发明能更准确地估计边缘附近未采样点的光谱信息，更好地保留图像的纹理和边缘，明显地减少伪影和噪声现象。

Description

基于加权引导滤波的多光谱图像重建方法

技术领域

本发明涉及一种基于加权引导滤波的多光谱图像重建方法，属于多光谱图像处理技术领域。

背景技术

快照式光谱成像技术是一种新兴的多光谱图像获取手段，通过在探测器表面设置窄带滤光片阵列(Multispectral Filter Array,MSFA)，使每个像元只响应单一谱段的信息，实现同时采集物质图谱信息的目的，克服了传统光谱成像设备体积庞大，不能够实时地获取动态场景光谱图像的问题。该技术通过以牺牲空间分辨率为代价来换取光谱分辨率的提升，会造成物质结构信息的丢失，针对该问题，已有学者进行了大量的研究，但至今仍未有一种被普遍认可的解决方式。

利用已采样像素点和未采样像素点之间的空间相关性和光谱相关性，对每个像元处缺失的光谱信息进行估计，将每个波段图像恢复到原始图像空间分辨率的过程称为多光谱图像重建过程。目前，常用的多光谱图像重建方法包括插值类方法、频域类方法、基于稀疏表示类方法和基于深度学习方法等。其中插值类方法因具有计算简单、不需要大量多光谱图像来训练和验证模型等优点，非常适合某些实时场景中。

参考Digital Photography VIII.SPIE期刊，Monno Y,Tanaka M,Okutomi M于2012年发表的“Multispectral demosaicking using guided filter”一文，作者受彩色滤光片阵列的启发，设计了一种五波段MSFA模式，该模式中G波段的空间采样率为1/2，作者使用自适应高斯上采样从G波段原始图像生成引导图，并结合引导滤波器插值其余波段，但该方法由于使用固定的惩罚因子，导致引导滤波不能自适应图像的不同区域，使重建图像中边缘附近产生了一定的伪影和噪声。

发明内容

本发明为了解决现有技术存在使用固定惩罚因子的引导滤波进行图像重建时，重建图像边缘附近存在大量伪影和噪声的问题，提出一种基于加权引导滤波的多光谱图像重建方法。

本发明之基于加权引导滤波的多光谱图像重建方法，该方法包括以下步骤：

步骤一，设计五波段快照式多光谱成像系统；

步骤二，获取B波段原始图像、C波段原始图像、G波段原始图像、Y波段原始图像及R波段原始图像；

步骤三，基于自适应高斯上采样法重建G波段原始图像；

步骤四，利用加窗固有变分(WIV)系数构建边缘感知权重ψ(k)；

步骤五，利用边缘感知权重ψ(k)构建加权引导滤波；

步骤六，使用加权引导滤波重建B、C、Y、R四个波段原始图像。

所述步骤一设计的系统包括光学镜头、滤光片阵列、光电探测器和电脑四个部分，入射光进入光学镜头，经光学镜头会聚到滤光片阵列上，滤光片阵列对宽波段入射光进行光谱分光，将其分为五个波段的窄波段光分别为：密集采样波段G和稀疏采样波段B、C、Y和R，滤光片阵列中每个像元只通过单一窄波段的光信号，经滤光片阵列分光后的出射光被光电探测器接收，光电探测器将光信号转为电信号并传输到电脑，电脑将电信号转换为图像信号。

所述步骤二由光电探测器输出的电信号传输到电脑中并由电脑转换为图像信号，该图像包含五个波段全部的信息，按照每个波段像元在滤光片阵列中对应的空间位置，通过对该波段像元下采样得到对应波段的原始图像，即B、C、G、Y、R五个波段的单波段原始图像。

所述步骤三具体为：自适应高斯上采样以自适应核为权重，通过对未采样点的邻域内像素加权求和来估计其像素值，位置x_p处的自适应高斯上采样结果表达为：

式中，是以x_p为中心的空间邻域窗口，x_i是窗口内异于中心的任意像素点，/>为归一化系数，即/>内像素权重总和，/>是位置x_i处的像素值，/>是x_i处的二元掩膜，当x_i为已采样点时，/>的值为1，否则为0，/>是位置x_p处的自适应核，自适应核基于每个谱段对角导数近似相等这一假设，通过使用所有像素位置处的对角导数计算，其表达为：

式中，h是平滑参数，用于控制自适应核尺寸，H为旋转矩阵，用于将像素坐标旋转45度，使像素坐标与导数方向对齐，x为核内像素点灰度值，是以位置x_p为中心的八邻域内像素对角导数的协方差矩阵，其表达为：

式中，是以x_p为中心的空间邻域窗口，/>为窗口内像素总数；z_u、z_v分别为像素x_p的对角导数。

所述步骤四，利用WIV系数构建边缘感知权重ψ(k)；边缘感知权重ψ(k)能够根据图像区域的不同，自适应地调整权重值的大小，其表达为：

式(4)中，k为中心像素，i为取遍图像的所有像素，N为像素总数，λ为常数，D为图像I的动态范围；L(k)和L(i)分别为像素k和像素i处的WIV系数；对于细节纹理或者强边缘区域，权重ψ(k)较大；对于平滑区域，权重ψ(k)较小；像素k和像素i两处的WIV系数计算方式相同，以像素k处的WIV系数L(k)为例，其表达为：

式中，L_k(x)和L_k(y)分别为像素k邻域内水平、垂直方向上的高斯加权梯度和，表达为：

式中，R_r(k)是以像素点k为中心，以r为半径的局部邻域窗口，l是窗口R_r(k)内异于k的任意像素点，分别表示x和y方向上的偏导数；g_k,l是高斯权重函数，根据像素k和像素l的空间相似性计算，表达为：

式中，(x_k,y_k)和(x_l,y_l)是窗口内像素点k和l的空间坐标，σ控制窗口的空间尺度。

所述步骤五，利用边缘感知权重ψ(k)构建加权引导滤波；加权引导滤波假设引导图像P和估计图像q在以像素k为中心的窗口ω_k内满足局部线性关系：

式中，i是窗口ω_k内的任意像素点，P_i和q_i分别为引导图像P和估计图像q在像素i处的像素值，(a_k,b_k)是ω_k内一组假定为常数的线性系数；当估计图像q和原始图像I在像素i处的像素值q_i和I_i之间的差异最小时，估计值q_i最接近真实值，线性系数(a_k,b_k)具有最优解，该最优解通过最小二乘法得到：

式中，M_i是二元掩膜，在原始图像I中已采样点处的值为1，其余位置值为0，ε为惩罚因子，ψ(k)是步骤四得到的边缘感知权重，该权重能够自适应地调整惩罚因子ε，求解式(10)得到系数(a_k,b_k)的解，表达为：

式中，P'为引导图像P和掩膜图像M_i的哈达玛积，P'I表示图像P'和图像I的哈达玛积，和σ²分别是P'在局部窗口ω_k内的均值和方差，/>是输入图像在局部窗口ω_k内的均值，/>是P'I在局部窗口ω_k内的均值；对于每个像素点k，其包含在不同的窗口ω_i中，使用不同窗口ω_i的线性系数(a_k,b_k)其均值/>式(9)变为：

式中，ω_i是所有包含像素k的窗口，ω是窗口总数。

所述步骤六，使用加权引导滤波重建B、C、Y、R四个波段原始图像；具体地，将步骤三得到的G波段重建图像作为引导图像P，步骤二得到的B、C、Y、R四个波段原始图像分别作为原始图像I，使用步骤五构建的加权引导滤波，通过式(13)所述的线性变换重建B、C、Y、R四个波段原始图像。

本发明的有益效果在于，本发明与同类基于传统引导滤波的图像重建方法比较，步骤五中引入了边缘感知权重，该权重能够根据图像的不同结构自适应地改变引导滤波惩罚系数，使计算得到的引导滤波的线性系数更加准确。同时在重建五波段快照式多光谱成像系统获得的B、C、Y、R四波段原始图像过程中，能更准确地估计边缘附近未采样点的光谱信息，更好地保留图像的纹理和边缘，明显地减少伪影和噪声现象，重建图像具备更高的峰值信噪比和结构相似度。

附图说明

图1本发明五波段快照式多光谱成像系统图；

图2本发明滤光片阵列结构示意图；

图3本发明所述G、C、Y像素位置处的对角导数示意图；

图4Egyptian场景重建图像对比(a)真实图像、(b)真实图像局部图、(c)GF方法重建图像局部图、(d)本方法重建图像局部图；

图5CD场景重建图像对比(a)真实图像、(b)真实图像局部图、(c)GF方法重建图像局部图、(d)本方法重建图像局部图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

基于加权引导滤波的多光谱图像重建方法，其包括以下步骤：

步骤一，设计五波段快照式多光谱成像系统。如图1所示，该系统包括光学镜头1、滤光片阵列2、光电探测器3和电脑4四个部分，其中光电探测器3为CMOS图像传感器或CCD图像传感器。滤光片阵列2通过进行像元级光学镀膜得到，如图2所示，覆盖每个像元的光学薄膜只允许通过特定波长的光信号，从而实现光谱分光，具体地，该滤光片阵列2共包括五个波段，分别为密集采样波段G和稀疏采样波段B、C、Y、R，B为蓝色波段，光谱范围为420nm-470nm，中心波长为440nm；C为浅蓝色波段，光谱范围为470nm-490nm，中心波长为480nm；G为绿色波段，光谱范围为490nm-570nm，中心波长为510nm；Y为黄色波段，光谱范围为570nm-620nm，中心波长为580nm；R为红色波段，光谱范围为620nm-760nm，中心波长为650nm。五个波段的像元均匀分布在4×4周期性阵列中，其中G波段空间采样率为1/2，其余四波段的空间采样率均为1/8。入射光进入光学镜头1，经光学镜头1会聚到达滤光片阵列2，滤光片阵列2对宽波段入射光进行光谱分光，将其分为五个波段的窄波段光，阵列2中每个像元只通过单一窄波段的光信号，经滤光片阵列2分光后的出射光波被光电探测器3接收，光电探测器3将光信号转为电信号并传输到电脑4，电脑4将电信号转换为图像信号。

步骤二，获取B波段原始图像、C波段原始图像、G波段原始图像、Y波段原始图像及R波段原始图像。在步骤一中，光电探测器3输出的电信号传输到电脑4中并由电脑4转换为图像信号，该图像包含五个波段全部的信息。具体地，按照每个波段像元在周期性阵列中对应的空间位置，通过对该波段像元下采样得到对应波段的原始图像，即得到B、C、G、Y、R五个波段的单波段原始图像。在得到的B、C、G、Y、R五个波段的单波段原始图像中，除该波段采样点外，还包含大量未采样点，这些未采样点不包含该波段的光谱信息，本发明使用下述步骤估计未采样点中该波段的光谱信息。

步骤三，基于自适应高斯上采样法重建G波段原始图像。自适应高斯上采样以自适应核为权重，通过对未采样点的邻域内像素加权求和来估计其像素值，位置x_p处的自适应高斯上采样结果表达为：

式中，是以x_p为中心的空间邻域窗口，x_i是窗口内异于中心的任意像素点，/>为归一化系数，即/>内像素权重总和，S_xi是位置x_i处的像素值，/>是x_i处的二元掩膜，当x_i为已采样点时，/>的值为1，否则为0，/>是位置x_p处的自适应核，自适应核基于每个谱段对角导数近似相等这一假设，通过使用所有像素位置处的对角导数计算，其表达为：

式中，h是平滑参数，h＝1/255，用于控制自适应核尺寸，H为旋转矩阵，用于将像素坐标旋转45度，使像素坐标与导数方向对齐，x为核内像素点灰度值，是以位置x_p为中心的八邻域内像素对角导数的协方差矩阵，其表达为：

式中，是以x_p为中心的空间邻域窗口，/>为窗口内像素总数；z_u、z_v分别为像素x_p的对角导数，如图3所示。

步骤四，利用WIV系数构建边缘感知权重ψ(k)。边缘感知权重ψ(k)能够根据图像区域的不同，自适应地调整权重值的大小，其表达为：

式(4)中，k为中心像素，i为取遍图像的所有像素，N为像素总数，λ是取值为(0.001×D)²的常数，D为图像I的动态范围(8位图像的动态范围未0-255)。L(k)和L(i)分别为像素k和像素i处的WIV系数。对于细节纹理或者强边缘区域，权重ψ(k)较大；对于平滑区域，权重ψ(k)较小。像素k和像素i两处的WIV系数计算方式相同，以像素k处的WIV系数L(k)为例，其表达为：

式中，L_k(x)和L_k(y)分别为像素k邻域内水平、垂直方向上的高斯加权梯度和，表达为：

式中，R_r(k)是以像素点k为中心，以r为半径的局部邻域窗口，l是窗口R_r(k)内异于k的任意像素点，分别表示x和y方向上的偏导数。g_k,l是高斯权重函数，根据像素k和像素l的空间相似性计算，表达为：

式中，(x_k,y_k)和(x_l,y_l)是窗口内像素点k和l的空间坐标，σ控制窗口的空间尺度，σ＝2。

步骤五，利用边缘感知权重ψ(k)构建加权引导滤波。加权引导滤波假设引导图像P和估计图像q在以像素k为中心的窗口ω_k内满足局部线性关系：

式中，i是窗口ω_k内的任意像素点，P_i和q_i分别为引导图像P和估计图像q在像素i处的像素值，(a_k,b_k)是ω_k内一组假定为常数的线性系数。当估计图像q和原始图像I在像素i处的像素值q_i和I_i之间的差异最小时，估计值q_i最接近真实值，线性系数(a_k,b_k)具有最优解，该最优解通过最小二乘法得到：

式中，M_i是二元掩膜，在原始图像I中已采样点处的值为1，其余位置值为0，ε为惩罚因子，令其为0.001，ψ(k)是步骤四得到的边缘感知权重，该权重能够自适应地调整惩罚因子ε，求解式(10)得到系数(a_k,b_k)的解，表达为：

式中，P'为引导图像P和掩膜图像M_i的哈达玛积，P'I表示图像P'和图像I的哈达玛积，和σ²分别是P'在局部窗口ω_k内的均值和方差，/>是输入图像在局部窗口ω_k内的均值，是P'I在局部窗口ω_k内的均值。对于每个像素点k，其包含在不同的窗口ω_i中，使用不同窗口ω_i的线性系数(a_k,b_k)其均值/>式(9)变为：

式中，ω_i是所有包含像素k的窗口，ω是窗口总数。

步骤六，使用加权引导滤波重建B、C、Y、R四个波段原始图像。具体地，将步骤三得到的G波段重建图像作为引导图像P，步骤二得到的B、C、Y、R四个波段原始图像作为原始图像I，使用步骤五构建的加权引导滤波，通过式(13)所述的线性变换重建B、C、Y、R四个波段原始图像。

实施例：

本法明是在基于引导滤波的多光谱去马赛克(Multispectral demosaickingusing guided filter,GF)方法基础上，通过引入边缘感知权重得到的，为了更直观地体现本发明的优势，从客观评价指标和主观视觉效果两方面对算法的性能进行对比。本发明采用Matlab2021a软件对两种算法进行仿真，仿真PC为i9-12900H@2.50GHz，16.0GB运行内存，仿真数据集为CAVE数据集和TokyoTech数据集，客观评价指标包括峰值信噪比PSNR和结构相似度SSIM，PSNR计算真实图像和重建图像中对应像素间的差异，SSIM则从亮度、对比度、结构三个方面衡量图像的相似度。表1、2分别为两种方法在CAVE、TokyoTech数据集上的客观评价指标，其中本方法在两种数据集上的PSNR比GF方法平均高0.96dB、1.87dB，SSIM比GF方法平均高0.0164、0.0203。产生以上客观评价指标结果，主要源于本发明所提出的加权引导滤波器能够根据图像区域的不同，自适应地调整惩罚系数的大小。图4、5分别为Egyptian场景和CD场景的真实图像和两种方法的重建结果，两幅图均包含(a)真实图像、(b)真实图像局部图、(c)GF方法重建图像局部图、(d)本方法重建图像局部图，从图中可以看出，相比于GF方法，本方法的重建图像明显更接近于真实图像，边缘附近的伪影和噪声明显减少，且GF方法重建图像中的平滑区域存在着大量的虚假纹理，这说明本方法的性能优于GF方法。

表1

表2

Claims (4)

1.基于加权引导滤波的多光谱图像重建方法，其特征是，该方法包括以下步骤：

步骤一，设计五波段快照式多光谱成像系统；

步骤二，获取B波段原始图像、C波段原始图像、G波段原始图像、Y波段原始图像及R波段原始图像；

步骤三，基于自适应高斯上采样法重建G波段原始图像；

步骤四，利用WIV系数构建边缘感知权重ψ(k)；

利用WIV系数构建边缘感知权重ψ(k)；边缘感知权重ψ(k)能够根据图像区域的不同，自适应地调整权重值的大小，其表达为：

式(4)中，k为中心像素，i为取遍图像的所有像素，N为像素总数，λ为常数，D为图像I的动态范围；L(k)和L(i)分别为像素k和像素i处的WIV系数；对于细节纹理或者强边缘区域，权重ψ(k)较大；对于平滑区域，权重ψ(k)较小；像素k和像素i两处的WIV系数计算方式相同，以像素k处的WIV系数L(k)为例，其表达为：

式中，L_k(x)和L_k(y)分别为像素k邻域内水平、垂直方向上的高斯加权梯度和，表达为：

式中，R_r(k)是以像素点k为中心，以r为半径的局部邻域窗口，l是窗口R_r(k)内异于k的任意像素点，分别表示x和y方向上的偏导数；g_k,l是高斯权重函数，根据像素k和像素l的空间相似性计算，表达为：

式中，(x_k,y_k)和(x_l,y_l)是窗口内像素点k和l的空间坐标，σ控制窗口的空间尺度；

步骤五，利用边缘感知权重ψ(k)构建加权引导滤波；

利用边缘感知权重ψ(k)构建加权引导滤波；加权引导滤波假设引导图像P和估计图像q在以像素k为中心的窗口ω_k内满足局部线性关系：

式中，i是窗口ω_k内的任意像素点，P_i和q_i分别为引导图像P和估计图像q在像素i处的像素值，(a_k,b_k)是ω_k内一组假定为常数的线性系数；当估计图像q和原始图像I在像素i处的像素值q_i和I_i之间的差异最小时，估计值q_i最接近真实值，线性系数(a_k,b_k)具有最优解，该最优解通过最小二乘法得到：

式中，M_i是二元掩膜，在原始图像I中已采样点处的值为1，其余位置值为0，ε为惩罚因子，ψ(k)是步骤四得到的边缘感知权重，该权重能够自适应地调整惩罚因子ε，求解式(10)得到系数(a_k,b_k)的解，表达为：

式中，P'为引导图像P和掩膜图像M_i的哈达玛积，P'I表示图像P'和图像I的哈达玛积，和σ²分别是P'在局部窗口ω_k内的均值和方差，/>是输入图像在局部窗口ω_k内的均值，/>是P'I在局部窗口ω_k内的均值；对于每个像素点k，其包含在不同的窗口ω_i中，使用不同窗口ω_i的线性系数(a_k,b_k)其均值/>式(9)变为：

式中，ω_i是所有包含像素k的窗口，ω是窗口总数；

步骤六，使用加权引导滤波重建B、C、Y、R四个波段原始图像；

使用加权引导滤波重建B、C、Y、R四个波段原始图像；具体地，将步骤三得到的G波段重建图像作为引导图像P，步骤二得到的B、C、Y、R四个波段原始图像分别作为原始图像I，使用步骤五构建的加权引导滤波，通过式(13)所述的线性变换重建B、C、Y、R四个波段原始图像。

2.根据权利要求1所述的基于加权引导滤波的多光谱图像重建方法，其特征在于，所述步骤一设计的系统包括光学镜头、滤光片阵列、光电探测器和电脑四个部分，入射光进入光学镜头，经光学镜头会聚到滤光片阵列上，滤光片阵列对宽波段入射光进行光谱分光，将其分为五个波段的窄波段光分别为：密集采样波段G和稀疏采样波段B、C、Y和R，滤光片阵列中每个像元只通过单一窄波段的光信号，经滤光片阵列分光后的出射光被光电探测器接收，光电探测器将光信号转为电信号并传输到电脑，电脑将电信号转换为图像信号。

3.根据权利要求2所述的基于加权引导滤波的多光谱图像重建方法，其特征在于，所述步骤二由光电探测器输出的电信号传输到电脑中并由电脑转换为图像信号，该图像包含五个波段全部的信息，按照每个波段像元在滤光片阵列中对应的空间位置，通过对该波段像元下采样得到对应波段的原始图像，即B、C、G、Y、R五个波段的单波段原始图像。

4.根据权利要求3所述的基于加权引导滤波的多光谱图像重建方法，其特征在于，所述步骤三具体为：自适应高斯上采样以自适应核为权重，通过对未采样点的邻域内像素加权求和来估计其像素值，位置x_p处的自适应高斯上采样结果表达为：

式中，是以x_p为中心的空间邻域窗口，x_i是窗口内异于中心的任意像素点，/>为归一化系数，即/>内像素权重总和，/>是位置x_i处的像素值，/>是x_i处的二元掩膜，当x_i为已采样点时，/>的值为1，否则为0，/>是位置x_p处的自适应核，自适应核基于每个谱段对角导数近似相等这一假设，通过使用所有像素位置处的对角导数计算，其表达为：

式中，h是平滑参数，用于控制自适应核尺寸，H为旋转矩阵，用于将像素坐标旋转45度，使像素坐标与导数方向对齐，x为核内像素点灰度值，是以位置x_p为中心的八邻域内像素对角导数的协方差矩阵，其表达为：

式中，是以x_p为中心的空间邻域窗口，/>为窗口内像素总数；z_u、z_v分别为像素x_p的对角导数。