CN105139339A - 基于多级滤波和样本匹配的偏振图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种广义稀疏下基于多级滤波和样本匹配的偏振图像超分辨率重建方法，在广义稀疏表示下，利用配准后的三方向(0°、60°和120°)偏振图像的冗余和互补信息，以图像块为处理对象，通过构造上采样和下采样滤波器组，采用缩放倍率逐步加1的方法，以待重建图像块的低频部分进行局部自相似样本匹配，以得到的局部自相似匹配样本进行高频估计，最后与初始估计进行合成，通过对图像块逐一进行更新得到整幅重建图像。该方法具有图像轮廓结构清晰、边缘锯齿效应低、细节信息丰富等优点。

Description

基于多级滤波和样本匹配的偏振图像超分辨率重建方法

技术领域

本发明涉及偏振成像探测和图像处理技术领域，具体涉及一种新的偏振图像超分辨率重建方法，适用具有局部自相似特征的多通道偏振方向图像超分辨率重建，算法鲁棒性强，重建结果具有轮廓结构清晰、边缘保持完整、细节信息丰富等优点，对于提高偏振成像目标探测和识别具有重要意义。

背景技术

偏振成像技术作为一种新型成像手段，不仅能获取目标的强度信息，而且能够获取目标的偏振信息，通过强度信息和偏振信息的融合对目标进行准确探测。与现有的光学成像侦察技术相比，偏振成像探测技术可以辨识伪装目标，具有穿透雾霾的能力，能够获取更多的目标细节信息和能够辨识不良照度下的目标，从而为实现更为复杂的目标状态特征反演奠定了基础，在对复杂条件下典型目标探测等方面具有独特的优势，如光学伪装目标、雾中目标以及低细节特征小目标等。然而，在实际偏振成像探测应用中，由于受目标和成像平台的距离及运动影响，受偏振成像设备精度和成像条件等因素限制，通常获取的是质量较差、分辨率较低的图像，这给后续的偏振图像融合、目标检测和识别等带来诸多困难，影响人们利用偏振成像技术进行目标探测的精度。而图像超分辨率重建通过建立图像退化模型，利用图像先验知识，采用信号处理的方法，在不改变现有偏振成像系统的条件下，从一幅或多幅低分辨率偏振图像中重构丢失的截止频率以外的高频信息，并消除退化因素的影响，能够有效提高图像的空间分辨率。

现有的超分辨率重建方法主要有插值方法、基于重建的方法和基于学习的方法三类。传统的插值方法也称为图像缩放技术，简单快速，具有实时性，但是容易产生模糊边缘并且细节信息不丰富，主要用于对空间分辨率要求不高的场合或作为其他方法的初始估计。基于重建的方法研究较为成熟，在多幅图像间的运动估计和配准较为准确的情况下，由于能够方便的利用图像先验知识(局部平滑、边缘保持)构造正则化约束项，重建结果能够较好地保持图像边缘轮廓结构，但是高频细节信息恢复效果一般；基于样本学习的方法即使在单幅情况下依然能够重建图像细节信息，但是过于依赖低分辨率图像块的匹配精度，容易产生过拟合或欠拟合现象，可能出现视觉伪影和失真。利用偏振成像技术进行目标探测时，通常是通过三个固定偏振探测方向的偏振分量强度图像信息解析得到目标的偏振特征信息，而多通道偏振方向图像存在的冗余和互补信息，不仅可以用于偏振信息融合，而且为偏振图像超分辨率重建提供了优于其他自然图像的样本信息；另一方面，当前基于样本学习的方法其重建效率都比较低，算法运行时间普遍慢，这影响其实际应用。因此，研究针对偏振图像特性的超分辨率重建方法，这对利用偏振成像技术进行目标探测和识别具有重要意义。

发明内容

本发明在广义稀疏表示下，利用配准后的三方向(0°、60°和120°)偏振图像的冗余和互补信息，以图像块为处理对象，通过构造上采样和下采样滤波器组，采用缩放倍率逐步加1的方法，以待重建图像块的低频部分进行局部自相似样本匹配，以得到的局部自相似匹配样本进行高频估计，最后与初始估计进行合成，通过对图像块逐一进行更新得到整幅重建图像。该方法具有图像轮廓结构清晰、边缘锯齿效应低、细节信息丰富等优点。

本发明所要解决的技术问题采用以下技术方案来实现：

一种广义稀疏下基于多级滤波和样本匹配的偏振图像超分辨率重建方法，包括滤波器组构造模块、上采样初始估计模块、低频和高频估计模块、图像块结构信息平滑性判断模块、原地自相似样本匹配模块以及高分辨率图像合成更新模块等六部分组成；实现方法如下：

(1)分别构造上采样和下采样滤波器组；

(2)对输入图像，利用上采样滤波器进行倍率为s的滤波放大，得到高分辨率的初始估计图像；

(3)对输入图像顺序进行下采样和上采样滤波，得到其平滑后的低频部分和高频部分；

(4)对于初始估计中的图像块进行平滑判断，如果是平滑区域，则直接进行双二次插值作为高频估计，转到步骤6，否则进行步骤5；

(5)在平滑后的低频图像中的对应位置，进行原地样本匹配，以得到局部自相似样本块，利用自相似样本进行高频估计；

(6)将初始估计与高频估计进行合成；

(7)重复步骤4～步骤6，直到更新完毕，得到最终重建图像X。

本发明的有益效果是：本发明采用缩放倍率逐步加1的方法，以待重建图像块的低频部分进行局部自相似样本匹配，以得到的局部自相似匹配样本进行高频估计，最后与初始估计进行合成，通过对图像块逐一进行更新得到整幅重建图像。该方法具有图像轮廓结构清晰、边缘锯齿效应低、细节信息丰富等优点。

附图说明

图1是本发明组成模块图；

图2是本发明的样本匹配原理图；

图3是本发明的处理流程；

图4是利用本发明得到的一组偏振图像超分辨率重建结果；

图5是利用本发明得到的另一组不同目标的重建结果；

其中：模块1是上下采样滤波器组构造模块；模块2是上采样滤波初始估计模块；模块3是初始估计的低频和高频分离模块；模块4是图像块结构信息平滑性判断模块；模块5是原地自相似样本匹配模块；模块6是高分辨率图像块合成更新模块；

X₀是输入图像；L是上采样初始估计结果；L₀是低频估计结果；H₀是高频估计结果；l表示初始估计的图像块；h表示高频估计的图像块；h’是插值结果；l的局部自相似样本块以l₀(k)表示；x表示合成的图像块；X是重建结果；

图4(a)～(e)是三方向偏振图像及其配准图像，图4(h)为红外强度图像，图4(g)是60°配准图像的重建结果；图4(i)～(l)是利用重建后的三方向偏振图像根据Stocks参量法解析得到的偏振参量图像；图4(i)Q图、图4(j)U图；图4(k)偏振度图像；图4(l)偏振角图像；

图5(a)为草地伪装网；图5(b)为沙地缩比模型；图5(c)为二次插值，其中PSNR＝23.51，SSIM＝0.5712；图5(d)为稀疏方法，其中PSNR＝26.04，SSIM＝0.7006；图5(e)本发明，其中PSNR＝26.98，SSIM＝0.7015；图5(f)为二次插值，其中PSNR＝24.56，SSIM＝0.6533；；图5(g)稀疏方法，其中PSNR＝27.12，SSIM＝0.7257；；图5(h)本发明，其中PSNR＝27.34，SSIM＝0.7285；

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

如图1-3所示，本发明的广义稀疏下基于多级滤波和样本匹配的偏振图像超分辨率重建方法，包括滤波器组构造模块、上采样初始估计模块、低频和高频估计模块、图像块结构信息平滑性判断模块、原地自相似样本匹配模块以及高分辨率图像合成更新模块等六部分组成。

本发明采用缩放倍率逐步加1的方法，在滤波器构造模块中，下采样和上采样滤波器分别构造，采样倍率设为N+1∶N，下采样滤波操作为

$D\left(I\right)\left(n\right)=(I*{\stackrel{\‾}{d}}_k)(\frac{(N+1)}{N}(n-k)+k),$

式中，k＝nmodN，*表示离散卷积操作，d₁，d₂，…，d_N表示N个离散平滑滤波器， $\stackrel{\‾}{d}\left[n\right]=d[-n];$

上采样滤波操作为↑表示直接上采样操作，定义为：(↑I)[(N+1)n]＝I[n]，其余情况为零。

在初始估计和高频/低频估计模块中，利用滤波器U进行倍率为s的滤波放大，初始高分辨率估计图像为L＝U(X₀)，L也被认为是X损失了部分高频信息后的低频部分；然后对输入图像X₀先进行下采样滤波，再进行上采样滤波，得到其平滑后的低频部分L₀＝U(D(X₀))，X₀的高频部分由两者之差H₀＝X₀-L₀求得。

在图像块结构信息平滑性判断模块中，对图像块的梯度矩阵进行奇异值分解(SVD)，来计算表达图像块局部梯度和边缘方向的能量信息的奇异值s₁≥s₂≥0，利用图像内容无参考衡量标准和进行平滑性判断，R和Q较小时表示平滑区域，直接进行双二次插值处理；当R和Q较大时表示纹理区域，对于给定图像L中的中心位置为(i，j)的纹理图像块l在图像L₀中与(i，j)的对应位置，以(i/s，j/s)为中心的r个像素范围内，进行样本匹配，得到局部自相似样本块l₀(k)，其对应的高频部分为h₀(k)＝x₀(k)-l₀(k)，在广义稀疏表示思想下，期望的高分辨率图像的高频部分估计表示为：式中，是归一化参数，σ是匹配样本的权值，用于衡量各样本与待重建低分辨率图像块的相似程度。

在高分辨率图像合成模块，将初始估计与高频估计进行合成：x＝l+h，重复以上过程，直到初始估计图像块更新完毕，得到重建图像X。

对于特定成像方式的多通道偏振图像来说，以0°、60°和120°偏振方向图像为例，当利用上述方法进行超分辨率重建时，各方向图像分别进行。首先进行配准，当对其中的0°偏振方向图像重建时，对于步骤5中的样本匹配，扩展到60°和120°偏振方向图像的同样位置；同样，对60°图像进行重建时，则扩展到0°和120°图像，而对120°图像进行重建时，则扩展到0°和60°图像。

附图4是一组实验结果(局部)，图4(a)～(e)是三方向偏振图像及其配准图像，为便于对比，同时给出红外强度图像，如图4(h)，图4(g)是60°配准图像的重建结果，图4(i)～(l)是利用重建后的三方向偏振图像根据Stocks参量法解析得到的偏振参量图像，图中只给出了Q图、U图，以及偏振度和偏振角图像。由配准图像重建结果及解析结果可以看出，飞机模型各部位对比度高，轮廓结构平滑，目标更加清晰，具有良好的主观视觉判别效果。

表1分别附图4中的(g)～(i)三幅图像在重建前后的信息熵、清晰度和对比度结果，由表中实验数据可以看出，重建后，无论是强度图像，还是未解析的配准图像，以及解析后的偏振参量图像，其客观评价结果都有不同程度的提升，这对于提高目标检测和识别的精度具有重要意义。

表1无参考客观评价结果

附图5是另一组不同目标的重建结果，图5(a)为草地伪装网；图5(b)为沙地缩比模型；图5(c)为二次插值，其中PSNR＝23.51，SSIM＝0.5712；图5(d)为稀疏方法，其中PSNR＝26.04，SSIM＝0.7006；图5(e)本发明，其中PSNR＝26.98，SSIM＝0.7015；图5(f)为二次插值，其中PSNR＝24.56，SSIM＝0.6533；；图5(g)稀疏方法，其中PSNR＝27.12，SSIM＝0.7257；图5(h)本发明，其中PSNR＝27.34，SSIM＝0.7285；

原始图像大小为1024×1024，模拟的低分辨率图像是通过将原始高分辨率图像进行2倍下采样、加适当噪声和模糊生成获得，并与二次插值方法和稀疏表示方法进行比较，由客观评价标准的峰值信噪比(PSNR)和结构相似度(SSIM)以及主观视觉效果可以看出，本发明方法具有更好的重建结果。

以上重建结果从主观视觉效果、客观评价标准以及运行时间等三个方面验证了本发明的有效性和运行效率。本发明的广义稀疏下基于多级滤波和样本匹配的偏振图像超分辨率重建方法具有重建效果好、运算速度快等优点，重建图像轮廓结构清晰、边缘保持完整、细节信息较为丰富，这对于提高偏振成像目标探测和识别，尤其是对伪装、雾中等低细节特征的目标进行探测和识别具有重要意义。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于多级滤波和样本匹配的偏振图像超分辨率重建方法，其特征在于，步骤如下：

1)首先进行滤波器构造，在采样倍率逐步加1的情况下，下采样滤波器和上采样滤波器分别构造，采样倍率设为N+1∶N，下采样滤波器操作为： $D\left(I\right)\left(n\right)=(I*{\stackrel{\‾}{d}}_k)(((N+1)/N)(n-k)+k),$ 上采样滤波器操作为： $U\left(I\right)\left(n\right)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}(\↑I*{\stackrel{\‾}{u}}_k)\left(n\right),$ 上/下采样滤波器组分别为U＝{u₁，u₂，…，u_N}和D＝{d₁，d₂，…，d_N}；

2)其次，对初始高分辨率估计图像进行上采样滤波，得到初始估计L＝U(X₀)_L，对输入图像X₀先进行下采样滤波，再进行上采样滤波，得到其平滑后的低频部分L₀＝U(D(X₀))，X₀的高频部分由两者之差H₀＝X₀-L₀求得；

3)然后，对于初始高分辨率估计图像L中的图像块l，利用图像内容无参考衡量标准进行平滑性判断，如果是平滑图像块则直接进行双二次插值，如果不是平滑图像块则进行样本匹配，得到局部自相似样本块l₀(k)，其对应的高频部分表示为h₀(k)＝x₀(k)-l₀(k)；

4)再次，在广义稀疏表示思想下，利用样本集中最有效的少数样本对信号进行高频重建估计

5)最后，将初始估计与高频估计进行合成：x＝l+h；重复以上过程，直到初始估计图像块更新完毕，得到重建图像X。