CN104835113A - 一种基于超分辨率图像重建的偏振图像融合方法 - Google Patents

Abstract

本发明涉及一种基于超分辨率图像重建的偏振图像融合方法，根据本发明的基于超分辨率图像重建的偏振图像融合方法，将Q图像、U图像、偏振度图像和偏振角图像按照顺序以小于一个像素单元的某一间距值进行交叉得到过采样图像，并对过采样图像进行超分辨率重建，获得融合图像。根据本发明的偏振图像融合方法，能够将辐射强度信息与边缘轮廓等细节信息有效融合，提高融合图像的分辨率。

Description

一种基于超分辨率图像重建的偏振图像融合方法

技术领域

本发明涉及光电测量领域，特别是一种基于超分辨率图像重建的偏振图像融合方法。

背景技术

以下对本发明的相关技术背景进行说明，但这些说明并不一定构成本发明的现有技术。

图像融合就是将来源于多通道的关于同一目标或场景的图像经过一定的处理，融合多个源图像中的冗余信息和互补信息，突出和强化图像中的有用信息，以使综合后的信息更加丰富，对同一场景或目标的描述更全面、精细，利于对图像进一步分析、理解及目标的检测、识别。融合图像不仅应保留强度图像的低频特性，还应该突出图像的高频特征，例如偏振图像中的景物边缘、轮廓等细节信息。

图像融合的常规处理方法是：利用4个线偏振方向的偏振图像，按照算术加权法直接合成融合图像。采用这种方法获得融合图像的过程中，抑制了图像的高频成分，融合后的图像不会增加新的高频成分，从而导致图像的由于偏振器件对场景辐射信号的影响，这种方法可能增加图像的边缘轮廓等细节不清楚，图像的分辨率低。

因此，现有技术中需要一种能够解决图像分辨率低的问题的解决方案。

发明内容

本发明的目的在于提出一种能够提高图像分辨率的基于超分辨率图像重建的偏振图像融合方法。

根据本发明的基于超分辨率图像重建的偏振图像融合方法，包括：

S1.分别探测0°、45°、90°和135°方向的偏振图像；

S2.按照公式1获取目标图像的斯托克斯矢量S，

    (公式1)

其中，g_0°表示0°方向的偏振图像，g_45°表示45°方向的偏振图像，g_{90 °}表示90°方向的偏振图像，g_135°表示135°方向的偏振图像，g_RCP和g_LCP分别表示右旋圆偏振图像和左旋圆偏振图像；I表示总光强度，Q表示X轴方向直线偏振光分量；U表示45°方向直线偏振光分量；V与左/右旋的圆偏振信息有关；

S3.获取第一方向的辐射强度图像Q图像和第二方向的辐射强度图像U图像；

S4.根据目标图像的斯托克斯矢量S确定偏振度图像；其中，偏振度图像的偏振度为：

$\mathrm{\ρ}=\sqrt{\frac{Q^2+U^2}{I}}$     (公式2)；

S5.基于目标图像的斯托克斯矢量S确定偏振角图像；其中，偏振角图像的偏振角为：

$\mathrm{\α}=\frac{1}{2}{\tan }^{-1}\left[\frac{U}{Q}\right]$     (公式3)；

S6.将Q图像、U图像、偏振度图像和偏振角图像进行顺序插值，获取过采样图像P；

S7.采用超分辨率重建方法对过采样图像P进行处理，获取融合图像OO。

优选地，将Q图像、U图像、偏振度图像和偏振角图像进行顺序插值具体为：将Q图像、U图像、偏振度图像和偏振角图像按照顺序以小于一个像素单元的某一间距值进行交叉。

优选地，某一间距值为二分之一个像素单元。

优选地，将Q图像、U图像、偏振度图像和偏振角图像进行顺序插值具体为：

将Q图像相对于无偏辐射图像向左上方移动1/2个像素，将U图像相对于无偏辐射图像向右上方移动1/2个像素，将偏振度图像相对于无偏辐射图像向左下方移动1/2个像素，将偏振角图像相对于无偏辐射图像向右下方移动1/2个像素。

优选地，过采样图像P与无偏辐射强度图像O对应像素的像元值之间的关系为：

$\begin{array}{c}O(2m-k,2n-l)=4P(2m-k,2n-l)-O(2m-k,2n-l+1)-O(2m-k+\mathrm{1,2}n-l)\\ -O(2m-k+l,2n-l+1)\end{array}$   (公式4)

式中，过采样图像P为2m×2n的图像，无偏辐射强度图像O为(2m+1)×(2n+1)的图像，k为0～(2m-1)之间的整数；l为0～(2n-1)之间的整数。

优选地，超分辨率重建方法为边框近似法，

假定过采样图像P第2m行和第2n列的边框像素的像元值与无偏红外辐射图像O的(2m+1)行和(2n+1)列像素的像元值近似相等，即：

$\left\{\begin{array}{c}O(2m-k,2n+1)\≈P(2m-k,2n)\\ O(2m+\mathrm{1,2}n-l)\≈P(2m,2n-l)\\ O(2m+\mathrm{1,2}n+1)\≈P(2m,2n)\end{array}\right.$     (公式5)

采用边框近似法处理后的无偏辐射强度图像O即为融合图像OO，根据公式4与公式5确定融合图像OO各个像素的像元值为：

$\left\{\begin{array}{c}\mathrm{OO}(2m,2n)=P(2m,2n)\\ \mathrm{OO}(2m-k,2n)=3P(2m-k,2n)-\mathrm{OO}(2m-k+1,2n)-P(2m-k+1,2n)\\ \mathrm{OO}(2m,2n-l)=3P(2m,2n-l)-\mathrm{OO}(2m,2n-l+1)-P(2m,2n-l+1)\\ \mathrm{OO}(2m-k,2n-l)=4P(2m-k,2n-l)-\mathrm{OO}(2m-k,2n-l+1)-\\ \mathrm{OO}(2m-k+1,2n-l)-\mathrm{OO}(2m-k+\mathrm{1,2}n-l+1)\end{array}\right.$   (公式6)。

优选地，Q图像为(g_0°-g_90°)，U图像为(g_45°-g_135°)。

优选地，偏振图像融合方法进一步包括，在将偏振信息图像作为序列图像进行超分辨率重建之后，将融合图像OO与无偏辐射强度图像O对应像素的像元值相减，分析融合图像OO的各个像素像元值的误差分布，根据误差分布对融合图像OO进行修正。

根据本发明的基于超分辨率图像重建的偏振图像融合方法，将Q图像、U图像、偏振度图像和偏振角图像按照顺序以小于一个像素单元的某一间距值进行交叉得到过采样图像，并对过采样图像进行超分辨率重建，获得融合图像。根据本发明的偏振图像融合方法，能够将辐射强度信息与边缘轮廓等细节信息有效融合，提高融合图像的分辨率。

附图说明

通过以下参照附图而提供的具体实施方式部分，本发明的特征和优点将变得更加容易理解，在附图中：

图1是示出根据本发明的偏振图像融合方法的流程示意图；

图2a是根据本发明的某地面背景的Q图像、图2b是根据本发明的某地面背景的U图像、图2c是根据本发明的某地面背景的偏振度图像、图2d是根据本发明的某地面背景的偏振角图像；

图3是根据本发明的某地面背景的的融合图像。

具体实施方式

下面参照附图对本发明的示例性实施方式进行详细描述。对示例性实施方式的描述仅仅是出于示范目的，而绝不是对本发明及其应用或用法的限制。

为了提高融合图像对目标的探测和识别能力，融合图像不仅应保留强度图像的低频特性，还应突出目标图像的高频特征，例如偏振图像中的景物边缘、轮廓等细节信息。常规的图像融合方法是：利用4个线偏振方向的偏振图像，按照算术加权法直接合成融合图像。采用这种方法获得融合图像的过程中，抑制了图像的高频成分，融合后的图像不会增加新的高频成分，从而导致图像的由于偏振器件对场景辐射信号的影响，装置、这种方法可能增加图像的边缘轮廓等细节不清楚，图像的分辨率低。

本发明的目的在于提出一种能够提高图像分辨率的基于超分辨率图像重建的偏振图像融合方法。参见图1，根据本发明的基于超分辨率图像重建的偏振图像融合方法，包括：

S1.分别探测0°、45°、90°和135°方向的偏振图像。0°方向的偏振图像用g_0°表示，45°方向的偏振图像用g_45°表示，90°方向的偏振图像用g_90°表示，135°方向的偏振图像用g_135°表示。

S2.按照公式1获取目标图像的斯托克斯Stokes矢量S。

Stokes矢量表示法是常用的描述光波偏振态的方法，主要通过4个Stokes参量来描述光波的偏振态和强度，其通用表达式为：S＝(I,Q,U,V)^T。由于Stokes矢量与光强度成正比，具有强度量纲，因此可以直接被探测器探测到。Stokes参量的计算公式为：

    (公式1)

式中，I表示总光强度，Q表示X轴方向直线偏振光分量；U表示45°方向直线偏振光分量；V与左/右旋的圆偏振信息有关，通常自然目标的圆偏振分量很小，故可忽略不计；g_RCP和g_LCP分别表示右旋圆偏振图像和左旋圆偏振图像。

S3.获取第一方向的辐射强度图像Q图像和第二方向的辐射强度图像U图像。

第一方向和第二方向可以根据实际情况进行确定。根据本发明的优选实施例，Q图像为0°方向与90°方向的偏振图像之差，即(g_0°-g_90°)；U图像为45°方向与135°方向的偏振图像之差，即(g_45°-g_135°)。

S4.根据目标图像的Stokes矢量确定偏振度图像。

偏振度是表征目标景物的表面状态和属性特征的重要参量。偏振度是从0到1的无量纲数，通常可由Stokes参量计算得到，其中，偏振度图像的偏振度为：

$\mathrm{\ρ}=\sqrt{\frac{Q^2+U^2}{I}}$     (公式2)；

S5.基于目标图像的斯托克斯矢量S确定偏振角图像。

偏振角是表征目标景物的表面状态和属性特征的重要参量，表示入射光的偏振方向相对于X轴的夹角，对于部分偏振光，偏振角就是能量最大的偏振方向与X轴的夹角。偏振角也表示为Stokes参量的函数，其中，偏振角图像的偏振角为：

$\mathrm{\α}=\frac{1}{2}{\tan }^{-1}\left[\frac{U}{Q}\right]$     (公式3)。

S6.将Q图像、U图像、偏振度图像和偏振角图像进行顺序插值，获取过采样图像P。

传统的利用4个线偏振方向的偏振图像按照算术加权法直接合成融合图像的方法，对数据中的高频信息具有滤除和抑制效应，融合后的图像不会增加新的高频成分，从而导致图像的边缘轮廓等细节不清楚，图像的分辨率低。本发明通过对Q图像、U图像以及偏振度图像和偏振角图像进行顺序插值，获取过采样图像P。根据本发明的偏振图像融合方法获得的过采样图像P，包含了更多的目标场景信息，不仅保留了强度图像的低频特性，还能够突出图像的高频特征，例如偏振图像中的景物边缘、轮廓等细节信息。

根据本发明的偏振图像融合方法的优选实施例，将Q图像、U图像、偏振度图像和偏振角图像进行顺序插值具体为：将Q图像、U图像、偏振度图像和偏振角图像按照顺序以小于一个像素单元的某一间距值进行交叉。优选地，将Q图像、U图像、偏振度图像和偏振角图像按照顺序以二分之一个像素单元为间距进行交叉。

根据本发明的偏振图像融合方法的一个优选实施例，将Q图像、U图像、偏振度图像和偏振角图像进行顺序插值具体为：将Q图像相对于无偏辐射图像向左上方移动1/2个像素，将U图像相对于无偏辐射图像向右上方移动1/2个像素，将偏振度图像相对于无偏辐射图像向左下方移动1/2个像素，将偏振角图像相对于无偏辐射图像向右下方移动1/2个像素。

优选地，过采样图像P与无偏辐射强度图像O对应像素的像元值之间的关系为：

$\begin{array}{c}O(2m-k,2n-l)=4P(2m-k,2n-l)-O(2m-k,2n-l+1)-O(2m-k+\mathrm{1,2}n-l)\\ -O(2m-k+l,2n-l+1)\end{array}$   (公式4)

式中，过采样图像P为2m×2n的图像，无偏辐射强度图像O为(2m+1)×(2n+1)的图像，k为0～(2m-1)之间的整数；l为0～(2n-1)之间的整数。

S7.采用超分辨率重建方法对过采样图像P进行处理，获取融合图像OO。

优选地，本发明采用边框近似法对过采样图像P进行处理。假定过采样图像P第2m行和第2n列的边框像素的像元值与无偏红外辐射图像O的(2m+1)行和(2n+1)列像素的像元值近似相等，即：

$\left\{\begin{array}{c}O(2m-k,2n+1)\≈P(2m-k,2n)\\ O(2m+\mathrm{1,2}n-l)\≈P(2m,2n-l)\\ O(2m+\mathrm{1,2}n+1)\≈P(2m,2n)\end{array}\right.$     (公式5)

采用边框近似法处理后的无偏辐射强度图像O即为融合图像OO，根据公式4与公式5确定融合图像OO各个像素的像元值为：

$\left\{\begin{array}{c}\mathrm{OO}(2m,2n)=P(2m,2n)\\ \mathrm{OO}(2m-k,2n)=3P(2m-k,2n)-\mathrm{OO}(2m-k+1,2n)-P(2m-k+1,2n)\\ \mathrm{OO}(2m,2n-l)=3P(2m,2n-l)-\mathrm{OO}(2m,2n-l+1)-P(2m,2n-l+1)\\ \mathrm{OO}(2m-k,2n-l)=4P(2m-k,2n-l)-\mathrm{OO}(2m-k,2n-l+1)-\\ \mathrm{OO}(2m-k+1,2n-l)-\mathrm{OO}(2m-k+\mathrm{1,2}n-l+1)\end{array}\right.$   (公式6)。

根据本发明的偏振图像融合方法的一个优选实施例，偏振图像融合方法进一步包括，在将偏振信息图像作为序列图像进行超分辨率重建之后，将融合图像OO与无偏辐射强度图像O对应像素的像元值相减，分析融合图像OO的各个像素像元值的误差分布，根据误差分布对融合图像OO进行修正。

由于对过采样图像P进行超分辨率重建的过程中，采用过采样图像P第2m行和第2n列的边框像素的像元值来近似无偏红外辐射图像O的(2m+1)行和(2n+1)列像素的像元值，故得到的融合图像OO与无偏辐射辐射强度图像O之间还存在误差。将融合图像OO与无偏辐射强度图像O对应像素的像元值相减，分析融合图像OO的各个像素像元值的误差分布，根据误差分布对融合图像OO进行修正，能够获得更高分辨率的图像。

图2a是根据本发明的某地面背景的Q图像，图2b是根据本发明的某地面背景的U图像，Q图像和U图像中车辆的边缘及地面植被的细节信息较模糊；图2c是根据本发明的某地面背景的偏振度图像，图像中辆轮廓较分明，土壤地面植被以及落叶的分布较清晰；图2d是根据本发明的某地面背景的偏振角图像，图像中砖面路面与柏油路面的分界以及阴影区域中的植被较清晰，阴影区域及非阴影区域的区分较明确。图3是根据本发明的某地面背景的的融合图像。由图3可知：融合图像中，车辆轮廓更加分明，土壤、地面植被、阴影区域中的植被以及落叶的分布状况更清晰，砖面路面与柏油路面的分界、阴影区域与非阴影区域的分解非常明确。

虽然参照示例性实施方式对本发明进行了描述，但是应当理解，本发明并不局限于文中详细描述和示出的具体实施方式，在不偏离权利要求书所限定的范围的情况下，本领域技术人员可以对所述示例性实施方式做出各种改变。

Claims (8)

1.一种基于超分辨率图像重建的偏振图像融合方法，包括：

S1.分别探测0°、45°、90°和135°方向的偏振图像；

S2.按照公式1获取目标图像的斯托克斯矢量S，

  (公式1)

其中，g_0°表示0°方向的偏振图像，g_45°表示45°方向的偏振图像，g_{90 °}表示90°方向的偏振图像，g_135°表示135°方向的偏振图像，g_RCP和g_LCP分别表示右旋圆偏振图像和左旋圆偏振图像；I表示总光强度，Q表示X轴方向直线偏振光分量；U表示45°方向直线偏振光分量；V与左/右旋的圆偏振信息有关；

S3.获取第一方向的辐射强度图像Q图像和第二方向的辐射强度图像U图像；

S4.根据目标图像的斯托克斯矢量S确定偏振度图像；其中，所述偏振度图像的偏振度为 $\mathrm{\ρ}=\frac{\sqrt{Q^2+U^2}}{I}$   (公式2)；

S5.基于目标图像的斯托克斯矢量S确定偏振角图像；其中，所述偏振角图像的偏振角为 $\mathrm{\α}=\frac{1}{2}{\tan }^{-1}\left[\frac{U}{Q}\right]$   (公式3)；

S6.将所述Q图像、所述U图像、所述偏振度图像和所述偏振角图像进行顺序插值，获取过采样图像P；

S7.采用超分辨率重建方法对所述过采样图像P进行处理，获取融合图像OO。

2.如权利要求1所述的偏振图像融合方法，其中，所述将所述Q图像、所述U图像、所述偏振度图像和所述偏振角图像进行顺序插值具体为：

将所述Q图像、所述U图像、所述偏振度图像和所述偏振角图像按照顺序以小于一个像素单元的某一间距值进行交叉。

3.如权利要求2所述的偏振图像融合方法，其中，所述某一间距值为二分之一个像素单元。

4.如权利要求3所述的偏振图像融合方法，其中，所述将所述Q图像、所述U图像、所述偏振度图像和所述偏振角图像进行顺序插值具体为：

将所述Q图像相对于无偏辐射图像向左上方移动1/2个像素，将所述U图像相对于无偏辐射图像向右上方移动1/2个像素，将所述偏振度图像相对于无偏辐射图像向左下方移动1/2个像素，将所述偏振角图像相对于无偏辐射图像向右下方移动1/2个像素。

5.如权利要求4所述的偏振图像融合方法，其中，所述过采样图像P与无偏辐射强度图像O对应像素的像元值之间的关系为：

O(2m-k,2n-l)＝4P(2m-k,2n-l)-O(2m-k,2n-l+1)-O(2m-k+1,2n-l)

                                                     (公式4)

-O(2m-k+1,2n-l+1)

式中，过采样图像P为2m×2n的图像，无偏辐射强度图像O为(2m+1)×(2n+1)的图像，k为0～(2m-1)之间的整数；l为0～(2n-1)之间的整数。

6.如权利要求5所述的偏振图像融合方法，其中，所述超分辨率重建方法为边框近似法，

假定过采样图像P第2m行和第2n列的边框像素的像元值与无偏红外辐射图像O的(2m+1)行和(2n+1)列像素的像元值近似相等，即：

$\left\{\begin{array}{c}O(2m-k,2n+1)\≈P(2m-k,2n)\\ O(2m+\mathrm{1,2}n-l)\≈P(2m,2n-l)\\ O(2m+\mathrm{1,2}n+1)\≈P(2m,2n)\end{array}\right.$    (公式5)

采用边框近似法处理后的无偏辐射强度图像O即为融合图像OO，根据公式4与公式5确定融合图像OO各个像素的像元值为：

$\left\{\begin{array}{c}\mathrm{O\; O}(2m,2n)=P(2m,2n)\\ \mathrm{O\; O}(2m-k,2n)=3P(2m-k,2n)-\mathrm{O\; O}(2m-k+\mathrm{1,2}n)-P(2m-k+\mathrm{1,2}n)\\ \mathrm{O\; O}(2m,2n-l)=3P(2m,2n-l)-\mathrm{O\; O}(2m,2n-l+1)-P(2m,2n-l+1)\\ \mathrm{O\; O}(2m-k,2n-l)=4P(2m-k,2n-l)-\mathrm{O\; O}(2m-k,2n-l+1)-\\ \mathrm{O\; O}(2m-k+\mathrm{1,2}n-l)-\mathrm{O\; O}(2m-k+\mathrm{1,2}n-l+1)\end{array}\right.$   (公式6)。

7.如权利要求1-6任一所述的偏振图像融合方法，其中，所述Q图像为(g_0°-g_90°)，所述U图像为(g_45°-g_135°)。

8.如权利要求7所述的偏振图像融合方法，其中，所述偏振图像融合方法进一步包括，

在所述将所述偏振信息图像作为序列图像进行超分辨率重建之后，将所述融合图像OO与无偏辐射强度图像O对应像素的像元值相减，分析所述融合图像OO的各个像素像元值的误差分布，根据所述误差分布对所述融合图像OO进行修正。