CN113706378B - 一种基于偏振先验的快速偏振去马赛克方法 - Google Patents

Abstract

本发明公开了一种基于偏振先验的快速偏振去马赛克方法，获取四个偏振角度的马赛克图，包括以下内容：S1、对于待恢复通道，用其他三个通道对待恢复通道进行估计，得到对待恢复通道的三个估计图像；S2、对三个估计图像进行权重融合：weight^0,j为依据偏振先验计算得到的权重：在恢复其他通道的情况下，weight^i,j由下列式子决定：S3、分别对于每个待恢复通道重复步骤S1‑S2，最终得到四幅恢复好的偏振图像，解决了基于偏振滤光阵列的传感器存在数据缺失的问题。

Description

一种基于偏振先验的快速偏振去马赛克方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于偏振先验的快速偏振去马 赛克方法。

背景技术

偏振是光除了颜色、强度以外的另一本质属性之一，研究表明，如偏振角、 偏振度等的偏振参数对去除镜面反射、图像去雾、去雨增强、三维重构等图像处 理及计算机视觉应用具有极高的应用价值。近年来，基于偏振滤光阵列的传感器 的发展极大的克服了传统偏振成像方式存在的系统复杂、操作繁琐的问题，基于 偏振滤光阵列的传感器具有紧凑、不移动部件和快照捕获模式的特点，能够实现 动态场景拍摄以及视频采集。这类传感器的像素中集成了具有四个偏振测量值的 微偏振阵列，类似于采用Bayer滤光阵列的彩色图像传感器，其捕获的原始数据 是马赛克排布的，因此对其快速准确地进行偏振去马赛克是使用偏振图像对后续 目标识别、检测、跟踪等任务的一项极为重要的预处理步骤。

发明内容

本发明的目的是提供一种基于偏振先验的快速偏振去马赛克方法，以解决基 于偏振滤光阵列的传感器存在数据缺失的问题。

本发明采用以下技术方案：一种基于偏振先验的快速偏振去马赛克方法， 获取四个偏振角度的马赛克图，包括以下内容：

S1、对于待恢复通道，用其他三个通道对待恢复通道进行估计，得到对待 恢复通道的三个估计图像；

S2、对三个估计图像进行权重融合：

weight^0,j为依据偏振先验计算得到的权重：

在恢复其他通道的情况下，weight^i,j由下列式子决定：

S3、分别对于每个待恢复通道重复步骤S1-S2，最终得到四幅恢复好的偏振 图像。

进一步的，步骤S1的具体内容为：

对于待恢复的某一通道，采用双线性插值法对其他三个通道进行插值，得 到其他三个通道的初步恢复结果；

使用待恢复通道与其他三个初步恢复通道作差，得到待恢复通道与其他三 个通道的稀疏差分；

对三个稀疏差分进行双线性插值得到三个完整的差分图像；

三个所述完整差分图像分别与其他三个通道的初步恢复结果相加，得到三 个待恢复通道的估计图像。

进一步的，步骤S1中，假设采集到的分焦平面偏振图像为I^PFA，大小为m×n， 集合表示所有像素位置，其四个偏振角度分别为： 0°、45°、90°、135°，根据偏振马赛克排布模式，定义四个集合：

其中，得到三个通道的初步恢复结果的方法为：

四个偏振通道图像的计算方式为：

下标i表示偏振通道，i∈{0,45,90,135}，表示i偏振通道图像，e是点乘符号，是I_i偏振通道所对应的掩膜，四个偏振通道相应的掩膜为/> 通道所对应的掩膜计算公式为：

利用双线性插值法获得四个通道的初步估计结果：

其中表示i通道的初步估计结果，*是卷积符号，公式(5)最右边一项矩阵为 卷积核。

进一步的，步骤S1中，得到三个完整的差分图像的方法为：

经过双线性插值获得的初步估计结果计算待恢复通道/>与其他三个初步恢复的通道值的稀疏差分图像：

其中Δ^p,q表示待恢复p通道与其余三个q通道的稀疏差分图像，q表示除p通 道外的三个通道，q≠p；

对稀疏(含有大量零值)差分图像Δ^p,q进行双线性插值得到完整的差分图像Δ^p,q:

其中Δ^p,q表示完整的差分图像，*表示卷积，公式(7)最右边一项矩阵为卷积 核。

进一步的，步骤S1中，得到估计图像的算法：

将三个通道得到的完整差分图像Δ^p,q与三个通道初步估计图像对应相加得 到由三个通道分别估计出的p偏振通道的值/>

最后使用偏振先验得到的权重weight^p,q对三个估计值进行加权融合恢复得到 最后完整分辨率的p偏振通道图像I_p：

其中weight^p,q为依据偏振先验计算得到的权重：

本发明的有益效果是：本发明利用偏振通道的差分先验对基于差分域的恢复 结果进行加权融合，达到对偏振数据快速精确地去马赛克处理的目的，有助于后 续有关图像增强、识别等处理。

附图说明

图1为偏振滤光阵列的排布方式。

图2为本发明基于偏振先验的快速偏振去马赛克方法以恢复0°通道为例的 方法流程图。

具体实施方式

下面具体实施方式对本发明进行详细说明。

本发明提供了一种基于偏振先验的快速偏振去马赛克方法，参照图1，首先 获取四个偏振角度的马赛克图，按照以下步骤进行处理：

S1、对于待恢复通道，用其他三个通道对待恢复通道进行估计，得到对待 恢复通道的三个估计图像；

S2、对三个估计图像进行权重融合：

weight^0,j为依据偏振先验计算得到的权重：

在恢复其他通道的情况下，weight^i,j由下列式子决定：

S3、分别对于每个待恢复通道重复步骤S1-S2，最终得到四幅恢复好的偏振 图像。

在一些实施例中，步骤S1的具体内容为：

对于待恢复的某一通道，采用双线性插值法对其他三个通道进行插值，得 到其他三个通道的初步恢复结果；

使用待恢复通道与其他三个初步恢复通道作差，得到待恢复通道与其他三 个通道的稀疏差分；

对三个稀疏差分进行双线性插值得到三个完整的差分图像；

三个所述完整差分图像分别与其他三个通道的初步恢复结果相加，得到三 个待恢复通道的估计图像。

在一些实施例中，步骤S1中，假设采集到的分焦平面偏振图像为I^PFA，大 小为m×n，集合表示所有像素位置，其四个偏振角 度分别为：0°、45°、90°、135°，根据偏振马赛克排布模式，定义四个集合：

其中，得到三个通道的初步恢复结果的方法为：

四个偏振通道图像的计算方式为：

下标i表示偏振通道，i∈{0,45,90,135}，表示i偏振通道图像，e是点乘符号，是I_i偏振通道所对应的掩膜，四个偏振通道相应的掩膜为/> 通道所对应的掩膜计算公式为(以0°偏振通道举例)：

利用双线性插值法获得四个通道的初步估计结果：

其中表示i通道的初步估计结果，*是卷积符号，公式(5)最右边一项矩阵为 卷积核。

在一些实施例中，步骤S1中，得到三个完整的差分图像的方法为：

经过双线性插值获得的初步估计结果计算待恢复通道/>与其他三个初步恢复的通道值的稀疏差分图像：

其中Δ^p,q表示待恢复p通道与其余三个q通道的稀疏差分图像，q表示除p通 道外的三个通道，q≠p。

对稀疏(含有大量零值)差分图像Δ^p,q进行双线性插值得到完整的差分图像Δ^p,q:

其中Δ^p,q表示完整的差分图像，*表示卷积，公式(7)最右边一项矩阵为卷 积核。

在一些实施例中，步骤S1中，得到估计图像的算法：

将三个通道得到的完整差分图像Δ^p,q与三个通道初步估计图像对应相加得 到由三个通道分别估计出的p偏振通道的值/>

最后使用偏振先验得到的权重weight^p,q对三个估计值进行加权融合恢复得到 最后完整分辨率的p偏振通道图像I_p：

其中weight^p,q为依据偏振先验计算得到的权重：

根据对偏振图像数据库的统计发现，正交通道(0°通道与90°通道，45° 通道与135°通道)之间的差分变化趋势比非正交通道之间的差分更加剧烈，这 意味着非正交通道的差分的低频信息更多。根据马吕斯定律建立偏振通道差分模 型可以得到正交通道差分的变化强度与非正交通道差分的变化强度的比值为 由此确定式(9)的权重分配情况。

实施例

如图2所示，以恢复0°通道为例对本发明一种基于偏振先验的快速偏振去 马赛克方法的流程进行说明：经过双线性插值获得的初步估计结果 计算/>与其他三个初步恢复的通道值的稀疏差分图像：

其中Δ^0,j表示j通道与0通道的稀疏差分图像，j表示除0通道外的三个通道， j∈{45,90,135}。

对稀疏(含有大量零值)差分图像Δ^0,j进行双线性插值得到完整的差分图像Δ^0,j:

其中Δ^0,j表示完整的差分图像，*表示卷积，公式(12)最右边一项矩阵为卷积核。

将三个通道得到的完整差分图像Δ^0,j与三个通道初步估计图像对应相加得 到由三个通道分别估计出的0偏振通道的值/>

最后使用偏振先验得到的权重weight^0,j对三个估计值进行加权融合恢复得到最后 完整分辨率的0°偏振通道图像I₀：

其中weight^0,j为依据偏振先验计算得到的权重：

在公开数据库中验证本发明一种基于偏振先验的快速偏振去马赛克方法，公 开数据库为彩色偏振数据库，包含40个场景的彩色偏振信息，图片大小为1024 ×1024。本发明一种基于偏振先验的快速偏振去马赛克方法用于单通道偏振去马 赛克，因此选取数据库中的绿色通道作为算法验证。表一表示不同算法在数据库 上去马赛克的效果，衡量指标为峰值信噪比(PSNR)的平均值，值越大表示算 法重构效果越好，可以看出本发明一种基于偏振先验的快速偏振去马赛克方法相 较于算法一在重构的光强(S0)图像上低0.2dB左右，偏振度(DoLP)图像低 1dB左右；比算法二在重构的光强(S0)图像上低0.9dB左右，偏振度(DoLP) 图像高1dB左右。表二表示不同算法在1024×1024大小的马赛克图像上平均执 行一次偏振去马赛克算法所消耗的时间，可以看见本发明一种基于偏振先验的快 速偏振去马赛克方法优势十分明显。其中，算法一为伪全色图像差分法，算法二 为牛顿多项式插值法。

表一

表二

因为差分域内包含的高频能量信息相较于通道域内更低，因此在差分域内更 易于恢复偏振信息。如步骤S1所述，对于某待恢复通道，利用其余三个通道与 其的差分进行恢复得到三个初步估计值。根据对偏振图像数据库的统计发现，正 交通道(0°通道与90°通道，45°通道与135°通道)之间的差分变化趋势比 非正交通道之间的差分更加剧烈，这意味着非正交通道的差分的低频信息更多。 根据马吕斯定律建立偏振通道差分模型可以得到正交通道差分的变化强度与非 正交通道差分的变化强度的比值为由此确定步骤S2中式(2)的权重分配 情况。根据此权重分配规则，将步骤S1中得到的三个初步估计值进行融合得到 最后的恢复结果。最后按照步骤S3对其他待恢复通道重复上述步骤即可得到四个完整恢复的通道。

为了解决基于偏振滤光阵列的传感器存在数据缺失以及数据恢复过程中时 间消耗长等问题，本发明旨在根据偏振先验对不同情况(正交通道与非正交通道) 差分初步恢复的结果分配不同权值融合得到最终的重构结果，即依据偏振先验提 出一种能够快速有效地实现对偏振数据的去马赛克的方法。本发明采用的技术方 案是对于待恢复的某一通道，采用双线性插值法对其他三个通道进行插值，得到 其他三个通道的初步恢复结果；使用待恢复通道与其他三个初步恢复通道作差， 得到待恢复通道与其他三个通道的稀疏差分图，并对三个稀疏差分图进行双线性 插值得到三个完整的差分图像；上一步恢复得到的三个完整差分图像分别与第一 步得到的其他三个通道的初步回复结果相加，得到三个待恢复通道的估计图像， 结合基于偏振先验得到融合权重对三个待恢复通道的估计图像进行加权融合。

本发明的一种基于偏振先验的快速偏振去马赛克方法利用偏振正交通道差 分与非正交通道差分变化情况的不同分配不同的权重。具体而言，利用待恢复通 道与其余三个通道的差分得到三个待恢复通道初步恢复结果，再根据偏振先验对 三个待恢复通道进行加权融合，达到对偏振数据进行快速有效地去马赛克处理的 目的，有助于后续有关图像增强、识别等处理。

Claims (1)

1.一种基于偏振先验的快速偏振去马赛克方法，获取四个偏振角度的马赛克图，其特征在于，包括以下内容：

S1、对于待恢复通道，用其他三个通道对待恢复通道进行估计，得到对待恢复通道的三个估计图像；

所述步骤S1的具体内容为：

对于待恢复的某一通道，采用双线性插值法对其他三个通道进行插值，得到其他三个通道的初步恢复结果；

使用待恢复通道与其他三个初步恢复通道作差，得到待恢复通道与其他三个通道的稀疏差分；

对三个稀疏差分进行双线性插值得到三个完整的差分图像；

三个所述完整差分图像分别与其他三个通道的初步恢复结果相加，得到三个待恢复通道的估计图像；

所述步骤S1中，假设采集到的分焦平面偏振图像为I^PFA，大小为m×n，集合表示所有像素位置，其四个偏振角度分别为：0°、45°、90°、135°，根据偏振马赛克排布模式，定义四个集合：

其中，得到三个通道的初步恢复结果的方法为：

四个偏振通道图像的计算方式为：

下标i表示偏振通道，i∈{0,45,90,135}，表示i偏振通道图像，⊙是点乘符号，/>是I_i偏振通道所对应的掩膜，四个偏振通道相应的掩膜为/> 通道所对应的掩膜计算公式为：

利用双线性插值法获得四个通道的初步估计结果：

其中表示i通道的初步估计结果，*是卷积符号，公式(5)最右边一项矩阵为卷积核；

所述步骤S1中，得到三个完整的差分图像的方法为：

经过双线性插值获得的初步估计结果计算待恢复通道/>与其他三个初步恢复的通道值的稀疏差分图像：

其中Δ^p,q表示待恢复p通道与其余三个q通道的稀疏差分图像，q表示除p通道外的三个通道，q≠p；

对稀疏(含有大量零值)差分图像Δ^p,q进行双线性插值得到完整的差分图像Δ^p,q:

其中Δ^p,q表示完整的差分图像，*表示卷积，公式(7)最右边一项矩阵为卷积核；

所述步骤S1中，得到估计图像的算法：

将三个通道得到的完整差分图像Δ^p,q与三个通道初步估计图像对应相加得到由三个通道分别估计出的p偏振通道的值/>

最后使用偏振先验得到的权重weight^p,q对三个估计值进行加权融合恢复得到最后完整分辨率的p偏振通道图像I_p：

其中weight^p,q为依据偏振先验计算得到的权重：

S2、对三个估计图像进行权重融合：

weight^0,j为依据偏振先验计算得到的权重：

在恢复其他通道的情况下，weight^i,j由下列式子决定：

S3、分别对于每个待恢复通道重复步骤S1-S2，最终得到四幅恢复好的偏振图像。