CN111968049A - 一种基于侧窗引导滤波的光场图像热像素点去除方法 - Google Patents

Abstract

本发明公开了一种基于侧窗引导滤波的光场图像热像素点去除方法，以光场图像中心子孔径图像作为其他子孔径图像的引导图，针对传统引导滤波中将被处理的像素作为滤波窗口的中心而出现的边缘模糊以及边缘光晕等问题，选用侧窗引导滤波方法，将图像中的每一个像素点都当作边界点考虑，将其置于滤波窗口的边或角上。每个像素点的计算有上、下、左、右、西北、东北、西南和东南八个方向的滤波窗口，选择八个窗口计算值中最接近该像素点的值作为输出值。本发明针对光场子孔径图像间基线短，视差小的特点，选用中心子孔径图像作为其他视图的引导图，并使用了侧窗引导滤波技术，相较于传统的单图像滤波方法，滤波图细节增强明显，具有优秀的边缘保持性能。

Description

一种基于侧窗引导滤波的光场图像热像素点去除方法

技术领域

本发明属于光场图像处理的技术领域，具体涉及一种基于侧窗引导滤波的光场图像热像素点去除方法。

背景技术

传统相机利用传感器或胶片来记录空间中成像平面的光强信息，将3维场景投影到2维平面上，丢失了空间中场景的原始深度信息。近年来，随着光场成像技术的发展，光场相机因为其单次曝光就能获得空间中光线的强度及方向信息而作为一种新型多视角成像设备而得到广泛的关注。目前，光场成像技术在计算机视觉领域的应用渗透在各个领域中，如多视角成像、深度估计、三维重构、图像分割、目标识别等。然而，对于数字成像设备来说，由于图像传感器的内部错误而会不可避免地在图像中出现孤立的极值像素点，被称为热像素点。相较于传统相机，光场相机采用的是超高分辨率的图像传感器，因而会在图像中产生更多的热像素点，并且它们的数量会随着相机的使用程度而逐渐增加，进而对前述光场成像应用的精度造成较大的影响。

目前，图像处理领域主流的滤波器有均值滤波器、中值滤波器、高斯滤波器、双边滤波器、引导滤波器。其中，2013年由何凯明提出的引导滤波器通过引入一个线性模型，使输出图像由输入图像和引导图像共同决定，在滤波的同时达到保边的效果。并且，因为其时间复杂度与滤波核大小无关，引导滤波器是目前最快的保边滤波器之一。但是，引导滤波器将被处理的像素作为滤波窗口的中心，会使边缘像素点两侧的非均匀区域进行线性运算及平均处理，会不可避免地导致图像边缘模糊。因此，需要使用一种新的滤波方法，在去除光场图像热像素点的同时能够增强细节，保持边缘。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于侧窗引导滤波的光场图像热像素点去除方法，该方法可在去除光场图像热像素点的同时，能够增强细节，保持边缘。

本发明解决其技术问题所采用的技术方案：一种基于侧窗引导滤波的光场图像热像素点去除方法，包括如下步骤：

步骤1：在待处理的光场图像中取得中心子孔径图像I，将其作为其他子孔径图像p引导滤波的引导图；

光场图像具有表示相机阵列平面上采样的密集程度的角度分辨率，以及表示子孔径图像分辨率的空间分辨率。

步骤2：设置光场图像引导滤波模型的参数：滤波窗口的半径大小r，正则化参数∈，滤波器迭代次数iteration；

特别地，r为≧1的整数。传统引导滤波窗口为以计算像素点为中心，边长为(2r+1)像素点的正方形。本发明采用的侧窗滤波技术选择将计算像素点置于滤波窗口边或角上，故将计算像素点置于侧边的上、下、左、右滤波窗口为(2r+1)×(r+1)像素点的长方形，将计算像素点置于角上的西北、东北、西南和东南滤波窗口为边长为(r+1)像素点的正方形。

步骤3：从第一行第一列的子孔径图像开始，将子图像的R、G、B三个颜色通道值与引导图一起放入侧窗引导滤波模型中，得到三个通道的滤波结果，将其重叠得到滤波去除热像素点后的子孔径图像。

步骤4：将滤波后的所有子孔径图像合并得到光场图像张量，运用光场图像的可视化方法，依次输出，最终得到每一张滤波去除热像素点后的光场子孔径图像。

本发明与现有技术相比的有益效果在于：

(1)本发明针对光场图像个子孔径图像间基线短，视差小这一特点，将中心子孔径图像作为其他所有子孔径图像的引导图，能在实现图像保边去除热像素点的同时，大大减小了程序的计算量。

(2)本发明针对传统引导滤波中将被处理的像素作为滤波窗口的中心而出现的边缘模糊以及边缘光晕等问题，将图像中的每一个像素点都当作潜在边界点，将其置于滤波窗口的边或角上，计算时就不会出现边缘像素点两侧的非均匀区域进行线性运算及平均处理。在光场图像滤波去除热像素点的同时能够增强细节，达到非常优异的保边效果。

(3)本发明使用的侧窗引导滤波计算方法简单，计算复杂度低，实现方便。

附图说明

图1为本发明一种基于侧窗引导滤波的光场图像热像素点去除方法流程示意图；

图2为含热像素点的光场子孔径图像；

图3为引导滤波去除热像素点后的光场子孔径图像；

图4为采用本发明提供的侧窗引导滤波去除热像素点后的光场子孔径图像

具体实施方式

下面结合附图对本发明作进一步详细叙述：

如图1所示，本发明一种基于侧窗引导滤波的光场图像热像素点去除方法，包括如下步骤：

步骤1：在待处理的光场图像中取得中心子孔径图像I，将其作为其他子孔径图像p引导滤波的引导图；

其中：光场图像具有表示相机阵列平面上采样的密集程度的角度分辨率，以及表示子孔径图像分辨率的空间分辨率。本实验中处理的光场图像的空间分辨率为15×15，即包含15行15列的子孔径图像，子孔径图像分辨率为434×625，具有R、G、B三个颜色通道值。

步骤2：设置光场图像引导滤波模型的各项参数；

其中，参数分别为：

滤波窗口的半径大小r：r为≧1的整数。传统引导滤波窗口为以计算像素点为中心，边长为(2r+1)像素点的正方形。本发明采用的侧窗滤波技术选择将计算像素点置于滤波窗口边或角上，故将计算像素点置于侧边的上、下、左、右侧滤波窗口为(2r+1)×(r+1)像素点的长方形，将计算像素点置于角上的西北、东北、西南和东南侧滤波窗口为边长为(r+1)像素点的正方形。

正则化参数∈，以防止模型过拟合。

滤波器迭代次数iteration。

步骤3：从第一行第一列的子孔径图像开始，将子图像的R、G、B三个颜色通道值与引导图一起代入侧窗引导滤波模型中，得到三个通道的滤波结果，将其重叠得到滤波去除热像素点后的子孔径图像。

其中侧窗引导滤波模型，具体：

根据引导滤波中输出图像q与引导图I线性相关这一重要假设，建立侧窗引导滤波模型：

式中，side∈(U,D,L,R,NW,NE,SW,SE),表示8个方向的滤波窗口。

是n方向滤波窗口计算得到的输出图像q中i点对应的像素值，I_i表示引导图中i点对应的像素值。a_k,b_k是在滤波窗口w_k中为常数的线性系数，则

表示i点在n方向的有效滤波窗口的线性系数的平均，

式中，

是i点在n方向上的有效滤波窗口的集合，

是滤波窗口

中的像素点个数。

是n方向上一个有效滤波窗口

中的线性系数。由代价函数，

并使其最小化，得到：

式中，

和

是引导图I在

中像素点的均值和方差，

是输入图像p在

中像素点的均值。

最后，由式(1)计算得到i点在8个方向的滤波窗口中的

值并根据

选取q^s作为该点的输出值。

进一步地，n方向的有效滤波窗口确定方式：

对于将计算像素点置于侧边的上、下、左、右侧滤波窗口，以(m_i,n_i),(m_j,n_j),(m_k,n_k)分别表示i，j，k三点在图中的行和列，以i点的上侧有效滤波窗口

为例，以滤波窗口的i点所在边的中心像素点坐标来对其进行表示，则i点上侧有效滤波窗口最左端窗口

有效滤波窗口最右端窗口

m_j＝m_i＝m_k,n_j＝n_i-r,n_k＝n_i+r

故，i点上侧有效滤波窗口

可以表示为:

同理，i点下、左、右侧有效滤波窗口

分别可以表示为：

对于将计算像素点i置于角上的西北、东北、西南和东南侧滤波窗口，其有效滤波窗口是唯一的，即将i点分别置于东南角、西南角、东北角、西北角的边长为r+1像素点的正方形滤波窗口。

进一步地，对于在侧窗中求均值的方法，采用的是卷积的方法，使用8个卷积核与图像做卷积，以滤波窗口半径r＝1为例，8个核类似于8个方向上的均值滤波核：

步骤4：将滤波后的所有子孔径图像合并得到光场图像张量，运用光场图像的可视化方法，依次输出，最终得到每一张滤波去除热像素点后的光场子孔径图像。

对于生成的光场图像张量文件，固定其相机平面的坐标u＝u₀,v＝v₀(u₀≥1,v₀≥1)，光场图像就可投影为坐标(u₀,v₀)的相机拍摄得到的子孔径图像。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化,变型都将落在本发明权利要求书的范围内。

Claims (5)

1.一种基于侧窗引导滤波的光场图像热像素点去除方法，其特征在于：包括如下步骤：

步骤1：在待处理的光场图像中取得中心子孔径图像I，将其作为其他子孔径图像p引导滤波的引导图；

步骤2：设置光场图像引导滤波模型的各项参数；

步骤3：从第一行第一列的子孔径图像开始，将子图像的R、G、B三个颜色通道值分别与引导图一起放入侧窗引导滤波模型中，得到三个通道的滤波结果，将其重叠得到滤波去除热像素点后的子孔径图像；

步骤4：将滤波后的所有子孔径图像合并得到光场图像张量，运用光场图像的可视化方法，依次输出，最终得到每一张滤波去除热像素点后的光场子孔径图像。

2.根据权利要求1所述的基于侧窗引导滤波的光场图像热像素点去除方法，其特征在于步骤1中所述的光场图像，具体：

光场图像具有表示相机阵列平面上采样的密集程度的角度分辨率，以及表示子孔径图像分辨率的空间分辨率。

3.根据权利要求1所述的基于侧窗引导滤波的光场图像热像素点去除方法，其特征在于步骤2中所述的引导滤波模型的参数，具体包括：

滤波窗口的半径大小r：r为≧1的整数，采用的侧窗滤波技术选择将计算像素点置于滤波窗口边或角上，故将计算像素点置于侧边的上、下、左、右滤波窗口为(2r+1)×(r+1)像素点的长方形，将计算像素点置于角上的西北、东北、西南和东南滤波窗口为边长为(r+1)像素点的正方形；

正则化参数∈，以防止模型过拟合；

滤波器迭代次数iteration。

4.根据权利要求1所述的基于侧窗引导滤波的光场图像热像素点去除方法，其特征在于步骤3中所述的侧窗引导滤波模型，具体：

根据引导滤波中输出图像q与引导图I线性相关这一重要假设，建立侧窗引导滤波模型：

式中，side∈(U,D,L,R,NW,NE,SW,SE),表示8个方向的滤波窗口，

是n方向滤波窗口计算得到的输出图像q中i点对应的像素值，I_i表示引导图中i点对应的像素值，a_k,b_k是在滤波窗口w_k中为常数的线性系数，则

表示i点在n方向的有效滤波窗口的线性系数的平均，

式中，

是i点在n方向上的有效滤波窗口的集合，

是滤波窗口

中的像素点个数，

是n方向上一个有效滤波窗口

中的线性系数，由代价函数，

并使其最小化，得到：

式中，

和

是引导图I在

中像素点的均值和方差，

是输入图像p在

中像素点的均值；

最后，由式(1)计算得到i点在8个方向的滤波窗口中的

值并根据：

选取q^s作为该点的输出值。

5.根据权利要求1所述的基于侧窗引导滤波的光场图像热像素点去除方法，特征在于步骤4中所述的光场图像的可视化方法，具体：

对于生成的光场图像张量文件，固定其相机平面的坐标u＝u₀,v＝v₀(u₀≥1,v₀≥1)，光场图像就可投影为坐标(u₀,v₀)的相机拍摄得到的子孔径图像。

Images