CN111968049B - 一种基于侧窗引导滤波的光场图像热像素点去除方法 - Google Patents
一种基于侧窗引导滤波的光场图像热像素点去除方法 Download PDFInfo
- Publication number
- CN111968049B CN111968049B CN202010781260.2A CN202010781260A CN111968049B CN 111968049 B CN111968049 B CN 111968049B CN 202010781260 A CN202010781260 A CN 202010781260A CN 111968049 B CN111968049 B CN 111968049B
- Authority
- CN
- China
- Prior art keywords
- filtering
- image
- light field
- guide
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007794 visualization technique Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 2
- 125000001475 halogen functional group Chemical group 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000014759 maintenance of location Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于侧窗引导滤波的光场图像热像素点去除方法,以光场图像中心子孔径图像作为其他子孔径图像的引导图,针对传统引导滤波中将被处理的像素作为滤波窗口的中心而出现的边缘模糊以及边缘光晕等问题,选用侧窗引导滤波方法,将图像中的每一个像素点都当作边界点考虑,将其置于滤波窗口的边或角上。每个像素点的计算有上、下、左、右、西北、东北、西南和东南八个方向的滤波窗口,选择八个窗口计算值中最接近该像素点的值作为输出值。本发明针对光场子孔径图像间基线短,视差小的特点,选用中心子孔径图像作为其他视图的引导图,并使用了侧窗引导滤波技术,相较于传统的单图像滤波方法,滤波图细节增强明显,具有优秀的边缘保持性能。
Description
技术领域
本发明属于光场图像处理的技术领域,具体涉及一种基于侧窗引导滤波的光场图像热像素点去除方法。
背景技术
传统相机利用传感器或胶片来记录空间中成像平面的光强信息,将3维场景投影到2维平面上,丢失了空间中场景的原始深度信息。近年来,随着光场成像技术的发展,光场相机因为其单次曝光就能获得空间中光线的强度及方向信息而作为一种新型多视角成像设备而得到广泛的关注。目前,光场成像技术在计算机视觉领域的应用渗透在各个领域中,如多视角成像、深度估计、三维重构、图像分割、目标识别等。然而,对于数字成像设备来说,由于图像传感器的内部错误而会不可避免地在图像中出现孤立的极值像素点,被称为热像素点。相较于传统相机,光场相机采用的是超高分辨率的图像传感器,因而会在图像中产生更多的热像素点,并且它们的数量会随着相机的使用程度而逐渐增加,进而对前述光场成像应用的精度造成较大的影响。
目前,图像处理领域主流的滤波器有均值滤波器、中值滤波器、高斯滤波器、双边滤波器、引导滤波器。其中,2013年由何凯明提出的引导滤波器通过引入一个线性模型,使输出图像由输入图像和引导图像共同决定,在滤波的同时达到保边的效果。并且,因为其时间复杂度与滤波核大小无关,引导滤波器是目前最快的保边滤波器之一。但是,引导滤波器将被处理的像素作为滤波窗口的中心,会使边缘像素点两侧的非均匀区域进行线性运算及平均处理,会不可避免地导致图像边缘模糊。因此,需要使用一种新的滤波方法,在去除光场图像热像素点的同时能够增强细节,保持边缘。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于侧窗引导滤波的光场图像热像素点去除方法,该方法可在去除光场图像热像素点的同时,能够增强细节,保持边缘。
本发明解决其技术问题所采用的技术方案:一种基于侧窗引导滤波的光场图像热像素点去除方法,包括如下步骤:
步骤1:在待处理的光场图像中取得中心子孔径图像I,将其作为其他子孔径图像p引导滤波的引导图;
光场图像具有表示相机阵列平面上采样的密集程度的角度分辨率,以及表示子孔径图像分辨率的空间分辨率。
步骤2:设置光场图像引导滤波模型的参数:滤波窗口的半径大小r,正则化参数∈,滤波器迭代次数iteration;
特别地,r为≧1的整数。传统引导滤波窗口为以计算像素点为中心,边长为(2r+1)像素点的正方形。本发明采用的侧窗滤波技术选择将计算像素点置于滤波窗口边或角上,故将计算像素点置于侧边的上、下、左、右滤波窗口为(2r+1)×(r+1)像素点的长方形,将计算像素点置于角上的西北、东北、西南和东南滤波窗口为边长为(r+1)像素点的正方形。
步骤3:从第一行第一列的子孔径图像开始,将子图像的R、G、B三个颜色通道值与引导图一起放入侧窗引导滤波模型中,得到三个通道的滤波结果,将其重叠得到滤波去除热像素点后的子孔径图像。
步骤4:将滤波后的所有子孔径图像合并得到光场图像张量,运用光场图像的可视化方法,依次输出,最终得到每一张滤波去除热像素点后的光场子孔径图像。
本发明与现有技术相比的有益效果在于:
(1)本发明针对光场图像个子孔径图像间基线短,视差小这一特点,将中心子孔径图像作为其他所有子孔径图像的引导图,能在实现图像保边去除热像素点的同时,大大减小了程序的计算量。
(2)本发明针对传统引导滤波中将被处理的像素作为滤波窗口的中心而出现的边缘模糊以及边缘光晕等问题,将图像中的每一个像素点都当作潜在边界点,将其置于滤波窗口的边或角上,计算时就不会出现边缘像素点两侧的非均匀区域进行线性运算及平均处理。在光场图像滤波去除热像素点的同时能够增强细节,达到非常优异的保边效果。
(3)本发明使用的侧窗引导滤波计算方法简单,计算复杂度低,实现方便。
附图说明
图1为本发明一种基于侧窗引导滤波的光场图像热像素点去除方法流程示意图;
图2为含热像素点的光场子孔径图像;
图3为引导滤波去除热像素点后的光场子孔径图像;
图4为采用本发明提供的侧窗引导滤波去除热像素点后的光场子孔径图像
具体实施方式
下面结合附图对本发明作进一步详细叙述:
如图1所示,本发明一种基于侧窗引导滤波的光场图像热像素点去除方法,包括如下步骤:
步骤1:在待处理的光场图像中取得中心子孔径图像I,将其作为其他子孔径图像p引导滤波的引导图;
其中:光场图像具有表示相机阵列平面上采样的密集程度的角度分辨率,以及表示子孔径图像分辨率的空间分辨率。本实验中处理的光场图像的空间分辨率为15×15,即包含15行15列的子孔径图像,子孔径图像分辨率为434×625,具有R、G、B三个颜色通道值。
步骤2:设置光场图像引导滤波模型的各项参数;
其中,参数分别为:
滤波窗口的半径大小r:r为≧1的整数。传统引导滤波窗口为以计算像素点为中心,边长为(2r+1)像素点的正方形。本发明采用的侧窗滤波技术选择将计算像素点置于滤波窗口边或角上,故将计算像素点置于侧边的上、下、左、右侧滤波窗口为(2r+1)×(r+1)像素点的长方形,将计算像素点置于角上的西北、东北、西南和东南侧滤波窗口为边长为(r+1)像素点的正方形。
正则化参数∈,以防止模型过拟合。
滤波器迭代次数iteration。
步骤3:从第一行第一列的子孔径图像开始,将子图像的R、G、B三个颜色通道值与引导图一起代入侧窗引导滤波模型中,得到三个通道的滤波结果,将其重叠得到滤波去除热像素点后的子孔径图像。
其中侧窗引导滤波模型,具体:
根据引导滤波中输出图像q与引导图I线性相关这一重要假设,建立侧窗引导滤波模型:
式中,side∈(U,D,L,R,NW,NE,SW,SE),表示8个方向的滤波窗口。是n方向滤波窗口计算得到的输出图像q中i点对应的像素值,Ii表示引导图中i点对应的像素值。ak,bk是在滤波窗口wk中为常数的线性系数,则表示i点在n方向的有效滤波窗口的线性系数的平均,
并使其最小化,得到:
选取qs作为该点的输出值。
进一步地,n方向的有效滤波窗口确定方式:
对于将计算像素点置于侧边的上、下、左、右侧滤波窗口,以(mi,ni),(mj,nj),(mk,nk)分别表示i,j,k三点在图中的行和列,以i点的上侧有效滤波窗口为例,以滤波窗口的i点所在边的中心像素点坐标来对其进行表示,则i点上侧有效滤波窗口最左端窗口有效滤波窗口最右端窗口
mj=mi=mk,nj=ni-r,nk=ni+r
对于将计算像素点i置于角上的西北、东北、西南和东南侧滤波窗口,其有效滤波窗口是唯一的,即将i点分别置于东南角、西南角、东北角、西北角的边长为r+1像素点的正方形滤波窗口。
进一步地,对于在侧窗中求均值的方法,采用的是卷积的方法,使用8个卷积核与图像做卷积,以滤波窗口半径r=1为例,8个核类似于8个方向上的均值滤波核:
步骤4:将滤波后的所有子孔径图像合并得到光场图像张量,运用光场图像的可视化方法,依次输出,最终得到每一张滤波去除热像素点后的光场子孔径图像。
对于生成的光场图像张量文件,固定其相机平面的坐标u=u0,v=v0(u0≥1,v0≥1),光场图像就可投影为坐标(u0,v0)的相机拍摄得到的子孔径图像。
本发明未详细阐述部分属于本领域技术人员的公知技术。
本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本发明,而并非用作为对本发明的限定,只要在本发明的实质精神范围内,对以上所述实施例变化,变型都将落在本发明权利要求书的范围内。
Claims (4)
1.一种基于侧窗引导滤波的光场图像热像素点去除方法,其特征在于:包括如下步骤:
步骤1:在待处理的光场图像中取得中心子孔径图像I,将其作为其他子孔径图像p引导滤波的引导图;
步骤2:设置光场图像引导滤波模型的各项参数;
步骤3:从第一行第一列的子孔径图像开始,将子孔径图像的R、G、B三个颜色通道值分别与引导图一起放入侧窗引导滤波模型中,得到三个通道的滤波结果,将其重叠得到滤波去除热像素点后的子孔径图像;
步骤3中所述的侧窗引导滤波模型,具体包括:
根据引导滤波中输出图像q与引导图I线性相关这一重要假设,建立侧窗引导滤波模型:
式中,side∈(U,D,L,R,NW,NE,SW,SE),表示8个方向的滤波窗口,是n方向滤波窗口计算得到的输出图像q中i点对应的像素值,Ii表示引导图中i点对应的像素值,ak,bk是在滤波窗口wk中为常数的线性系数,则表示i点在n方向的有效滤波窗口的线性系数的平均,
并使其最小化,得到:
选取qs作为该点的输出值;
步骤4:将滤波后的所有子孔径图像合并得到光场图像张量,运用光场图像的可视化方法,依次输出,最终得到每一张滤波去除热像素点后的光场子孔径图像。
2.根据权利要求1所述的基于侧窗引导滤波的光场图像热像素点去除方法,其特征在于步骤1中所述的光场图像,具体包括:
光场图像具有表示相机阵列平面上采样的密集程度的角度分辨率,以及表示子孔径图像分辨率的空间分辨率。
3.根据权利要求1所述的基于侧窗引导滤波的光场图像热像素点去除方法,其特征在于步骤2中所述的引导滤波模型的参数,具体包括:
滤波窗口的半径大小r:r为≧1的整数,采用的侧窗滤波技术选择将计算像素点置于滤波窗口边或角上,故将计算像素点置于侧边的上、下、左、右滤波窗口为(2r+1)×(r+1)像素点的长方形,将计算像素点置于角上的西北、东北、西南和东南滤波窗口为边长为(r+1)像素点的正方形;
正则化参数∈,以防止模型过拟合;
滤波器迭代次数iteration。
4.根据权利要求1所述的基于侧窗引导滤波的光场图像热像素点去除方法,特征在于步骤4中所述的光场图像的可视化方法,具体包括:
对于生成的光场图像张量文件,固定其相机平面的坐标u=u0,v=v0(u0≥1,v0≥1),光场图像就可投影为坐标(u0,v0)的相机拍摄得到的子孔径图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010781260.2A CN111968049B (zh) | 2020-08-06 | 2020-08-06 | 一种基于侧窗引导滤波的光场图像热像素点去除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010781260.2A CN111968049B (zh) | 2020-08-06 | 2020-08-06 | 一种基于侧窗引导滤波的光场图像热像素点去除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111968049A CN111968049A (zh) | 2020-11-20 |
CN111968049B true CN111968049B (zh) | 2022-11-11 |
Family
ID=73365069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010781260.2A Active CN111968049B (zh) | 2020-08-06 | 2020-08-06 | 一种基于侧窗引导滤波的光场图像热像素点去除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111968049B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103841327A (zh) * | 2014-02-26 | 2014-06-04 | 中国科学院自动化研究所 | 一种基于原始图像的四维光场解码预处理方法 |
CN104050637A (zh) * | 2014-06-05 | 2014-09-17 | 华侨大学 | 基于两次引导滤波的快速图像去雾方法 |
CN206074890U (zh) * | 2013-10-21 | 2017-04-05 | 康达智株式会社 | 摄像镜头 |
CN111047659A (zh) * | 2019-11-08 | 2020-04-21 | 湖北科技学院 | 结合滤波方法的ct环形伪影的校正方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336582B1 (en) * | 2015-04-17 | 2016-05-10 | Google Inc. | Convolutional color correction |
-
2020
- 2020-08-06 CN CN202010781260.2A patent/CN111968049B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206074890U (zh) * | 2013-10-21 | 2017-04-05 | 康达智株式会社 | 摄像镜头 |
CN103841327A (zh) * | 2014-02-26 | 2014-06-04 | 中国科学院自动化研究所 | 一种基于原始图像的四维光场解码预处理方法 |
CN104050637A (zh) * | 2014-06-05 | 2014-09-17 | 华侨大学 | 基于两次引导滤波的快速图像去雾方法 |
CN111047659A (zh) * | 2019-11-08 | 2020-04-21 | 湖北科技学院 | 结合滤波方法的ct环形伪影的校正方法 |
Non-Patent Citations (1)
Title |
---|
基于多尺度导引滤波的图像融合方法;杨航,吴笑天等;《光电子 激光》;20150115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111968049A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wronski et al. | Handheld multi-frame super-resolution | |
CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110390640B (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
US9214013B2 (en) | Systems and methods for correcting user identified artifacts in light field images | |
Zhuo et al. | Defocus map estimation from a single image | |
US8582820B2 (en) | Coded aperture camera with adaptive image processing | |
TWI441095B (zh) | 距離估算方法及其距離估算裝置,及其機器可讀取媒體 | |
CN103049906B (zh) | 一种图像深度提取方法 | |
CN108694705A (zh) | 一种多帧图像配准与融合去噪的方法 | |
CN113298810A (zh) | 结合图像增强和深度卷积神经网络的道线检测方法 | |
CN111553862B (zh) | 一种海天背景图像去雾和双目立体视觉定位方法 | |
CN113160053A (zh) | 一种基于位姿信息的水下视频图像复原与拼接方法 | |
Lee et al. | Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction | |
CN111951339A (zh) | 利用异构双目相机进行视差计算的图像处理方法 | |
CN105719251A (zh) | 一种用于大像移线性模糊的压缩降质图像复原方法 | |
CN104766287A (zh) | 一种基于显著性检测的模糊图像盲复原方法 | |
Zhang et al. | Single image focus editing | |
CN111968049B (zh) | 一种基于侧窗引导滤波的光场图像热像素点去除方法 | |
CN116012517B (zh) | 一种正则化的图像渲染方法及装置 | |
Jung et al. | Multispectral fusion of rgb and nir images using weighted least squares and convolution neural networks | |
CN109118427B (zh) | 图像光效处理方法和装置、电子设备、存储介质 | |
CN107798663B (zh) | 一种基于偏微分方程和bm3d的无参数化图像恢复方法 | |
Kriener et al. | Accelerating defocus blur magnification | |
CN113628125B (zh) | 基于空间视差先验网络的多幅红外图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |