CN107392986B - 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 - Google Patents
一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 Download PDFInfo
- Publication number
- CN107392986B CN107392986B CN201710638945.XA CN201710638945A CN107392986B CN 107392986 B CN107392986 B CN 107392986B CN 201710638945 A CN201710638945 A CN 201710638945A CN 107392986 B CN107392986 B CN 107392986B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- filtering
- gaussian
- circle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000009877 rendering Methods 0.000 title claims abstract description 27
- 238000009792 diffusion process Methods 0.000 claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000006185 dispersion Substances 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 230000005669 field effect Effects 0.000 abstract description 5
- 238000012805 post-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000237970 Conus <genus> Species 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于各向异性滤波的图像景深渲染方法，包括如下步骤：对于输入深度图像构建高斯金字塔进行预处理；利用光学景深模型对滤波后深度图像计算弥散圈半径；对弥散圈图像中聚焦区域构造各向同性高斯滤波核进行滤波；对滤波后的弥散圈图像取整并分层；对各弥散圈层级构造各向异性高斯滤波核并结合输入图像进行滤波。本发明对输入场景深度图构造高斯金字塔进行预处理，并引入弥散圈图像的模糊及分层级的各向异性高斯滤波，使渲染方法适用于主流深度图获取方法得到的低分辨率且存在黑色噪点的场景深度图。渲染结果具有较好的主观图像质量和较为准确的景深效果。
Description
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及一种基于高斯金字塔和各向异性滤波的图像景深渲染方法。
背景技术
景深是光学成像及摄影学领域的一个重要概念，它指的是在相机镜头或者人眼视觉系统前，物体能够获得清晰成像所测定的被摄物体前后距离范围。在一幅具有景深效果的图像中，在聚焦范围内的场景是清晰锐利，而在聚焦范围之外的场景，包括物距小于聚焦范围(前景)及大于聚焦范围(背景)的场景则是模糊的。
根据光学成像理论，景深效果图像可以由大光圈的成像系统直接拍摄获取，而对于一幅前后景都清晰的图像，如何通过景深渲染后处理算法，使其获得接近真实景深图像的虚化效果，成为人们研究的重点。
现存的图像景深渲染方法大致可分为基于物体空间的方法和基于图像空间的方法。其中基于物体空间的方法，包括典型的光线追踪法和分布式光线缓存法是最为准确的景深渲染方法，但是由于其计算开支很大，难以适用于一般的应用场合。基于图像空间的方法以计算机图形学领域的后滤波法为典型，具体又可划分为分别以各向异性扩散和金字塔处理为代表的单层级后滤波法和多层级后滤波法。在实际应用场合中，例如针对真实照片的后处理景深渲染，利用主流深度获取方法，如双目视差法获得的深度图像的分辨率较低且存在黑色噪点，因此以上方法会出现多种失真，包括颜色泄露、模糊不连续及物体边缘的锯齿状失真等。
发明内容
本发明提出一种基于高斯金字塔和各向异性滤波的图像景深渲染方法，利用基于薄透镜的景深光学模型计算图像各场景所对应的弥散圈(CoC,Circle of Confusion)大小，得到与深度图对应的弥散圈图像。并以弥散圈图像中聚焦区域弥散圈之间的差值对弥散圈图像进行模糊，利用处于某一场景中物体深度值的连续性及相似性，引入保留边缘特性的弥散圈分层级滤波。并以弥散圈大小为参数构建滤波核，进行各向异性高斯滤波能够得到具有景深渲染结果图像，其渲染结果具有很好的主观图像质量。
本发明基于各向异性滤波，提出了一种适用于真实照片的图像景深渲染方法，其主要思路是：
1、引入图像高斯金字塔，对场景深度图进行预处理，并结合光学弥散圈模型得到弥散圈半径图像
一些主流的场景深度获取方法，如双目视差法获得的场景深度图存在黑色噪点及低分辨率的问题。构建深度图的下采样及上采样图像高斯金字塔对深度图进行预处理，使其更加符合真实深度。基于光学薄透镜模型，结合景深的物理成因，计算得到场景深度图中每一像素的弥散圈大小，作为景深渲染的依据。
2、利用各向同性高斯滤波模糊弥散圈图像，并结合原图进行分层级的各向异性高斯滤波，得到渲染结果
弥散圈图像中像素深度值表示场景中该点的模糊程度大小。由于预处理无法提高深度图的实际分辨率，采用以不同层级弥散圈大小差值为参数的高斯滤波模糊弥散圈图像，从而在遵循同一物体深度连续性变化的基础上缓和不同物体分界处锐利的边缘。按照弥散圈大小对该图进行分层级操作，并以此为参数构造高斯滤波核，使模糊程度相对连续变化。在滤波的过程中考虑不同像素深度与弥散圈大小，从而降低渲染过程带来的失真。
一种基于各向异性滤波的图像景深渲染方法，包括如下步骤：
(1)输入不包含景深效果的图像为I，与该图像所对应的场景深度图为D。对场景深度图为D进行预处理。构建深度图的下采样高斯金字塔：
其中Dl(i,j)和Dl-1(i,j)分别是第l层和第l-1层的高斯模糊图像，W是以K为半径的高斯权重核。取下采样高斯金字塔的某一层图像，构建上采样高斯金字塔：
其中Dl,b(i,j)和Dl,b-1(i,j)分别是第l层上采样后和上采样前的图像，W是以K为半径的高斯权重核。对于深度图中深度值小于阈值的像素集合{p(i,j)|p(i,j)≤pthreshold}，利用恢复到原始尺寸的上采样图像中相同位置的像素深度值替代该像素：
p(i,j)＝pup(i,j) (3)
(2)对于步骤(1)得到的预处理后深度图像，根据光学薄透镜的景深模型，计算得到场景中各点所对应的弥散圈半径大小：
其中，Vx是场景中某一点的物距,d为薄透镜的直径，Vf为物方焦平面到透镜的距离，f为透镜的焦距，单位均为像素(pixel)。并对计算得到的弥散圈半径进行取整的离散化操作DRCoC＝[RCoC]，得到与深度图相对应的弥散圈图像Φ。
(3)对于步骤(2)得到的离散弥散圈图像Φ，选取弥散圈阈值为k，得到小于该阈值的、属于聚焦范围的弥散圈子图像fCoC＝{Φ(i,j)|Φ(i,j)≤k}。对于属于该子图像的任意两个不同弥散圈半径的子集fCoCm＝{Φ(i,j)|Φ(i,j)＝m}和fCoCn＝{Φ(i,j)|Φ(i,j)＝n}，构造半径为Rdif＝|m-n|，标准差σ＝a·Rdif的各向同性高斯滤波核对集合{fCoCa∪fCoCb}进行模糊得到结果Φ'，其中a为常数，根据正态分布的3σ原则，选取a＝0.3。
(4)对于步骤(3)得到的弥散圈图像Φ'，以弥散圈半径c为参数划分层级，并结合输入图像I，得到分层级的实际滤波区域集合fI＝{I(i,j)|Φ'(i,j)＝c}。
(5)结合步骤(4)得到的滤波区域集合，构建各向异性高斯滤波核：
其中CoCp和CoCq分别为像素p和q的弥散圈半径大小，δ为允许将具有相似弥散圈大小的相邻像素包含在滤波操作中的较小的偏移量，dp和df分别为像素p和q的深度值。G为各向同性高斯算子，其半径等于弥散圈半径RCoC，标准差为σ＝a·(RCoC+1)。其中a为常数，根据正态分布的3σ原则，选取a＝0.3。
引入高斯滤波的可分离性：
其中，g(u,v)为二维高斯滤波核：
在实际滤波过程将一次二维滤波转换为两次一维滤波，有效降低算法复杂度。对不同层级的待滤波子图像分别进行各向异性高斯滤波，得到景深渲染结果。
本发明针对不具有景深效果的图像提出了一种景深渲染方法，利用高斯金字塔重建场景深度图，构建以弥散圈图像场景交界处的弥散圈半径差值为参数的各向同性高斯滤波核模糊弥散圈图像，利用各向高斯异性滤波核对输入图像进行分层级的两次一维滤波，得到景深渲染结果。渲染结果具有较好的主观图像质量，并较为接近实际光学景深效果。在本发明中，需要输入一副不具有景深效果的图像和一副低分辨率的场景深度图，从而得到较为真实的具有景深效果的图像。本发明可应用于手机等便携式成像设备的图像后处理景深渲染，在图像处理场合有广泛的应用领域。
附图说明
图1为算法流程图。
图2为输入不具有景深效果的图像。
图3为图2场景所对应的深度图。
图4为深度图修复结果。
图5为根据深度图计算得到的弥散圈图像。
图6为模糊后的弥散圈图像。
图7为输入图像的景深渲染结果。
具体实施方式
本算法的流程图如图1所示。
以图2中所示的不具有景深效果的图像为例，来说明算法的实施步骤。图2来自Middlebury双目数据集，图3是图2所对应的深度图像。
利用本发明所述方法处理图像，首先对深度图建立下采样高斯金字塔，从第4层的图像中进行上采样操作，选取各点代替原始深度图中的黑色噪点，得到重建后的深度图，结果如图4所示。利用景深的光学模型计算场景中各点的弥散圈大小，结果如图5所示。对弥散圈图像的聚焦区域进行各向同性高斯滤波，结果如图6所示。对滤波后的弥散圈图像分层，结合输入图像进行各向异性高斯滤波，其结果如图7所示。
Claims (2)
1.一种基于高斯金字塔和各向异性滤波的图像景深渲染方法，其特征在于，包括如下步骤：
(1)输入不包含景深效果的图像I，与图像I所对应的场景深度图D；对场景深度图D进行预处理；构建场景深度图的下采样高斯金字塔：
其中Dl(i,j)和Dl-1(i,j)分别是第l层和第l-1层的高斯模糊图像，W是以K为半径的高斯权重核；取下采样高斯金字塔的某一层图像，构建上采样高斯金字塔：
其中Dl,b(i,j)和Dl,b-1(i,j)分别是第l层上采样后和上采样前的图像，W是以K为半径的高斯权重核；对于深度图中深度值小于阈值的像素集合{p(i,j)|p(i,j)≤pthreshold}，利用恢复到原始尺寸的上采样图像中相同位置的像素深度值替代该像素：
p(i,j)＝pup(i,j) (3)
(2)对于步骤(1)得到的预处理后深度图像，根据光学薄透镜的景深模型，计算得到场景中各点所对应的弥散圈半径大小：
其中，Vx是场景中某一点的物距,d为薄透镜的直径，Vf为物方焦平面到透镜的距离，f为透镜的焦距，单位均为像素；并对计算得到的弥散圈半径进行取整的离散化操作ARCoC＝[RCoC]，得到与深度图相对应的弥散圈图像Φ；
(3)对于步骤(2)得到的离散化弥散圈图像Φ，进行各向同性高斯滤波进行模糊，得到模糊后的弥散圈图像Φ'；
(4)对于步骤(3)得到的弥散圈图像Φ'，以c为参数划分层级，并结合输入图像I，得到分层级的实际滤波区域集合fI＝{I(i,j)|Φ'(i,j)＝c}；
(5)结合步骤(4)得到的滤波区域集合，构建各向异性高斯滤波核：
其中CoCp和CoCq分别为像素p和q的弥散圈半径大小，δ为允许将具有相似弥散圈大小的相邻像素包含在滤波操作中的较小的偏移量，dp和df分别为像素p和q的深度值；G为各向同性高斯算子，其半径等于弥散圈半径RCoC，标准差为σ＝a·(RCoC+1)；其中a为常数，根据正态分布的3σ原则，选取a＝0.3；引入高斯滤波的可分离性，将一次二维滤波转换为两次一维滤波，有效降低算法复杂度；对不同层级的待滤波子图像分别进行各向异性高斯滤波，得到景深渲染结果。
2.如权利要求1所述的图像景深渲染方法，其特征在于，步骤(3)中通过构建以不同层级弥散圈大小差值为参数的各向同性高斯滤波核对弥散圈图像进行模糊，具体过程如下：
弥散圈图像中每个像素深度值表示场景中该点模糊程度大小；由于预处理无法提高深度图的实际分辨率，为了保留图像中物体的原有边缘特征，减少渲染过程中的锯齿状失真，采用以弥散圈大小差值为参数的各向同性高斯滤波模糊弥散圈图像以缓和不同物体分界处锐利的边缘；选取弥散圈阈值为k，得到小于该阈值的、属于聚焦范围的弥散圈子图像fCoC＝{Φ(i,j)|Φ(i,j)≤k}；对于属于该子图像的任意两个不同弥散圈半径的子集fCoCm＝{Φ(i,j)|Φ(i,j)＝α}和fCoCn＝{Φ(i,j)|Φ(i,j)＝β}，构造半径为Rdif＝|α-β|，标准差σ＝a·Rdif的各向同性高斯滤波核对集合{fCoCa∪fCoCb}进行模糊得到结果Φ'，其中a为常数，根据正态分布的3σ原则，选取a＝0.3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710638945.XA CN107392986B (zh) | 2017-07-31 | 2017-07-31 | 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710638945.XA CN107392986B (zh) | 2017-07-31 | 2017-07-31 | 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107392986A CN107392986A (zh) | 2017-11-24 |
| CN107392986B true CN107392986B (zh) | 2021-03-16 |
Family
ID=60342562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710638945.XA Active CN107392986B (zh) | 2017-07-31 | 2017-07-31 | 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107392986B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242943B (zh) | 2018-08-21 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 一种图像渲染方法、装置及图像处理设备、存储介质 |
| CN110148094A (zh) * | 2019-04-26 | 2019-08-20 | 江苏大学 | 一种基于积分图像的精确景深渲染方法 |
| CN113628316B (zh) * | 2020-05-08 | 2023-12-01 | 辉达公司 | 使用射线锥进行各向异性纹理滤波的技术 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106384378A (zh) * | 2016-08-31 | 2017-02-08 | 上海交通大学 | 一种基于GPU的广义mipmap插值实时景深渲染方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100142790A1 (en) * | 2008-12-04 | 2010-06-10 | New Medical Co., Ltd. | Image processing method capable of enhancing contrast and reducing noise of digital image and image processing device using same |
-
2017
- 2017-07-31 CN CN201710638945.XA patent/CN107392986B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106384378A (zh) * | 2016-08-31 | 2017-02-08 | 上海交通大学 | 一种基于GPU的广义mipmap插值实时景深渲染方法 |
Non-Patent Citations (2)
| Title |
|---|
| Hierarchical Hole-Filling For Depth-Based View Synthesis in FTV and 3D Video;Mashhour Solh .ect;《IEEE Journal of Selected Topics in Signal Processing》;20120613;第6卷(第5期);495-504 * |
| Real-Time Depth-of-Field Rendering Using Anisotropically Filtered Mipmap Interpolation;Sungkil Lee .ect;《IEEE Transactions on Visualization and Computer Graphics》;20090316;第45卷(第3期);453-464 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107392986A (zh) | 2017-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Light field reconstruction using deep convolutional network on EPI | |
| Wu et al. | Light field reconstruction using convolutional network on EPI and extended applications | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| Ebrahimi et al. | Solving the inverse problem of image zooming using “self-examples” | |
| CN108062769B (zh) | 一种用于三维重建的快速深度恢复方法 | |
| KR20130001213A (ko) | 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 | |
| Hsu et al. | Single image dehazing using wavelet-based haze-lines and denoising | |
| Chatterjee et al. | Application of Papoulis–Gerchberg method in image super-resolution and inpainting | |
| CN107392986B (zh) | 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 | |
| CN112669214A (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| Deshpande et al. | SURVEY OF SUPER RESOLUTION TECHNIQUES. | |
| CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| Wu et al. | Edge curve scaling and smoothing with cubic spline interpolation for image up-scaling | |
| Gao et al. | Bayesian image super-resolution with deep modeling of image statistics | |
| CN109300098B (zh) | 一种基于小波变换的多聚焦显微图像融合方法 | |
| CN108615221B (zh) | 基于剪切二维极线平面图的光场角度超分辨率方法及装置 | |
| CN112001940B (zh) | 图像处理方法及装置、终端及可读存储介质 | |
| Rohith et al. | Super-resolution based deep learning techniques for panchromatic satellite images in application to pansharpening | |
| CN111083359B (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
| Guo et al. | Image blind deblurring using an adaptive patch prior | |
| Yu et al. | Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration | |
| Maik et al. | Blind deconvolution using maximum a posteriori (MAP) estimation with directional edge based priori | |
| He et al. | Joint motion deblurring and superresolution from single blurry image | |
| Khoddami et al. | Large scaling factor depth map super-resolution using progressive joint-multilateral filtering | |
| Emberger et al. | Low complexity depth map extraction and all-in-focus rendering for close-to-the-pixel embedded platforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171124 Assignee: HANGZHOU MAQUAN INFORMATION TECHNOLOGY Co.,Ltd. Assignor: HANGZHOU DIANZI University Contract record no.: X2022330000227 Denomination of invention: An image depth of field rendering method based on Gaussian pyramid and anisotropic filtering Granted publication date: 20210316 License type: Common License Record date: 20220615 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171124 Assignee: HANGZHOU SHENGSHI TECHNOLOGY Co.,Ltd. Assignor: HANGZHOU DIANZI University Contract record no.: X2023980032721 Denomination of invention: An Image Depth of Field Rendering Method Based on Gaussian Pyramid and Anisotropic Filtering Granted publication date: 20210316 License type: Common License Record date: 20230224 |