CN106228597A - 一种基于深度分层的图像景深效果渲染方法 - Google Patents

一种基于深度分层的图像景深效果渲染方法 Download PDF

Info

Publication number
CN106228597A
CN106228597A CN201610784197.1A CN201610784197A CN106228597A CN 106228597 A CN106228597 A CN 106228597A CN 201610784197 A CN201610784197 A CN 201610784197A CN 106228597 A CN106228597 A CN 106228597A
Authority
CN
China
Prior art keywords
picture
obfuscation
depth
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610784197.1A
Other languages
English (en)
Inventor
盛斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610784197.1A priority Critical patent/CN106228597A/zh
Publication of CN106228597A publication Critical patent/CN106228597A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度分层的图像景深效果渲染方法,该方法包括如下步骤:(1)获取待渲染的图像的深度信息,根据设定的深度值分层界限将待渲染的图像分割成多个分层图片;(2)分别对各分层图片进行去遮挡处理,得到去遮挡图片;(3)分别计算各层去遮挡图片中像素点的透明度,并将不属于该层的像素点置透明度置为0,得到消光图片;(4)分别对各层消光图片进行模糊化处理得到模糊化图片;(5)分别对各层模糊化图片利用模糊化前对应的消光图片中的像素点的透明度进行稀释处理,然后将稀释处理后的所有模糊化图片进行合并得到景深渲染图像。与现有技术相比,本发明景深效果渲染效果好,渲染速度快。

Description

一种基于深度分层的图像景深效果渲染方法
技术领域
本发明涉及一种图像处理方法,尤其是涉及一种基于金字塔算法的图像景深效果渲染方法。
背景技术
景深效果是相机镜头的重要光学成像特性,在摄影中作为一种非常重要的艺术工具用于强调所拍摄的对象。在计算机合成的图像中加入景深效果能更加精准地模拟相机镜头的光学成像过程,增项计算机合成图像的真实感;能增加图像的深度暗示,有助于场景的集合结构和物体的相对位置,同时,也能吸引观察者的关注。
然而,传统的计算机绘图并不具有景深效果。例如,在计算机三维(3D)绘图技术中,将3D空间图形投影到二维(2D)平面上,产生可以显示的平面图像。如果不进行特殊的处理,深度方向上各个距离的物体都清晰地投影在平面图像上,造成图像看上去在深度方向上的每个平面都被清楚地聚焦,并没有景深效果。这使得图像看上去缺少立体感和层次感。自从Potmesil和Chakravarty在20世纪80年代初发关于景深效果绘制的研究论文以来,景深效果的渲染已成为计算机图形学的重要研究方向。景深效果渲染方法在图像质量方面主要围绕强度渗漏、部分遮挡和离散化3个问题展开,力争全部或部分解决这些问题疑惑个高质量的景深效果。强度渗漏问题指模糊的前景或背景融合到聚焦物体中,或者聚焦物体融合到模糊的前景或背景中,导致不一致的深度暗示。部分遮挡指物体通过镜头孔径面上不同点成像是具有不同的可见性。离散化则是深度分层中的特有问题,对跨越多层的物体进行模糊时,由于子层之间深度的不连续性而出现的块状或带状效果。现有的一些景深效果渲染方法不能很好的解决部分遮挡问题,且渲染速度慢。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度分层的图像景深效果渲染方法。
本发明的目的可以通过以下技术方案来实现:
一种基于深度分层的图像景深效果渲染方法,该方法包括如下步骤:
(1)获取待渲染的图像的深度信息,根据设定的深度值分层界限将待渲染的图像分割成多个分层图片;
(2)分别对各分层图片进行去遮挡处理,得到去遮挡图片;
(3)分别计算各层去遮挡图片中像素点的透明度,并将不属于该层的像素点置透明度置为0,得到消光图片;
(4)分别对各层消光图片进行模糊化处理得到模糊化图片;
(5)分别对各层模糊化图片利用模糊化前对应的消光图片中的像素点的透明度进行稀释处理,然后将稀释处理后的所有模糊化图片进行合并得到景深渲染图像。
步骤(2)具体为:
(201)对各分层图片采用金字塔缩小运算进行缩小;
(202)对缩小后的分层图片依照金字塔算法进行放大得到该分层图片对应的放大图;
(203)将各分层图片分别与对应的放大图进行对比,将分层图片中的黑色像素点的深度值和颜色值替换为放大图中的对应的像素点的深度值和颜色值,进而得到去遮挡图片。
步骤(4)具体为:采用金字塔算法对新的去遮挡图片进行模糊化处理,具体地首先对消光图片进行金字塔缩小,然后对缩小后的图片进行金字塔放大,进而得到模糊化图片。
步骤(4)中模糊化处理时第i层模糊化图片的模糊半径为
r p i x ( i ) = 2.0 × 0.85 × 2 | i | - 1 i ≠ 0 r p i x ( i ) = 0 i = 0 ;
其中,i=-p,-(p-1)……0,1……q,p>0,q>0,p为最大负向层数,q为最大正向层数。
步骤(5)具体为:
(501)对于第i层模糊化图片,获取该模糊化图片中所有像素点的颜色信息,第i层模糊化图片中第j个像素点的颜色信息为
(502)获取第i层模糊化图片模糊化前对应的去遮挡图片中所有像素点的透明度,第i层模糊化图片中第j个像素点的透明度为
(503)根据下式对第i层模糊化图片中第j个像素点进行稀释处理,得到第i模糊化图片中第j个像素点的稀释颜色信息
I R G B ′ ( i , j ) = I R G B ( i , j ) + ( 1 - I A ( i , j ) ) I R G B ( i , j ) ;
其中,i=-p,-(p-1)……0,1……q,p>0,q>0,p为最大负向层数,q为最大正向层数,j=1,2……n,n为第i个模糊化图片中像素点总个数;
(504)将所有稀释处理的模糊化图片叠加得到景深渲染图像。
与现有技术相比,本发明具有如下优点:
(1)对图像进行分层处理删除了各分层图片的前景像素,使得分层图片中有很大部分的黑色像素存在,通过金字塔算法对分层图片进行处理,从而去遮挡效果好,很好的解决部分遮挡问题,使得景深渲染效果好,同时算法运算速度快,提高了图像景深渲染的速度;
(2)去遮挡图片进行模糊化处理采用金字塔算法,金字塔缩小使去遮挡图片丢失一半的信息,然后金字塔放大就会使图片呈现模糊效果,该方法简单,且处理速度快,模糊化效果好。
附图说明
图1为本发明基于深度分层的图像景深效果渲染方法的流程框图;
图2为待渲染的图像;
图3为分层图片;
图4为去遮挡图片;
图5为消光图片;
图6为模糊化图片;
图7为景深渲染图像。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示,一种基于深度分层的图像景深效果渲染方法,该方法包括如下步骤:
步骤1:获取待渲染的图像的深度信息,根据设定的深度值分层界限将待渲染的图像分割成多个分层图片;
步骤2:分别对各分层图片进行去遮挡处理,得到去遮挡图片;
步骤3:分别计算各层去遮挡图片中像素点的透明度,并将不属于该层的像素点置透明度置为0,得到消光图片;
步骤4:分别对各层消光图片进行模糊化处理得到模糊化图片;
步骤5:分别对各层模糊化图片利用模糊化前对应的消光图片中的像素点的透明度进行稀释处理,然后将稀释处理后的所有模糊化图片进行合并得到景深渲染图像。
步骤2具体为:
(201)对各分层图片采用金字塔缩小运算进行缩小;
(202)对缩小后的分层图片依照金字塔算法进行放大得到该分层图片对应的放大图;
(203)将各分层图片分别与对应的放大图进行对比,将分层图片中的黑色像素点的深度值和颜色值替换为放大图中的对应的像素点的深度值和颜色值,进而得到去遮挡图片。
步骤4具体为:采用金字塔算法对新的去遮挡图片进行模糊化处理,具体地首先对消光图片进行金字塔缩小,然后对缩小后的图片进行金字塔放大,进而得到模糊化图片。
步骤4中模糊化处理时第i层模糊化图片的模糊半径为
r p i x ( i ) = 2.0 × 0.85 × 2 | i | - 1 i ≠ 0 r p i x ( i ) = 0 i = 0 ;
其中,i=-p,-(p-1)……0,1……q,p>0,q>0,p为最大负向层数,q为最大正向层数。
步骤5具体为:
(501)对于第i层模糊化图片,获取该模糊化图片中所有像素点的颜色信息,第i层模糊化图片中第j个像素点的颜色信息为
(502)获取第i层模糊化图片模糊化前对应的去遮挡图片中所有像素点的透明度,第i层模糊化图片中第j个像素点的透明度为
(503)根据下式对第i层模糊化图片中第j个像素点进行稀释处理,得到第i模糊化图片中第j个像素点的稀释颜色信息
I R G B ′ ( i , j ) = I R G B ( i , j ) + ( 1 - I A ( i , j ) ) I R G B ( i , j ) ;
其中,i=-p,-(p-1)……0,1……q,p>0,q>0,p为最大负向层数,q为最大正向层数,j=1,2……n,n为第i个模糊化图片中像素点总个数;
(504)将所有稀释处理的模糊化图片叠加得到景深渲染图像。
根据上述步骤对一个输入颜色图和深度图大小均为512*512的样例进行景深效果的渲染。图2(a)为待渲染的图像和颜色图,图2(b)为待渲染的图像深度图,经过步骤1的图像分割处理后得到的分层图片如图3所示,依次为图3(a)、3(b)、3(c)、3(d)。经过步骤2的去遮挡处理得到的去遮挡图片如图4所示。进而执行步骤3中的消光处理,得到如图5所示的消光图片,接下来执行步骤4的模糊化处理,得到的模糊化图片如图6所示。最后将模糊化图片进行合并得到景深渲染图像,如图7所示。

Claims (5)

1.一种基于深度分层的图像景深效果渲染方法,其特征在于,该方法包括如下步骤:
(1)获取待渲染的图像的深度信息,根据设定的深度值分层界限将待渲染的图像分割成多个分层图片;
(2)分别对各分层图片进行去遮挡处理,得到去遮挡图片;
(3)分别计算各层去遮挡图片中像素点的透明度,并将不属于该层的像素点置透明度置为0,得到消光图片;
(4)分别对各层消光图片进行模糊化处理得到模糊化图片;
(5)分别对各层模糊化图片利用模糊化前对应的消光图片中的像素点的透明度进行稀释处理,然后将稀释处理后的所有模糊化图片进行合并得到景深渲染图像。
2.根据权利要求1所述的一种基于深度分层的图像景深效果渲染方法,其特征在于,步骤(2)具体为:
(201)对各分层图片采用金字塔缩小运算进行缩小;
(202)对缩小后的分层图片依照金字塔算法进行放大得到该分层图片对应的放大图;
(203)将各分层图片分别与对应的放大图进行对比,将分层图片中的黑色像素点的深度值和颜色值替换为放大图中的对应的像素点的深度值和颜色值,进而得到去遮挡图片。
3.根据权利要求1所述的一种基于深度分层的图像景深效果渲染方法,其特征在于,步骤(4)具体为:采用金字塔算法对新的去遮挡图片进行模糊化处理,具体地首先对消光图片进行金字塔缩小,然后对缩小后的图片进行金字塔放大,进而得到模糊化图片。
4.根据权利要求1所述的一种基于深度分层的图像景深效果渲染方法,其特征在于,步骤(4)中模糊化处理时第i层模糊化图片的模糊半径为
r p i x ( i ) = 2.0 × 0.85 × 2 | i | - 1 i ≠ 0 r p i x ( i ) = 0 i = 0 ;
其中,i=-p,-(p-1)……0,1……q,p>0,q>0,p为最大负向层数,q为最大正向层数。
5.根据权利要求1所述的一种基于深度分层的图像景深效果渲染方法,其特征在于,步骤(5)具体为:
(501)对于第i层模糊化图片,获取该模糊化图片中所有像素点的颜色信息,第i层模糊化图片中第j个像素点的颜色信息为
(502)获取第i层模糊化图片模糊化前对应的去遮挡图片中所有像素点的透明度,第i层模糊化图片中第j个像素点的透明度为
(503)根据下式对第i层模糊化图片中第j个像素点进行稀释处理,得到第i模糊化图片中第j个像素点的稀释颜色信息
I R G B ′ ( i , j ) = I R G B ( i , j ) + ( 1 - I A ( i , j ) ) I R G B ( i , j ) ;
其中,i=-p,-(p-1)……0,1……q,p>0,q>0,p为最大负向层数,q为最大正向层数,j=1,2……n,n为第i个模糊化图片中像素点总个数;
(504)将所有稀释处理的模糊化图片叠加得到景深渲染图像。
CN201610784197.1A 2016-08-31 2016-08-31 一种基于深度分层的图像景深效果渲染方法 Pending CN106228597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610784197.1A CN106228597A (zh) 2016-08-31 2016-08-31 一种基于深度分层的图像景深效果渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610784197.1A CN106228597A (zh) 2016-08-31 2016-08-31 一种基于深度分层的图像景深效果渲染方法

Publications (1)

Publication Number Publication Date
CN106228597A true CN106228597A (zh) 2016-12-14

Family

ID=58071796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610784197.1A Pending CN106228597A (zh) 2016-08-31 2016-08-31 一种基于深度分层的图像景深效果渲染方法

Country Status (1)

Country Link
CN (1) CN106228597A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780313A (zh) * 2016-12-28 2017-05-31 网易(杭州)网络有限公司 图像处理方法及装置
CN109767466A (zh) * 2019-01-10 2019-05-17 深圳看到科技有限公司 画面渲染方法、装置、终端及对应的存储介质
WO2024031999A1 (zh) * 2022-08-12 2024-02-15 北京字跳网络技术有限公司 图像分层方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375315A (zh) * 2006-01-27 2009-02-25 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
EP2478427A2 (en) * 2009-11-06 2012-07-25 Sony Corporation Real time hand tracking, pose classification, and interface control
CN104268828A (zh) * 2014-09-30 2015-01-07 可牛网络技术(北京)有限公司 图片模糊化处理的方法和装置
CN104662896A (zh) * 2012-09-06 2015-05-27 诺基亚技术有限公司 用于图像处理的装置、方法和计算机程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375315A (zh) * 2006-01-27 2009-02-25 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
EP2478427A2 (en) * 2009-11-06 2012-07-25 Sony Corporation Real time hand tracking, pose classification, and interface control
CN104662896A (zh) * 2012-09-06 2015-05-27 诺基亚技术有限公司 用于图像处理的装置、方法和计算机程序
CN104268828A (zh) * 2014-09-30 2015-01-07 可牛网络技术(北京)有限公司 图片模糊化处理的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M.KRAUS 等: "Depth-of-Field Rendering by Pyramidal Image Processing", 《COMPUTER GRAPHICS FORUM》 *
MAGNUS STRENGERT 等: "Pyramid Methods in GPU-Based Image Processing", 《IN PROCEEDINGS VISION,MODELING,AND VISUALIZATION 2006》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780313A (zh) * 2016-12-28 2017-05-31 网易(杭州)网络有限公司 图像处理方法及装置
CN109767466A (zh) * 2019-01-10 2019-05-17 深圳看到科技有限公司 画面渲染方法、装置、终端及对应的存储介质
WO2024031999A1 (zh) * 2022-08-12 2024-02-15 北京字跳网络技术有限公司 图像分层方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Yen-Chen et al. Nerf-supervision: Learning dense object descriptors from neural radiance fields
DE112020004813B4 (de) System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
Waechter et al. Let there be color! Large-scale texturing of 3D reconstructions
CN101271582B (zh) 基于多视角二维图像并结合sift算法的三维重建方法
CN102592275A (zh) 虚拟视点绘制方法
CN106780726A (zh) 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN107369204B (zh) 一种从单幅照片恢复出场景基本三维结构的方法
TW202117611A (zh) 電腦視覺訓練系統及訓練電腦視覺系統的方法
CN106228597A (zh) 一种基于深度分层的图像景深效果渲染方法
Xu et al. A general texture mapping framework for image-based 3D modeling
CN105488777A (zh) 一种基于移动前景下全景图实时生成系统及其方法
CN106651870A (zh) 多视角三维重建中图像失焦模糊区域的分割方法
CN114255197B (zh) 一种红外与可见光图像自适应融合对齐方法及系统
CN115171096A (zh) 一种基于rgb图像与激光点云融合的3d目标检测方法
CN111951368A (zh) 一种点云、体素和多视图融合的深度学习方法
US11037359B1 (en) Real-time rendering stylized passthrough images
Huang et al. Measuring the absolute distance of a front vehicle from an in-car camera based on monocular vision and instance segmentation
CN103761766A (zh) 基于色调映射和图像平滑的三维物体模型纹理映射算法
CN111105451B (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
Xu et al. Scalable image-based indoor scene rendering with reflections
CN105657268A (zh) 一种基于多分辨率的多视点视频拼接融合算法
CN111523494A (zh) 一种人体图像检测方法
TWI784349B (zh) 顯著圖產生方法及使用該方法的影像處理系統
CN117501313A (zh) 基于深度神经网络的毛发渲染系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161214

RJ01 Rejection of invention patent application after publication