CN105574818B - 一种景深渲染方法和装置 - Google Patents
一种景深渲染方法和装置 Download PDFInfo
- Publication number
- CN105574818B CN105574818B CN201410555040.2A CN201410555040A CN105574818B CN 105574818 B CN105574818 B CN 105574818B CN 201410555040 A CN201410555040 A CN 201410555040A CN 105574818 B CN105574818 B CN 105574818B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- pixel
- diameter
- target
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000009877 rendering Methods 0.000 title claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 102
- 239000006185 dispersion Substances 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000009792 diffusion process Methods 0.000 claims description 74
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000006116 polymerization reaction Methods 0.000 claims 2
- 210000000695 crystalline len Anatomy 0.000 description 35
- 230000006870 function Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种景深渲染方法，确定目标图像的最大弥散圈直径；根据所述最大弥散圈直径确定目标图像中各个像素点的采样域；对目标图像中的每一个像素点执行以下处理：确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的权重值，根据所述像素点的前景像素和背景像素的权重值和颜色信息确定所述像素点的颜色信息。本发明同时还公开了一种景深渲染装置。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种景深渲染方法和装置。
背景技术
随着计算机图形渲染技术的不断进步，不论在个人计算机平台还是智能移动终端，人们对于应用软件，尤其是游戏领域的应用上的场景渲染的逼真性要求越来越高。景深由于其本身渲染的复杂性较大，效率较低，作为一个目前尚未在图形应用中被普遍实现的效果，是未来一大技术研究热点。
景深是人体视觉系统成像所具有的重要特征。人的眼睛通过调节晶状体的弯曲程度(屈光)来改变晶状体焦距，获取聚焦于特定平面的图像。通过此法生成的图像只聚焦平面区域上有清晰的物象，而其他区域则显得模糊。在动画游戏、虚拟现实以及其他应用当中，景深效果的渲染显得十分重要。它能帮助使用者更好地融入到场景当中并且提高他们对于场景深度的感知。此外，景深效果的渲染能够将人们的注意力集中到指定的物体上，突出聚焦区域。
最早研究景深算法的是Potmesil等人，在此基础上诞生了许多其他方法。2008年Barsky将这些算法划分为物体空间算法和图像空间算法。基于物体空间的算法虽然渲染效果逼真，但无法达到实时渲染。基于图像空间的算法也称后期处理方法，其算法采用针孔相机模型渲染出场景的清晰图像并通过该图像上各个像素点的深度值以及透镜焦距等信息对图像进行模糊处理。这类方法可以仅基于单张图像，也可以在场景不同深度处采集多张图像来处理。而基于单张图像的方法为大部分实时景深渲染方法所采用。在对图像的处理过程中分为扩散和聚合两大类，扩散算法通过模拟每个像素点的颜色信息在其弥散圈内的扩散来完成景深图像的生成过程，而聚合算法则是对每个像素点的周围的像素点进行采样，通过聚合其他像素的颜色信息来完成对其他像素颜色扩散过程的模拟。
现有的基于图像空间的方法普遍存在的问题就是人工痕迹的出现，其中最为典型的就是颜色泄露。颜色泄露是指在最终图像上聚焦平面的颜色信息扩散并影响到了非聚焦平面的区域，所产生的与自然界成像规律不符的现象。
发明内容
为了解决现有存在的技术问题，本发明实施例期望提供一种景深渲染方法和装置。
本发明实施例提供了一种景深渲染方法，所述方法包括：
确定目标图像的最大弥散圈直径；根据目标图像的最大弥散圈直径确定目标图像中各个像素点的采样域；对目标图像中的每一个像素点执行以下处理：确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的权重值，根据所述像素点的前景像素点和背景像素点的权重值和颜色信息确定所述像素点的颜色信息。
上述方案中，通过以下方式确定目标图像的最大弥散圈直径：
确定目标图像中各个像素点的弥散圈直径，将所确定的各个像素点的弥散圈直径的最大值确定为目标图像的最大弥散圈直径。
上述方案中，通过以下方式确定目标图像中像素点p的弥散圈直径：
其中，DCoC(p)为目标像素点p的弥散圈直径值，depth(p)为像素点p和透镜之间的距离；fd为聚焦平面和透镜之间的距离；f为透镜焦点和透镜之间的距离；D为透镜的直径大小。
上述方案中，所述最大弥散圈直径在[8，32]像素范围内取值。
上述方案中，所述根据目标图像的最大弥散圈直径确定各个像素的采样域，包括：
将各个像素点的采样域设置为以各个像素点为圆心，并以目标图像的最大弥散圈直径作为直径的圆形域。
上述方案中，所述像素点的前景像素点为所述像素点的采样域内相对于目标像素点靠近视点的像素点；所述像素点的背景像素为所述像素点的采样域内相对于目标像素点远离视点的像素点。
上述方案中，通过以下方式确定目标像素点p的背景像素点q的权重值Bb(p,q)：
其中，cb为常量；maxDCoC为最大弥散圈直径；DCoC(p)为目标像素点p的弥散圈直径值；δ(p,q)为采样函数，其取值为：
其中，d(p,q)为目标像素点p和目标像素点p的背景像素点q之间的距离，DCoC(q)为所述背景像素点q的弥散圈直径；
通过以下方式确定目标像素点p的前景像素点m的权重值Bf(p,m)：
其中，d(p,m)为像素点p和m之间的距离；σ(m)的取值为像素点m的弥散圈直径的三分之一，即，
cf为常量；δ(p,m)为采样函数，其取值如下式所示：
其中，DCoC(m)为目标像素点p的前景像素点m的弥散圈直径。
上述方案中，通过以下方式确定所述像素点的颜色信息：
其中，Cf(p)代表像素点p的颜色信息；n代表像素点p的采样域Ω(p)内任意一个像素点，所述任意一个像素点包括点p的前景像素点和点p的背景像素点，以及像素点p本身；B(p,n)表示点n相对于点p的权重值；Ci(n)代表点n的颜色信息；
即，将目标像素点采样域内所述目标像素点的所有前景像素点、所有背景像素点及目标像素点的颜色信息乘以各自的权重值，将计算结果累加之后，再与目标像素点的颜色信息相加，之后，将最终计算结果除以所有权重值总和，将得到的结果作为目标像素点的颜色信息；
其中，目标像素点p的权重值B(p,p)的确定方法与目标像素点p的前景像素点的权重值确定方法相同。
本发明实施例提供了一种景深渲染装置，所述装置包括：最大弥散圈直径确定模块、采样域确定模块及颜色信息确定模块；其中，
所述最大弥散圈直径确定模块，用于确定目标图像的最大弥散圈直径；
所述采样域确定模块，用于根据目标图像的最大弥散圈直径确定各个像素点的采样域；
所述颜色信息确定模块，用于对目标图像中的每一个像素点执行以下处理：确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的权重值，根据所述像素点的前景像素点和背景像素点的权重值和颜色信息确定所述像素点的颜色信息。
上述方案中，所述最大弥散圈直径确定模块用于通过以下方式确定目标图像的最大弥散圈直径：
确定目标图像中各个像素点的弥散圈直径，将所确定的各个像素点的弥散圈直径的最大值确定为目标图像的最大弥散圈直径。
上述方案中，所述最大弥散圈直径确定模块通过以下方式确定目标图像中像素点p的弥散圈直径：
其中，DCoC(p)为目标像素点p的弥散圈直径值，depth(p)为像素点p和透镜之间的距离；fd为聚焦平面和透镜之间的距离；f为透镜焦点和透镜之间的距离；D为透镜的直径大小。
上述方案中，所述最大弥散圈直径确定模块用于在[8，32]像素范围内选定所述最大弥散圈直径。
上述方案中，所述采样域确定模块用于根据以下方式确定各个像素点的采样域：
将各个像素点的采样域设置为以各个像素点为圆心，并以目标图像的最大弥散圈直径作为直径的圆形域。
上述方案中，所述像素点的前景像素点为所述像素点的采样域内相对于目标像素点靠近视点的像素点；所述像素点的背景像素为所述像素点的采样域内相对于目标像素点远离视点的像素点。
上述方案中，所述颜色信息确定模块用于通过以下方式确定目标像素点p的背景像素点q的权重值Bb(p,q)：
其中，cb为常量；maxDCoC为最大弥散圈直径；DCoC(p)为目标像素点p的弥散圈直径值；δ(p,q)为采样函数，其取值为：
其中，d(p,q)为目标像素点p和目标像素点p的背景像素点q之间的距离，DCoC(q)为所述背景像素点q的弥散圈直径；
所述颜色信息确定模块还用于通过以下方式确定目标像素点p的前景像素点m的权重值Bf(p,m)：
其中，d(p,m)为像素点p和m之间的距离；σ(m)的取值为像素点m的弥散圈直径的三分之一，即，
cf为常量；δ(p,m)为采样函数，其取值下式所示：
其中，DCoC(m)为目标像素点p的前景像素点m的弥散圈直径。
上述方案中，所述颜色信息确定模块用于通过以下方式确定所述像素点的颜色信息Cf(p)：
其中，Cf(p)代表像素点p的颜色信息；n代表像素点p的采样域Ω(p)内任意一个像素点，所述任意一个像素点包括点p的前景像素点和点p的背景像素点，以及像素点p本身；B(p,n)表示点n相对于点p的权重值；Ci(n)代表点n的颜色信息；
即，将目标像素点采样域内所述目标像素点的所有前景像素点、所有背景像素点及目标像素点的颜色信息乘以各自的权重值，将计算结果累加之后，再与目标像素点的颜色信息相加，之后，将最终计算结果除以所有权重值总和，将得到的结果作为目标像素点的颜色信息；
其中，像素点p的权重值B(p,p)的确定方式与目标像素点p的前景像素点的权重值确定方式相同。
本发明实施例所提供的一种景深渲染方法和装置，确定目标图像的最大弥散圈直径；根据所述最大弥散圈直径确定目标图像中各个像素点的采样域；对目标图像中的每一个像素点执行以下处理：根据所述像素点的采样域内所述像素点的前景像素点和背景像素点的颜色信息确定所述像素点的颜色信息。如此，一方面，根据目标图像的最大弥散圈确定目标像素点的采样域，并根据该采样域内的其它像素点确的颜色信息确定目标像素点的颜色信息，能够将所有影响该目标像素点颜色信息的其它像素点包含在采样域内；另一方面，将目标像素点采样域内的其它像素点划分为该目标像素点的前景像素点和背景像素点，确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的权重值，再根据所述前景像素点和背景像素点的权重值和颜色信息确定目标像素点的颜色信息，能够有效抑制景深渲染过程中由于颜色泄露而产生的人工痕迹问题。
附图说明
图1为本发明实施例提供的景深渲染方法基本流程图；
图2为本发明实施例提供的透镜成像原理示意图；
图3为本发明实施例提供的景深渲染装置的基本结构图。
具体实施方式
本发明实施例中，确定目标图像的最大弥散圈直径；根据所述最大弥散圈直径确定目标图像中各个像素点的采样域；对目标图像中的每一个像素点执行以下处理：确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的权重值，根据所述像素点的前景像素点和背景像素点的权重值和颜色信息确定所述像素点的颜色信息。
下面通过附图及具体实施例对本发明做进一步的详细说明。
本发明实施例提供了一种景深渲染方法，如图1所示，该方法包括以下步骤：
步骤101：确定目标图像的最大弥散圈直径；根据所述最大弥散圈直径确定目标图像中各个像素点的采样域；
具体的，可以根据以下两种方案确定目标图像的最大弥散圈直径；
第一种方案：首先确定目标图像中各个像素点的弥散圈直径，将所确定的各个像素点的弥散圈直径的最大值设置为目标图像的最大弥散圈直径；
第二种方案：将最大弥散圈直径设置在[8，32]像素范围内，即，根据需要在[8，32]内选取合适的值作为目标图像的最大弥散圈直径；优选的，可以将最大弥散圈直径设置为16。
上述第一种方案中，需要根据目标图像的透镜参数确定目标图像中各个像素点的弥散圈直径；具体的，所述目标图像的透镜参数包括：物距depth(p)、聚焦平面和透镜之间的距离fd、焦距f及透镜直径D；
各个像素点的弥散圈直径的确定方法相同，下面以点p作为目标像素点，对像素点的弥散圈直径确定方法进行介绍；
如图2所示，目标像素点p为所要渲染的场景中的样例像素点，场景中的每个像素点反射的光线均会如p点的反射的光线所示，经过透镜的折射后投射在成像平面；
其中，物距depth(p)为像素点p和透镜之间的距离，在渲染过程中体现为点p的深度值；
聚焦平面为最终成像中清晰的场景部分所在的平面，聚焦平面上的一个点所反射的光线经过透镜的折射后会在成像平面上聚焦在同一点上，从而保证和原始场景一致的颜色信息，即呈现出清晰的结果；成像平面是接收经过透镜折射后的所有光线，生成最终图像的平面。
fd为聚焦平面和透镜之间的距离，在渲染过程中体现为聚焦平面的深度值；
透镜的焦距f为透镜焦点和透镜之间的距离，是透镜的重要参数之一，影响到非聚焦区域的模糊程度；
像距I为成像平面和透镜之间的距离；
透镜直径D为透镜的直径大小，是透镜的重要参数之一，影响到非聚焦区域的模糊程度。
图2中，点p位于非聚焦平面，其反射的光线最终在聚焦平面上扩散出一个圆形区域，弥散圈即指该圆形区域，DCoC为该圆形区域的直径值，即为点p的弥散圈直径；
具体的，点p的弥散圈直径DCoC(p)可以通过下式计算：
通过上述方法确定各个像素点的弥散圈直径之后，取所有弥散圈直径的最大值作为目标图像的最大弥散圈直径。
由于每一个像素点的最终颜色信息由其采样域内的其他像素点共同确定，因此，在这一步骤中，在根据上述第一或第二种方案确定目标图像的最大弥散圈直径之后，还需要根据所确定的最大弥散圈直径确定各个像素点的采样域。
每个像素点颜色信息计算过程中所用到的所有像素点构成一个采样域，在本发明实施例中，某一个目标像素的采样域被设置为以该目标像素为圆心的一个圆形域，并将该像素点采样域的直径值设置为上述确定的目标图像的最大弥散圈直径，这样，可以保证所有可能影响到目标像素点颜色信息的其他像素点都在目标像素点的采样域内；
因此，所述根据目标图像的最大弥散圈直径确定各个像素点的采样域，包括：
将各个像素点的采样域设置为以各个像素点为圆心，并以目标图像的最大弥散圈直径作为直径的圆形域。
步骤102：对目标图像中的每一个像素点执行以下处理：确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的权重值，根据所述像素点的前景像素点和背景像素点的权重值和颜色信息确定所述像素点的颜色信息；
步骤101中确定了各个像素点的采样域之后，对于目标图像中的每一个像素点执行相同的处理；
对于采样域内的像素点，根据它们与目标像素点的相对位置可以被划分为目标像素点的背景像素点和目标像素点的前景像素点；其中，目标像素点的背景像素点为相对于目标像素点远离视点的像素点，前景像素点为相对于目标像素点靠近视点的像素点；
在根据所述像素点的采样域内所述像素点的前景像素点和背景像素点的颜色信息确定所述像素点的颜色信息之前，首先需要确定目标像素点的各个前景像素点的权重值及目标像素点的各个背景像素点的权重值；所述目标像素点的各个前景像素点或目标像素点的背景像素点的权重值表示所述前景或背景像素点用于确定目标像素点颜色信息时的权重；
目标像素点的前景像素点的权重值计算方法和目标像素点的背景像素点的权重值计算方法有很大不同，这主要是由视觉系统成像过程中聚焦平面上的物体的全遮挡性和非聚焦平面上的物体的部分遮挡性决定的。
下面以背景像素点q和目标像素点p为例，对该背景像素点q相对于目标像素点p的权重值的计算方法进行介绍，具体的，背景像素点q相对于目标像素点p的权重值Bb(p,q)通过下式确定：
其中cb为依据采样域大小所确定的常量，可以根据所要获得的图像模糊程度进行调整；maxDCoC为最大弥散圈直径；DCoC(p)为目标像素点p的弥散圈直径值；δ(p,q)为采样函数，采样函数δ(p,q)决定了背景像素p对目标像素q的颜色信息的影响程度，其取值为：
其中，d(p,q)为目标像素点p和目标像素点p的背景像素点q之间的距离，当背景像素点处在聚焦平面上时，其弥散圈直径值DCoC(q)为0，采样函数值为0，从而防止了聚焦平面上的像素向前景像素的颜色泄露。
从(2)式可以看出，背景像素点的权重值受目标像素点的弥散圈直径影响，并与目标像素点的弥散圈直径呈正比；因此，当目标像素点位于聚焦平面时，由于目标像素点的弥散圈直径为零，目标像素点的背景像素点的权重值随之为零，因此，聚焦平面不受背景像素点影响，从而保留了原始的清晰场景。同时，背景像素点的权重值受背景像素点和目标像素点之间的距离远近的影响，该影响的大小由采样函数δ(p,q)决定，当目标像素点和该目标像素点的背景像素点之间的距离小于背景像素点的弥散圈直径值时，δ(p,q)值为1；否则，δ(p,q)值为0；这保证了当背景像素点位于聚焦平面时，由于其自身弥散圈直径为0的关系，对任何目标像素点而言，该背景像素权重必为0，能够有效防止聚焦平面向非聚焦平面的颜色泄露。
由于前景像素点具备扩散到任何处于该前景像素点的弥散圈内的目标像素的能力，即它能影响到位于聚焦平面上的像素点的颜色信息，因此前景像素点的权重计算函数和背景像素点有着本质区别。目标像素点p的前景像素点m相对于目标像素点p的权重值Bf(p,m)通过式(4)确定：
(4)式通过一个高斯函数来作为前景像素点m权重值Bf(p,m)的主要计算依据，该高斯函数使得前景像素点m相对于其弥散圈内的其他像素点的权重值由弥散圈中心往弥散圈边缘呈递减的趋势，递减的速率受前景像素点的弥散圈直径值的影响，前景像素点的弥散圈直径值越大，递减速率越慢；其中，d(p,m)为像素点p和m之间的距离；σ(m)的取值为像素点m的弥散圈直径的三分之一，即，
当前景像素点位于聚焦平面时，其弥散圈直径为0，因此δ(m)值也为0，权重值的递减速率趋于无穷大，等价于它对其他像素的权重值均递减到0，所以位于聚焦平面的前景像素不具备影响其他像素的能力，保证了聚焦平面维持原始的清晰效果。对于远离聚焦平面的前景像素而言，其权重值分布递减缓慢，因此只要目标像素位于其弥散圈内，即使目标像素位于聚焦平面，也会受到该前景像素的影响，从而保证了前景像素的颜色信息能够扩散到聚焦平面上；
(4)式中，cf为依据采样域大小所确定的常量，可以根据所要获得的图像模糊程度进行调整；δ(p,m)为采样函数，其取值如式(5)所示：
采样函数δ(p,m)的取值同样对前景像素的权重值产生影响，当目标像素点和前景像素点的距离小于前景像素的弥散圈直径值时，δ(p,m)值为1，否则δ(p,m)值为0。这保证了前景像素只会影响到位于其弥散圈内的其他像素。
该步骤中，根据所述像素点的采样域内所述像素点的前景像素点和背景像素点的颜色信息确定所述像素点的颜色信息，具体包括：
将目标像素点采样域内所述目标像素点的所有前景像素点和所有背景像素点的颜色信息乘以各自的权重值，将计算结果累加之后，再与目标像素点的颜色信息相加，之后，将最终计算结果除以所有权重值总和，将得到的结果作为目标像素点的颜色信息；其中，颜色信息是指像素点的RGB值；
下面仍然以目标像素点p为例，对目标像素点p的颜色信息的确定方法进行详细介绍；
具体的，目标像素点p的颜色信息Cf(p)通过下式确定：
其中，n代表点p的采样域Ω(p)内任意一个像素点(包括点p的前景像素点、点p的背景像素点及点p本身)；B(p,n)表示点n相对于点p的权重值；Ci(n)代表点n的颜色信息；其中，目标像素点p的权重值的确定方式与目标像素点p的前景像素点的权重值确定方式相同，即，目标像素点p的权重值B(p,p)通过以下方式确定：
其中，d(p,p)为像素点p和p之间的距离，取值为0；σ(p)的取值为像素点p的弥散圈直径的三分之一，即，
cf为常量；δ(p,p)为采样函数，其取值如下式所示：
其中，DCoC(p)为目标像素点p的弥散圈直径。
当确定目标图像中的每一个像素点的颜色信息之后，依据所述确定的颜色信息对各个像素点的颜色进行设置，这样，就生成了景深渲染后的图像；
本发明实施例提供的方案，通过将目标像素点采样域内的像素点区分为前景像素点和背景像素点，能够还原自然界景深渲染图像生成过程中背景区域被遮挡、前景区域能扩散的特性。利用不同像素点的弥散圈直径值作为该像素点权重计算过程中的一个重要依据，根据聚焦平面弥散圈直径为0的特性截断了背景像素点往聚焦平面的扩散，也防止了聚焦平面上的像素点被其他像素点所聚合；同时，模糊后的前景和背景的交界处过分锐利的人工痕迹也得到了解决，这主要利用了高斯函数作为权重值计算函数带来的平滑衰减而产生柔化边缘的效果。
本发明实施例提供了一种景深渲染装置，如图3所示，所述装置包括：最大弥散圈直径确定模块31、采样域确定模块32及颜色信息确定模块33；其中，
所述最大弥散圈直径确定模块31，用于确定目标图像的最大弥散圈直径；
所述采样域确定模块32，用于根据目标图像的最大弥散圈直径确定各个像素点的采样域；
所述颜色信息确定模块33，用于对目标图像中的每一个像素点执行以下处理：确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的的权重值，根据所述像素点的前景像素点和背景像素点的权重值和颜色信息确定所述像素点的颜色信息。
具体的，所述最大弥散圈直径确定模块31用于通过以下方式确定目标图像的最大弥散圈直径：
确定目标图像中各个像素点的弥散圈直径，将所确定的各个像素点的弥散圈直径的最大值确定为目标图像的最大弥散圈直径。
其中，所述最大弥散圈直径确定模块31还通过以下方式确定目标图像中像素点p的弥散圈直径：
其中，DCoC(p)为像素点p的弥散圈直径；depth(p)为像素点p和透镜之间的距离；fd为聚焦平面和透镜之间的距离；f为透镜焦点和透镜之间的距离；D为透镜的直径大小。
具体的，所述最大弥散圈直径确定模块31还用于在[8，32]像素范围内选定所述最大弥散圈直径；其中，可以根据实际需要将最大弥散圈直径设置为[8，32]像素范围内的任意值；优选的，可以将最大弥散圈直径设置为16。
具体的，所述采样域确定模块32用于根据以下方式确定各个像素点的采样域：
将各个像素点的采样域设置为以各个像素点为圆心，并以目标图像的最大弥散圈直径作为直径的圆形域。
具体的，所述像素点的前景像素点为所述像素点的采样域内相对于目标像素点靠近视点的像素点；所述像素点的背景像素为所述像素点的采样域内相对于目标像素点远离视点的像素点。
进一步的，所述颜色信息确定模块33具体用于通过以下方式确定目标像素点p的背景像素点q的权重值Bb(p,q)：
其中，cb为常量；maxDCoC为最大弥散圈直径；DCoC(p)为目标像素点p的弥散圈直径值；δ(p,q)为采样函数，其取值为：
其中，d(p,q)为目标像素点p和目标像素点p的背景像素点q之间的距离，DCoC(q)为所述背景像素点q的弥散圈直径；
所述颜色信息确定模块33还用于通过以下方式确定目标像素点p的前景像素点m的权重值Bf(p,m)：
其中，d(p,m)为像素点p和m之间的距离；σ(m)的取值为像素点m的弥散圈直径的三分之一，即，
cf为常量；δ(p,m)为采样函数，其取值下式所示：
其中，DCoC(m)为目标像素点p的前景像素点m的弥散圈直径。
具体的，所述颜色信息确定模块33用于通过以下方式确定所述像素点的颜色信息：
其中，Cf(p)代表像素点p的颜色信息；n代表像素点p的采样域Ω(p)内任意一个像素点(包括点p的前景像素点、点p的背景像素点及点p本身)；B(p,n)表示点n相对于点p的权重值；Ci(n)代表点n的颜色信息；其中，目标像素点p的权重值的确定方式与目标像素点p的前景像素点的权重值确定方式相同，即，目标像素点p的权重值B(p,p)通过以下方式确定：
其中，d(p,p)为像素点p和p之间的距离，取值为0；σ(p)的取值为像素点p的弥散圈直径的三分之一，即，
cf为常量；δ(p,p)为采样函数，其取值如下式所示：
其中，DCoC(p)为目标像素点p的弥散圈直径。
即，将目标像素点采样域内所述目标像素点的所有前景像素点、所有背景像素点及目标像素点的颜色信息乘以各自的权重值，将计算结果累加之后，再与目标像素点的颜色信息相加，之后，将最终计算结果除以所有权重值总和，将得到的结果作为目标像素点的颜色信息。
在具体实施过程中，上述最大弥散圈直径确定模块31、采样域确定模块32、颜色信息确定模块33可以由图像处理装置内的中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro Processing Unit)、数字信号处理器(DSP，Digital SignalProcessor)或可编程逻辑阵列(FPGA，Field－Programmable Gate Array)来实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (16)
1.一种基于单张图像的聚合法进行景深渲染的方法,其特征在于，所述方法包括：
确定目标图像的最大弥散圈直径；根据目标图像的最大弥散圈直径确定目标图像中各个像素点的采样域；对目标图像中的每一个像素点执行以下处理：利用高斯函数作为权重计算函数确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的权重值，根据所述像素点的前景像素点和背景像素点的权重值和颜色信息确定所述像素点的颜色信息。
2.根据权利要求1所述的方法，其特征在于，通过以下方式确定目标图像的最大弥散圈直径：
确定目标图像中各个像素点的弥散圈直径，将所确定的各个像素点的弥散圈直径的最大值确定为目标图像的最大弥散圈直径。
3.根据权利要求2所述的方法，其特征在于，通过以下方式确定目标图像中像素点p的弥散圈直径：
其中，DCoC(p)为目标像素点p的弥散圈直径值，depth(p)为像素点p和透镜之间的距离；fd为聚焦平面和透镜之间的距离；f为透镜焦点和透镜之间的距离；D为透镜的直径大小。
4.根据权利要求1所述的方法，其特征在于，所述最大弥散圈直径在[8，32]像素范围内取值。
5.根据权利要求1至4其中任一项所述的方法，其特征在于，所述根据目标图像的最大弥散圈直径确定各个像素的采样域，包括：
将各个像素点的采样域设置为以各个像素点为圆心，并以目标图像的最大弥散圈直径作为直径的圆形域。
6.根据权利要求5所述的方法，其特征在于，所述像素点的前景像素点为所述像素点的采样域内相对于目标像素点靠近视点的像素点；所述像素点的背景像素为所述像素点的采样域内相对于目标像素点远离视点的像素点。
7.根据权利要求1所述的方法，其特征在于，通过以下方式确定目标像素点p的背景像素点q的权重值Bb(p,q)：
其中，cb为常量；maxDCoC为最大弥散圈直径；DCoC(p)为目标像素点p的弥散圈直径值；δ(p,q)为采样函数，其取值为：
其中，d(p,q)为目标像素点p和目标像素点p的背景像素点q之间的距离，DCoC(q)为所述背景像素点q的弥散圈直径；
通过以下方式确定目标像素点p的前景像素点m的权重值Bf(p,m)：
其中，d(p,m)为像素点p和m之间的距离；σ(m)的取值为像素点m的弥散圈直径的三分之一，即，
cf为常量；δ(p,m)为采样函数，其取值如下式所示：
其中，DCoC(m)为目标像素点p的前景像素点m的弥散圈直径。
8.根据权利要求7所述的方法，其特征在于，通过以下方式确定所述像素点的颜色信息：
其中，Cf(p)代表像素点p的颜色信息；n代表像素点p的采样域Ω(p)内任意一个像素点，所述任意一个像素点包括点p的前景像素点和点p的背景像素点，以及像素点p本身；B(p,n)表示点n相对于点p的权重值；Ci(n)代表点n的颜色信息；
即，将目标像素点采样域内所述目标像素点的所有前景像素点、所有背景像素点及目标像素点的颜色信息乘以各自的权重值，将计算结果累加之后，再与目标像素点的颜色信息相加，之后，将最终计算结果除以所有权重值总和，将得到的结果作为目标像素点的颜色信息；
其中，目标像素点p的权重值B(p,p)的确定方法与目标像素点p的前景像素点的权重值确定方法相同。
9.一种基于单张图像的聚合法进行景深渲染景深渲染装置，其特征在于，所述装置包括：最大弥散圈直径确定模块、采样域确定模块及颜色信息确定模块；其中，
所述最大弥散圈直径确定模块，用于确定目标图像的最大弥散圈直径；
所述采样域确定模块，用于根据目标图像的最大弥散圈直径确定各个像素点的采样域；
所述颜色信息确定模块，用于对目标图像中的每一个像素点执行以下处理：利用高斯函数作为权重计算函数确定所述像素点的采样域内所述像素点的前景像素点和背景像素点的权重值，根据所述像素点的前景像素点和背景像素点的权重值和颜色信息确定所述像素点的颜色信息。
10.根据权利要求9所述的装置，其特征在于，所述最大弥散圈直径确定模块用于通过以下方式确定目标图像的最大弥散圈直径：
确定目标图像中各个像素点的弥散圈直径，将所确定的各个像素点的弥散圈直径的最大值确定为目标图像的最大弥散圈直径。
11.根据权利要求10所述的装置，其特征在于，所述最大弥散圈直径确定模块通过以下方式确定目标图像中像素点p的弥散圈直径：
其中，DCoC(p)为目标像素点p的弥散圈直径值，depth(p)为像素点p和透镜之间的距离；fd为聚焦平面和透镜之间的距离；f为透镜焦点和透镜之间的距离；D为透镜的直径大小。
12.根据权利要求9所述的装置，其特征在于，所述最大弥散圈直径确定模块用于在[8，32]像素范围内选定所述最大弥散圈直径。
13.根据权利要求9至12其中任一项所述的装置，其特征在于，所述采样域确定模块用于根据以下方式确定各个像素点的采样域：
将各个像素点的采样域设置为以各个像素点为圆心，并以目标图像的最大弥散圈直径作为直径的圆形域。
14.根据权利要求13所述的装置，其特征在于，所述像素点的前景像素点为所述像素点的采样域内相对于目标像素点靠近视点的像素点；所述像素点的背景像素为所述像素点的采样域内相对于目标像素点远离视点的像素点。
15.根据权利要求9所述的装置，其特征在于，所述颜色信息确定模块用于通过以下方式确定目标像素点p的背景像素点q的权重值Bb(p,q)：
其中，cb为常量；maxDCoC为最大弥散圈直径；DCoC(p)为目标像素点p的弥散圈直径值；δ(p,q)为采样函数，其取值为：
其中，d(p,q)为目标像素点p和目标像素点p的背景像素点q之间的距离，DCoC(q)为所述背景像素点q的弥散圈直径；
所述颜色信息确定模块还用于通过以下方式确定目标像素点p的前景像素点m的权重值Bf(p,m)：
其中，d(p,m)为像素点p和m之间的距离；σ(m)的取值为像素点m的弥散圈直径的三分之一，即，
cf为常量；δ(p,m)为采样函数，其取值下式所示：
其中，DCoC(m)为目标像素点p的前景像素点m的弥散圈直径。
16.根据权利要求15所述的装置，其特征在于，所述颜色信息确定模块用于通过以下方式确定所述像素点的颜色信息Cf(p)：
其中，Cf(p)代表像素点p的颜色信息；n代表像素点p的采样域Ω(p)内任意一个像素点，所述任意一个像素点包括点p的前景像素点和点p的背景像素点，以及像素点p本身；B(p,n)表示点n相对于点p的权重值；Ci(n)代表点n的颜色信息；
即，将目标像素点采样域内所述目标像素点的所有前景像素点、所有背景像素点及目标像素点的颜色信息乘以各自的权重值，将计算结果累加之后，再与目标像素点的颜色信息相加，之后，将最终计算结果除以所有权重值总和，将得到的结果作为目标像素点的颜色信息；
其中，像素点p的权重值B(p,p)的确定方式与目标像素点p的前景像素点的权重值确定方式相同。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410555040.2A CN105574818B (zh) | 2014-10-17 | 2014-10-17 | 一种景深渲染方法和装置 |
| PCT/CN2015/070919 WO2016058288A1 (zh) | 2014-10-17 | 2015-01-16 | 一种景深渲染方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410555040.2A CN105574818B (zh) | 2014-10-17 | 2014-10-17 | 一种景深渲染方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105574818A CN105574818A (zh) | 2016-05-11 |
| CN105574818B true CN105574818B (zh) | 2020-07-17 |
Family
ID=55746030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410555040.2A Active CN105574818B (zh) | 2014-10-17 | 2014-10-17 | 一种景深渲染方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105574818B (zh) |
| WO (1) | WO2016058288A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107370958B (zh) * | 2017-08-29 | 2019-03-29 | Oppo广东移动通信有限公司 | 图像虚化处理方法、装置及拍摄终端 |
| CN111242843B (zh) * | 2020-01-17 | 2023-07-18 | 深圳市商汤科技有限公司 | 图像虚化方法、图像虚化装置、设备及存储装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002069273A1 (en) * | 2001-02-26 | 2002-09-06 | Adobe Systems Incorporated | Composite rendering 3-d graphical objects |
| CN102750726A (zh) * | 2011-11-21 | 2012-10-24 | 新奥特（北京）视频技术有限公司 | 一种基于OpenGL实现景深效果的方法 |
| CN102968814A (zh) * | 2012-11-22 | 2013-03-13 | 华为技术有限公司 | 一种图像渲染的方法及设备 |
| CN104038690A (zh) * | 2013-03-05 | 2014-09-10 | 佳能株式会社 | 图像处理装置、图像拍摄装置及图像处理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6975329B2 (en) * | 2002-12-09 | 2005-12-13 | Nvidia Corporation | Depth-of-field effects using texture lookup |
| US7787688B1 (en) * | 2006-01-25 | 2010-08-31 | Pixar | Interactive depth of field using simulated heat diffusion |
| KR100956453B1 (ko) * | 2009-02-19 | 2010-05-06 | 인하대학교 산학협력단 | 입체영상 가시화를 위한 자동 피사계심도 조절 방법 |
-
2014
- 2014-10-17 CN CN201410555040.2A patent/CN105574818B/zh active Active
-
2015
- 2015-01-16 WO PCT/CN2015/070919 patent/WO2016058288A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002069273A1 (en) * | 2001-02-26 | 2002-09-06 | Adobe Systems Incorporated | Composite rendering 3-d graphical objects |
| CN102750726A (zh) * | 2011-11-21 | 2012-10-24 | 新奥特（北京）视频技术有限公司 | 一种基于OpenGL实现景深效果的方法 |
| CN102968814A (zh) * | 2012-11-22 | 2013-03-13 | 华为技术有限公司 | 一种图像渲染的方法及设备 |
| CN104038690A (zh) * | 2013-03-05 | 2014-09-10 | 佳能株式会社 | 图像处理装置、图像拍摄装置及图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105574818A (zh) | 2016-05-11 |
| WO2016058288A1 (zh) | 2016-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106971165B (zh) | 一种滤镜的实现方法及装置 | |
| US10410327B2 (en) | Shallow depth of field rendering | |
| US11132544B2 (en) | Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium | |
| CN108848367B (zh) | 一种图像处理的方法、装置及移动终端 | |
| CN110349080B (zh) | 一种图像处理方法及装置 | |
| US9881202B2 (en) | Providing visual effects for images | |
| CN102968814B (zh) | 一种图像渲染的方法及设备 | |
| TW202016876A (zh) | 一種圖像處理方法及裝置、電子設備、儲存介質 | |
| CN110022430A (zh) | 图像虚化方法、装置、移动终端及计算机可读存储介质 | |
| CN104038699A (zh) | 对焦状态的提示方法和拍摄装置 | |
| CN106651870A (zh) | 多视角三维重建中图像失焦模糊区域的分割方法 | |
| EP3683769B1 (en) | Image generation with simulated depth-of-field effect | |
| CN111667420A (zh) | 图像处理方法及装置 | |
| CN103093416B (zh) | 一种基于图形处理器分区模糊的实时景深模拟方法 | |
| CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
| CN105574818B (zh) | 一种景深渲染方法和装置 | |
| Liu et al. | Stereo-based bokeh effects for photography | |
| Peng et al. | Interactive portrait bokeh rendering system | |
| EP4283566A2 (en) | Single image 3d photography with soft-layering and depth-aware inpainting | |
| US20160148415A1 (en) | Depth of field synthesis using ray tracing approximation | |
| CN111369612A (zh) | 一种三维点云图像生成方法及设备 | |
| Lindeberg | Concealing rendering simplifications using gazecontingent depth of field | |
| CN114245907A (zh) | 自动曝光的光线追踪 | |
| Friedrich et al. | Faking it: Simulating background blur in portrait photography using a coarse depth map estimation from a single image | |
| Xu et al. | Depth of field rendering via adaptive recursive filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |