CN1577401A

CN1577401A - 产生模糊的方法

Info

Publication number: CN1577401A
Application number: CNA2004100550120A
Authority: CN
Inventors: 洛朗·布隆德; 蒂埃里·维耶拉尔; 达维德·萨于克
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2003-07-03
Filing date: 2004-07-02
Publication date: 2005-02-09
Anticipated expiration: 2024-07-02
Also published as: JP4541786B2; EP1494174A1; EP1494174B1; FR2857133A1; JP2005025766A; KR20050004124A; US20050220358A1; CN1577401B

Abstract

本方法的特征在于包括下列步骤：将2D图像划分为2D区域(2)，作为分配给象素的深度的函数，按照最小和最大深度定义区域；通过将边界一侧的象素与另一区域进行卷积，计算2D区域的模糊，卷积核(24，25)的大小取决于已处理的2D区域的象素的深度。其应用包括创建视频游戏、影片产品的特殊效果。

Description

产生模糊的方法

技术领域

本发明涉及一种在合成图像中产生距离模糊效应的方法。例如，其应用包括创建视频游戏、影片产品的特殊效果。

背景技术

在每天的生活中，由于在眼睛所作出的对距离的适应性调节的修正期间，我们连续进行观察，距离模糊是现实中的重要因素：前景或背景变得模糊。在视频游戏的合成图像的产生中，通常忽略距离模糊效应或景深效应。这是因为在传统上用于实现这些效应的解决方案中，计算负担大的原故。

与希望产生的距离模糊的特性稍微不同的观点，过去一般采用的产生距离模糊的处理是生成多个合成图形。为了获得该效果，这些多个图形被在它们自己之间进行平均。此处理模拟由非零瞳孔所产生的光程多样性。平均图像的数量可以变化，例如从10到100，这相对地增加了计算时间。

也存在近似的利用雾效应的处理，但它的再现质量相对较差，特别是不能正确处理由前景遮蔽的现象。因为有可能采用减少场景几何复杂性的技术，例如通过模糊/烟雾效果隐匿缺陷，所以该技术被当作“特技”用于大量的视频游戏中。

另一已知为“mip-映射(mip-mapping)”的技术，存在于对根据场景距离或根据将被模拟的模糊所采用的相同图像利用不同质量的纹理。对于最大距离采用低分辨率的图像。它们也被再抽样、再放大，因此创造了具有模糊外观的插值(interpolation)，以在较近的目标上描绘模糊。该解决方案实现了对模糊现象的近似再现，同时保持了多边形处理型的技术。

这些不同解决方法或者实现复杂，或者由于减少了场景的真实性而性能平平。当重叠目标时，例如前景或背景目标，没有真实地实现对目标边界上的模糊的产生。它们执行的计算时间长，这降低了系统的性能。

发明内容

本发明的目的是减轻上述缺点。其主题是一种在表现3D场景的2D图像中产生模糊的方法，基于将深度分配给图像的象素的相关距离图像，其特征在于包括下列步骤：

-将2D图像划分为2D区域，作为分配给象素的深度的函数，按照最小和最大深度定义区域，

-通过将边界一侧的象素与另一区域进行卷积，计算2D区域的模糊，卷积核的大小取决于已处理的2D区域的象素的深度。

根据特殊实施例，从最远至最近连续地处理2D区域，在该区域与先前处理过的区域的边界上执行2D当前区域的模糊的计算，从而提供中间图像，在处理下一个区域的期间，该中间图像被用于卷积。

根据特殊实施例，对属于当前区域的、位于区域边界上的象素的卷积考虑了属于当前区域的象素和属于先前区域的象素，对属于先前区域的、位于区域边界上的象素的卷积只考虑属于当前区域的象素。

在后一种情况中，为了计算模糊，可以通过将象素的初始值与卷积结果相加，得到先前区域内的象素值，与先前区域内的核心表面面积成比例地对应，与核心的总表面面积有关。

本发明也涉及一种产生模糊的设备，其特征在于它包括：图形处理器，用于产生合成图像和有关深度映射；距离模糊处理器，包括用于定义与深度区域相对应的图像的2D区域的计算装置，通过将边界一侧的象素与另一区域进行卷积，得到对已处理的2D区域的模糊的计算，卷积核的大小取决于已处理的2D区域的象素的深度。

本发明提出了一种计算距离模糊的方法，该方法作用于图像数据，即在2D数据而不是3D场景数据上，处于图像合成操作的下游，而且可以和以后的步骤“流水化”。因此可以同时执行该计算与合成操作。

本方法致使距离模糊效应容易取得高的品质并具有比现有解决方案更低廉的计算费用。

附图说明

参照附图，在作为非限定示例给出的描述中，本发明其它特征和优点将变得显而易见。该附图表示：

图1，根据本发明的方法的流程图，

图2，产生距离模糊的原理，

图3，光学参数的定义，

图4，深度区域的示例，

图5，构建掩模(mask)的示例，

图6，根据本发明的设备。

具体实施方式

本发明用作将来自图像合成、强度图像、以及相关距离图像，提供强度图像的每个象素的距离和深度的Z-图像或Z-缓冲器合成为结果图像的基础。利用用于将给定区域与先前处理的区域相匹配的、与深度区域有关的掩模(mask)，使解决目标的掩蔽问题成为可能。

图1表现距离模糊处理算法。步骤1发送代表将被处理的场景的源图像。步骤2将场景划分为n个索引为i的深度区域。第三步骤3将值i初始化为1，值1对应于最远的区域。以参考符号4表示的第四步骤针对区域i，产生用于确定受到模糊影响的图像区域的选择掩模。以参考符号5表示的第五步骤在先前处理过的图像的基础上产生区域i的模糊，即对应于先前区域i＝1，已经产生了模糊。在步骤6，存储这个带有模糊的新图像，它将被用于下个循环的步骤5。在步骤7，i的值与n比较。如果i小于n，在步骤8递增i，然后，以i的新数值，执行步骤4至6。如果相等，终止该处理并且最终图像是在先前的步骤6中所存储的图像。

图2用符号表现这多个步骤。图形中参考符号为9的源图像是已处理的图像。执行对源图像内表现的场景的划分，从而提供也称为平面的深度区域，参考符号为10、11和12。为每个区域，生成选择掩模13、14、15。首先在背景区域10上执行该处理以提供掩模13。对于与最远的深度区域相对应的部分，以掩模13为基础，通过卷积，处理图像，以提供模糊图像16。对于与第二深度区域相对应的部分，以掩模14为基础，通过卷积，处理图像，以提供模糊图像，接着与模糊图像16组合，以提供更完全的模糊图像17。对于与最近的深度区域相对应的部分，以掩模15为基础，通过卷积，处理图像，以提供模糊图像，然后，与模糊图像17组合，以提供最终图像18。

作为为了限制伪像(artefact)而必不可少的操作，解决掩蔽效应是非常昂贵的：需要验证每块光斑的每个点的掩蔽。为了制约此缺点，对在深度方面彼此接近的点而言，掩蔽效果被认为是零。另一方面，由于存在沿Z连续性的中断，需要在距离发生巨大变化的图像区域中正视目标的轮廓情况。将图像划分为深度区域，从而将点根据距离近似标准集合在一起成为可能。这些区域对应与目标有关的特定距离范围，于是，属于区域的场景目标具有相似的模糊。因此，对于一个区域将可以采用同一个卷积掩模。

因此，深度区域是集合在一起的点的集合，对观察者而言，这些点具有类似的距离，而不需考虑场景中对当前目标的限制。因此，在2D域中，2D区域由这组象素确定，与这组象素相关的深度位于定义了该深度区域的范围之内。2D区域的边缘，也称为2D区域轮廓，被定义为此象素集合与属于不同深度区域的象素集合的边界，对应于处理掩蔽效果的敏感区，同时可以不用特别考虑地处理2D区域的内部。正如稍后所解释的那样，选择掩模为给定区域划出界限：什么应该认为是区域的内部以及什么应该为区域的边缘。

可以以图像象素的模糊光斑的大小为基础，将场景划分为深度区域。因此，对于给定的光学配置和观察距离，执行对这些光斑直径的初步计算。

图3给出了允许计算模糊光斑的直径的光学系统的不同参数的定义：

-f是光学系统的焦距

-A是源点，与光学系统距离D

-A’是通过光学系统A的图像，与光学系统距离D’

-D_像平面是从像平面(CCD，胶片等)至光系统的距离

-D_光圈是光圈的直径

-d_光斑是由位于像平面的A生成的光斑直径

-I是源点A的强度

观察平面与通过A’的像平面不重合，导致了非零直径的光斑。以下列公式为基础得到该直径：

因此，光斑直径与目标平面距离D有关，其他参数是取决于光学系统的固定值。通过将图像的每个象素与深度值相关联的深度映射或Z-缓冲器得到值D。因此，可以为图像的每个象素计算有关模糊或光斑直径的信息项。

作为光斑直径的函数，执行对区域的确定。两个阈值根据象素定义深度区域内光斑直径的最大变动。作为补充，最小数目阈值，根据象素的数量，避免产生空区域或只包含几个点的区域。

考虑到在目标轮廓的水平上Z方向上的非连续性，通过该技术恢复2D区域的边缘。然而，对于观察者，在给定范围内，2D区域的轮廓即等距点集合的轮廓，也经过除目标的轮廓之外的其他地方。

图4表现图像中三个区域的生成，通过平面划分三维空间的范围，这些平面距离目标有固定的距离并表示了范围的上限和下限。从区域分开的、参考符号为19、20的两个平面以粗线表示，并对应光斑直径变动的阈值。应当注意的是，大的表面，例如左边的墙，可以属于几个不同的区域。每个区域的处理允许正确匹配这些表面。

步骤4在于创建选择掩模。

选择掩模是与深度区域相关的图像，该深度区域的象素具有5个可能的状态。该掩模具有两种功能：一是在状态1、2、3中，划定图像部分的界限，在该图像部分上使得模糊生成的卷积不得不执行，另一种是在状态2和3中，区分用于在平面之间匹配的敏感区。

对于属于该深度区域的每个象素，相应的光斑被复制成掩模图像。作为光斑象素所属区域的函数，定义与象素相关的状态。选择掩模的象素的五种可能状态如下：

-状态0：象素没有受区域的处理所影响。点(象素)不属于该区域但属于位于其前面的区域。

-状态1：象素受区域的处理所影响。象素属于该区域而且生成的光斑只重叠该区域的象素。

-状态2：象素受区域的处理所影响。象素属于该区域而且生成的光斑重叠不属于该区域的象素。生成的光斑超出了深度区域。

-状态3：因为象素受区域光斑所影响，所以象素受区域的处理影响。象素不属于该区域但属于位于其后面的区域，而且生成的光斑重叠属于该区域的象素。

-状态4：象素属于背景。象素不属于该区域但属于位于其后面的区域，而且生成的光斑不重叠属于该区域的象素。

与象素有关的光斑直径是在考虑象素实际深度的基础上计算出的直径。然而，可能要考虑为深度区域计算的平均直径，例如作为与该区域有关的象素的平均距离的函数。

因此，有关深度的简单信息，可能是已分配给区域的平均深度，使获得掩模的象素或点的状态成为可能。

图5表现构建选择掩模的示例。

背景幕被认为是位于背景中的区域。源图像21或场景由前景中的锥体和球体组成。该图像被分成两个区域，一个区域位于前部并包括球体，一个区域位于后部并包括锥体。这两种深度区域，即实际上与属于每个这些区域的3D点相对应的象素，分别由参考数字为22和23的图像来表示。

为每个区域构建选择掩模。这在于定义这些区域的每个象素的状态。为构建而考虑的模糊光斑半径是那些在已处理的轮廓级上的半径，并由该轮廓的象素的距离Z所定义。可以观察到锥体轮廓的光斑24的大小大于位于背景中的球体轮廓的光斑25的大小。

因此，为锥体建立了被球体切出来的3个三角形区域，区域26、27、28，分别对应状态1、2和3。相对于代表锥体的最初三角形的内外而言，区域26对应由内部三角形划界的面积，区域27对应由最初三角形和内部三角形划界的面积，区域28对应由最初三角形和外部三角划界的面积，其中内部三角形的边与最初三角形的边有光斑半径般大小的距离，外部三角形的边与最初三角形的边有光斑半径般大小的距离。作为前景区域的球体，即区域29，它的象素对应状态0。对于剩余部分，背景幕，即区域30，对应状态4。

相似地，为球体建立分别对应状态1、2和3的同心区31、32、33。相对于代表球体的最初圆形的内外而言，区域31对应于由内部同心圆划界的面积，区域32对应于由最初圆形和内部圆形定义的圆环，区域33对应于由最初圆形和外部同心圆定义的圆环，其中内部同心圆的半径小于最初圆形的半径且小于一个光斑半径，外部同心圆的半径大于最初圆形的半径且大于一个光斑半径。对于剩余部分即区域33外侧的部分，背景幕即区域34，对应状态4。

状态1、2和3的点使划分施加卷积的区域的边界成为可能。而且，对用于在区域间进行匹配的背景而言，状态2和3中的象素表示该区域是透明的。可以观察到球体切割了与之重叠的“锥体”平面的掩模，由前景恢复模糊的掩蔽。

参考数字为5的步骤在于，生成模糊，以及对2D区域进行组合，以便使其匹配。

在深度区域中距离模糊的应用导致在对应2D区域的轮廓的层上对亮度的削弱。视觉上，好像在2D区域周界两旁的模糊区域之间存在渐变，对应掩模的状态2和3，并且处于这个区域的背景之内。

在深度区域上所采取的焦距越大，渐变区域就越小，这是因为减小了光斑的直径，并在背景幕上切割出更好的深度区域。当聚焦时，具有状态2和3的点集为空集。没有与背景混合：在背景幕上完美地切割出该深度区域。

于是，这种利用这些不同状态的深度区域的匹配模式通过前景解决了掩蔽效应，在前景中并未创建模糊。

对于给定的区域，背景信息是必要的，而且必须被提前计算出。因此，必须从最远至最近地处理这些区域。可以观察到，对于状态2的掩模象素不存在背景信息。因此，只有确保区域之间的正确转换所需的部分信息是可用的。

通过卷积产生模糊。为了重新计算象素的数值，模糊的产生包括考虑最接近的象素环境，例如，位于其要重新计算的象素是中心的光斑表面上的象素的加权平均。用来定义分配给象素值的加权的卷积核或滤波窗通过核心系数定义其自身，例如是钟形曲线或圆柱形曲线。

根据与将被处理的点相关的掩模的点的状态，有差别地执行卷积。特别地，依据选择掩模的点值，它包括对可用信息的利用。

-如果掩模的点处于状态0，它就属于前景。我们转到下一个象素。

-如果掩模的点处于状态1，深度区域完全包括卷积核，我们处于这个区域的“内部”。借助于距离信息，计算卷积核的大小，该卷积核的大小是返回像平面的模糊光斑的大小。通过穿过与核心相关区域的点，正常地施加卷积。该结果被复制成最终图像。

-如果掩模的点处于状态2，不存在背景信息。所有的象素被反馈回卷积，如果它们属于当前区域或者先前处理区域。由于将属于先前处理区域的象素，即处于背景中的象素返回到源极，对应状态2的象素是伪像的来源。特别地，用因此不具有合适大小的卷积，处理这些象素就好像它们属于当前区域，从而导致几何非连续性，例如在轮廓上的几何非连续性比应当展开的要多。通常，不太容易觉察到这些错误。它们随着模糊程度，即状态2表面面积增长，或者当在深度区域之间存在相当可观的差别时而增长。

-如果掩模的点处于状态3，我们处于当前深度区域和背景深度区域之间的“外部”转变区域。背景区域信息是可用的，其被提前计算出。这里，在核心执行卷积时，同时考虑只包含在当前区域中的点。使该结果与最终图像混合。混合比例取决于当前区域内包括的核心表面面积比核心的有效总表面面积。为了计算区域3的点，将与当前区域有关(核心只考虑当前区域的象素)的卷积结果，例如，与针对该点而计算出的加权强度相加，该加权在于，乘以先前根据背景区域内光斑表面面积与光斑的总表面面积的比率而计算出的强度。

因此，在步骤6，从最远的区域开始，逐个区域地构建并存储最终图像。区域的点被复制(状态1、2)，或者与对应先前处理区域的最终图像(状态3)混合。

图6表现实现本发明的典型设备。

可以借助于可编程信号处理器和具有图像合成图形处理器的“流水线”图像存储器，实现硬件实施例。

未在图中表示的中央单元向参考数字为35的3D引擎传输数据，其中3D引擎是用于生成合成图像的图形处理器。与深度映射或者Z-缓冲器有关的数据，例如按照24比特编码的数据，被发送至存储该深度映射的图像存储器36。与适当合成图像或源图像有关的数据，例如按照RGB格式、每种颜色8比特的数据，被发送至参照数字为37的RGB图像存储器。

发送这些存储数据至距离模糊处理器38。该处理器还从中央单元接收表征场景内深度、最小和最大距离、以及被仿真的图片拍摄系统、焦距、光圈的参数。模糊处理器的输出由具有仿真距离模糊的图像构成。

在示例中，用于该处理的存储器是必要的：

-源图像的3个平面(RGB)。

-距离图像的3个平面，Z按照24比特进行编码。

-最终图像的3个平面(RGB)。

-掩模的1个平面(单色)。

未在图中详细描绘出与最终图像和掩模有关的存储器，它们被集成在距离模糊处理器的电路38内。

距离模糊处理器实现前述产生模糊的方法。它包括用于定义与深度区域相对应的图像的2D区域的计算装置，通过将边界一侧的象素与另一区域进行卷积，获得已处理的2D区域的模糊的计算，卷积核的大小取决于已处理的2D区域的象素的深度。

Claims

1.一种在表现3D场景的2D图像中产生模糊的方法，基于将深度分配给图像的象素的相关距离图像，其特征在于包括下列步骤：

-将2D图像划分为2D区域(2)，作为分配给象素的深度的函数，按照最小和最大深度定义区域，

-通过将边界一侧的象素与另一区域进行卷积，计算2D区域的模糊，卷积核(24，25)的大小取决于已处理的2D区域的象素的深度。

2.根据权利要求1所述的方法，其特征在于从最远(23)至最近(22)连续地处理2D区域，在该区域与先前处理过的2D区域(26、27、28；31、32、33)的边界上执行对2D当前区域的模糊的计算，从而提供中间图像(6)，在处理下一区域期间(8)，该中间图像被用于卷积(5)。

3.根据权利要求2所述的方法，其特征在于对属于当前区域(27、32)的、位于区域边界的象素的卷积考虑了属于当前区域(27、32)的象素和先前区域(28、33)的象素。

4.根据权利要求2所述的方法，其特征在于在对属于先前区域(28、33)的、位于区域边界的象素的卷积只考虑属于当前区域(27、32)的象素。

5.根据权利要求4所述的方法，其特征在于，为了计算模糊，通过将象素的初始值与卷积结果相加，获得先前区域内的象素值，与先前区域内的核心表面面积成比例地对应，与核心的总表面面积有关。

6.根据权利要求1所述的方法，其特征在于所述2D图像是合成图像。

7.根据权利要求1所述的方法，其特征在于卷积核是钟形函数。

8.一种产生模糊的设备，其特征在于包括：图形处理器(35)，用于产生合成图像(37)和有关深度映射(36)；距离模糊处理器(38)，包括用于定义与深度区域相对应的图像的2D区域的计算装置，通过将边界一侧的象素与另一区域进行卷积，获得对已处理的2D区域的模糊的计算，卷积核(24，25)的大小取决于已处理的2D区域的象素的深度。